La IA en los colegios podría poner en peligro a los estudiantes LGTBI+

Un nuevo informe advierte de que el uso de la IA y la vigilancia digital en las escuelas estadounidenses supone un riesgo para los estudiantes LGBTQ+ y podría vulnerar sus derechos.

Expertos del Centro para la Democracia y la Tecnología, una organización sin ánimo de lucro y apartidista que aboga por los derechos civiles en el mundo digital, han publicado un informe sobre las experiencias de profesores, alumnos y padres en relación con la privacidad de los datos de los estudiantes, el filtrado y bloqueo de contenidos, la supervisión de la actividad de los alumnos y la IA generativa (programas como ChatGPT).

Kesha denuncia a Sony por poner en peligro a sus artistas

Los colegios de Virgina en Estados Unidos tienen que expulsar obligatoriamente a los alumnos trans

En el informe, publicado el miércoles 20 de septiembre, los investigadores descubren que la tecnología utilizada para bloquear contenidos explícitos para adultos y señalar a los estudiantes que corren el riesgo de autolesionarse o hacer daño a otros pone en peligro a estudiantes ya de por sí vulnerables, en particular a los que son LGBTQ+, discapacitados o estudiantes de color.

Para su muestra, el Centro para la Democracia y la Tecnología encuestó a 1.029 alumnos de noveno a duodécimo curso, a 1.018 padres de alumnos de sexto a duodécimo curso y a 1.005 profesores de alumnos de sexto a duodécimo curso.

El estudio reveló que los alumnos LGBTQ+ tienen más probabilidades de sufrir consecuencias negativas por su actividad en línea a través del control de la actividad estudiantil que sus compañeros heterosexuales y cisgénero.

El 29% de los estudiantes LGBTQ+ informaron de que ellos mismos u otro estudiante había sido revelado como LGBTQ+, lo cual es un "acontecimiento potencialmente traumático", y la mitad (50%) de todos los estudiantes LGBTQ+ encuestados dijeron que ellos u otro alumno había sido disciplinado por hacer algo en línea, en comparación con el 39% de los estudiantes no LGBTQ+.

El control de la actividad de los alumnos está muy extendido, y casi nueve de cada diez profesores (88%) afirman que se utiliza en los dispositivos proporcionados por los centros escolares. Cuatro de cada 10 profesores también afirmaron que su centro supervisa los dispositivos personales de los alumnos. Esta supervisión tiene lugar tanto dentro como fuera del horario escolar, y el 38% de los profesores afirma que se realiza fuera del horario escolar.

Un tercio de los profesores entrevistados afirmaron que los contenidos relacionados con temas LGBTQ+ y los que exploran la raza tienen más probabilidades de ser restringidos por los filtros de contenidos de AI. El centro afirmó que esto "equivale a una prohibición de libros digitales" similar a las recientes restricciones y prohibiciones legales de materiales LGBTQ+, como la denostada ley "No digas gay" de Florida.

La encuesta también señala que la mayoría de los padres, alumnos y profesores sufren una "confusión generalizada" sobre el papel de la inteligencia artificial en las aulas, y afirman que quieren más información y formación sobre cómo utilizarla correctamente.

Los mismos investigadores advirtieron hace tiempo sobre el potencial de la IA y la tecnología de vigilancia para dañar a la comunidad LGBTQ+. En 2022, el Centro para la Democracia y la Tecnología publicó el documento de investigación "Hidden Harms: Targeting LGBTQ+ Students", en el que se ponían de manifiesto estas mismas preocupaciones.

Se descubrió que los algoritmos utilizados por las escuelas escaneaban los mensajes, documentos y sitios web que visitaban los estudiantes para encontrar palabras como "gay" y "lesbiana" y marcarlas automáticamente al profesorado. Aunque esto se hacía aparentemente por "seguridad" de los estudiantes, lo más probable es que fuera perjudicial, ya que equivalía a "sacarlos del armario sin consentimiento".

El 23% de los estudiantes afirmaron que ellos, o alguien que conocían, habían sido delatados a profesores o padres por esta tecnología. También se descubrió que los estudiantes LGBTQ+ tenían más probabilidades de ser disciplinados por profesores y padres debido a los hallazgos de la tecnología de moderación.

Al comentar los resultados del estudio, Elizabeth Laird, directora de equidad en tecnología cívica del Centro para la Democracia y la Tecnología, afirmó: "Hay ciertos grupos de estudiantes que ya deberían estar protegidos por las leyes de derechos civiles vigentes y, sin embargo, siguen sufriendo consecuencias desproporcionadas y negativas debido al uso de estos datos y tecnología educativos."

En octubre de 2022, la Casa Blanca publicó un libro blanco titulado Blueprint for an AI Bill of Rights, en el que se esbozan una serie de principios para ayudar a guiar de forma responsable el diseño y el uso de la inteligencia artificial.

Sin embargo, grupos de defensa de los derechos civiles -entre ellos la ACLU, la Asociación Americana de Bibliotecarios Escolares, la Asociación Americana de Bibliotecas, el Fondo para la Defensa de los Derechos de los Discapacitados en la Educación y la Electronic Frontier Foundation- firmaron una carta que acompañaba al informe 2022 del Centro para la Democracia y la Tecnología en la que pedían "protecciones relacionadas con la educación" a raíz de la "explosiva aparición de la IA generativa".

A pesar de ello, el 57% de los profesores de la encuesta más reciente afirmaron no haber recibido ninguna formación sustantiva en IA desde que se redactó el Libro Blanco del Plan.

Según el Centro para la Democracia y la Tecnología, cada vez son más los estudiantes y padres que expresan su preocupación por cómo estas tecnologías pueden perjudicar a los alumnos marginados.

En cuanto a lo que hay que hacer a continuación para protegerlos, el centro señaló: "Las escuelas tienen que ser más intencionadas sobre cómo utilizan estas tecnologías para asegurarse de que no discriminan ni causan otros daños".

"Tienen que garantizar que las tecnologías se desplieguen de forma que beneficien a todos los estudiantes".