Había una vez unos trolls que eran criaturas escalofriantes que acechaban debajo de los puentes en los cuentos de hadas infantiles.

Hoy, estos trolls han cambiado las páginas de los libros por las pantallas, y acechan en las secciones de comentarios de los medios online y en las publicaciones en las redes sociales.

“Trolling” puede incluir todo, desde insultos leves y críticas sobre los platos de un chef famoso hasta amenazas de violación y asesinato.

En el intento más reciente de las empresas de redes sociales por derrotar a estos trolls, Instagram ha anunciado que ahora usará la inteligencia artificial (IA) para eliminar de forma efectiva los comentarios de estos trolls tan pronto como aparezcan en la publicación de un usuario.

Instagram utiliza la técnica de aprendizaje profundo del programa DeepText de la empresa matriz Facebook, desarrollado originalmente para adaptar los feeds de los usuarios de Facebook en función de las palabras y frases que usaban en las publicaciones y en los mensajes, para filtrar los comentarios que se consideran ofensivos.

Cómo vencer a los trolls
Trolling ha sido el azote de las redes sociales desde su aparición.

Una encuesta del Centro de Investigación Pew encontró que uno de cada cuatro usuarios de Internet en los Estados Unidos ha sufrido algún tipo de acoso. En los jóvenes de entre 18 y 24 años, esta cifra llega al 70%.

Sin embargo, dado que las redes sociales pueden utilizarse como plataformas para el debate político, entre otros temas, las empresas de redes sociales se han mostrado reacias a asumir un papel activo de “policía”.

“No estamos aquí para frenar la libertad de expresión”, insistió el Director Ejecutivo de Instagram, Kevin Systrom, en una charla con Wired acerca del uso de IA para filtrar algunos comentarios.

Si bien es posible que las empresas como Instagram no quieran imponer límites, tampoco pueden mostrar que no hacen nada si quieren mantener e incrementar sus usuarios. El estudio de Pew encontró que una de cada 10 de las personas que sufrieron acoso en línea eligió abandonar la red social en la que experimentaron el abuso.

Systrom introdujo el nuevo filtro de comentarios de su compañía como “el siguiente paso en nuestro compromiso de fomentar las comunidades inclusivas e integrales en Instagram”.

Sigue a la introducción el año pasado de un filtro de palabras clave, que permitió a los usuarios de Instagram hacer una lista de las palabras que consideraban ofensivas o inapropiadas, y bloquear los comentarios que las contenían.

El filtro más reciente de Instagram básicamente transforma este filtro manual en automático.

Cómo funciona
Antes de luchar contra los trolls, Instagram utilizó por primera vez los algoritmos de DeepText de Facebook para hacer frente a la otra pesadilla de las redes sociales: el spam.

Este filtro de spam fue desarrollado por los empleados de Instagram haciendo una clasificación de los comentarios que se consideraban spam para alimentar a DeepText, enseñándole a reconocerlos.

Según Wired, DeepText aprendió a reconocer el spam no solo por el contenido del mensaje, sino también por su fuente: un comentario de alguien que usted sigue es menos probable que sea un spam que un mensaje de alguien que no conoce.

Después de sentirse satisfecho por los resultados del filtro de spam después de su lanzamiento el año pasado, Instagram volvió su atención a los trolls.

Usó el mismo proceso con las personas clasificando frases ofensivas y luego alimentándolas en DeepText.

El filtro se agrega automáticamente a una cuenta de Instagram, pero se puede desactivar en la configuración de comentarios (véase más abajo).

Con el filtro activado, los comentarios hostiles o acosadores desaparecen, a pesar de que la persona que los escribió todavía los vea —un intento de Instagram para detener a los trolls tratando de entender cómo funciona el filtro y encontrar una manera de vencerlos.

El problema de los falsos positivos
El filtro de comentarios ofensivos de Instagram está actualmente disponible solo en inglés, aunque con el filtro de spam que ahora se ha extendido a español, portugués, árabe, francés, alemán, ruso, japonés y chino, es probable que solo sea cuestión de tiempo antes de que los trolls estén bloqueados en múltiples Idiomas.

No obstante, la complejidad de los idiomas significa que las soluciones basadas en IA como la de Instagram enfrentan varios retos.

Una investigación de la Universidad de Cornell sobre la detección automatizada del discurso de odio encontró que simplemente hacer una lista de palabras potencialmente ofensivas no era suficiente para identificar el discurso de odio, ya que el contexto era clave.

Igualmente, hubo potencial para falsos positivos, con tweets no ofensivos bloqueados debido a algunas de las palabras que contenían.

Al cuestionar la capacidad del filtro de Instagram, Wired publicó varias de estas oraciones falsas positivas en Instagram, incluyendo las siguientes:

“No compré alcohol este fin de semana, y solo compré 20 cigarrillos. Orgulloso de que todavía tengo 40 libras, para ser honesto”.

La oración en inglés usa la jerga británica para los cigarrillos, fags, y fue marcada por el sistema de los investigadores de Cornell como discurso de odio, debido a que “fags” también es un término peyorativo para referirse a los homosexuales en los EE.UU.

Si bien Instagram se negó a hacer comentarios sobre estas oraciones falsas positivas específicas, Systrom admite que “nuestro trabajo está lejos de estar terminado y ser perfecto”. Le dijo a Wired que tomaría tiempo poder decir si había sido un éxito o no.

Si el filtro causara “problemas” y bloqueara demasiados comentarios no ofensivos, “lo eliminaremos y volveremos a empezar con algo nuevo”, dijo.