A cazar al impostor con herramientas ¿potentísimas?
En artículos anteriores hemos mostrado las capacidades de ChatGPT a la hora de redactar textos de unas características determinadas y comparado dichos textos con los equivalentes redactados por una persona.
Seguidamente, realizamos un ejercicio en el cual solicitamos a unas personas que trataran de identificar el origen de cada una de las versiones (IA vs. Humano). El resultado, fue mejorable (en el mejor de los casos).
Nos quedaría, para concluir este ejercicio, utilizar algunas de las herramientas más comunes de IA que permiten distinguir si el autor de un texto es una persona o una aplicación. Una vez más, recordad que no queremos hacer un sesudo análisis de las características de cada una de ellas. Sencillamente, vamos a reproducir lo que sucede cuando utilizamos, como un usuario normal, esas herramientas.
Antes que nada, podéis acceder a los textos utilizados aquí
Desmontando una leyenda urbana
Uno de los primeros comentarios que recibimos cuando empezamos este ejercicio fue “que le había preguntado a ChatGPT si ese texto lo había escrito él”. Así, tal cual. Pues lamentamos deciros que no. Os animamos a preguntar a ChatGPT si “ha escrito este texto” con las cuatro versiones, la respuesta es siempre la misma: Sí, fui yo, ChatGPT, quien escribió ese texto. Utilicé mi entrenamiento con datos disponibles hasta septiembre 2021…
O sea, que no, que ChatGPT no se audita a sí mismo (incluso podríamos decir que tiene un poco de morro, vamos).
Algunas herramientas de detección de textos
Bromas aparte, trataremos de establecer la autoría de esos textos utilizando algunas herramientas disponibles, todas ellas en sus versiones gratuita. Estas han sido:
- AI TEXT CLassifier
- Grover
- GPTZero
- CopyLeaks
- UndetectableAI
- Originality
Cada una de ellas tiene características propias, algunas analizan la autoría del texto, otras muestran la posibilidad de que dicho texto sea un plagio, etc. La salida de resultados es muy heterogénea; algunas dan porcentajes de probabilidad, otras muestran descriptivos tipo “redactado probablemente por una persona”…
Antes de mostrar los resultados, dos observaciones:
- Salvo una, todas ellas indican que trabajan utilizando el idioma inglés; lo cierto es que hemos podido hacer las pruebas sin problemas…
- Siendo honestos, para encontrar estas herramientas, hemos hecho lo que cualquier usuario haría: utilizar algún buscador y escribir “herramientas para detectar si un texto está escrito con IA” o algo similar. Una vez mostrados los resultados, hemos leído varias páginas y comparativas y seleccionado algunas de las más citadas.
Pues bien, todas, pero todas (vale, casi todas) las páginas, cuando hablan de estas herramientas, dicen que son buenísimas, que son fantásticas, perfectas, etc. A la vista de los resultados que mostramos a continuación, podríamos preguntarnos hasta qué punto las han probado. No es que hayamos sido muy exhaustivos, pero al menos hay que hacer alguna pequeña prueba antes de afirmar eso…
Resultados y conclusiones
Mostramos los resultados en la siguiente tabla, en la que indicamos la autoría real de los textos. Con fondo verde, aquellos casos en los que han “acertado”. En rojo, los casos en los que han “fallado”.
Con los resultados a la vista, podemos concluir:
- Originality es la que obtiene mejores resultados. Tan sólo tiene una pequeña pega: es de pago. Las pruebas las hemos hecho aprovechando una versión demo, pero si se quiere usar sin restricciones, hay que pagar, lo sentimos.
- De las que aparecen como gratuitas, fiarnos, lo que se dice fiarnos, nos quedaríamos con CopyLeaks, que sólo ha fallado (y por poco) el texto 2ª. A tener en cuenta que es la única que trabaja en español…
- El resto, la verdad, muy flojo. Llama la atención el desempeño de AI Text Clasifier, no se rompe mucho la cabeza: apunta a que todas están generadas por AI. Lo llamativo del caso es que, como indicábamos, es una herramienta de los propios creadores de ChatGPT, en casa del herrero…
Como vemos, (recordad el artículo II, podéis consultarlo aquí) las personas no son muy buenas distinguiendo al autor del texto, pero es que, a día de hoy, las herramientas automatizadas no son mucho mejores.
Un apunte final
En estos tres artículos hemos tratado de mostrar, de forma desenfadada algunas características de las herramientas de IA, tanto para redactar textos, como para confirmar la auditoría de los mismos. Parece evidente que estas herramientas han llegado para quedarse y que apenas acaban de empezar a mostrar sus capacidades.
Como anotábamos en el artículo I, la inmediatez de los resultados y, seamos honestos, la calidad de los mismos es imbatibles. El problema que siempre plantean estas herramientas es el derivado de su uso por las personas. Aparte de condicionantes éticos como:
- Afirmar que somos autores de un texto cuando en realidad lo ha escrito un recogedor automático de conocimientos online que además sabe utilizar el lenguaje e incluso razonar es directamente mentir
- La pérdida de eso que se llama la cultura del esfuerzo. Este aspecto es algo más peliagudo de defender, también podría aplicarse a cualquiera que utiliza una calculadora para extraer raíces cuadradas en vez de usar papel y bolígrafo. El problema, a mi entender es que la IA entra en el terreno que más frutos da, el de razonar, realizar abstracciones y extraer conclusiones
En todo caso, es una herramienta potentísima y, como cualquier otra, lo buena o lo mala que sea, dependerá…de la persona que la use.