Las herramientas de lenguaje ChatGPT y AI prohibidas por la conferencia de AI para escribir documentos

Por James Vincent, un reportero senior que ha cubierto IA, robótica y más durante ocho años en The Verge.

Una de las conferencias de aprendizaje automático más prestigiosas del mundo prohibió a los autores usar herramientas de IA como ChatGPT para escribir artículos científicos, lo que provocó un debate sobre el papel del texto generado por IA en el mundo académico.

La Conferencia Internacional sobre Aprendizaje Automático (ICML, por sus siglas en inglés) anunció la política a principios de esta semana, afirmando que "los documentos que incluyen texto generado a partir de un modelo de lenguaje a gran escala (LLM, por sus siglas en inglés) como ChatGPT están prohibidos, a menos que el texto producido se presente como parte del análisis experimental del artículo". La noticia provocó un debate generalizado en las redes sociales, con académicos e investigadores de AI defendiendo y criticando la política. Los organizadores de la conferencia respondieron publicando una declaración más larga explicando su pensamiento. (ICML respondió a las solicitudes de comentarios de The Verge dirigiéndonos a esta misma declaración).

Según ICML, el surgimiento de modelos de lenguaje de IA de acceso público como ChatGPT, un chatbot de IA de propósito general que se lanzó en la web en noviembre pasado, representa un desarrollo "emocionante" que, sin embargo, viene con "consecuencias imprevistas [y] preguntas sin respuesta". El ICML dice que estos incluyen preguntas sobre quién es el propietario de la salida de tales sistemas (están capacitados en datos públicos, que generalmente se recopilan sin consentimiento y, a veces, regurgitan esta información palabra por palabra) y si el texto y las imágenes generadas por IA deben ser "consideradas novedosas o meras". derivados de obras existentes".

¿Las herramientas de escritura de IA son solo asistentes o algo más?

La última pregunta se conecta con un debate complicado sobre la autoría, es decir, ¿quién "escribe" un texto generado por IA: la máquina o su controlador humano? Esto es particularmente importante dado que ICML solo prohíbe el texto "producido en su totalidad" por AI. Los organizadores de la conferencia dicen que no prohíben el uso de herramientas como ChatGPT "para editar o pulir el texto escrito por el autor" y señalan que muchos autores ya usaron "herramientas de edición semiautomáticas" como el software de corrección gramatical Grammarly para este propósito.

"Es seguro que estas preguntas, y muchas más, se responderán con el tiempo, a medida que estos modelos generativos a gran escala se adopten más ampliamente. Sin embargo, todavía no tenemos respuestas claras a ninguna de estas preguntas", escriben los miembros de la conferencia. organizadores

Como resultado, ICML dice que su prohibición de texto generado por IA se reevaluará el próximo año.

Sin embargo, es posible que las preguntas que aborda la ICML no se resuelvan fácilmente. La disponibilidad de herramientas de IA como ChatGPT está causando confusión en muchas organizaciones, algunas de las cuales han respondido con sus propias prohibiciones. El año pasado, el sitio de preguntas y respuestas de codificación Stack Overflow prohibió a los usuarios enviar respuestas creadas con ChatGPT, mientras que el Departamento de Educación de la ciudad de Nueva York bloqueó el acceso a la herramienta para cualquier persona en su red solo esta semana.

Los modelos de lenguaje de IA son herramientas de autocompletado sin sentido inherente de factualidad

En cada caso, existen diferentes temores sobre los efectos nocivos del texto generado por IA. Uno de los más comunes es que la salida de estos sistemas simplemente no es confiable. Estas herramientas de IA son vastos sistemas de autocompletado, entrenados para predecir qué palabra sigue a la siguiente en una oración determinada. Como tal, no tienen una base de datos codificada de "hechos" en la que basarse, solo la capacidad de escribir declaraciones que suenen plausibles. Esto significa que tienen una tendencia a presentar información falsa como verdad, ya que el hecho de que una oración dada suene plausible no garantiza su factualidad.

En el caso de la prohibición de ICML del texto generado por IA, otro desafío potencial es distinguir entre la escritura que solo ha sido "pulida" o "editada" por IA y la que ha sido "producida en su totalidad" por estas herramientas. ¿En qué punto una serie de pequeñas correcciones guiadas por IA constituyen una reescritura más grande? ¿Qué pasa si un usuario le pide a una herramienta de inteligencia artificial que resuma su artículo en un resumen ágil? ¿Esto cuenta como texto recién generado (porque el texto es nuevo) o como mero pulido (porque es un resumen de las palabras que escribió el autor)?

Antes de que ICML aclarara el alcance de su política, a muchos investigadores les preocupaba que una posible prohibición del texto generado por IA también podría ser perjudicial para aquellos que no hablan o escriben inglés como su primer idioma. El profesor Yoav Goldberg de la Universidad Bar-Ilan en Israel le dijo a The Verge que una prohibición general del uso de herramientas de escritura de IA sería un acto de vigilancia contra estas comunidades.

"Existe un claro sesgo inconsciente al evaluar los artículos en la revisión por pares para preferir los más fluidos, y esto funciona a favor de los hablantes nativos", dice Goldberg. "Al usar herramientas como ChatGPT para ayudar a expresar sus ideas, parece que muchos hablantes no nativos creen que pueden 'nivelar el campo de juego' en torno a estos temas". Dichas herramientas pueden ayudar a los investigadores a ahorrar tiempo, dijo Goldberg, así como a comunicarse mejor con sus pares.

Pero las herramientas de escritura de IA también son cualitativamente diferentes de un software más simple como Grammarly. Deb Raji, investigadora de IA en la Fundación Mozilla, le dijo a The Verge que tenía sentido que ICML introdujera una política dirigida específicamente a estos sistemas. Al igual que Goldberg, dijo que había escuchado de hablantes no nativos de inglés que tales herramientas pueden ser "increíblemente útiles" para redactar documentos y agregó que los modelos de lenguaje tienen el potencial de hacer cambios más drásticos en el texto.

"Veo a los LLM como bastante distintos de algo como la autocorrección o Grammarly, que son herramientas correctivas y educativas", dijo Raji. "Aunque se puede usar para este propósito, los LLM no están diseñados explícitamente para ajustar la estructura y el idioma del texto que ya está escrito; también tiene otras capacidades más problemáticas, como la generación de texto novedoso y spam".

"Al final del día, los autores firman en el papel y tienen una reputación que mantener".

Goldberg dijo que, si bien pensaba que era ciertamente posible que los académicos generaran artículos completamente utilizando IA, "hay muy pocos incentivos para que realmente lo hagan".

"Al final del día, los autores firman en el papel y tienen una reputación que mantener", dijo. "Incluso si el artículo falso de alguna manera pasa por una revisión por pares, cualquier declaración incorrecta se asociará con el autor y se 'pegará' a él durante toda su carrera".

Este punto es particularmente importante dado que no existe una forma completamente confiable de detectar texto generado por IA. Incluso la ICML señala que la detección infalible es "difícil" y que la conferencia no hará cumplir de manera proactiva su prohibición mediante la ejecución de envíos a través del software detector. En cambio, solo investigará las presentaciones que otros académicos hayan marcado como sospechosas.

En otras palabras: en respuesta al auge de la tecnología disruptiva y novedosa, los organizadores confían en los mecanismos sociales tradicionales para hacer cumplir las normas académicas. La IA se puede usar para pulir, editar o escribir texto, pero aún dependerá de los humanos evaluar su valor.

/ Regístrese en Verge Deals para obtener ofertas en productos que hemos probado enviados a su bandeja de entrada todos los días.