Cient\u00edficos de la Universidad del Estado de Pensilvania (Penn State), en Estados Unidos investigaron hasta qu\u00e9 punto los modelos de lenguaje natural como ChatGPT, que utilizan inteligencia artificial para articular una prosa realista y articulada como respuesta a preguntas de usuarios, consiguen generar contenido que no se caracterice como plagio. Ello se debe a que estos sistemas procesan, memorizan y reproducen informaci\u00f3n preexistente, con base en los gigantescos vol\u00famenes de datos disponibles en internet, tales como libros, art\u00edculos cient\u00edficos, p\u00e1ginas en Wikipedia y noticias.<\/p>\n
El grupo analiz\u00f3 210.000 textos generados por el programa GPT-2, de la startup<\/em> OpenAI, creadora de ChatGPT, en busca de indicios de tres tipos diferentes de plagio: la transcripci\u00f3n literal, que se obtiene copiando y pegando fragmentos; la par\u00e1frasis, que cambia palabras por sin\u00f3nimos para obtener resultados levemente distintos, y el uso de una idea elaborada por otra persona sin mencionar su autor\u00eda, aunque formulada de manera diferente.<\/p>\n En el referido estudio se lleg\u00f3 a la conclusi\u00f3n de que los tres tipos de plagio est\u00e1n presentes. Y cuanto mayor era el conjunto de par\u00e1metros utilizados para entrenar a los modelos, m\u00e1s frecuentes eran los registros de mala conducta. En la evaluaci\u00f3n se utilizaron dos tipos de modelos: los preentrenados, basados en un espectro amplio de datos, y los de sinton\u00eda fina, perfeccionados por el equipo de la Penn State con el prop\u00f3sito de ajustar el entrenamiento en un conjunto menor de documentos cient\u00edficos y jur\u00eddicos, art\u00edculos acad\u00e9micos asociados al covid-19 y solicitudes de patentes. La elecci\u00f3n de este tipo de contenidos no fue casual: en estos textos, el plagio es una pr\u00e1ctica considerada muy problem\u00e1tica y no suele tolerarse.<\/p>\n Dentro del material generado por los preentrenados, lo m\u00e1s frecuente fueron las transcripciones literales, mientras que en los de sinton\u00eda fina eran m\u00e1s habituales las par\u00e1frasis y la apropiaci\u00f3n de ideas sin mencionar la fuente. \u201cPudimos comprobar que el plagio se hace presente en diferentes formatos\u201d, dijo uno de los autores del trabajo, Dongwon Lee, cient\u00edfico de la computaci\u00f3n de la Facultad de Tecnolog\u00eda y Ciencias Inform\u00e1ticas de la Penn State, seg\u00fan informa el servicio de noticias Eurekalert<\/em>. Los hallazgos ser\u00e1n divulgados en detalle en la Web Science Conference, un evento organizado por la Association for Computing Machinery (ACM), que se llevar\u00e1 a cabo del 30 de abril al 4 de mayo en la ciudad de Austin (Texas \u2013 EE. UU.).<\/p>\n ChatGPT es uno de los varios sistemas basados en inteligencia artificial, que ha adquirido gran notoriedad al ser puesto a disposici\u00f3n del p\u00fablico. Desde noviembre, ya ha sido probado por m\u00e1s de 100 millones de personas y ha impresionado por su capacidad para generar textos coherentes que mimetizan la escritura humana (lea en <\/em>Pesquisa FAPESP, edici\u00f3n n\u00ba 325<\/em><\/a>). Una de las pol\u00e9micas que ha despertado se refiere precisamente a la originalidad de sus respuestas y al temor de que se transforme en una fuente de mala conducta acad\u00e9mica.<\/p>\n \u201cLa gente est\u00e1 detr\u00e1s de los grandes modelos ling\u00fc\u00edsticos porque cuanto m\u00e1s grande es un modelo, m\u00e1s aumentan sus habilidades\u201d, dijo el autor principal del estudio, Jooyoung Lee, estudiante de doctorado en la Facultad de Ciencias y Tecnolog\u00eda de la Informaci\u00f3n de la Penn State. Las herramientas de redacci\u00f3n basadas en inteligencia artificial consiguen generar respuestas \u00fanicas e individualizadas a las preguntas formuladas por los usuarios, aun cuando lo hacen extrayendo la informaci\u00f3n pertinente a un banco de datos. No obstante, esta habilidad no quita que la herramienta pueda ser una fuente de plagio, e incluso en formatos m\u00e1s dif\u00edciles de detectar. \u201cEntrenamos a los modelos para imitar la escritura humana, pero no les hemos ense\u00f1ado a evitar el plagio\u201d, declar\u00f3 Lee.<\/p>\n Se est\u00e1n desarrollando diversas herramientas para detectar contenido generado por programas de inteligencia artificial. La propia OpenAI ha desarrollado un programa capaz de reconocer los textos elaborados por robots<\/a>. Existen otros de este tipo en internet, tales como Writer AI Content Detector<\/a> y Content at Scale<\/a>. Como los sistemas de lenguaje natural se encuentran en fase de desarrollo, tambi\u00e9n ser\u00e1 necesario actualizar continuamente la tecnolog\u00eda para el rastreo de su producci\u00f3n.<\/p>\n Un equipo de la Escuela de Ingenier\u00eda y Ciencias Aplicadas de la misma Penn State demostr\u00f3 que es posible entrenar a las personas para identificar estos textos, para no tener que depender exclusivamente de los programas detectores. El estudio dirigido por el cient\u00edfico de la computaci\u00f3n Chris Callison-Burch, presentado el pasado mes de febrero en un congreso de la Asociaci\u00f3n para el Avance de la Inteligencia Artificial (AAAI), realizado en Washington (EE. UU.), revel\u00f3 que estas herramientas ya son muy eficaces produciendo una prosa fluida acorde a las normas gramaticales. \u201cPero incurren en diversos tipos de errores que podemos aprender a identificar\u201d, dijo al blog Penn Engineering Today el cient\u00edfico de la computaci\u00f3n Liam Dugan, alumno de doctorado de la Penn State y uno de los autores del art\u00edculo.<\/p>\n El experimento utiliz\u00f3 un juego disponible en internet, llamado Real or Fake Text (Texto Real o Falso). El grupo les present\u00f3 a los participantes del estudio, todos ellos alumnos de grado o posgrado de carreras de inteligencia artificial de la Penn State, frases que comenzaban escritas por humanos pero que, a partir de cierto punto, reproduc\u00edan respuestas elaboradas por modelos de lenguaje. Los textos seleccionados eran procedentes de noticias publicadas en la prensa, discursos presidenciales, relatos ficticios y recetas de cocina. Se invit\u00f3 a los jugadores a se\u00f1alar en qu\u00e9 momento comenzaba el tramo escrito por inteligencia artificial y a explicar por qu\u00e9 apostaban por esa ubicaci\u00f3n. Cuando acertaban, recib\u00edan puntos. Las principales razones apuntadas eran la aparici\u00f3n de contenido irrelevante, errores l\u00f3gicos, frases contradictorias, otras muy gen\u00e9ricas y problemas gramaticales. Fue m\u00e1s f\u00e1cil acertar en las recetas culinarias que en las dem\u00e1s narraciones.<\/p>\n El puntaje de los participantes fue sensiblemente m\u00e1s alto que si las respuestas se hubieran hecho al azar, lo que demuestra que los textos generados por robots son detectables. Aunque las habilidades de los jugadores eran bastante variables, su desempe\u00f1o mejoraba con el uso del juego, lo que indica un aprendizaje. \u201cHace cinco a\u00f1os, los modelos no consegu\u00edan concentrarse en un tema o enunciar una frase fluida\u201d, dijo Dugan. \u201cAhora, es raro que cometan errores gramaticales. Nuestro estudio identifica los tipos de errores que cometen los chatbots, pero no debe perderse de vista que ellos seguir\u00e1n evolucionando. La gente deber\u00e1 seguir entren\u00e1ndose para reconocer la diferencia y trabajar con el software <\/em>de detecci\u00f3n como complemento\u201d.<\/p>\n","protected":false},"excerpt":{"rendered":"Estudios muestran que los modelos de lenguaje natural pueden ser fuente de mala conducta acad\u00e9mica y apuntan formas de prevenir este problema","protected":false},"author":11,"featured_media":482760,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[178],"tags":[299],"coauthors":[98],"class_list":["post-482759","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-buenas-practicas","tag-etica-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/482759","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=482759"}],"version-history":[{"count":1,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/482759\/revisions"}],"predecessor-version":[{"id":482764,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/482759\/revisions\/482764"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media\/482760"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=482759"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=482759"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=482759"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=482759"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}