Los chatbots son un tema candente y ChatGPT es uno de los principales. Pero gracias a lo poderosas y humanas que son sus respuestas, los científicos, educadores y editores se enfrentan a una ola creciente de plagio y trampa generados por la IA. Las antiguas herramientas de detección de plagio pueden no ser suficientes para distinguir lo real de lo falso.
Contenido
- Muchas opciones de descubrimiento
- Prueba en la práctica
- cierre
En este artículo, hablé un poco sobre este lado de pesadilla de los chatbots de IA, probé varias herramientas de detección de plagio en línea y descubrí cuán deplorable se ha vuelto la situación.
Muchas opciones de descubrimiento
La última versión de ChatGPT de la startup OpenAI, lanzada en noviembre de 2022, esencialmente puso a los chatbots en primer plano. Permitió a cualquier lego (o profesional) crear ensayos o artículos inteligentes e inteligibles, resolver problemas matemáticos textuales. Un lector ignorante o inexperto puede pasar fácilmente el contenido generado por IA como un ensayo completo, razón por la cual a los estudiantes les encanta y los educadores lo odian.
Similar
- ChatGPT pronto podría moderar el contenido ilegal en sitios como Facebook
- Noticias de GPT-4. 5: todo lo que sabemos sobre el modelo de lenguaje de próxima generación
- Por qué son importantes las instrucciones para el usuario de ChatGPT
Un problema importante con las herramientas de escritura de IA es su capacidad para usar el lenguaje natural y la gramática para crear contenido único y casi personalizado, incluso si el contenido en sí se tomó de una base de datos. Esto significa que continúa la carrera para derrotar el fraude basado en IA. Aquí hay algunas opciones que encontré que están disponibles de forma gratuita en este momento.
Vídeos destacados
El detector de salida GPT-2 provino del desarrollador OpenAI de ChatGPT para demostrar que tienen un bot capaz de reconocer el texto del chat. El detector de salida es fácil de usar: el usuario solo necesita ingresar texto en el campo de texto y la herramienta evaluará de inmediato la probabilidad de que el texto haya sido escrito por una persona o no.
Dos herramientas más con interfaces de usuario limpias son Writer AI Content Detector y Content at Scale. Puede agregar una URL para rastrear contenido (solo para escritores) o agregar texto manualmente. Los resultados proporcionan una estimación porcentual de la probabilidad de que el contenido haya sido creado por un ser humano.
GPTZero es una herramienta beta doméstica alojada en Streamlit y creada por el estudiante de la Universidad de Princeton, Edward Zen. Se diferencia del resto en cómo el modelo «algiarism» (plagio apoyado en inteligencia artificial) presenta sus resultados. GPTZero divide las métricas en perplejidad y ráfagas. El grado de inestabilidad mide la aleatoriedad general en todas las oraciones del texto, y la perplejidad mide la aleatoriedad en una sola oración. La herramienta asigna un número a ambas métricas: cuanto menor sea el número, mayor será la posibilidad de que el texto haya sido generado por un bot.
En aras del interés, lo incluí en el programa Giant Language Model Test Room (GLTR), desarrollado por investigadores del MIT-IBM Watson AI Lab y el Harvard Natural Language Processing Group. Al igual que GPTZero, no presenta los resultados finales como una clara distinción entre «humano» y «bot». Básicamente, GLTR usa bots para identificar el texto escrito por bots, ya que es menos probable que los bots seleccionen palabras impredecibles. Por lo tanto, los resultados se presentan como un gráfico de barras codificado por colores en el que el texto generado por IA se clasifica frente al texto generado por humanos. Cuantas más palabras impredecibles haya en el texto, más probable es que el texto haya sido escrito por una persona.
Prueba en la práctica
Todas estas opciones pueden llevarlo a pensar que estamos bien con la detección de IA. Pero para probar la efectividad real de cada una de estas herramientas, decidí probarlas yo mismo. Así que ejecuté algunos párrafos de muestra que escribí en respuesta a las preguntas que también hice, en este caso, ChatGPT.
Mi primera pregunta fue simple: ¿Por qué está mal visto comprar una PC prefabricada? Así es como mis propias respuestas se comparan con la respuesta de ChatGPT.
| mi verdadera respuesta | ChatGPT | |
| Detector de salida GPT-2 | 1, 18% falso | 36, 57% falso |
| IA de escritor | 100 personas | 99% humano |
| Contenido a escala | 99% humano | 73% personas |
| GPTZero | 80 desconcierto | 50 desconcierto |
| GLTR | 12 de 66 palabras probables para una persona | 15 de 79 palabras probables para una persona |
Como puede ver, la mayoría de estos programas pudieron determinar que mis palabras eran genuinas, siendo los tres primeros los más precisos. Pero ChatGPT también engañó a la mayoría de estas aplicaciones de detección con su reacción. Entonces, por ejemplo, en la aplicación Writer AI Content Detector, recibió el 99% de los puntos humanos, y en la aplicación GPT, solo el 36%. La mayor violación de las reglas de GLTR fue que era tan probable que mis propias palabras fueran escritas por un humano como las de ChatGPT.
Decidí intentarlo de nuevo, y esta vez las respuestas fueron mucho mejores. Le pedí a ChatGPT que proporcionara información breve sobre la investigación del Instituto Federal Swiss Federal para la Protección contra la frustración del uso de partículas de oro. En este caso, los detectores aplicaron mucho mejor aprobaron mi propia respuesta y encontraron chatgpt.
| mi verdadera respuesta | ChatGPT | |
| Detector de salida GPT-2 | 9. 28% falso | 99. 97% falso |
| IA de escritor | 95% de las personas | 2% de las personas |
| Contenido a escala | 92% de las personas | 0% (obviamente, IA) |
| GPTZero | 41 perplejidad | 23 perplejidad |
| GLTR | 15 de 79 palabras probables para los humanos | 4 de 98 palabras probables para los humanos |
En esta respuesta, las tres mejores pruebas realmente mostraron su fuerza. Y aunque GLTR apenas percibe mis propios escritos como humanos, al menos esta vez trató bien con Chatgpt.
cierre
De los resultados de cada solicitud, está claro que los detectores en línea de plagio no son perfectos. En respuestas o fragmentos más complejos (como, por ejemplo, en el caso de una segunda solicitud), estas aplicaciones son ligeramente más fáciles de detectar un texto artificial, mientras que en respuestas más simples es mucho más difícil sacar una conclusión. Pero es obvio que esto no es lo que llamaría confiable. A veces, estos detectores clasifican por error artículos o ensayos como chatgpt, lo cual es un problema para los maestros o editores que desean confiar en ellos para los estafadores de captura.
Los desarrolladores ajustan constantemente la precisión y los indicadores falsos positivos, pero al mismo tiempo se están preparando para la salida GPT-3, que promete mejorar significativamente el conjunto de datos y expandir las capacidades en comparación con GPT-2 (basada en ChatGPT).
En este momento, para identificar el contenido creado por la inteligencia artificial, los editores y los maestros deben combinar la prudencia y un poco de intuición humana con uno (o varios) de estos detectores de IA. Y para aquellos usuarios de chatbots que tienen o tienen la tentación de usar chatbots como chatsonic, chatgpt, noción o yochat para dar su «trabajo» para legal, por favor no haga esto. El procesamiento del contenido creado por el bot (que extrae información de fuentes fijas en su base de datos) sigue siendo plagio, sin importar cómo se relacione con esto.
Recomendaciones de editores
- Google Bard pronto puede convertirse en su nuevo mentor de IA
- CHATGPT: Las últimas noticias, contradicciones y consejos que deben ser conocidos
- Newegg quiere que confíes en Chatgpt en revisiones de bienes
- AI ahora puede robar sus contraseñas con casi 100% de precisión: así es como se hace
- Apple ha estado trabajando en secreto en el competidor de chatgpt durante varios años
Temas
- Inteligencia artificial
