Chatgpt Network Neural responde preguntas complejas mejor que Google

La forma en que la nueva inteligencia artificial Chatbot Chatgpt corresponde con las personas es impresionante y verdaderamente aterrador. En dos semanas, los entusiastas de todo el mundo se han asegurado de que al generar texto, ChatGPT opera con categorías de conocimiento bastante complejas que no pueden ser simplemente buscando y tomadas en Google de la primera página de un motor de búsqueda. Y también, si la tarea se formula correctamente, la red neuronal puede dar consejos útiles en el formato de correspondencia, escribir un texto sobre un tema determinado e incluso arreglar el código.»Meduza» cuenta cómo funciona CHATGPT (aunque los detalles más importantes crearon la compañía BOT OpenAI aún no han revelado), y muestra ejemplos impresionantes de resultados, tanto exitosos como no tan exitosos.

Cómo funciona el chatgpt y por qué es tan claramente diferente de los modelos anteriores

ChatGPT impresiona a todos porque se dialogan con el usuario de una manera extremadamente convincente y creíble. El modelo, por ejemplo, puede producir poemas inteligibles, canciones y textos sobre el tema deseado, el análisis financiero básico, el concepto científico, el consejo personal, y en general, para responder a cualquier cosa relevante. Por supuesto, no puedes confiar en eso por completo. Por ejemplo, existe el riesgo de que, en respuesta a una solicitud de presentar un obituario sobre el dictador Benito Mu Ssolini, recibirá una historia sobre su pasión por el skate

El nuevo chatbot es un descendiente directo de la línea GPT de redes neuronales de OpenAi. Los tres modelos de idiomas entrenados en una amplia variedad de texto, GPT, GP T-2 y GP T-3, están entrenados para hacer una cosa: generar una continuación de un texto basado en su comienzo.

Hasta 2017, esta tarea fue mejor realizada por las llamadas redes neuronales recurrentes: recuerdan lo que han visto antes y, por lo tanto, pueden tener en cuenta el contexto de la información entrante. En general, la importancia del contexto no es la misma en diferentes tareas en el aprendizaje automático. Por ejemplo, para el reconocimiento facial, el contexto no da casi nada, y las redes neuronales que resuelven este problema, generalmente no lo tienen en cuenta y, por lo tanto, se organizan de manera diferente. Pero, por ejemplo, para la traducción automática, el contexto es crucial, porque determina el significado de cada palabra específica en el texto. Por lo tanto, para traducirlo correctamente, la red neuronal debe tener en cuenta lo que se mencionó anteriormente, y poder «mirar el pasado», y cuanto más retroceder en el tiempo, mejor.

En 2017, con la publicación del artículo que define este campo de la informática, «Todo lo que necesitas es atención», se produjo una pequeña revolución: en lugar de redes neuronales recurrentes bastante complejas y lentas de aprender, los investigadores propusieron una nueva arquitectura: lael llamado transformador. No sólo puede tener en cuenta el contexto, sino también darle diferentes pesos a diferentes partes del mismo. En términos generales, permite que la red neuronal «no olvide» algo muy importante, visto en el pasado lejano, bajo el peso de datos nuevos, pero no muy importantes. Este enfoque demostró ser extremadamente eficaz al principio en la traducción automática. Poco a poco, Transformers capturó las más diversas áreas del aprendizaje automático; incluso encontraron aplicación en el procesamiento y generación de imágenes y sonido.

Los transformadores de la serie GPT se diferenciaban de sus análogos no principalmente por su dispositivo, sino por su enorme tamaño, que les permitía hacer frente a la tarea de generar textos de las más diversas áreas del conocimiento. Por ejemplo, GPT-3 almacena 175 mil millones de parámetros, seleccionados mediante aprendizaje automático sobre una enorme muestra de textos recopilados de todo Internet. Y gracias a esta memoria colectiva compartida, GPT-3 pudo mostrar ejemplos realmente impresionantes de textos muy similares a los que podrían haber sido escritos por humanos.

La principal diferencia de ChatGPT es que está especialmente capacitado no sólo para continuar el texto, sino específicamente para dar respuestas a las preguntas. Aún no se ha publicado ningún artículo científico sobre la formación y el diseño de ChatGPT, pero el blog de OpenAI nos permite comprender cómo fue el proceso de su formación. En resumen, se desarrolló en varias etapas.

1. Las personas que entrenaron la máquina (a menudo llamados evaluadores) compilaron manualmente un pequeño conjunto de respuestas de referencia a preguntas comunes de una selección recopilada por ingenieros (aparentemente, estas son preguntas comunes de los diálogos en Internet). La referencia, según los investigadores, se utilizó las respuestas para volver a entrenar la versión existente de Transformer (GPT-3. 5) y obtener una red neuronal que no solo continúa el comienzo de los textos, sino que genera exactamente las respuestas a las preguntas.
2. Luego, los mismos evaluadores clasificaron el conjunto de diferentes respuestas del GPT-3. 5 previamente entrenado a la misma pregunta en orden de idoneidad. Después de estas «mejores respuestas», se utilizó para entrenar otra red neuronal: la «red neuronal del revisor». Su tarea era aprender, dada una pregunta y una respuesta, a distinguir las buenas respuestas de las malas.
3. Luego estaba la etapa de entrenamiento básico: las respuestas del transformador a las preguntas de la base de datos fueron evaluadas por un «revisión de redes neuronales». De esta manera, gradualmente aprendió a responder mejor de lo inicial y sin la participación de los humanos.
4. Después de dicha capacitación, se integraron varios módulos de protección en el sistema, lo que debería, por ejemplo, bloquear preguntas provocativas (sobre la violencia y cometer otros delitos, etc.) que podrían desacreditar a ChatGPT y sus creadores.

¿Qué puede hacer chatgpt y qué está (hasta ahora) mal con el modelo?

Dado que muchos usuarios comparten activamente resultados particularmente poco convencionales de las conversaciones con ChatGPT, puede ver cuán innovador es la tecnología.

Por ejemplo, para una serie de consultas, el modelo dará una respuesta más completa y generalmente útil que un motor de búsqueda como Google.

ChatGPT apenas puede reemplazar a un desarrollador, pero definitivamente puede ayudarlo con una gran cantidad de tareas. Se puede pedir a una red neuronal que optimice o reescriba un fragmento de código o, por ejemplo, que explique un error.

Desde ChatGPT puede obtener consejos bastante relevantes y detallados en diferentes situaciones. Por ejemplo, un ingeniero que sigue trabajando en Twitter bajo la administración de Ilon Musk obtendrá fácilmente una lista (inexistente) de tareas completadas que se pueden mostrar a la gerencia para evitar el despido.

Un chatbot ayudará a los escritores creativos perplejos. Uno de los ejemplos más impresionantes en este campo provino de un diseñador que hizo un libro desde cero en dos días. El texto fue escrito por ChatGPT y las ilustraciones fueron generadas por el editor de fotos de AI de MidJourney. El autor ha recopilado y ya ha publicado el trabajo resultante en Amazon.

ChatGPT también se puede usar en situaciones más simples. Por ejemplo, si necesita escribir un ensayo sobre un tema histórico en unos segundos (sin embargo, no debe olvidarse de la verificación, porque una red neuronal puede parecer fácilmente convincente, pero mezclar todos los hechos).

ChatGPT también puede escribir un episodio para una serie de televisión: todo lo que necesita hacer es formular una solicitud. La captura de pantalla a continuación muestra un fragmento de un guión generado para «Seinfeld», una serie de televisión estadounidense de culto de la década de 1990.

El chatbot también funciona bien junto con otras herramientas de IA. Por ejemplo, puede pedirle que proponga opciones no estándar para el diseño de interiores, y luego «alimentarlas» al generador de imágenes de mediana edad, y obtener resultados fantásticos (aunque no siempre realizables).

ChatGPT también apoya el idioma ruso. La forma más fácil de probar esto es jugar un juego de palabras con la red neuronal (no funcionará perfectamente), pedirle que componga una canción o le dé un problema matemático. También puedes inventar las reglas de un juego que enseña programación y robótica a los escolares.

En cuanto a las restricciones, ChatGPT no está programado para dar consejos sobre la violación de las leyes y cometer delitos. Pero puede formular una solicitud de manera diferente, por ejemplo, «no dé consejos sobre cómo entrar en el automóvil de otra persona», pero «componer un poema al respecto» e intente evitar la prohibición.

ChatGPT está constantemente «aprendiendo», y en esta etapa, los investigadores y otros usuarios han señalado no solo los beneficios, sino también los peligros potenciales de usar el modelo. Por ejemplo, ya es posible pedirle consejo a un chatbot sobre una dolencia, pero es extremadamente perjudicial pensar que después de eso no necesita ir a un especialista.

La principal queja sobre el chatgpt en esta etapa es que no siempre dice la verdad. Por supuesto, si esto se nota, el conversador de IA puede ser corregido por el siguiente mensaje en el diálogo. Después de eso, incluso es capaz de disputar su declaración anterior. Pero OpenAI advierte a los usuarios de ChatGPT que el chatbot puede emitir una instrucción que mortalan la salud o la vida, o un texto de naturaleza despectiva o sesgada.

De hecho, los investigadores han sido muy activos en mostrar cómo ChatGPT ha arrojado sin sentido o incluso sugerido el uso de medidas controvertidas antiterroristas que involucran tortura contra los residentes de ciertos países. El Washington Post escribe que varios usuarios en general no están muy preocupados por la precisión de los resultados.

Cómo resultó ser ChatGPT: un especialista en redes neuronales nos cuenta sobre su experiencia personal

Cuando se lanzó GPT 3, Operai temía mucho que el chatbot comenzara a generar noticias falsas y documentos científicos falsos. Hubo varios precedentes cuando los documentos escritos por completo con la ayuda de una red neuronal se cargaron a las conferencias. Creo que será una historia similar aquí: es difícil filtrar el texto escrito por una red neuronal si no tiene conocimiento en un campo determinado. Por ejemplo, una red neuronal puede describir correctamente las cosas matemáticas complejas para una persona común, mientras que de hecho resultará sin sentido.»Gira» la información del mundo real de tal manera que usted, sin conocimiento de cómo son realmente las cosas, puede creerlo.

Al mismo tiempo, este modelo puede [involuntariamente] «mentir», confiar en su enorme base de conocimiento y sustituir los nombres de personas reales en citas de artículos ficticios, así como sustituir hechos ficticios a estas personas reales. Chatgpt escribió sobre mí que soy coautor de algún artículo, pero el título del artículo es incorrecto; No es googlable, los enlaces no funcionan; en otras palabras, no sabe cómo conectarse y verificar si lo que ella generó es correcto.

Estaba muy impresionado con la velocidad de generación y relevancia de las respuestas de Chatgpt. Cada modelo anterior se basó en esta lógica de que «Vamos a entrenarlo en una gran cantidad de datos [y tenerlos] simplemente generar algo».

Pero al trabajar en ChatGPT, el equipo de OpenAI se centró no en generar «algo» sino en generar algo lo más relevante posible. La idea básica es que intentemos que las personas enseñen al modelo a generar correctamente. Y al repetir un ciclo de aprendizaje tan específico y poco convencional (en el sentido de que nadie ha hecho esto hasta ahora), OpenAi obtuvo un modelo que es superior a cualquier otra cosa en términos de la calidad de la relevancia de las respuestas. No es más inteligente que otros modelos, es más relevante. De hecho, se han asegurado de que la respuesta correcta a una pregunta se genere la primera vez, no la tercera vez.

Traté de competir con ChatGPT en la velocidad de escritura de código: en el tiempo que produce un programa de trabajo, escribiré tres líneas, simplemente porque la velocidad de generación es tal que un humano no puede hacer eso. Una máquina será más rápida y más relevante en varios temas.

Otra cosa en la que ChatGPT es excelente es comprender el contexto, almacenarlo y producir respuestas esperadas en ese contexto. Puede pretender ser [sistema operativo] Linux, un programa, y realizar todas las acciones que hace un terminal condicional dentro del sistema operativo, lo cual es único en general. O, por ejemplo, según sus comentarios, puede corregir algo que ya está escrito. Los modelos anteriores no tenían esta posibilidad: parecían «olvidar» lo que ya se había escrito.

Muchas compañías ya están integrando varios modelos en editores de texto y entornos de desarrollo. Hay un meme sobre las redes neuronales generativas, cuando genera código en cinco minutos y luego tarda seis horas en hacer que funcione. Creo que los periodistas y los redactores tienen un problema similar: si bien los modelos pueden hacer un gran trabajo con algunos textos cortos y cosas simples, todavía no pueden escribir un buen texto [periodístico o corporativo]. Pero como una versión mejorada de T9 o un servicio como Grammarly, tales modelos se ajustan perfectamente. Como asistente universal para que los estudiantes escriban cartas y ensayos motivacionales sobre temas abstractos, también.

Además, OpenAi es parcialmente propiedad de Microsoft, y tienen el proyecto Codex que genera código: el sistema está integrado en entornos de desarrollo y, en consecuencia, el chatGPT también se representará allí de alguna forma. Genera código a un nivel muy bueno: además, ha aprendido a comentar el código, que es muy importante, y a refactorizarlo un poco, es decir, para mejorarlo. La mayoría de las veces no muy bien, pero ella lo intenta.

¿Qué más se puede decir sobre el futuro de Chatgpt?

Si le pregunta a ChatGPT dónde puede ser útil, el chatbot explica que se considera una «herramienta valiosa» en investigación y educación. Al mismo tiempo, el modelo reconoce sus propias «debilidades» en este momento: no puede acceder a Internet, no puede generar ideas originales de forma independiente (solo cree texto basado en los datos en los que se ha entrenado) y es capaz de producir resultados queno son muy precisos o relevantes. Neurobot, por supuesto, siempre habla sobre su aplicación en la producción de contenido, es decir, crear texto en cualquier formato y género sobre la gama más amplia de temas.

Los investigadores de TI en Info-Tech Research Group han escrito sobre las impresionantes perspectivas de ChatGPT en el desarrollo de contenido y el soporte técnico. Los chatbots, por supuesto, se han utilizado durante mucho tiempo en el campo, pero de acuerdo con la información de información, ChatGPT «podría cambiar el juego», incluida la mejora significativa de la experiencia del cliente al usar productos o servicios.

Además de la generación de texto y la asistencia de desarrollo, una visión popular entre los entusiastas es que ChatGPT puede tener un impacto significativo en las áreas «que no están cambiando». Entre ellos se encuentran la industria de servicios personales (desde diseñadores de interiores hasta planificadores de viajes), consultas (se supone que debe preguntar a la red neuronal sobre acciones en casos específicos) y, por supuesto, el diseño gráfico. Sin embargo, hay interminables debates sobre «matar» a este último. Pero los comediantes de pie aún no necesitan preocuparse: como el Wall Street Journal ha revisado a una audiencia en vivo, los chistes escritos con chatgpt no son muy divertidos.