ChatGPT es una red neuronal para generar continuación de texto basada en un modelo de idioma grande. Memoriza todo lo que el interlocutor ha dicho. Pero no importa cuán avanzados sean los modelos de idiomas actuales, tienen inconvenientes
Chatgpt Chatbot es lo único que se habla en Internet. El código y el texto están escritos con su ayuda, los hilos de Twitter se crean al respecto, el número de participantes registrados es tan grande que el sistema «se encuentra» casi todos los días, incapaz de hacer frente a la carga.
ChatGPT está relacionado con la inteligencia artificial, las redes neuronales y la simulación de habla natural. Entendamos qué es esto y cómo funciona.
¿Qué es chatgpt?
Le preguntamos al hombre mismo.
ChatGPT aún no se ha decidido por su género, pero no hay nada extraño en eso, solo tiene unos pocos meses. La primera versión se abrió a los usuarios en noviembre de 2022. El desarrollador es la compañía estadounidense OpenAI, completamente dedicada al estudio y capacitación de inteligencia artificial. La junta directiva incluye, entre otros, Ilon Musk.
ChatGPT es una red neuronal para generar continuación de texto basada en el modelo de idioma grande, o LLM, del modelo de lenguaje grande. Este es el nombre de una clase de modelos de procesamiento del lenguaje natural, o PNL: procesamiento del lenguaje natural. Su peculiaridad es que absorben una gran cantidad de información textual y pueden formar conexiones entre palabras individuales, para predecir cuál será la siguiente palabra en una oración incompleta.
Una pequeña digresión lírica. Los modelos de idiomas más antiguos utilizados en el pasado se basan principalmente en la tecnología de memoria a largo plazo (LSTM). Completan el espacio vacío con la palabra estadísticamente más probable de acuerdo con el contexto.
LSTM tiene inconvenientes, por supuesto:
- Las palabras que rodean la «brecha» son equivalentes para este modelo de idioma. Por ejemplo, la expresión «Vasya ___ para leer» El modelo puede completar la palabra «odia» porque es estadísticamente más probable que ocurra con la palabra «leer». El hecho de que un Vasya en particular sea un gran fanático de la lectura será ignorado. La inteligencia artificial no puede entender cuál de las palabras, «vasya» o «leída», es más importante en el contexto;
- Las palabras son evaluadas por el modelo secuencialmente y como unidades separadas, no en el contexto de todo el texto. Es decir, este contexto es muy limitado. La inteligencia artificial no puede echar un vistazo interno a todo el texto para formar relaciones de causa y efecto.
Con estas dificultades en mente, el equipo de Google Brain, el proyecto de investigación de inteligencia artificial de Google, ha presentado algo completamente diferente. A saber, transformadores que pueden procesar todas las entradas simultáneamente. Utilizan el mecanismo de autoeficiencia, o el mecanismo de atención, que permite que el sistema busque conexiones entre las palabras, así como las palabras individuales etiquetar como más o menos significativas en el contexto.
Así es como los modelos de idiomas grandes se volvieron aún más inteligentes. GPTS apareció.
¿Cómo funciona el chatgpt?
De nuevo, le preguntamos al bot:
El GPT en el nombre del bot del chat se refiere al transformador generativo de pre-entrenamiento, un modelo de generación de idiomas previamente capacitado. La primera versión de GPT se lanzó en 2018 y fue prefijada GPT-1. En 2019, se lanzó la segunda versión, en 2020 el tercero y en 2022 – InstructGPT y el héroe de nuestro artículo ChatGpt Chatbot basado en él. Cada uno funcionó mejor que el anterior, el texto procesado de manera más eficiente e imitó el discurso humano con un éxito creciente.
Técnicamente, todas las versiones funcionan de la misma manera, utilizando la arquitectura del transformador. Esto significa que tienen un codificador que procesa el texto entrante y un decodificador que genera texto saliente. La clave de su operación es un mecanismo de atención que les permite clasificar las palabras de acuerdo con su importancia. Por ejemplo, en la oración «el animal no cruzó la carretera porque estaba demasiado cansado», el mecanismo GPT asociaría la parte «demasiado cansada» con el «animal», algo que las redes neuronales menos avanzadas eran incapaces de hacer. Para lograr esto, cada palabra en una oración se da clave, consulta y vectores de valor, dado un peso, es decir, importancia en el contexto, y luego se compara repetidamente con todas las demás palabras.
ChatGPT se basa en una versión mejorada de GP T-3 – InstructGPT, en la que los especialistas de Operai utilizaron varias otras tecnologías:
- Modelo de ajuste fino supervisado (SFT), un método para mejorar la precisión del modelo. Operai contrató a 40 personas que tomaron consultas y les escribieron respuestas ellos mismos para que el sistema pudiera obtener una variedad de datos para una mayor capacitación, una especie de biblioteca de conocimiento. A partir de esto, se creó el modelo SFT, o GP T-3. 5;
- El modelo de recompensa es el siguiente paso. En resumen, el sistema recibió datos de entrada y generó varias respuestas, que fueron clasificadas manualmente por usuarios de mejor a peor;
- Modelo de aprendizaje de refuerzo: el tercer y último paso, en el que el modelo recibió una consulta, generó una respuesta final y luego los usuarios calificaron lo buena que fue la respuesta. Usando la retroalimentación de los humanos, el modelo de idioma se vuelve más preciso, aprendiendo a imitar completamente el habla y el diálogo.
Por ejemplo, así:
Valió la pena una corrección y ChatGPT comenzó a generar la respuesta correcta:
Es por eso que cuando un usuario habla con un chatbot, parece que se está comunicando como una persona real. Simplemente memoriza todo lo que se le ha dicho.
¿Cuáles son las debilidades de Chatgpt?
No importa cuán avanzados sean los modelos de lenguaje moderno, todavía no son humanos. Tienen debilidades. Por ejemplo, a veces se niegan a seguir las instrucciones, a veces la información que proporcionan no es confiable o absoluta falsa. A veces no es fácil entender cómo exactamente la máquina llegó a una cierta conclusión. Y si no está explícitamente prohibido hacerlo, puede producir contenido tóxico. Literalmente: los modelos de idiomas basados en el modelo de aprendizaje de refuerzo se les puede enseñar cosas malas.
Sin embargo, ChatGPT es útil incluso como es. Aquí le hemos contado sobre cinco formas de usarlo en este momento. Y aquí lo invitamos a registrarse para un maratón gratuito de dos días en trabajar sin código, donde le contamos más sobre todo tipo de herramientas de TI interesantes
En el final, le preguntamos a ChatGPT en qué no puede dejar de pensar muchas personas:
