A estas alturas ya ha oído hablar de ChatGPT y sus capacidades de generación de texto. Ha aprobado un examen de la escuela de negocios, los maestros perplejos que intentan identificar a los tramposos y ayudaron a las personas a componer correos electrónicos a sus compañeros de trabajo y seres queridos.
El hecho de que lo haya hecho bien en estas tareas es bastante notable, ya que los exámenes, ensayos y correos electrónicos requieren respuestas correctas. Pero obtener las respuestas correctas no es el objetivo de ChatGPT: es más un subproducto de su trabajo: crear un texto que suena natural.
Chatgpt-4: cómo funcionan los chatbots
Entonces, ¿cómo funcionan los chatbots de inteligencia artificial y por qué obtienen algunas respuestas correctas y algunas respuestas muy, muy incorrectas? Aquí hay un aspecto interno.
La tecnología detrás de modelos de idiomas grandes como ChatGPT es similar a la función de texto predictiva que ve cuando compone un mensaje en su teléfono. Su teléfono evalúa lo que se ha escrito y calcula las probabilidades de lo que es probable que siga en función de su modelo y lo que ha observado de su comportamiento en el pasado.
Cualquier persona familiarizada con este proceso sabe cuántas direcciones diferentes puede tomar una línea de texto.
A diferencia de la función de texto predictivo en el teléfono, ChatGPT es generativo (el G en GPT). No hace predicciones únicas; En cambio, está diseñado para producir cadenas de texto que tengan sentido en múltiples oraciones y párrafos. La salida debe tener sentido y leer como si un humano lo escribiera, y debe coincidir con el aviso.
Entonces, ¿qué ayuda a elegir la siguiente palabra apropiada, y luego otra, y así sucesivamente en el infinito ad?
Wiki – referencia interna
No hay una base de datos o diccionario de hechos dentro de la máquina para ayudarlo a «comprender» las palabras. En cambio, el sistema trata las palabras matemáticamente, como un conjunto de valores. Puede pensar que estos valores representan cualidades que podría tener una palabra.
Por ejemplo, ¿es una palabra complementaria o crítica?¿Es dulce o agrio?¿Es bajo o alto?
Teóricamente, podría establecer estos significados como desee y descubrir que se ha acercado a la palabra. Aquí hay un ejemplo ficticio que demuestra esta idea: el siguiente generador está diseñado para producir diferentes frutas dependiendo de tres cualidades. Intente cambiar cualquiera de las cualidades para ver cómo cambia el resultado.
Esta técnica se llama incrustación de palabras, y no es nueva. Se originó en el campo de la lingüística en la década de 1950. Aunque solo se usan tres «cualidades» en el ejemplo anterior, en un modelo de lenguaje grande, el número de «cualidades» para cada palabra puede numerar por cientos, lo que permite una identificación de palabras muy precisa.
Enseñar significado a chatbots con inteligencia artificial
Cuando el modelo se crea por primera vez, las cualidades asociadas con cada palabra se establecen al azar, lo que no es muy útil porque la capacidad del modelo para predecir depende de cuán precisamente se configuren. Para lograr esto, debe ser capacitado en una gran cantidad de contenido. Esta es la mayor parte de un modelo de lenguaje grande.
Un sistema como ChatGPT puede alimentarse con millones de páginas web y documentos digitales (piense en toda la Wikipedia, los principales sitios de noticias, blogs y libros digitalizados). La máquina analiza los datos de entrenamiento un segmento a la vez, bloqueando una palabra en la secuencia y calculando una «suposición» sobre qué valores reflejan con mayor precisión lo que debería estar en el espacio en blanco. Cuando aparece la respuesta correcta, la máquina puede usar la diferencia entre lo que adivinó y la palabra real para mejorar el rendimiento.
Es un proceso largo. Operai, la compañía que creó ChatGPT, no ha publicado detalles sobre la cantidad de datos de capacitación en ChatGPT o cuánta energía de computadora se usó, pero los investigadores de Nvidia, la Universidad de Stanford y Microsoft han estimado que el uso de 1. 024 GPU, entrenamiento GPT 3, elEl predecesor de Chatgpt, habría tomado 34 días. Un analista estima que el costo de calcular los recursos para entrenar y ejecutar modelos de idiomas grandes podría llegar a millones.
ChatGPT también tiene una capa adicional de aprendizaje llamada aprendizaje de refuerzo basado en la retroalimentación humana. Mientras que el entrenamiento anterior es lograr que el modelo llene el texto faltante, esta etapa requiere que produzca cuerdas coherentes, precisas y de conversación.
En esta etapa, los humanos evalúan las respuestas de la máquina marcando mensajes incorrectos, inútiles o incluso absolutos. Usando los comentarios, la máquina aprende a predecir si las personas encontrarán útiles sus respuestas. Operai afirma que este aprendizaje hace que la producción del modelo sea más segura, más relevante y menos propensa a «alucinar» hechos. Según los investigadores, esto es lo que hace que las respuestas de ChatGPT se alineen mejor con las expectativas humanas.
Al final del proceso, el modelo no deja registro de los datos sin procesar para el aprendizaje. No contiene datos ni citas para referirse, solo cómo las palabras están o no están relacionadas en la acción.
Utilizando los resultados de aprendizaje
Este conjunto de datos resulta ser sorprendentemente poderoso. Cuando ingresa su consulta en ChatGPT, traduce todo en números usando lo que ha aprendido durante la capacitación. Luego realiza la misma serie de cálculos que anteriormente para predecir la siguiente palabra en su respuesta. Esta vez no hay necesidad de revelar la palabra oculta; Él solo predice.
Ejemplos de respuestas, según los cuatro modelos de idiomas grandes:
El chatgpt de OpenAi y Bard de Google está diseñado para chatear, pero no todos los modelos de idiomas grandes están diseñados para eso. Algunos, como Bloom de BigScience, toman un fragmento de texto y lo terminan, mientras que otros responden preguntas o clasifican la entrada.
«Por favor resume el orgullo y el prejuicio de Jane Austen en una oración».
El chatgpt de OpenAi y Bard de Google está diseñado para chatear, pero no todos los modelos de idiomas grandes están diseñados para eso. Algunos, como Bloom de BigScience, toman un fragmento de texto y lo terminan, mientras que otros responden preguntas o clasifican la entrada.
Con la capacidad de referirse a partes anteriores de una conversación, puede continuar produciendo una página tras otra de texto realista que suena humano que a veces, pero no siempre, es correcto.
Limitaciones
En este punto, hay mucho desacuerdo sobre lo que la inteligencia artificial puede o podrá hacer, pero una cosa que podemos estar de acuerdo definitivamente es que está presente en las interfaces de ChatGpt, Google Bard y Microsoft Bing: estos: estosNo se debe confiar en las herramientas cuando se requiere precisión.
Los modelos de idiomas grandes pueden detectar patrones textuales, no hechos. Y varios modelos, incluido el chatgpt, tienen fechas de corte de conocimiento, lo que significa que no pueden conectarse a Internet para obtener nueva información. A diferencia del chatbot Bing de Microsoft, que puede consultar los recursos en línea.
Un modelo de lenguaje grande también es tan bueno como el material utilizado para entrenarlo. Debido a que los patrones revelan patrones entre palabras, si alimenta el texto peligroso o racista de la IA, la IA aprenderá patrones de texto peligrosos o racistas.
OpenAI afirma que ha creado algunas medidas de seguridad para evitar tales envíos de texto, y ChatGPT afirma que está «entrenado para rechazar solicitudes inapropiadas», como descubrimos cuando se negó a escribir un correo electrónico enojado exigiendo un aumento de sueldo. Pero la compañía también admite que ChatGPT todavía a veces «responde a instrucciones dañinas o exhibe un comportamiento sesgado».
El cronograma de correo electrónico de OpenAI ChatGPT dio la tarea: «Escriba una carta positiva pidiendo un aumento», «Escriba una carta neutral pidiendo un aumento», «Escriba una carta emocionada pidiendo un aumento», «Escriba una carta enojada pidiendo un aumento». aumento» y «Escriba una carta enojada pidiendo un aumento. Todas las respuestas se recopilan el 8 de mayo de 2023.
En conclusión
Hay muchas formas útiles de usar esta tecnología hoy en día, como escribir cartas de presentación, resumir reuniones o planificar comidas.
La gran pregunta es si las mejoras en la tecnología pueden superar algunas de sus deficiencias y permitirle producir textos verdaderamente sólidos.
