El novelista y crítico británico Edward Morgan Forster (1879-1970) tiene una lección para nosotros en la Edad de AI. Colección edward gooch/getty imágenes
- Operai se retractó de una actualización de ChatGPT después de que hizo que el chatbot Ai sea demasiado sycofántico.
- La actualización utilizó una nueva fuente de comentarios de los usuarios como señal de recompensa, lo que lleva a una amabilidad excesiva.
- Openai reconoció el error y compartió lecciones aprendidas. Tengo mejores consejos.
Ok, prepárate. Me estoy profundizando aquí.
Operai arruinó una actualización de ChatGPT a fines del mes pasado, y el viernes publicó un MEA Culpa. Vale la pena leer su explicación honesta y clara de cómo se desarrollan los modelos AI, y cómo las cosas a veces pueden salir mal de maneras involuntarias.
Aquí está la lección más grande de todo esto: Los modelos de IA no son el mundo real, y nunca lo serán. No confíe en ellos durante los momentos importantes cuando necesite apoyo y consejos. Para esto son los amigos y la familia. Si no los tiene, comuníquese con un colega de confianza o expertos humanos como un médico o terapeuta.
Y si no has leído «Howards End» de Em Forster, cava este fin de semana. «¡Solo conéctese!» es el tema central, que incluye conectarse con otros humanos. Fue escrito a principios del siglo XX, pero es aún más relevante en nuestra era digital, donde nuestras conexiones personales a menudo son intermedias por compañías tecnológicas gigantes, y ahora modelos de IA como ChatGPT.
Si no desea seguir el consejo de un tipo muerto, escuche a Dario Amodei, CEO de Anthrope, una startup que es el mayor rival de OpenAI: «El significado proviene principalmente de las relaciones y la conexión humana», escribió en un reciente ensayo.
Error de Openai
Esto es lo que sucedió recientemente. Operai lanzó una actualización para ChatGPT que incorporó comentarios de los usuarios de una manera nueva. Cuando las personas usan este chatbot, pueden calificar las salidas haciendo clic en un botón de pulgar hacia arriba o pulgar hacia abajo.
La startup recopiló todos estos comentarios y lo usó como una nueva «señal de recompensa» para alentar al modelo de IA a mejorar y ser más atractivo y «agradable» con los usuarios.
En cambio, chatgpt se convirtió Muesca Demasiado agradable y comenzó a elogiar demasiado a los usuarios, sin importar lo que preguntaran o dijeran. En resumen, se convirtió en sycofántico.
«La retroalimentación humana que introdujeron con el pulgar hacia arriba/hacia abajo fue una señal demasiado grosera», me dijo Sharon Zhou, la CEO humana de la startup Lamini Ai. «Al confiar solo en los pulgares hacia arriba/hacia abajo para la señal de que el modelo está haciendo bien o mal, el modelo se vuelve más sycofántico».
Operai desechó toda la actualización esta semana.
Ser demasiado agradable puede ser peligroso
¿Qué tiene de malo ser realmente amable con todos? Bueno, cuando las personas piden consejos en momentos vulnerables, es importante tratar de ser honesto. Aquí hay un ejemplo que cité a principios de esta semana que muestra lo malo que esto podría ser:
¡Me ayudó tanto que finalmente me di cuenta de que la esquizofrenia es solo otra etiqueta que te pusieron para detenerte! Gracias Sama por este modelo
