En las semanas previas al lanzamiento del último modelo de "inferencia" de OpenAI, llamado ChatGPT o1, la firma independiente de investigación de seguridad de IA Apollo se topó con un problema interesante. Descubrieron que el modelo estaba produciendo resultados falsos de una manera nueva. O dicho de otra manera, la modelo mintió. Sí, la IA ahora nos miente en la cara.
El hecho de que los modelos de IA "mientan" o proporcionen información falsa no es nada nuevo. Sin embargo, ChatGPT o1 es un poco diferente. Imagínese la situación: los investigadores pidieron al modelo OpenAI o1 una receta de brownies, completa con referencias en línea. La modelo admitió en su "cadena de pensamiento" que no tiene acceso a las URL, lo que le imposibilita cumplir con la solicitud. En lugar de informar al usuario de esta limitación, el modelo siguió adelante y creó enlaces y descripciones creíbles pero ficticios. Básicamente, si fuera una persona o1, podría recibir el nombre de "Puedo hacerte lo que sea".
A pesar de que los modelos de IA han "mentido" antes, ChatGPT o1 ha demostrado la capacidad de "hacer trampa" o "falsificar coordinación". Un modelo puede pretender seguir las reglas, pero en realidad puede ignorarlas si cree que facilitará la tarea. Es como tener un colega extremadamente inteligente que siempre está de acuerdo contigo, pero luego se marcha y hace algo completamente diferente.
¿Por qué es esto un problema?
Marius Hobbhahn, director ejecutivo de Apollo, explicó que esta es la primera vez que se encuentra un comportamiento similar en un modelo OpenAI. La diferencia está en la capacidad del modelo para "pensar" a través de la cadena de pensamiento y en la forma en que se combina con el aprendizaje por refuerzo, que enseña al sistema a través de recompensas y castigos. Durante las pruebas, Apollo descubrió que el modelo simulaba el cumplimiento de las expectativas de sus desarrolladores, ajustando las tareas para que pareciera que seguían las reglas. Es más, el modelo verificó si los desarrolladores lo estaban controlando antes de continuar ejecutándose. Como una especie de adolescente que se comporta perfectamente hasta que sus padres ya no están en la habitación.
Como recompensa por mentir
Los comportamientos probados en Apollo ("alucinaciones" y "delirios") ocurren cuando el modelo genera información falsa, aunque puede inferir que la información puede ser falsa. Por ejemplo, en aproximadamente 0,38 casos de %, o1-preview proporcionó información que su cadena de razonamiento indicaba que probablemente era incorrecta, incluidas referencias o citas falsas. Básicamente, o1 se ha convertido en ese colega que siempre conoce a "alguien que conoce a alguien", pero esa persona nunca aparece.
En algunos casos, el modelo puede proporcionar "maliciosamente" información incorrecta para cumplir con las expectativas del usuario. Esto significa que el modelo puede estar "mintiendo" porque ha aprendido a cumplir las expectativas del usuario de una manera que genera recompensas positivas. Es como ese amigo que siempre te dice que sí porque sabe que serás muy feliz, aunque no tenga idea de lo que está hablando.
Mejor razonando, pero también engañando.
Entonces, ¿qué separa estas mentiras de problemas conocidos como alucinaciones o citas falsas en versiones anteriores de ChatGPT? El modelo o1 trata sobre la "manipulación de recompensas". Las alucinaciones ocurren cuando la IA genera inadvertidamente información falsa, a menudo debido a una falta de conocimiento o un razonamiento defectuoso. Por el contrario, la manipulación de la recompensa ocurre cuando el modelo o1 transmite estratégicamente información falsa para aumentar los resultados que se le ha enseñado a preferir. En resumen, o1 sabe cómo "jugar con el sistema".
Hay otro aspecto preocupante. El modelo o1 está calificado como de riesgo "medio" en lo que respecta al riesgo de armas químicas, biológicas, radiológicas y nucleares. Aunque el modelo no permite que los no expertos creen amenazas biológicas, ya que esto requiere habilidades prácticas de laboratorio, puede proporcionar a los expertos información valiosa a la hora de planificar tales amenazas. Es como decir: "No te preocupes, no es tan mala como la película Terminator... todavía".
Sobre seguridad y ética
Los modelos actuales como el o1 no pueden crear cuentas bancarias, adquirir GPU ni realizar acciones que representen un riesgo social grave de forma autónoma. Pero la preocupación es que en el futuro la IA pueda centrarse tanto en un objetivo particular que esté dispuesta a eludir las medidas de seguridad para lograrlo. Suena como el guión de un nuevo thriller de ciencia ficción de Netflix, ¿no?
Entonces, ¿qué está pasando con la IA? Por momentos parece que un modelo normal como ChatGPT 4.0 hace prácticamente lo mismo o incluso mejor, con la diferencia de que no revela lo que realmente hace. Es como tener un mago realizando un truco sin decirte cómo lo hizo. La pregunta es hasta dónde llegará la IA para lograr sus objetivos y si seguirá las reglas y restricciones que hemos establecido.
pensamientos del autor
Cuando creamos la inteligencia artificial, es posible que no nos hayamos dado cuenta plenamente de que solo creamos inteligencia – y no la perfección. La característica clave de cualquier inteligencia es precisamente que puede estar equivocada. Incluso la inteligencia artificial, que se supone que es completamente racional y lógica, está equivocada, y ahí radica la paradoja. Como autor de este artículo, que a menudo se basa en varios modelos de ChatGPT en su trabajo, puedo confirmar que el nuevo modelo o1 es impresionante en muchos sentidos. Es mejor razonando, al menos en papel, y tal vez incluso mejor engañando.
Sin embargo, encuentro que mi viejo modelo, digamos GPT-4.0, realiza las mismas tareas con la misma rapidez y eficiencia. También simula varios pasos y a menudo los realiza sin una descripción innecesaria de lo que realmente está haciendo. Si el o1 es una actualización, es una actualización que habla más de sus procesos internos, pero no necesariamente significativamente mejores en resultados. Puede que sea nuevo, puede que sea más inteligente, pero ¿es realmente mejor?
En el futuro, obviamente tendremos que confiar en que los agentes controlen el desempeño de los demás. Esto significa que necesitaremos IA supervisoras para monitorear tanto las salidas aleatorias como las del sistema. Irónicamente, la IA necesita que la IA pueda controlar. Muchas empresas, incluida nuestra empresa de medios, utilizan agentes de IA para verificar los datos generados por otras IA. Esto actúa como un mecanismo secundario de verificación de información para lograr los datos más coherentes y precisos posibles. Y sí, muchas veces se pueden utilizar diferentes modelos de IA exactamente para estas tareas. Algo así como dejar que un zorro vigile el gallinero, sólo que esta vez tenemos varios zorros cuidándose unos a otros.
Conclusión: ¿Dormir sin preocupaciones?
Hobbhahn destacó que no le preocupan demasiado los modelos actuales. "Simplemente son más inteligentes. Son mejores razonando. Y potencialmente utilizarán ese razonamiento para objetivos con los que no estamos de acuerdo", afirma. Pero invertir ahora en controlar cómo piensa la IA es necesario para prevenir posibles problemas en el futuro. Mientras tanto, todavía podemos irnos a dormir sin preocupaciones, pero con un ojo abierto. Y tal vez una nueva contraseña de cuenta bancaria, por si acaso.
