La técnica detrás de los premios de IA de ChatGPT - Pero sus creadores están preocupados

Andrew Barto y Richard Sutton, quienes recibieron el más alto honor en computación esta semana por su trabajo fundamental en el aprendizaje por refuerzo, no tardaron en utilizar su nueva plataforma para alertar sobre las prácticas de desarrollo de IA inseguras en la industria.

La pareja fue anunciada como recipientes del Premio Turing A.M. 2024 el miércoles, a menudo denominado el "Premio Nobel de la Computación", el cual incluye un premio de $1 millón financiado por Google.

En vez de simplemente celebrar su logro, criticaron de inmediato lo que ven como un despliegue peligrosamente apresurado de las tecnologías de IA.

"Liberar software a millones de personas sin salvaguardias no es una buena práctica de ingeniería," dijo Barto al Financial Times. "La práctica de la ingeniería ha evolucionado para intentar mitigar las consecuencias negativas de la tecnología, y no veo que eso se esté practicando por las empresas que están desarrollando."

Su evaluación comparó las prácticas actuales de desarrollo de IA con "construir un puente y probarlo haciéndolo usar a las personas" sin las debidas verificaciones de seguridad, a medida que las empresas de IA priorizan los incentivos comerciales sobre la innovación responsable.

El viaje de la pareja comenzó a fines de la década de 1970 cuando Sutton era estudiante de Barto en la Universidad de Massachusetts. A lo largo de la década de 1980, desarrollaron el aprendizaje por refuerzo, una técnica donde los sistemas de IA aprenden a través de prueba y error al recibir recompensas o penalizaciones, cuando pocos creían en el enfoque.

Su trabajo culminó en su influyente libro de texto de 1998 "Reinforcement Learning: An Introduction," que ha sido citado casi 80 mil veces y se ha convertido en la biblia para una generación de investigadores en IA.

"El trabajo de Barto y Sutton demuestra el inmenso potencial de aplicar un enfoque multidisciplinario a los desafíos de largo plazo en nuestro campo," dijo el presidente de la ACM, Yannis Ioannidis, en un anuncio. "El aprendizaje por refuerzo continúa creciendo y ofrece un gran potencial para avanzar en la computación y en muchas otras disciplinas."

El Premio Turing de $1 millón llega mientras que el aprendizaje por refuerzo sigue impulsando la innovación en robótica, diseño de chips y modelos de lenguaje grandes, con el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) convirtiéndose en un método crítico de entrenamiento para sistemas como ChatGPT.

Preocupaciones de seguridad en la industria

Aún así, las advertencias de la pareja resuenan con las crecientes preocupaciones de otros nombres importantes en el campo de la informática.

Yoshua Bengio, él mismo un premiado con el Turing, apoyó públicamente su postura en Bluesky.

"Felicidades a Rich Sutton y Andrew Barto por recibir el Premio Turing en reconocimiento a sus importantes contribuciones al aprendizaje automático," dijo. "También me uno a ellos: Publicar modelos al público sin las debidas salvaguardias técnicas y sociales es irresponsable."

Su posición se alinea con las críticas de Geoffrey Hinton, otro ganador del Premio Turing, conocido como el padre de la IA, así como una declaración de 2023 de los principales investigadores y ejecutivos de IA, que incluyeron al CEO de OpenAI, Sam Altman, y que llamaron a mitigar los riesgos de extinción causados por la IA como una prioridad global.

Exinvestigadores de OpenAI han expresado preocupaciones similares.

Jan Leike, quien recientemente renunció como jefe de iniciativas de alineación de OpenAI y se unió a la empresa rival Anthropic, señaló la insuficiencia del enfoque en la seguridad, escribiendo que "construir máquinas más inteligentes que los humanos es un empeño inherentemente peligroso."

"En los últimos años, la cultura de seguridad y los procesos han quedado en segundo plano frente a productos llamativos," dijo Leike.

Leopold Aschenbrenner, otro exinvestigador de seguridad de OpenAI, calificó las prácticas de seguridad en la empresa como "egregiamente insuficientes". Al mismo tiempo, Paul Christiano, quien también lideró el equipo de alineación de modelos de lenguaje en OpenAI, sugirió que podría haber un "10-20% de probabilidad de un takeover de IA, con muchos o la mayoría de los humanos muertos."

A pesar de sus advertencias, Barto y Sutton mantienen una perspectiva cautelosamente optimista sobre el potencial de la IA.

En una entrevista con Axios, ambos sugirieron que los miedos actuales sobre la IA podrían estar exagerados, aunque reconocen que una agitación social significativa es posible.

"Creo que hay muchas oportunidades para que estos sistemas mejoren muchos aspectos de nuestra vida y sociedad, siempre que se tomen las precauciones suficientes," dijo Barto a Axios.

Sutton ve la inteligencia artificial general como un momento crucial, enmarcándola como una oportunidad para introducir nuevas "mentes" en el mundo sin que se desarrollen a través de la evolución biológica, abriendo esencialmente las puertas para que la humanidad interactúe con máquinas sintientes en el futuro.

Editorializado por Sebastian SinclairIA, aprendizaje, premios