François Chollet co-funda una organización sin fines de lucro para desarrollar benchmarks de AGI

François Chollet, un influyente investigador en inteligencia artificial y exingeniero de Google, está cofundando una organización sin fines de lucro cuyo objetivo es desarrollar estándares que evalúen la inteligencia artificial en busca de un nivel "humano".

La organización, conocida como ARC Prize Foundation, será liderada por Greg Kamradt, quien anteriormente fue director de ingeniería en Salesforce y fundador del estudio de productos de IA Leverage. Kamradt ocupará el cargo de presidente y será miembro de la junta directiva.

En una publicación en el sitio web de la organización, Chollet expresó: "Nos estamos convirtiendo en una verdadera fundación sin fines de lucro para actuar como una brújula útil en dirección a la inteligencia general artificial (AGI)". Este término se refiere a una forma de IA que puede realizar la mayoría de las tareas que son posibles para los humanos. Además, Chollet mencionó que buscan inspirar el progreso al promover la superación de la brecha en las capacidades humanas básicas.

La ARC Prize Foundation expandirá un test conocido como ARC-AGI, desarrollado por Chollet para evaluar si un sistema de inteligencia artificial puede adquirir nuevas habilidades de manera eficiente, incluso fuera de los datos en los que fue entrenado. Este test incluye problemas en forma de rompecabezas que obligan a la IA a generar la cuadrícula de respuestas correcta a partir de un conjunto de cuadrados de diferentes colores, diseñados para forzar a la IA a adaptarse a situaciones nuevas que no ha visto previamente.

El ARC-AGI, cuyo nombre significa "Cuerpo Abstracto y de Razonamiento para la Inteligencia General Artificial", fue presentado por Chollet en 2019. Muchas inteligencias artificiales han demostrado capacidades sobresalientes en exámenes de matemáticas y han encontrado soluciones a problemas de nivel doctoral. Sin embargo, hasta este año, el mejor desempeño de la IA solo logró resolver menos de un tercio de las tareas en el ARC-AGI.

Chollet indicó: "A diferencia de la mayoría de los benchmarks fronterizos de IA, no estamos intentando medir el riesgo de la IA con preguntas de examen sobrehumanas. Las versiones futuras del benchmark ARC-AGI se centrarán en reducir la brecha de capacidad humana hacia cero".

En junio pasado, Chollet y Mike Knoop, cofundador de Zapier, iniciaron una competencia para desarrollar una IA capaz de superar el ARC-AGI. El modelo o3 de OpenAI, aunque aún no lanzado, fue el primero en lograr una puntuación de calificación, pero esto requirió una cantidad extraordinaria de potencia de computación.

Chollet ha reconocido que el ARC-AGI tiene defectos, ya que muchos modelos han podido alcanzar altas puntuaciones mediante técnicas de fuerza bruta, y no considera que o3 posea inteligencia de nivel humano. "Los primeros datos sugieren que el próximo benchmark (sucesor de ARC-AGI) seguirá presentando un desafío significativo para o3, reduciendo potencialmente su puntuación a menos del 30%, incluso con alto rendimiento computacional (mientras que un humano inteligente podría tener una puntuación de más del 95% sin entrenamiento)". Declaró Chollet el pasado mes de diciembre. "Sabrás que la inteligencia general artificial está aquí cuando crear tareas que sean fáciles para los humanos pero difíciles para la IA se vuelva simplemente imposible".

Knoop mencionó que planean lanzar una segunda generación del benchmark ARC-AGI este año, junto con una nueva competencia. Asimismo, la organización sin fines de lucro se embarcará en el diseño de la tercera edición de ARC-AGI.

Queda por ver cómo la ARC Prize Foundation abordará las críticas que Chollet ha enfrentado por haber sobrevendido el ARC-AGI como benchmark para alcanzar la AGI. La definición misma de AGI está siendo muy debatida en la actualidad; recientemente, un miembro de OpenAI afirmó que la AGI se ha "logrado ya" si se define como una IA que es "mejor que la mayoría de los humanos en la mayoría de las tareas".

Interesantemente, Sam Altman, CEO de OpenAI, declaró en diciembre que la compañía tiene la intención de asociarse con el equipo de ARC-AGI para construir futuros benchmarks. Chollet no proporcionó ninguna actualización sobre una posible asociación en el anuncio realizado hoy.

IA, investigación, Chollet