Elon Musk advierte sobre la escasez de datos para el entrenamiento de la IA

Elon Musk, CEO de Tesla y X, ha expresado su preocupación acerca de la creciente dificultad para entrenar modelos de inteligencia artificial (IA) solo con datos generados por humanos. Según Musk, parece que nos hemos quedado sin un número suficiente de datos del mundo real para seguir entrenando modelos de IA, incluyendo su chatbot Grok.

"Hemos agotado básicamente la suma acumulativa del conocimiento humano en el entrenamiento de IA ... Eso ocurrió básicamente el año pasado," comentó Musk en una entrevista transmitida en vivo a través de X, realizada por el presidente de Stagwell, Mark Penn.

Estas declaraciones de Musk son similares a las del exinvestigador de OpenAI, Ilya Sutskever, quien vaticinó en diciembre pasado que la industria de la IA había alcanzado un "pico de datos". La solución propuesta por Musk para esta problemática es el uso de datos sintéticos, una estrategia que disonan con la tendencia adoptada por otras grandes empresas de tecnología como Google, OpenAI, Anthropic y Meta, que ya utilizan datos sintéticos para entrenar sus modelos.

"La única manera de complementar los datos del mundo real es con datos sintéticos, donde la IA crea datos de entrenamiento," explicó Musk. "Con datos sintéticos, la IA puede evaluarse a sí misma e involucrarse en un proceso de autoaprendizaje."

Aunque la utilización de datos sintéticos puede ofrecer importantes ahorros de costos para las empresas, algunos estudios advierten que una dependencia excesiva de estos datos puede conducir a un colapso del modelo, donde las respuestas de la IA se vuelven menos creativas y más sesgadas con el tiempo al ser entrenadas repetidamente sobre datos generados de manera recursiva.

A pesar de la falta de datos derivados de humanos, X ha lanzado recientemente la función Grok AI como una aplicación independiente para iOS. Este chatbot y generador de imágenes, que se caracteriza por su falta de protección de propiedad intelectual o barreras de contenido, anteriormente solo estaba disponible para aquellos que pagaban $8 al mes por una cuenta premium de X. Sin embargo, la nueva aplicación es gratuita para cualquiera que desee descargarla.

Elon, IA, datos, sintéticos, tecnología