Guardrails AI aborda el problema de confiabilidad de los LLM con una financiación inicial de $7.5 millones

Desde San Francisco, el 15 de febrero de 2024, Guardrails AI, una compañía pionera en la asegurabilidad de la inteligencia artificial (IA), hizo su lanzamiento oficial en la conferencia AI in Production. La empresa presentó Guardrails Hub, un producto de código abierto diseñado para que los desarrolladores construyan, contribuyan, compartan y reutilicen técnicas avanzadas de validación, conocidas como validadores. Estos validadores son utilizables con Guardrails, el popular producto de código abierto de la empresa, que proporciona una capa crítica de confiabilidad para el desarrollo de aplicaciones de IA, garantizando su adherencia a las directrices y normas establecidas.

El surgimiento de la Generación de IA (GenAI) lleva consigo nuevos desafíos para la tecnología. La GenAI está abriendo caminos inéditos para que los sistemas de IA colaboren con los humanos. Para validar y disminuir el riesgo de acciones no deseadas, es fundamental reforzar las suposiciones básicas humanas a través de la validación.

Torsten Volk, director de investigación en Enterprise Management Associates, enfatizó la importancia de supervisar las respuestas de los LLM ante cualquier cambio, aún menor, en el modelo subyacente. Según Volk, Guardrails AI proporciona una capa de gobernanza que busca minimizar los riesgos asociados a esta dependencia creciente de los LLM dentro de las aplicaciones.

Shrey Shahi, asesor técnico del CEO en Robinhood, destaca la importancia de la seguridad de la IA con Guardrails en su camino hacia la adopción de la IA, comprometidos con un valor de seguridad primero, especialmente en el sector de los servicios financieros.

Guardrails ya es una herramienta esencial para los desarrolladores, con más de 10,000 descargas mensuales y alrededor de 2800 estrellas en GitHub. La capa de seguridad de Guardrails rodea la aplicación de IA, mejorando la confiabilidad e integridad a través de mecanismos de validación y corrección. Los usuarios pueden definir los validadores, que pueden ser desde reglas simples hasta chequeos de IA más avanzados. Algunos de sus usos incluyen:

• Reducción de las 'alucinaciones' verificando la factualidad
• Mantener una comunicación de chatbot coherente con la marca
• Aplicar políticas y regulaciones en flujos de trabajo automatizados por IA

"Con la introducción de Guardrails en 2023, nos comprometimos a que el desarrollo responsable de la IA debía ser transparente e involucrar a múltiples partes interesadas," dijo Shreya Rajpal, cofundadora y CEO de Guardrails AI. Rajpal, con una década de experiencia en IA y habiendo trabajado en sistemas de IA para autos autónomos en Drive.ai y sistemas autónomos en Apple, entiende la importancia de una adopción segura de las tecnologías GenAI.

Guardrails Hub facilita la creación, el intercambio y la implementación de validadores, ya contando con 50 validadores construidos previamente. Con la Hub, los desarrolladores pueden:

• Crear validadores personalizados
• Contribuir y colaborar con la comunidad
• Reutilizar validadores existentes
• Combinar validadores en 'guardias'
• Garantizar la corrección y establecer límites de riesgo

Guardrails AI anunció también una ronda de financiación inicial por valor de $7.5 millones liderada por Zetta Venture Partners y con participación de Bloomberg Beta, Pear VC, Factory, GitHub Fund, y ángeles inversionistas en IA como Ian Goodfellow y Logan Kilpatrick. Este capital será destinado a la expansión del equipo de ingeniería y producto y para avanzar en sus productos.

"Guardrails AI representa no sólo una empresa, sino un movimiento hacia la seguridad del futuro de la IA en la empresa. Su compromiso con el código abierto y la innovación colaborativa en la gestión de riesgos de la IA garantizará que la evolución hacia aplicaciones de IA seguras y confiables sea accesible para todos," afirmó Apoorva Pandhi, socio gerente en Zetta Venture Partners.

Para más información sobre Guardrails AI, puede visitar su sitio web.

La información para medios y analistas está a disposición a través de Amber Rowland.

AI, Guardrails, financiación