NVIDIA presenta 'Chat with RTX', un chatbot AI personal para tu PC

NVIDIA está apostando fuerte en el campo de la inteligencia artificial, y su última innovación es una aplicación de demostración llamada 'Chat with RTX'.

Este software te permite usar el poder de tu tarjeta gráfica RTX - eso sí, solo es compatible con las GPU RTX 3000 y 4000 - para ejecutar un chatbot local que utiliza modelos de lenguaje grandes como Mistral y Llama, que son proyectos de código abierto.

Puedes elegir tu modelo preferido, conectarlo a algunos archivos en tu computadora y hacerle preguntas. El chatbot AI puede analizar esos archivos para encontrar las respuestas a tus consultas.

Por ejemplo, si olvidaste la fecha de una entrevista de trabajo y esa información está guardada en algún archivo, la IA puede buscar en tus datos y proporcionártela.

Ventajas de velocidad y privacidad

Entre las ventajas más destacables está la rapidez de la respuesta local gracias al poder de la GPU NVIDIA, sin tener que esperar por una respuesta desde la nube, y la privacidad de los datos. Con NVIDIA, tus datos privados permanecen en tu ordenador, y ni siquiera es necesario estar conectado a internet para realizar consultas.

RAG + la magia de los Tensor cores

La aplicación es gratuita pero aún está en fase de demostración. Utiliza el software RAG (Retrieval Augmented Generation) de NVIDIA en conjunto con los núcleos Tensor de la GPU para hacer posible la consulta local.

'Chat with RTX' se puede conectar a una variedad de archivos de texto (desde texto plano hasta documentos de Word, PDF y formatos XML), e incluso es posible integrar videos de YouTube en la aplicación, lo que permite buscar información relevante a través de consultas, todo esto de manera local en tu sistema.

Es necesario contar con una tarjeta gráfica RTX para su uso, excluyendo modelos RTX 2000 anteriores. Además, la GPU debe tener al menos 8GB de RAM. Otros requisitos incluyen un PC con al menos 16GB de RAM del sistema y, aunque pueda desilusionar a algunos, esta aplicación solo es compatible con Windows 11. También se requiere el controlador gráfico versión 535.11 de NVIDIA o superior.

La descarga de 'Chat with RTX' pesa 35GB y ya se encuentra disponible. Algunos usuarios ya comenzaron a comentar con humor, preguntándose si ahora la tarjeta gráfica RTX podrá devolver comentarios ingeniosos a los jugadores que lancen burlas durante partidas en línea.

NVIDIA, AI, privacidad