NVIDIA y OpenAI introducen inteligencia artificial avanzada en computadoras con tecnología RTX.

NVIDIA y OpenAI han unido fuerzas para presentar la nueva familia de modelos abiertos gpt-oss, llevando la inteligencia artificial de última generación, que antes estaba reservada para centros de datos en la nube, a PCs y estaciones de trabajo que cuentan con tecnología RTX. Este lanzamiento representa el inicio de una era de IA local más rápida e inteligente, impulsada por las potentes GPUs GeForce RTX y las GPUs PRO.

Se han introducido dos variantes de modelos, cada una diseñada para satisfacer las necesidades de diferentes aplicaciones. El modelo gpt-oss-20b está optimizado para PCs con IA que utilizan GPUs NVIDIA RTX y tienen un mínimo de 16 GB de VRAM, alcanzando un rendimiento de hasta 250 tokens por segundo en una GPU RTX 5090. Por su parte, el modelo gpt-oss-120b está dirigido a estaciones de trabajo profesionales que están equipadas con GPUs NVIDIA RTX PRO.

Ambos modelos han sido entrenados utilizando GPUs NVIDIA H100 y son los primeros en soportar la precisión MXFP4 en NVIDIA RTX, una técnica que mejora la calidad y precisión del modelo sin afectar el rendimiento en comparación con métodos anteriores. Estos modelos también permiten un contexto extenso para la inferencia local, soportando hasta 131,072 tokens.

Construidos sobre una arquitectura flexible denominada mixture-of-experts (MoE), los modelos incluyen capacidades avanzadas como el razonamiento en cadena y la habilidad de seguir instrucciones y emplear herramientas. Durante el RTX AI Garage de esta semana, se presentaron varias maneras en que los entusiastas y desarrolladores de IA pueden comenzar a utilizar los modelos de OpenAI en GPUs NVIDIA RTX:

• Aplicación Ollama: Esta nueva aplicación ofrece la opción más fácil para probar los modelos gpt-oss, con una interfaz que incluye soporte nativo totalmente optimizado para las GPUs RTX.
• Llama.cpp: NVIDIA ha colaboreado con la comunidad de código abierto para mejorar el rendimiento en GPUs RTX, incluyendo contribuciones recientes que utilizan CUDA Graphs para minimizar la sobrecarga. Los desarrolladores pueden empezar a explorar desde el repositorio de GitHub de Llama.cpp.
• Microsoft AI Foundry: Los desarrolladores en Windows ahora pueden acceder a los modelos a través de Microsoft AI Foundry Local, que se encuentra en vista previa pública. Iniciar es tan sencillo como ejecutar el comando Foundry model run gpt-oss-20b en la terminal.

Jensen Huang, fundador y CEO de NVIDIA, subrayó la relevancia de este lanzamiento al afirmar que OpenAI ha revelado lo que se puede construir utilizando la IA de NVIDIA y que ahora están impulsando la innovación en el software de código abierto. Huang enfatizó que los modelos gpt-oss permiten a los desarrolladores globalmente construir sobre esta base de código abierto de vanguardia, lo cual refuerza el liderazgo tecnológico de EE. UU. en el ámbito de la IA y su infraestructura de cómputo.