NVIDIA presenta un plan de diseño colaborativo de memoria AI, aumentando el rendimiento de inferencia hasta 30 veces

NVIDIA ha anunciado que, a medida que aumentan las escalas de los modelos de IA y se generalizan las aplicaciones de agentes inteligentes, la presión sobre la memoria de las GPU está aumentando, con un suministro de HBM que se vuelve más ajustado y precios en aumento. NVIDIA propone mejorar la eficiencia del uso de la memoria a través del diseño colaborativo de GPU, CPU, redes, almacenamiento y software, en lugar de simplemente aumentar la capacidad de memoria de la GPU. En concreto, NVIDIA utiliza el formato de baja precisión NVFP4 para comprimir los pesos del modelo y el KV Cache, trasladando los contextos temporalmente inactivos a capas de almacenamiento de menor costo, y liberando espacio de HBM mediante el despliegue distribuido de múltiples GPU. En las pruebas de SemiAnalysis AgentX, el GB300 NVL72 alcanzó un rendimiento de inferencia de costo unitario hasta 10 veces superior en cargas de trabajo específicas en la plataforma H200; el Vera Rubin NVL72, en comparación con el GB300 NVL72, mostró un aumento de hasta 30 veces en el rendimiento de inferencia de costo unitario, mientras que la capacidad de HBM de una sola GPU solo aumentó aproximadamente un 3%.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.