Equipo de VMware y Nvidia en la empresa

Jul 31, 2023

Por María Korolov

Escritor colaborador, Network World |

Las empresas que intentan implementar IA generativa hoy en día tienen un problema importante. Si utilizan una plataforma comercial como OpenAI, tienen que enviar datos a la nube, lo que puede infringir los requisitos de cumplimiento y es costoso. Si descargan y ejecutan un modelo como Llama 2 localmente, necesitan saber mucho sobre cómo ajustarlo, cómo configurar bases de datos vectoriales para alimentarlo con datos en vivo y cómo ponerlo en funcionamiento.

La nueva asociación de VMware con Nvidia tiene como objetivo resolver estos problemas ofreciendo una plataforma de IA generativa totalmente integrada y lista para usar que las empresas pueden ejecutar en sus instalaciones, en instalaciones de colocación o en nubes privadas. La plataforma incluirá Llama 2 o una selección de otros modelos de lenguaje grandes, así como una base de datos vectorial para proporcionar información actualizada de la empresa al LLM.

El producto, VMware Private AI Foundation con Nvidia, contará con software de IA generativa y computación acelerada de Nvidia, y se construirá sobre VMware Cloud Foundation y estará optimizado para IA.

La necesidad de una plataforma como ésta es dramática. Según el estudio comparativo global de IA generativa de Lucidworks publicado este mes, el 96% de los ejecutivos y gerentes involucrados en los procesos de decisión de IA están priorizando activamente las inversiones en IA generativa, y el 93% de las empresas planean aumentar su gasto en IA durante el próximo año.

Pero la gestión de riesgos es una preocupación seria. El panorama regulatorio incierto y en evolución impacta significativamente las decisiones de inversión en IA generativa, afirmó el 77% de los directores ejecutivos encuestados en una encuesta reciente de KPMG. La priorización de una gestión eficaz de riesgos ha aumentado en todos los ámbitos en los últimos meses, informó KPMG, y la protección de los datos personales y las preocupaciones sobre la privacidad encabezan la lista de prioridades con un 63%, seguida de la ciberseguridad con un 62%.

La ejecución de grandes modelos de lenguaje en las instalaciones o dentro de otros entornos controlados por la empresa puede aliviar significativamente muchas de estas preocupaciones.

"Tener la opción de ejecutar un modelo localmente puede abrir muchas puertas para las empresas a las que simplemente se les prohibió usar modelos alojados públicamente, incluso si estuvieran alojados en una nube pública virtual", dice Bradley Shimmin, analista jefe de plataformas, análisis y análisis de IA. gestión de datos en la empresa de investigación Omdia.

Esto es particularmente importante para sectores fuertemente regulados como el financiero, afirma, o para casos de uso gubernamentales. Los LLM locales también pueden abordar problemas de residencia de datos.

"Tener la capacidad de tener modelos de última generación que se puedan ejecutar completamente en sistemas con espacios de aire es bastante convincente", afirma Shimmin. "Se trata de acercar el modelo a los datos. La gravedad de los datos está impulsando a toda la industria".

Si los modelos ejecutados localmente también son gratuitos y de código abierto, las empresas pueden ahorrar bastante dinero al no tener que pagar por las llamadas a la API de OpenAI. "La latencia es menor, el costo es menor y usted tiene más control sobre ello", dice Manish Goyal, líder global de análisis e inteligencia artificial en IBM Consulting.

La nueva oferta de VMware está posicionada para coger la ola.

Y esta semana en la conferencia VMware Explore 2023, Nvidia y VMware están demostrando cómo las empresas pueden usar sus herramientas para descargar LLM gratuitos y de código abierto, personalizarlos e implementar IA generativa de nivel de producción en entornos VMware.

¿La captura? VMware Private AI Foundation no estará disponible hasta principios del próximo año.

"Creemos que las empresas incorporarán más cargas de trabajo de IA de su generación a sus datos, en lugar de trasladarlos a los servicios de nube pública", afirma Paul Turner, vicepresidente de gestión de productos para vSphere y plataforma de nube en VMware.

Las empresas pueden tomar modelos como Llama 2 de Meta, colocar los modelos en sus centros de datos junto a sus datos, optimizarlos y ajustarlos, y crear nuevas ofertas comerciales, afirma. "Ayuda a crear diferenciadores comerciales para las empresas".

Sin embargo, cuando las empresas intentan hacer esto por su cuenta, puede resultar difícil integrar todos los componentes de hardware y software con todas las aplicaciones y kits de herramientas necesarios. "Queremos hacerlo sencillo para nuestros clientes", dice Turner.

VMware Private AI Foundation es la solución completa, afirma. Comienza con un modelo fundamental: Llama 2 de Meta, o Falcon, o la propia NeMo AI de Nvidia. Construir sobre modelos existentes es más eficiente que construir nuevos modelos fundacionales desde cero, afirma.

Una vez ajustados los modelos, necesitan una forma de obtener información actualizada sin necesidad de volver a capacitarlos. Por lo general, esto se presenta en forma de bases de datos vectoriales. VMware Private AI Foundation tiene una base de datos vectorial integrada: PostgreSQL con la extensión PGVector.

"La base de datos vectorial es muy útil si tienen información que se mueve rápidamente", dice Turner. "Es parte de la construcción de una solución completa".

Además, VMware ha hecho el trabajo pesado en la optimización del rendimiento.

"Los modelos no caben simplemente en una única GPU", afirma Turner. "Necesitan dos GPU, posiblemente cuatro. A veces es necesario ampliarlo a 8 para obtener el rendimiento que necesita, y podemos ampliarlo hasta 16 GPU".

El almacenamiento también se optimiza, añade. Hay una ruta directa desde la GPU al almacenamiento, sin pasar por la CPU. Dell, HPE y Lenovo ya están registrados como socios para entregar el resto del paquete.

"Será un producto de SKU único de VMware", afirma Turner, "pero también se enviará desde estos proveedores como sistemas preintegrados y listos para usar. Les damos a los clientes esa opción".

VMware Private AI Foundation también estará disponible a través de los canales y distribuidores OEM de VMware, así como a través de más de 2000 socios MSP.

Los productos de inteligencia artificial de Nvidia también estarán disponibles a través de un amplio sistema de socios, afirma Justin Boitano, vicepresidente de informática empresarial de Nvidia. "Tenemos más de 20 OEM y ODM globales".

El precio se basará en las GPU, afirma Turner de VMware. "Queremos vincularlo al valor para los clientes". Sin embargo, se negó a dar más detalles. "No estamos dispuestos a compartir el precio de esto".

Si los clientes no quieren esperar hasta el próximo año, las arquitecturas de referencia ya están disponibles. "Los clientes pueden liar los suyos", dice Turner. "Pero el producto de suite única totalmente integrado estará disponible a principios de 2024".

Según Boitano de Nvidia, la IA generativa es la tecnología más transformadora de nuestras vidas.

"Estos modelos son increíbles", dice. "Proporcionan una interfaz de lenguaje natural para los sistemas comerciales de una empresa. El poder es fenomenal. Vemos que la IA se incorporará a todos los negocios en la próxima década".

El problema es que los modelos disponibles sólo conocen los datos con los que fueron entrenados. Si saben algo sobre una empresa específica, es sólo la información pública disponible en la Web cuando recibieron capacitación.

Además, los modelos básicos como ChatGPT están capacitados para todo. Pueden escribir poesía, codificar y ayudar a planificar las comidas, pero a menudo no son muy buenos en las tareas específicas que una empresa podría querer que hicieran. "Hay que personalizar los modelos según la información privada de su empresa", afirma Boitano. "Ahí es donde se desbloquea el verdadero valor empresarial".

Podrían ser los registros del centro de llamadas de una empresa o los tickets de TI. "Pero no conviene darle estos datos a un modelo que los toma y los codifica en algo público", afirma.

Ahí es donde entran en juego los modelos de código abierto como Llama 2, afirma. "Puedes incorporar esos modelos y combinarlos fácilmente con tu información patentada, de modo que el modelo tenga una comprensión matizada de lo que necesitas".

VMware Private AI Foundation viene con modelos preempaquetados, dice Boitano, marcos de capacitación y un banco de trabajo de IA. "Esto facilita el inicio en su computadora portátil o PC, pero proporciona un camino sencillo para pasar al centro de datos, donde se realizará la mayor parte del trabajo de computación e inferencia", afirma.

El ajuste fino puede llevar tan solo ocho horas en ocho GPU para crear un modelo de 40 mil millones de parámetros. Luego, se conecta la base de datos vectorial para que la IA pueda tener acceso a la información actual de toda la empresa. "Creemos que todo esto desbloquea problemas que antes eran imposibles de resolver", dice Boitano.

La plataforma admitirá el chip A100 AI, presentado por primera vez en 2020, el chip H100 lanzado en 2022 y el nuevo chip L40S cuando se envíe el próximo año, dice Boitano.

El L40S ofrecerá 1,2 veces más rendimiento de inferencia de IA generativa y 1,7 veces más rendimiento de entrenamiento en comparación con el A100, afirma.

"Muchos socios están entusiasmados con L40S porque no es solo para IA generativa, sino que también puede crear escritorios virtuales y renderizado", afirma.

La VMware Private AI Foundation podrá ejecutar una variedad de modelos de IA generativa, pero el que se menciona con más frecuencia para implementaciones empresariales en estos días es Llama 2.

Meta lanzó Llama 2 en julio. Es gratuito para uso comercial y de código abierto, más o menos. Las empresas con más de 700 millones de usuarios activos mensuales deberán solicitar una licencia.

Hoy en día, casi todos los grandes modelos de lenguaje en la parte superior de la tabla de clasificación de HuggingFace Open LLM son variantes de Llama 2. Anteriormente, los modelos fundamentales de código abierto tenían una usabilidad limitada, muchos de ellos se basaban en el precursor de Llama 2, Llama, y ​​solo tenían licencia para no usuarios. -uso comercial.

"Ahora tenemos un modelo de código abierto con licencia comercial por el que no es necesario pagar", afirma Juan Orlandini, CTO para Norteamérica de Insight, un integrador de soluciones con sede en Chandler, Arizona. "El genio está fuera de la botella."

Las empresas pueden descargar estos modelos, ajustarlos realizando capacitación adicional sobre sus propios datos y darles acceso a datos en tiempo real a través de incorporaciones, afirma.

Llama 2 viene en tres tamaños, lo que permite a las empresas optimizar el rendimiento en función de los requisitos de hardware. "En realidad, puedes tomar eso y convertirlo en algo que pueda ejecutarse en dispositivos de potencia relativamente baja", afirma.

Los LLM privados están empezando a ser el camino que siguen las organizaciones, dice John Carey, director general del grupo de Soluciones Tecnológicas de la consultora global AArete.

La mayor ventaja es que permiten a las empresas incorporar la IA a sus datos, y no al revés.

"Necesitan proteger sus datos, necesitan asegurarse de que sus datos tengan controles de acceso y toda la gobernanza de datos estándar, pero quieren una funcionalidad similar a ChatGPT", dice Carey. "Pero existen preocupaciones reales sobre ChatGPT o Bard o lo que sea, especialmente por los datos de propiedad exclusiva, o datos de atención médica o datos de contratos".

VMware no es la única plataforma que ofrece soporte para Llama 2.

"AWS tiene su familia de modelos Titan, pero recientemente también se han asociado con Meta para alojar los modelos Llama junto a ella", dice Shimmin de Omdia.

Microsoft también ha anunciado soporte para Llama 2 en Azure y ya está disponible en el catálogo de modelos de Azure Machine Learning.

"Me imagino que, dada la forma en que Google ha diseñado sus herramientas, también podrían alojar y trabajar con modelos de terceros, tanto de código abierto como cerrado", afirma Shimmin.

IBM planea hacer que Llama 2 esté disponible dentro de su plataforma de datos e inteligencia artificial Watsonx.

A continuación lee esto:

Maria Korolov ha estado cubriendo tecnología y mercados emergentes durante los últimos 20 años.

Copyright © 2023 IDG Communications, Inc.