El futuro de la IA es híbrido: cómo la IA en el dispositivo permite ampliar la IA generativa
Ahorro de costos y ventajas de rendimiento, personalización, privacidad y seguridad.
Ziad Asghar, vicepresidente senior de gestión de productos, Qualcomm Technologies, Inc.
Jilei Hou, vicepresidente de ingeniería, Qualcomm Technologies, Inc.
El futuro de la IA es híbrido – Parte I: Desbloquear la IA generativa con la IA en dispositivos e IA híbrida https://www.qualcomm.com/content/dam/qcomm-martech/dmassets/documents/Whitepaper-The-future-of-AI-is-hybrid-Part-1- Unlocking-the-generative-AI-future-with-on-device-and-hybrid-AI
A medida que la adopción de la inteligencia artificial (IA) generativa crece a velocidades sin precedentes1 y aumentan las demandas informáticas2, el procesamiento híbrido es más importante que nunca. Pero al igual que la informática tradicional evolucionó desde los mainframes y los clientes ligeros hasta la mezcla actual de nube y dispositivos periféricos, el procesamiento de la IA debe distribuirse entre la nube y los dispositivos para que la IA se amplíe y alcance todo su potencial.
Una arquitectura de IA híbrida distribuye y coordina las cargas de trabajo de IA entre la nube y los dispositivos periféricos, en lugar de procesarlas únicamente en la nube. La nube y los dispositivos periféricos -smartphones, automóviles, computadoras personales y dispositivos de Internet de las Cosas (IoT)- trabajan juntos para ofrecer una IA más potente, eficiente y altamente optimizada.
La principal motivación es el ahorro de costos. Por ejemplo, se calcula que el costo por consulta de una búsqueda basada en IA generativa se multiplica por 10 en comparación con los métodos de búsqueda tradicionales3, y esta es solo una de las muchas aplicaciones de la IA generativa.
La IA híbrida permitirá a los desarrolladores y proveedores de IA generativa aprovechar las capacidades de cálculo disponibles en los dispositivos periféricos para reducir costos. Una arquitectura de IA híbrida (o que ejecute la IA únicamente en el dispositivo) ofrece las ventajas adicionales de rendimiento, personalización, privacidad y seguridad a escala global.
Estas arquitecturas pueden tener diferentes opciones de descarga para distribuir el procesamiento entre la nube y los dispositivos en función de factores como el modelo y la complejidad de la consulta. Por ejemplo, si el tamaño, la rapidez y la longitud de generación del modelo es inferior a un determinado umbral y proporciona una precisión aceptable, la inferencia puede ejecutarse completamente en el dispositivo. Si la tarea es más compleja, el modelo puede ejecutarse en la nube y en los dispositivos.
La IA híbrida permite incluso que los dispositivos y la nube ejecuten modelos simultáneamente, con los dispositivos ejecutando versiones ligeras del modelo mientras la nube procesa múltiples tokens del modelo completo en paralelo y corrige las respuestas del dispositivo si es necesario.
1 En una arquitectura de IA híbrida centrada en el dispositivo, la nube sólo se utiliza para descargar tareas de IA que el dispositivo no puede realizar suficientemente.
Ampliación de la IA generativa con dispositivos periféricos
El potencial de la IA híbrida aumenta a medida que los potentes modelos de IA generativa se hacen más pequeños y las capacidades de procesamiento de los dispositivos siguen mejorando. Los modelos de IA con más de 1.000 millones de parámetros ya funcionan en teléfonos con niveles de rendimiento y precisión similares a los de la nube, y está previsto que los modelos con 10.000 millones de parámetros o más funcionen en dispositivos en un futuro próximo.
El enfoque de IA híbrida es aplicable a prácticamente todas las aplicaciones de IA generativa y segmentos de dispositivos, incluidos teléfonos, equipos portátiles, auriculares de realidad extendida, automóviles e IoT. Este enfoque es crucial para que la IA generativa se amplíe y satisfaga las necesidades de las empresas y los consumidores de todo el mundo. Estamos convencidos de que el futuro de la IA es híbrido. Lea nuestro libro blanco para obtener más información.
Referencias
1. Buchholz, K. (24 de enero de 2023). ChatGPT alcanza el millón de usuarios. Statista. Extraído el 2 de mayo de 2023 de https://www.statista.com/chart/29174/time-to-one-million-users/.
2. Sheth, S. (25 de febrero de 2023). La IA generativa impulsa una explosión de la computación: La inminente necesidad de una IA sostenible. Silicon Angle. Consultado el 2 de mayo de 2023 en https://siliconangle.com/2023/02/05/generative-ai-drivesexplosion-compute-looming-need-sustainable-ai/
3. Dastin, J. et al. (22 de febrero de 2023). Para los gigantes tecnológicos, IA como Bing y Bard plantea un problema de búsqueda multimillonario. Reuters. Extraído el 2, 2023 de https://www.reuters.com/technology/tech-giants-ailike-bing-bard-poses-billion-dollar-search-problem-2023-02-22/.
