Un análisis más detallado del proyecto de nube distribuida de Hivenet e Inria

En diciembre de 2022, Hivenet y India (el Instituto Francés de Investigación en Ciencias de la Computación y Automatización) anunció una asociación de cuatro años para crear una nube de igual a igual que sea sostenible y accesible para todos. Esto supuso una importante inversión por parte de Hivenet, que cubrió la contratación de 8 estudiantes de doctorado, becarios posdoctorales e ingenieros para formar parte de 4 equipos de proyectos de Inria. A mitad de camino, únete a nosotros para resumir el trabajo realizado hasta ahora y ofrecerte una vista previa de lo que está por venir.

Alvearium: ¡en latín significa «colmena»!

Es importante no pensar demasiado a la hora de elegir un nombre y, con eso en mente, se denominó el «desafío» que motivó nuestra asociación con Inria Alveario, Colmena en latín. ¿Cuándo? anunciando el desafío a principios de 2023, India lo definió en términos de cuatro espacios problemáticos (véase Tabla 1 más adelante) y establecieron los objetivos generales de «ofrecer... una nube soberana y de alto rendimiento capaz de satisfacer las necesidades de almacenamiento de los usuarios con la misma eficacia que los proveedores existentes, respetando al mismo tiempo la confidencialidad y la seguridad de sus datos». Si has estado siguiendo a Hivenet y lo que hacemos, verás que esto se alinea con la misión de nuestra empresa.

^{Tabla 1: los cuatro espacios problemáticos que sustentan el desafío de Inria e Hivenet}

Han pasado muchas cosas en los últimos dos años desde que los temas de Tabla 1 estaban definidos. En mayo de 2024, el equipo asistió Por 3S en París para actualizar el trabajo destinado a cuantificar el desempeño de Códigos de borrado en sistemas de almacenamiento punto a punto. Más recientemente, en diciembre de 2024, el equipo de I+D de Hivenet se presentó en el Foro PEPR Cloud en Grenoble, mostrando el increíble trabajo realizado para hacer realidad nuestros servicios de computación y almacenamiento distribuidos. Más adelante, en diciembre, el equipo compartió sus conclusiones sobre un nuevo protocolo de mensajería segura para entornos distribuidos:»Discreet: servicio de entrega distribuida con cooperación sensible al contexto». El documento: 1) demostró un enfoque nuevo y eficiente para las comunicaciones cifradas en un entorno dinámico y altamente escalable como el de Hivenet; 2) resumió la investigación de seguimiento para evaluar en profundidad el rendimiento y la seguridad del mecanismo propuesto y formalizar las propuestas.

Sobre los códigos de borrado: no vamos a entrar en detalles en este artículo, pero debemos saber que los códigos de borrado son una técnica de protección de datos que divide los datos en partes y las codifica de tal manera que se pueden volver a ensamblar en su forma original sin que todas las piezas estén disponibles. Concretamente, Hivenet usa Codificación Reed-Solomon.

En 2025, el arduo trabajo en Alvearium continúa, y el 14 de febrero, en el Festival Mundial de Inteligencia Artificial de Cannes (WAICF), Hivenet e India formalizaron un nuevo Desafío, Cupseli. El nombre Cupseli deriva de Κυψέλη (en griego antiguo significa colmena) y también es un acrónimo de Ccolaborativo Uunificado PPlataforma para un Sescalable y Eeficiente Lganar dinero YOInfraestructura. Próximamente habrá más detalles, pero por ahora podemos compartir que nos centraremos en la computación distribuida, la inferencia de inteligencia artificial y el cifrado. Además de estas asociaciones de investigación vanguardistas, Hivenet sigue invirtiendo tiempo y energía en sus propias prácticas de innovación, y compartiremos una de nuestras favoritas, de la que pronto conocerán mucho más.

Figura 1: asientos de primera fila en el WAICF para la ceremonia de firma de Cupseli [fuente: India]

Chatea con Hivenet: un enfoque distribuido para el chat con IA

Probablemente ya conozcas bien el impacto de ChatGPT y herramientas similares en la configuración del servicio al cliente, el soporte, el marketing y otras interacciones comerciales clave. Bueno, dado que Hivenet es Hivenet, aunque reconocemos el enorme potencial de la IA, mantenemos un sano escepticismo ante la idea de que dicha tecnología se centralice bajo el control de grandes monopolios, que cada vez están más alineados con los objetivos a nivel estatal. Como era de esperar, adoptamos un enfoque diferente: creamos un chat interno de IA, un Generación aumentada por recuperación sistema (RAG), para impulsar la gestión interna del conocimiento de Hivenet. La tecnología RAG en la IA generativa es una forma de garantizar que las respuestas de los LLM se basen contextualmente en información relevante y actualizada, lo que reduce los resultados inapropiados o alucinantes. Recopilamos nuestros documentos, conocimientos, chats, etc. en el sistema y los combinamos con los resultados de los LLM (p. ej. Llama 3.3-70B, QWen2-VL-7By Mistral) que se ejecutan en el servicio de computación distribuida de Hivenet. Consulte Figura 1 a continuación encontrará una descripción general de alto nivel de la arquitectura de HiveGPT.

Sobre las convenciones de nomenclatura de modelos: cuando vea (por ejemplo) «70B» o «7B» en el nombre de un modelo, esto describe la cantidad de parámetros (o pesos) que posee el modelo, donde «B» representa «mil millones».

En términos sencillos, parámetros son números de un modelo que se pueden usar para ajustar su precisión. Por ejemplo, el modelo Llama 3.3-70B contiene 70 mil millones de parámetros. Es importante tener en cuenta que más parámetros no siempre significan «mejor». Por el contrario, la cantidad de parámetros puede interpretarse como una medida de la «complejidad» del modelo, que debe compararse con el costo computacional de la capacitación. Un modelo más pequeño entrenado con datos de alta calidad puede funcionar de manera más eficaz que uno más grande.

^{Figura 2: arquitectura de alto nivel para Chat with Hivenet}

Ahora, ejecutar la inferencia de IA en un entorno distribuido no es algo nuevo. Por ejemplo, marcos como Pétalos y VLLM existen para lograrlo, y Chat with Hivenet aprovecha vLLM, una elección tomada por su alto rendimiento y su soporte para las API de OpenAI. Sin embargo, queremos dejar claro que no se construyó «lista para usar» y nuestro equipo de investigación está abordando algunos desafíos técnicos difíciles. En primer lugar, Hivenet es una plataforma distribuida en la que los recursos pueden tener diferentes formas y tamaños; por ejemplo, las GPU vienen con diferentes cantidades de RAM. Mientras tanto, vLLM requiere la misma memoria para todas las tarjetas, algo que nuestra solución debe solucionar. En segundo lugar, no todos los sistemas distribuidos están distribuidos por igual: a diferencia de algunos escenarios, los recursos de Hivenet pueden existir en ubicaciones geográficas de varios continentes. En la práctica, esto pone a prueba el rendimiento y la latencia de la red, que son fundamentales para muchos casos de uso de inferencias.

Si bien la generación actual ofrece un rendimiento aceptable para las necesidades de Hivenet, tenemos claro el trabajo por hacer: el próximo Cupseli Challenge con Inria se centrará en optimizar la distribución y el rendimiento de la red mediante una variedad de enfoques, incluida la compresión y la optimización del ancho de banda. Además, si bien ejecutar Llama 3.3-70B en la plataforma de computación distribuida de Hivenet es un logro increíble, iremos más allá: nuestro próximo desafío es implementar un modelo de 405 mil millones de parámetros (p. ej., Llama-3,1-405B) para probar los límites de nuestra solución. No se ha demostrado si un modelo de este tamaño puede funcionar en un entorno distribuido sin afectar indebidamente a la velocidad y el rendimiento... pero lo descubriremos. Por último, aunque la intención original era implementar un sistema basado en RAG, queremos tener la posibilidad de recurrir al modelo subyacente para las consultas «genéricas». Prevemos desafíos importantes a la hora de gestionar la inyección de contexto externo y de entender cuándo es apropiado aprovechar el modelo subyacente para una consulta determinada.

Nuestro chat sigue siendo algo que estamos incubando en Hivenet, pero... bueno, es ya que se ejecuta en nuestra plataforma de computación distribuida, y ya tener un servicio de almacenamiento distribuido y seguro en el que se puedan obtener entradas para un sistema basado en RAG. Además, la solución de Hivenet puede funcionar en cualquier lugar (incluida una máquina de escritorio) e interactuar con los modelos implementados en cualquier lugar a través del router modelo, sin necesidad de configurar una red o un firewall adicionales. No diremos más todavía, pero puede vislumbrar a dónde puede conducir esto.

Esperamos que haya disfrutado de este resumen del trabajo de vanguardia que se está llevando a cabo en Hivenet en asociación con Inria. Como siempre, seguiremos compartiendo más información a medida que vaya desarrollándose la historia. Mientras tanto, siempre podéis póngase en contacto con cualquier pregunta.