Zoom sur le projet de cloud distribué d'Hivenet et d'Inria

En décembre 2022, Hivenet et Inria (Institut français de recherche en informatique et en automatisation) a annoncé un partenariat de quatre ans pour créer un cloud peer-to-peer durable et accessible à tous. Cela a représenté un investissement important de la part de Hivenet, qui a permis de recruter 8 doctorants, post-doctorants et ingénieurs au sein de 4 équipes de projet Inria. À mi-parcours, rejoignez-nous pour récapituler le travail accompli jusqu'à présent et vous donner un aperçu de ce qui vous attend.

Alvéarium : c'est du latin pour « ruche » !

Il est important de ne pas trop réfléchir au moment de choisir un nom, et c'est dans cette optique que le « challenge » qui a motivé notre partenariat avec Inria a été baptisé Alvéarium, Latin pour ruche. Quand annonce du Défi début 2023, Inria l'a défini en fonction de quatre espaces problématiques (voir Tableau 1 ci-dessous) et a fixé les objectifs généraux comme suit : « proposer... un Cloud souverain et performant capable de répondre aux besoins de stockage des utilisateurs aussi efficacement que les fournisseurs existants, tout en respectant la confidentialité et la sécurité de leurs données ». Si vous suivez Hivenet et ce que nous faisons, vous verrez que cela correspond à la mission de notre entreprise.

^{Tableau 1 : les quatre problématiques qui sous-tendent le Challenge d'Inria et Hivenet}

Beaucoup de choses se sont passées ces deux dernières années depuis les thèmes de Tableau 1 ont été définis. En mai 2024, l'équipe a participé Pour 3 S à Paris pour faire le point sur les travaux visant à quantifier la performance de Codes d'effacement dans les systèmes de stockage poste à poste. Plus récemment, en décembre 2024, l'équipe R&D de Hivenet a présenté au Forum PEPR Cloud à Grenoble, pour présenter le travail remarquable réalisé pour réaliser nos services de stockage et de calcul distribués. Plus tard en décembre, l'équipe a partagé ses conclusions concernant un nouveau protocole de messagerie sécurisé pour les environnements distribués : »DiscreT : service de distribution distribué avec coopération contextuelle. » L'article : 1) a démontré une nouvelle approche efficace des communications cryptées dans un environnement dynamique hautement évolutif comme celui de Hivenet ; 2) a résumé les recherches de suivi visant à évaluer en profondeur les performances et la sécurité du mécanisme proposé et à formaliser les propositions.

À propos des codes d'effacement : nous n'entrerons pas dans les détails dans cet article, mais sachez simplement que les codes d'effacement sont une technique de protection des données qui divise les données en morceaux et les code de manière à pouvoir les réassembler dans leur forme d'origine sans que toutes les pièces soient disponibles. Plus précisément, Hivenet utilise Encodage Reed-Solomon.

En 2025, le dur labeur sur Alvearium se poursuit, et le 14 février au Festival mondial de l'intelligence artificielle de Cannes (WAIF), Hivenet et Inria ont officialisé un nouveau Défi, Cupseli. Le nom Cupseli vient de λη (Ruche en grec ancien) et est également un acronyme de Ccollaboratif Uunifié PUne plateforme pour Scalable et Eefficace Lrevenus Iinfrastructures. Plus de détails à venir, mais pour l'instant, nous pouvons vous dire que l'accent sera mis sur l'informatique distribuée, l'inférence basée sur l'IA et le chiffrement. Outre ces partenariats de recherche de pointe, Hivenet continue d'investir du temps et de l'énergie dans ses propres pratiques d'innovation, et nous partagerons l'une de nos préférées, dont vous pourrez vous attendre à en savoir plus très bientôt.

Figure 1 : sièges au premier rang de la WAICF pour la cérémonie de signature de Cupseli [source : Inria]

Discutez avec Hivenet : une approche distribuée du chat IA

Vous êtes probablement déjà bien conscient de l'impact de ChatGPT et d'autres outils similaires sur l'évolution du service client, de l'assistance, du marketing et d'autres interactions commerciales clés. Eh bien, Hivenet étant Hivenet, bien que nous reconnaissions le vaste potentiel de l'IA, nous restons sceptiques quant à la centralisation de cette technologie sous le contrôle de grands monopoles, qui sont de plus en plus alignés sur les objectifs des États. Sans surprise, nous avons adopté une approche différente : nous avons créé un chat IA interne, un Génération augmentée par récupération (RAG), pour alimenter la gestion interne des connaissances d'Hivenet. Le RAG dans l'IA générative est un moyen de garantir que les réponses des LLM sont fondées sur des informations pertinentes et à jour, réduisant ainsi les résultats inappropriés ou hallucinés. Nous ingérons nos documents, nos connaissances, nos discussions, etc. dans le système et les combinons avec la sortie des LLM (par exemple, Lama 3.3-70B, QWEN2-VL-7b, et Mistral) fonctionnant sur le service de calcul distribué de Hivenet. Veuillez vous référer à Figure 1 ci-dessous pour un aperçu de haut niveau de l'architecture de HiveGPT.

À propos des conventions de dénomination des modèles : lorsque vous voyez (par exemple) « 70B » ou « 7B » dans le nom d'un modèle, cela décrit le nombre de paramètres (ou de poids) que possède le modèle, « B » représentant « milliard ».

En termes simples, paramètres sont des nombres d'un modèle qui peuvent être utilisés pour ajuster sa précision. Par exemple, le modèle Llama 3.3-70B contient 70 milliards de paramètres. Il est important de noter qu'un plus grand nombre de paramètres ne signifie pas toujours « meilleur ». Le nombre de paramètres peut plutôt être interprété comme une mesure de la « complexité » du modèle, qui doit être mise en balance avec le coût informatique de la formation. Un modèle plus petit entraîné sur des données de haute qualité peut être plus efficace qu'un modèle plus grand.

^{Figure 2 : architecture de haut niveau pour Chat avec Hivenet}

L'exécution de l'inférence par IA dans un environnement distribué n'est pas une nouveauté. Par exemple, des frameworks tels que Pétales et VllM existent pour y parvenir, et Chat with Hivenet exploite vLLM, un choix fait en raison de son haut débit et de sa support pour les API OpenAI. Cependant, nous tenons à préciser qu'il n'a pas été construit « sur étagère » et notre équipe de recherche fait face à de sérieux défis techniques. Tout d'abord, Hivenet est une plate-forme distribuée où les ressources peuvent prendre différentes formes et tailles ; par exemple, les GPU sont dotés de différentes quantités de RAM. En attendant, vLLM nécessite la même mémoire pour toutes les cartes, ce que notre solution doit contourner. Deuxièmement, tous les systèmes distribués ne sont pas répartis de la même manière : contrairement à certains scénarios, les ressources de Hivenet peuvent exister dans des zones géographiques couvrant plusieurs continents. Dans la pratique, cela met à rude épreuve les performances et la latence du réseau, ce qui est essentiel pour de nombreux cas d'utilisation d'inférence.

Bien que la génération actuelle offre des performances acceptables pour les besoins d'Hivenet, nous sommes clairs quant au travail à accomplir : le prochain Cupseli Challenge avec Inria mettra l'accent sur l'optimisation de la distribution et des performances du réseau grâce à diverses approches, notamment la compression et l'optimisation de la bande passante. En outre, bien que l'exécution de Llama 3.3-70B sur la plate-forme de calcul distribuée de Hivenet soit une réussite incroyable, nous irons plus loin : notre prochain défi consiste à déployer un modèle de 405 milliards de paramètres (par exemple, Lama-3.1-405 B) pour tester les limites de notre solution. Il n'est pas prouvé qu'un modèle de cette taille puisse fonctionner dans un environnement distribué sans impact excessif sur la vitesse et le débit... mais nous allons le découvrir. Enfin, alors que l'intention initiale était d'implémenter un système basé sur RAG, nous voulons avoir la possibilité de revenir au modèle sous-jacent pour les requêtes « génériques ». Nous nous attendons à des défis importants pour gérer l'injection de contexte externe et comprendre quand il est approprié de tirer parti du modèle sous-jacent pour une requête donnée.

Notre chat reste quelque chose que nous sommes en train d'incuber chez Hivenet, mais... eh bien, c'est déjà fonctionnant sur notre plateforme informatique distribuée, et nous déjà disposer d'un service de stockage distribué et sécurisé où les entrées pourraient provenir d'un système basé sur RAG. De plus, la solution Hivenet peut fonctionner partout (y compris sur un ordinateur de bureau) et interagir avec les modèles déployés n'importe où via le routeur modèle, sans configuration supplémentaire de réseau ou de pare-feu. Nous n'en dirons pas plus pour l'instant, mais vous pouvez entrevoir où cela peut mener.

Nous espérons que vous avez apprécié ce tour d'horizon des travaux de pointe en cours chez Hivenet en partenariat avec Inria. Comme toujours, nous continuerons à partager davantage au fur et à mesure que l'histoire se déroulera. En attendant, vous pouvez toujours entrer en contact pour toute question.