Uma análise mais detalhada do projeto de nuvem distribuída da Hivenet e da Inria

Em dezembro de 2022, Hivenet e Índia (Instituto Francês de Pesquisa em Ciência da Computação e Automação) anunciou uma parceria de quatro anos para criar uma nuvem ponto a ponto que seja sustentável e acessível a todos. Isso representou um investimento significativo da Hivenet, abrangendo o recrutamento de 8 estudantes de doutorado, bolsistas de pós-doutorado e engenheiros em 4 equipes do projeto Inria. Na metade do caminho, junte-se a nós para recapitular o trabalho feito até agora e dar uma prévia do que está por vir.

Alvearium: significa “colmeia” em latim!

É importante não pensar demais na hora de escolher um nome e, com isso em mente, o “Desafio” que motiva nossa parceria com a Inria foi nomeado Alveário, Latim para colmeia. Quando anunciando o desafio no início de 2023, a Inria o definiu em termos de quatro espaços problemáticos (veja Tabela 1 abaixo) e definiu os objetivos gerais como “oferecer... uma nuvem soberana e de alto desempenho capaz de atender às necessidades de armazenamento dos usuários de forma tão eficaz quanto os provedores existentes, respeitando a confidencialidade e a segurança de seus dados”. Se você está seguindo a Hivenet e o que fazemos, verá que isso se alinha à missão da nossa empresa.

^{Tabela 1: os quatro espaços problemáticos que sustentam o Inria e o Hivenet's Challenge}

Muita coisa aconteceu nos últimos dois anos desde os temas em Tabela 1 foram definidos. Em maio de 2024, a equipe participou Por 3S em Paris para atualizar o trabalho para quantificar o desempenho de Códigos de apagamento em sistemas de armazenamento peer-to-peer. Mais recentemente, em dezembro de 2024, a equipe de P&D da Hivenet se apresentou no Fórum PEPR Cloud em Grenoble, mostrando o incrível trabalho realizado para realizar nossos serviços distribuídos de armazenamento e computação. Mais tarde, em dezembro, a equipe compartilhou descobertas sobre um novo protocolo seguro de mensagens para ambientes distribuídos:”DISCREET: serviço de entrega distribuído com cooperação sensível ao contexto.” O artigo: 1) demonstrou uma abordagem nova e eficiente para comunicações criptografadas em um ambiente dinâmico e altamente escalável como o da Hivenet; 2) resumiu a pesquisa de acompanhamento para avaliar o desempenho e a segurança do mecanismo proposto em profundidade e formalizar as propostas.

Sobre códigos de apagamento: não entraremos em detalhes neste artigo, mas saiba que os códigos de exclusão são uma técnica de proteção de dados que divide os dados em partes e as codifica de forma que possam ser remontadas em sua forma original sem que todas as peças estejam disponíveis. Especificamente, a Hivenet usa Codificação Reed-Solomon.

Em 2025, o trabalho árduo no Alvearium continua e, em 14 de fevereiro, no Festival Mundial de Inteligência Artificial de Cannes (ESÓFANO), Hivenet e Inria formalizaram um novo Desafio, Cupseli. O nome Cupseli deriva de Κυψέλη (Grego antigo para colmeia) e também é um acrônimo para Ccolaborativo Uunificado PPlataforma para um Sescalável e Eeficiente Lganhando EUInfraestrutura. Mais detalhes estão por vir, mas, por enquanto, podemos compartilhar que o foco será na computação distribuída, na inferência de IA e na criptografia. Além dessas parcerias de pesquisa de ponta, a Hivenet continua investindo tempo e energia em suas próprias práticas de inovação, e compartilharemos uma de nossas favoritas, sobre a qual você pode esperar ouvir muito mais em breve.

Figura 1: assentos na primeira fila do WAICF para a cerimônia de assinatura da Cupseli [fonte: Índia]

Converse com Hivenet: uma abordagem distribuída para o bate-papo com IA

Você provavelmente já está bem ciente do impacto do ChatGPT e de ferramentas similares na formação do atendimento ao cliente, suporte, marketing e outras interações comerciais importantes. Bem, sendo a Hivenet a Hivenet, embora reconheçamos o vasto potencial da IA, mantemos um ceticismo saudável em relação a essa tecnologia ser centralizada sob o controle de grandes monopólios, que estão cada vez mais alinhados aos objetivos estaduais. Sem surpresa, adotamos uma abordagem diferente: criamos um bate-papo interno de IA, um Geração aumentada por recuperação Sistema (RAG), para impulsionar o gerenciamento interno do conhecimento da Hivenet. O RAG na IA generativa é uma forma de garantir que as respostas dos LLMs sejam fundamentadas contextualmente em informações atualizadas e relevantes, reduzindo resultados inadequados ou alucinados. Ingerimos nossos documentos, conhecimentos, bate-papos etc. no sistema e os combinamos com a saída de LLMs (por exemplo, Llama 3.3-70B, QWEN2-VL-7be Mistral) em execução no serviço de computação distribuída da Hivenet. Por favor, consulte Figura 1 abaixo para uma visão geral de alto nível da arquitetura do HiveGPT.

Sobre as convenções de nomenclatura de modelos: quando você vê (por exemplo) “70B” ou “7B” no nome de um modelo, isso descreve o número de parâmetros (ou pesos) que o modelo possui, com “B” representando “bilhão”.

Em termos simples, parâmetros são números em um modelo que podem ser usados para ajustar sua precisão. Por exemplo, o modelo Llama 3.3-70B contém 70 bilhões de parâmetros. É importante observar que mais parâmetros nem sempre significam “melhor”. Em vez disso, o número de parâmetros pode ser lido como uma medida da “complexidade” do modelo, que deve ser balanceada com o custo computacional do treinamento. Um modelo menor treinado com dados de alta qualidade pode funcionar com mais eficiência do que um maior.

^{Figura 2: arquitetura de alto nível para Chat with Hivenet}

Agora, executar a inferência de IA em um ambiente distribuído não é novidade. Por exemplo, estruturas como Pétalas e vLLM existe para conseguir isso, e o Chat with Hivenet aproveita o vLLM - uma escolha feita por causa de seu alto rendimento e sua suporte para APIs OpenAI. No entanto, queremos deixar claro que ele não foi construído “pronto para uso” e nossa equipe de pesquisa está enfrentando alguns desafios técnicos difíceis. Em primeiro lugar, a Hivenet é uma plataforma distribuída na qual os recursos podem ter várias formas e tamanhos; por exemplo, as GPUs vêm com diferentes quantidades de RAM. Enquanto isso, o vLLM exige a mesma memória para todas as placas, o que nossa solução deve contornar. Em segundo lugar, nem todos os sistemas distribuídos são igualmente distribuídos: ao contrário de alguns cenários, os recursos da Hivenet podem existir em localizações geográficas que abrangem vários continentes. Na prática, isso desafia o desempenho e a latência da rede, o que é fundamental para muitos casos de uso de inferência.

Embora a geração atual ofereça um desempenho aceitável para as necessidades da Hivenet, temos certeza do trabalho a ser feito - o próximo Desafio Cupseli com a Inria incluirá o foco na otimização da distribuição e do desempenho da rede por meio de uma variedade de abordagens, incluindo compressão e otimização da largura de banda. Além disso, embora executar o Llama 3.3-70B na plataforma de computação distribuída da Hivenet seja uma conquista incrível, iremos mais longe — nosso próximo desafio é implantar um modelo de 405 bilhões de parâmetros (por exemplo, Lhama-3.1-405B) para testar os limites da nossa solução. Não está comprovado se um modelo desse tamanho pode funcionar em um ambiente distribuído sem impacto indevido na velocidade e na produtividade... mas descobriremos. Finalmente, embora a intenção original fosse implementar um sistema baseado em RAG, queremos a possibilidade de recorrer ao modelo subjacente para consultas “genéricas”. Esperamos desafios significativos para lidar com a injeção de contexto externo e entender quando é apropriado aproveitar o modelo subjacente para uma determinada consulta.

Nosso Chat continua sendo algo que estamos incubando na Hivenet, mas... bem, é já em execução em nossa plataforma de computação distribuída, e nós já tenha um serviço de armazenamento seguro e distribuído em que as entradas possam ser obtidas para um sistema baseado em RAG. Além disso, a solução da Hivenet pode ser executada em qualquer lugar (incluindo uma máquina desktop) e interagir com modelos implantados em qualquer lugar por meio do roteador modelo, sem configuração adicional de rede ou firewall. Ainda não diremos mais, mas você pode vislumbrar aonde isso pode levar.

Esperamos que você tenha gostado desta visão geral do trabalho de ponta em andamento na Hivenet em parceria com a Inria. Como sempre, continuaremos compartilhando mais à medida que a história se desenrola - enquanto isso, você sempre pode entre em contato com qualquer dúvida.