Nous Research lança Lighthouse Attention, otimizando o pré-treinamento de Modelos de Linguagem Grandes em até 1.7x.
A solução foca em processar longos contextos de forma mais eficiente, um grande gargalo da inteligência artificial.
Lighthouse usa atenção hierárquica baseada em seleção, focando apenas em informações cruciais no treinamento.
Significa menor tempo e custo de desenvolvimento, democratizando o acesso a modelos avançados de IA.
Ponte para LLMs mais poderosos e complexos, acelerando a inovação no campo da inteligência artificial.
Leia o artigo completo no nosso blog.