Hoje marca uma grande conquista para o Nous, mas também potencialmente para o cenário de IA. Iniciamos uma execução de pré-treinamento descentralizada do que é basicamente um Deepseek denso - parâmetros 40B, mais de 20T tokens, com MLA para eficiência de contexto longo. Todos os pontos de verificação, não preenchidos, recozidos, o conjunto de dados, tudo será aberto ao vivo à medida que o treinamento avança. Confira o blog que a equipe do Psyche lidera @DillonRolnick, escreveram @theemozilla e Ari no tweet de citação para aprender *muito* mais sobre a infraestrutura.
Nous Research
Nous Research15 de mai. de 2025
Anunciando o lançamento do Psyche A Nous Research está democratizando o desenvolvimento da Inteligência Artificial. Hoje, estamos embarcando em nosso maior esforço até hoje para tornar essa missão uma realidade: a Psyche Network Psyche é uma rede de treinamento descentralizada que torna possível reunir a computação do mundo para treinar IA poderosa, dando a indivíduos e pequenas comunidades acesso aos recursos necessários para criar modelos novos, interessantes e exclusivos em grande escala. Estamos lançando nossa rede de teste hoje com o pré-treinamento de um LLM de parâmetro 40B, um modelo poderoso o suficiente para servir como base para futuras atividades em ciência aberta. Essa execução representa a maior execução de pré-treinamento realizada pela Internet até o momento, superando as iterações anteriores que treinavam modelos menores em muito menos tokens de dados.
63,31K