El día de hoy marca un gran logro para Nous, pero también potencialmente para el panorama de la IA. Hemos comenzado una ejecución de preentrenamiento descentralizada de lo que es básicamente un Deepseek denso: 40B parámetros, más de 20T tokens, con MLA para la eficiencia del contexto a largo plazo. Todos los puntos de control, sin recocer, recocidos, el conjunto de datos, todo será de código abierto en vivo a medida que avanza el entrenamiento. Echa un vistazo al blog que lidera el equipo de Psyche @DillonRolnick, escribieron @theemozilla y Ari en el tuit para aprender *mucho* más sobre la infraestructura.
Nous Research
Nous Research15 may 2025
Announcing the launch of Psyche Nous Research is democratizing the development of Artificial Intelligence. Today, we’re embarking on our greatest effort to date to make that mission a reality: The Psyche Network Psyche is a decentralized training network that makes it possible to bring the world’s compute together to train powerful AI, giving individuals and small communities access to the resources required to create new, interesting, and unique large scale models. We are launching our testnet today with the pre-training of a 40B parameter LLM, a model powerful enough to serve as a foundation for future pursuits in open science. This run represents the largest pre-training run conducted over the internet to date, surpassing previous iterations that trained smaller models on much fewer data tokens.
63.31K