La giornata di oggi segna un grande traguardo per Nous, ma potenzialmente anche per il panorama dell'intelligenza artificiale. Abbiamo iniziato un'esecuzione decentralizzata di pre-addestramento di quello che è fondamentalmente un denso Deepseek - 40B parametri, oltre 20T token, con MLA per un'efficienza del contesto a lungo termine. Tutti i checkpoint, non annealed, annealed, il set di dati, tutto sarà reso open source in tempo reale man mano che l'addestramento procede. Dai un'occhiata al blog guidato dal team di Psyche @DillonRolnick, @theemozilla e Ari hanno scritto nel tweet di citazione per saperne di più sull'infrastruttura.
Nous Research
Nous Research15 mag 2025
Annuncio del lancio di Psyche Nous Research sta democratizzando lo sviluppo dell'Intelligenza Artificiale. Oggi, stiamo intraprendendo il nostro più grande sforzo fino ad oggi per trasformare questa missione in realtà: The Psyche Network Psyche è una rete di formazione decentralizzata che consente di riunire l'informatica mondiale per addestrare una potente intelligenza artificiale, offrendo agli individui e alle piccole comunità l'accesso alle risorse necessarie per creare modelli su larga scala nuovi, interessanti e unici. Stiamo lanciando la nostra testnet oggi con il pre-addestramento di un LLM con parametri 40B, un modello abbastanza potente da fungere da base per le future ricerche nella scienza aperta. Questa esecuzione rappresenta la più grande esecuzione di pre-addestramento condotta su Internet fino ad oggi, superando le iterazioni precedenti che hanno addestrato modelli più piccoli su un numero molto inferiore di token di dati.
63,31K