Ventura Labs Ép. 50 - Steffen Cruz et Felix Quinque Felix Quinque, Responsable IA, et Steffen Cruz (@macrocrux), CTO & Co-Fondateur de Macrocosmos (@MacrocosmosAI) Horodatages : 1:24 – Introduction 2:12 – Transition du sous-réseau 9 vers IOTA 2:47 – Le Problème : Entraînement de Modèles de Langage de Grande Taille 4:51 – Aperçu des Groupes de Couches 5:02 – Définir une Couche dans un LLM 6:07 – Couche vs. Partitionnement de Dataset 7:21 – Distribution des Données Parmi les Mineurs 10:08 – Introduction au Pipeline de Parallélisme 11:18 – Orchestrateur : Planification & Coordination 15:44 – Validation : Audits Ombres 19:39 – Avenir du Processus de Validation 24:51 – Importance de la Compression d'Activation 31:30 – Explication du Butterfly All-Reduce 36:43 – Réalisations les Plus Fiers du Sous-Réseau 9 39:33 – Définir le Succès pour le Sous-Réseau IOTA 46:21 – Conseils pour les Équipes de Zero à Un 52:16 – Conclusion & Remerciements