Recherche du Dr. Yu Sun : Faire avancer l'IA avec le calcul hyperbolique Le Dr. Yu Sun, aux côtés de chercheurs de Stanford, UC Berkeley, UCSD et UT Austin, repousse les frontières de l'IA générative en utilisant l'infrastructure GPU de Hyperbolic Labs. Deux projets révolutionnaires : génération de vidéos d'une minute et RNN adaptatifs. 🧵

Génération de vidéos d'une minute 🎥 La plupart des modèles vidéo comme Sora et Veo se limitent à environ 20 secondes. L'équipe de Sun a introduit des couches de Test-Time Training (TTT) — des états neuronaux adaptatifs qui évoluent lors de l'inférence — rendant possible la création de vidéos d'une minute à partir d'un seul prompt sans post-édition.

Infra et Résultats > 256× NVIDIA H100 via @hyperbolic_ai > Modèle : 5B param CogVideo-X > Longueur de contexte : 300 000 tokens > Temps d'exécution : 50 heures GPU > Ensemble de données : 7 heures de dessins animés storyboardés > +34 Elo par rapport à la base Mamba 2 > Article 📄

RNN avec des états cachés expressifs 🔁 Les RNN standard se dégradent au-delà de 16k tokens. L'équipe du Dr. Sun a construit TTT-Linear et TTT-MLP—des états cachés qui sont des réseaux de neurones apprenables. Ceux-ci s'adaptent pendant l'inférence en utilisant une auto-supervision basée sur le gradient.

Résultats > Longueur du contexte : 32 000 tokens > Échelle du modèle : 125M à 1,3B de paramètres > Accélération du temps d'exécution : 5× grâce à l'optimisation en double forme > Temps linéaire, mémoire constante > Surpasse ou égalise Transformer, Mamba, DeltaNet > Code :

Hyperbolic Infra = Faciliteur de recherche Les clusters H100 stables et à haut débit de Hyperbolic ont pris en charge le traitement de 300k tokens, des environnements persistants pour l'optimisation en boucle interne, et des ressources évolutives pour des expériences adaptées aux FLOP.

"Les GPU H100 et les services de Hyperbolic ont fourni la fiabilité qui nous a permis de prototyper notre recherche dans l'entraînement en temps de test. Leur infrastructure a facilité la mise à l'échelle de nos modèles pour générer des vidéos d'une minute à partir de storyboards textuels. Nous avons pu nous concentrer sur la recherche plutôt que de gérer des problèmes d'infrastructure." — Dr. Yu Sun

L'avenir de l'IA générative et de la modélisation de séquences est là. Avec les couches TTT et un calcul évolutif, de nouvelles frontières sont en train d'être ouvertes. Louez des GPU à la demande maintenant sur Découvrez le blog complet :