Forschung von Dr. Yu Sun: Fortschritt der KI mit hyperbolischer Berechnung Dr. Yu Sun und Forscher von Stanford, UC Berkeley, UCSD und UT Austin erweitern die Grenzen der generativen KI mit der GPU-Infrastruktur von Hyperbolic Labs. Zwei bahnbrechende Projekte: einminütige Videoerzeugung und adaptive RNNs. 🧵

Minutenlange Videoerstellung 🎥 Die meisten Videomodelle wie Sora und Veo sind auf ~20s begrenzt. Das Team von Sun hat Test-Time Training (TTT)-Schichten eingeführt – adaptive neuronale Zustände, die sich während der Inferenz entwickeln – wodurch es möglich ist, 1-minütige Videos aus einem einzigen Prompt ohne Nachbearbeitung zu erstellen.

Infrastruktur und Ergebnisse > 256× NVIDIA H100s über @hyperbolic_ai > Modell: 5B Parameter CogVideo-X > Kontextlänge: 300.000 Tokens > Laufzeit: 50 GPU-Stunden > Datensatz: 7 Stunden storyboarded Cartoons > +34 Elo im Vergleich zur Mamba 2 Basislinie > Papier 📄

RNNs mit ausdrucksstarken verborgenen Zuständen 🔁 Standard-RNNs verschlechtern sich über 16k Tokens. Dr. Suns Team hat TTT-Linear und TTT-MLP entwickelt – verborgene Zustände, die lernbare neuronale Netzwerke sind. Diese passen sich während der Inferenz mithilfe von gradientenbasierter Selbstüberwachung an.

Ergebnisse > Kontextlänge: 32.000 Tokens > Modellgröße: 125M bis 1,3B Parameter > Laufzeitbeschleunigung: 5× durch Dual-Form-Optimierung > Lineare Zeit, konstanter Speicher > Übertrifft oder erreicht Transformer, Mamba, DeltaNet > Code:

Hyperbolic Infra = Forschungs-Enabler Die stabilen, hochgradigen H100-Cluster von Hyperbolic unterstützten die Verarbeitung von 300k-Token, persistente Umgebungen für die Optimierung des inneren Kreislaufs und skalierbare Ressourcen für FLOP-abgestimmte Experimente.

"Die H100 GPUs und Dienstleistungen von Hyperbolic boten die Zuverlässigkeit, die es uns ermöglichte, unsere Forschung im Testzeit-Training zu prototypisieren. Ihre Infrastruktur erleichterte es, unsere Modelle zu skalieren, um einminütige Videos aus Text-Storyboards zu generieren. Wir konnten uns auf die Forschung konzentrieren, anstatt uns mit Infrastrukturproblemen auseinanderzusetzen." — Dr. Yu Sun

Die Zukunft der generativen KI und der Sequenzmodellierung ist da. Mit TTT-Schichten und skalierbarer Rechenleistung werden neue Grenzen eröffnet. Mieten Sie jetzt GPUs nach Bedarf unter Lesen Sie den vollständigen Blog: