Cercetare realizată de Dr. Yu Sun: Avansarea inteligenței artificiale cu calculul hiperbolic Dr. Yu Sun, alături de cercetători de la Stanford, UC Berkeley, UCSD și UT Austin, împinge frontiera AI generativă folosind infrastructura GPU a Hyperbolic Labs. Două proiecte revoluționare: generarea de videoclipuri de un minut și RNN-uri adaptive. 🧵

Generare 🎥 video de un minut Majoritatea modelelor video precum Sora și Veo se limitează la ~20s. Echipa lui Sun a introdus straturi de antrenament în timp de testare (TTT) - stări neuronale adaptive care evoluează la inferență - făcând posibile videoclipuri de 1 minut dintr-o singură solicitare, fără post-editare.

Infra și rezultate > 256× NVIDIA H100s prin @hyperbolic_ai Model >: 5B param CogVideo-X > Lungimea contextului: 300.000 de jetoane > Durată de funcționare: 50 de ore GPU > Set de date: 7 ore de desene animate storyboardate > +34 Elo vs Mamba 2 linie de bază > Hârtie 📄

RNN cu stări 🔁 ascunse expresive RNN-urile standard se degradează peste 16k token-uri. Echipa Dr. Sun a construit TTT-Linear și TTT-MLP – stări ascunse care sunt rețele neuronale care pot fi învățate. Acestea se adaptează în timpul inferenței folosind autosupravegherea bazată pe gradient.

Rezultatele > Lungimea contextului: 32.000 de jetoane > Scara modelului: parametri de la 125 M la 1,3 miliarde > Accelerarea timpului de execuție: 5× prin optimizare dual-form > Timp liniar, memorie constantă > Depășește sau se potrivește cu Transformer, Mamba, DeltaNet > Cod:

Infrastructură hiperbolică = Facilitator de cercetare Clusterele H100 stabile și de mare randament ale Hyperbolic au suportat procesarea de 300 de mii de tokenuri, medii persistente pentru optimizarea buclei interne și resurse scalabile pentru experimente potrivite cu FLOP.

"GPU-urile și serviciile H100 de la Hyperbolic ne-au oferit fiabilitatea care ne-a permis să prototipăm cercetarea noastră în timpul antrenamentului în timpul testelor. Infrastructura lor a facilitat scalarea modelelor noastre pentru a genera videoclipuri de un minut din storyboard-uri text. Am reușit să ne concentrăm pe cercetare, mai degrabă decât pe probleme de infrastructură." — Dr. Yu Sun

Viitorul inteligenței artificiale generative și al modelării secvențelor este aici. Cu straturile TTT și calculul scalabil, se deblochează noi frontiere. Închiriați GPU-uri la cerere acum la Consultați blogul complet: