Pesquisa do Dr. Yu Sun: Avançando a IA com Computação Hiperbólica O Dr. Yu Sun, juntamente com pesquisadores de Stanford, UC Berkeley, UCSD e UT Austin, está a expandir a fronteira da IA generativa utilizando a infraestrutura de GPU da Hyperbolic Labs. Dois projetos inovadores: geração de vídeos de um minuto e RNNs adaptativas. 🧵

Geração de Vídeos de Um Minuto 🎥 A maioria dos modelos de vídeo, como Sora e Veo, tem um limite de ~20s. A equipe de Sun introduziu camadas de Treinamento em Tempo de Teste (TTT) — estados neurais adaptativos que evoluem durante a inferência — tornando possível criar vídeos de 1 minuto a partir de um único prompt, sem edição posterior.

Infra e Resultados > 256× NVIDIA H100s via @hyperbolic_ai > Modelo: 5B param CogVideo-X > Comprimento do Contexto: 300.000 tokens > Tempo de Execução: 50 horas de GPU > Conjunto de Dados: 7 horas de cartoons storyboarded > +34 Elo vs Mamba 2 baseline > Artigo 📄

RNNs com Estados Ocultos Expressivos 🔁 RNNs padrão degradam-se além de 16k tokens. A equipe do Dr. Sun construiu TTT-Linear e TTT-MLP—estados ocultos que são redes neurais aprendíveis. Estes se adaptam durante a inferência usando auto-supervisão baseada em gradiente.

Resultados > Comprimento do Contexto: 32.000 tokens > Escala do Modelo: 125M a 1.3B parâmetros > Aceleração de Tempo de Execução: 5× através de otimização de forma dupla > Tempo linear, memória constante > Supera ou iguala Transformer, Mamba, DeltaNet > Código:

Hyperbolic Infra = Facilitador de Pesquisa Os clusters H100 estáveis e de alto rendimento da Hyperbolic suportaram o processamento de 300k tokens, ambientes persistentes para otimização de loop interno e recursos escaláveis para experimentos com FLOP correspondentes.

"As GPUs H100 da Hyperbolic e os serviços prestados proporcionaram a fiabilidade que nos permitiu prototipar a nossa pesquisa em treinamento em tempo de teste. A sua infraestrutura facilitou a escalabilidade dos nossos modelos para gerar vídeos de um minuto a partir de storyboards de texto. Conseguimos focar na pesquisa em vez de lidar com problemas de infraestrutura.” — Dr. Yu Sun

O futuro da IA generativa e da modelagem de sequências está aqui. Com camadas TTT e computação escalável, novas fronteiras estão a ser desbloqueadas. Alugue GPUs sob demanda agora em Confira o blog completo: