Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Adoraria ver isso acontecer também. Mas, na prática, não tenho certeza de como implementar algo assim.
O governo federal simplesmente subsidia o custo para laboratórios abertos adquirirem esse hardware? Este seria um subsídio contínuo (precisa de novo hardware com frequência agora) e como selecionar quais laboratórios recebem o subsídio? A matemática do guardanapo para 10K H200s é provavelmente ao norte de US $ 300 milhões se usarmos a suposição simples de ~ US $ 30 mil por H200. E isso é apenas aquisição de hardware de GPU. Você precisa de um lugar para executá-los junto com o opex para mantê-los.
Se você forçar os proprietários de computação existentes a reduzir o suprimento para fornecer a esses laboratórios, eles também precisarão de alguma forma de subsídio. A maioria dessas empresas diz que também está com restrição de oferta no momento.
De qualquer forma, parece que estamos caminhando para a criação de um novo paradigma de computação. O paradigma até agora girou em torno da expansão da computação co-localizada. Sem dúvida, ainda haverá as construções de datacenters do tamanho de Manhattan nos EUA e em outros lugares. Mas também haverá ilhas de computação menores, variando em tamanho, conectadas com fibra, etc. Quando essas são as restrições novas/padrão e limitações fundamentais, isso empurrará a comunidade mais ampla de pesquisa em IA em direções novas e inexploradas.
O impacto a jusante disso pode significar uma grande e crescente divergência entre a pesquisa, arquiteturas de modelos, economia, etc., produzidos entre os maiores laboratórios de IA fechados (aqueles que trabalham com datacenters únicos efetivamente massivos) e aqueles (provavelmente acadêmicos e empresas de IA descentralizadas) que usam clusters de computação mais distribuídos (ou seja, as pequenas, mas numerosas ilhas de computação). Não está claro como isso acontece para ambos os lados (e, em última análise, para os consumidores dos modelos produzidos por cada um), mas parece que a direção em que as coisas estão indo.
Você poderia até argumentar que já vimos vislumbres disso. Os laboratórios chineses têm restrições de computação fundamentalmente diferentes das da OpenAI, por exemplo. Esses laboratórios chineses tiveram que inovar nas técnicas de treinamento / inferência por causa disso. Não é uma analogia perfeita, mas talvez possa ajudar a elucidar como são os "pequenos passos" em direção a um novo paradigma e, com o tempo, esses pequenos passos se compõem e produzem algo que parece / funciona de maneira bem diferente do que o outro caminho produz.

4 de ago., 22:08
Para resolver isso, o principal limite de recursos é ter vários laboratórios abertos com 10000+ GPUs cada.
Vários laboratórios fazem com que não estejamos em dívida com as boas graças das grandes empresas de tecnologia para querer lançar modelos. Essas instituições aumentam a inovação + reduzem o risco dessa tecnologia crucial.
643
Melhores
Classificação
Favoritos