Skulle älska att se detta hända också. Men i praktiken är jag osäker på hur man ska genomföra något sådant här. Subventionerar den federala regeringen helt enkelt kostnaden för öppna laboratorier att skaffa denna hårdvara? Detta skulle vara en pågående subvention (behöver ny hårdvara ofta nu), och hur väljer man vilka laboratorier som får subventionen? Servettmatematik för 10K H200 är förmodligen norr om $300M om vi använder ett enkelt antagande på ~$30K per H200. Och det här är bara förvärv av GPU-hårdvara. Du behöver någonstans att köra dessa tillsammans med opex för att underhålla dem. Om du tvingar befintliga beräkningsägare att ta bort en viss mängd av sitt utbud för att tillhandahålla dessa labb behöver de också någon form av subvention. De flesta av dessa företag säger att de också har ett begränsat utbud just nu. I vilket fall som helst verkar det som om vi är på väg mot skapandet av ett nytt beräkningsparadigm. Paradigmet har hittills kretsat kring att skala upp samlokaliserad beräkning. Utan tvekan kommer det fortfarande att finnas utbyggnader av datacenter i Manhattan-storlek i USA och på andra håll. Men det kommer också att finnas mindre beräkningsöar som varierar i storlek, som är anslutna med fiber etc. När detta är de nya/standardbegränsningarna och grundläggande begränsningarna kommer det att driva det bredare AI-forskarsamhället i nya, outforskade riktningar. Nedströmseffekterna av detta kan innebära en stor och växande skillnad mellan den forskning, modellarkitekturer, ekonomi etc. som produceras mellan de största, slutna AI-laboratorierna (de som arbetar med effektivt massiva enskilda datacenter) och de (sannolikt akademiker och decentraliserade AI-företag) som använder mer distribuerade beräkningskluster (dvs. de små men talrika beräkningsöarna). Oklart hur det går för båda sidor (och i slutändan konsumenterna av de modeller som produceras av varje), men det verkar som om det är i den riktningen saker och ting är på väg. Man kan till och med hävda att vi redan har sett glimtar av detta. Kinesiska laboratorier har fundamentalt andra beräkningsbegränsningar än till exempel OpenAI. Dessa kinesiska laboratorier var tvungna att förnya sig när det gäller tränings-/inferenstekniker på grund av detta. Inte en perfekt analogi, men kanske kan den hjälpa till att belysa hur "små steg" mot ett nytt paradigm ser ut, och över tid sammansätts dessa små steg och producerar något som ser ut/fungerar helt annorlunda än vad den andra vägen producerar.