Ik zou dit ook graag zien gebeuren. Maar in de praktijk weet ik niet goed hoe ik zoiets moet implementeren. Subsidieert de federale overheid simpelweg de kosten voor open labs om deze hardware aan te schaffen? Dit zou een doorlopende subsidie zijn (er is nu vaak nieuwe hardware nodig), en hoe selecteer je welke labs de subsidie krijgen? Napkin-wiskunde voor 10K H200's is waarschijnlijk meer dan $300M als we de eenvoudige aanname van ~$30K per H200 gebruiken. En dit is alleen de acquisitie van GPU-hardware. Je hebt ergens een plek nodig om deze te draaien, samen met operationele kosten om ze te onderhouden. Als je bestaande compute-eigenaren dwingt om een deel van hun aanbod af te staan aan deze labs, hebben ze ook een vorm van subsidie nodig. De meeste van deze bedrijven zeggen dat ze momenteel ook aanbodbeperkingen hebben. In ieder geval lijkt het erop dat we op weg zijn naar de creatie van een nieuw compute-paradigma. Het paradigma tot nu toe draaide om het opschalen van co-locatie-compute. Er zullen ongetwijfeld nog steeds datacenterbouwprojecten ter grootte van Manhattan in de VS en elders zijn. Maar er zullen ook kleinere compute-eilanden zijn van verschillende groottes, die met glasvezel enz. zijn verbonden. Wanneer dit de nieuwe/standaard beperkingen en fundamentele beperkingen zijn, zal dit de bredere AI-onderzoekscommunity in nieuwe, onontdekte richtingen duwen. De downstream impact hiervan zou kunnen betekenen dat er een grote en groeiende divergentie ontstaat tussen het onderzoek, de modelarchitecturen, de economieën enz. die worden geproduceerd door de grootste, gesloten AI-labs (die werken met effectief enorme enkele datacenters) en die (waarschijnlijk academici en gedecentraliseerde AI-bedrijven) die gebruik maken van meer gedistribueerde compute-clusters (d.w.z. de kleine maar talrijke compute-eilanden). Onzeker hoe het voor beide kanten uitpakt (en uiteindelijk, de consumenten van de modellen die door elk worden geproduceerd), maar het lijkt erop dat dit de richting is waarin de dingen zich bewegen. Je zou zelfs kunnen stellen dat we hier al glimpsen van hebben gezien. Chinese labs hebben fundamenteel verschillende compute-beperkingen dan die van OpenAI bijvoorbeeld. Deze Chinese labs moesten innoveren op het gebied van training/inferentietechnieken vanwege dit. Niet een perfecte analogie, maar misschien kan het helpen om te verduidelijken hoe "kleine stappen" naar een nieuw paradigma eruit zien, en in de loop van de tijd, stapelen deze kleine stappen zich op en produceren ze iets dat er heel anders uitziet/functioneert dan wat het andere pad produceert.