Vil gjerne se dette skje også. Men i praksis er jeg usikker på hvordan jeg skal implementere noe slikt. Subsidierer Fed-regjeringen ganske enkelt kostnadene for åpne laboratorier for å anskaffe denne maskinvaren? Dette vil være et løpende tilskudd (trenger ny maskinvare ofte nå), og hvordan velge hvilke laboratorier som får tilskuddet? Serviettmatematikk for 10K H200-er er sannsynligvis nord for $300M hvis vi bruker enkel antagelse på ~$30K per H200. Og dette er bare GPU-maskinvareanskaffelse. Du trenger et sted å kjøre disse sammen med opex for å vedlikeholde dem. Hvis du tvinger eksisterende dataeiere til å skille ut en viss mengde av forsyningen sin for å gi til disse laboratoriene, trenger de også en form for subsidie. De fleste av disse selskapene sier at de er forsyningsbegrenset akkurat nå også. Uansett ser det ut til at vi er på vei mot å skape et nytt dataparadigme. Paradigmet så langt har dreid seg om å skalere opp samlokalisert databehandling. Ingen tvil om at det fortsatt vil være utbygginger av datasentre på størrelse med Manhattan i USA og andre steder. Men det vil også være mindre dataøyer i varierende størrelse, som er forbundet med fiber osv. Når dette er de nye/standard begrensningene og grunnleggende begrensningene, vil det presse det bredere AI-forskningsmiljøet i nye, uutforskede retninger. Nedstrømseffekten av dette kan bety en stor og økende divergens mellom forskningen, modellarkitekturene, økonomien etc produsert mellom de største, lukkede AI-laboratoriene (de som jobber med effektivt massive enkeltdatasentre) og de (sannsynligvis akademikere og desentraliserte AI-selskaper) som bruker mer distribuerte dataklynger (dvs. de små, men mange dataøyene). Uklart hvordan det blir for begge sider (og til syvende og sist forbrukerne av modellene produsert av hver), men det virker som retningen ting er på vei i. Du kan til og med hevde at vi har sett glimt av dette allerede. Kinesiske laboratorier har fundamentalt forskjellige databehandlingsbegrensninger enn for eksempel OpenAI. Disse kinesiske laboratoriene måtte innovere på trenings-/slutningsteknikker på grunn av dette. Ikke en perfekt analogi, men kanskje det kan bidra til å belyse hvordan "små skritt" mot et nytt paradigme ser ut, og over tid sammensetter og produserer disse små skrittene noe som ser ut/fungerer ganske annerledes enn det den andre veien produserer.