Mi-ar plăcea să văd că se întâmplă și asta. Dar în practică, nu sunt sigur cum să implementez așa ceva. Guvernul federal subvenționează pur și simplu costul pentru laboratoarele deschise pentru a achiziționa acest hardware? Aceasta ar fi o subvenție continuă (am nevoie de hardware nou frecvent acum) și cum să selectăm ce laboratoare primesc subvenția? Matematica șervețelului pentru 10K H200 este probabil la nord de 300 de milioane de dolari dacă folosim ipoteza simplă de ~ 30 de mii de dolari pe 200 de dolari. Și aceasta este doar achiziția de hardware GPU. Aveți nevoie de un loc unde să le rulați împreună cu opex pentru a le întreține. Dacă forțați proprietarii de calculatoare existenți să aloce o anumită cantitate din aprovizionarea lor pentru a furniza acestor laboratoare, vor avea nevoie și de o formă de subvenție. Cele mai multe dintre aceste companii spun că și în acest moment sunt limitate de aprovizionare. În orice caz, se pare că ne îndreptăm spre crearea unei noi paradigme de calcul. Paradigma de până acum s-a învârtit în jurul scalării calculului co-localizat. Fără îndoială, vor exista în continuare construcții de centre de date de dimensiunea Manhattanului în SUA și în alte părți. Dar, vor exista și insule de calcul mai mici, de dimensiuni variate, care sunt conectate cu fibră etc. Când acestea sunt constrângerile noi/standard și limitările fundamentale, va împinge comunitatea mai largă de cercetare AI în direcții noi, neexplorate. Impactul în aval ar putea însemna o divergență mare și tot mai mare între cercetarea, arhitecturile modelelor, economia etc. produse între cele mai mari laboratoare de inteligență artificială închise (cele care lucrează cu centre de date unice efectiv masive) și cele (probabil academicieni și companii de inteligență artificială descentralizate) care utilizează clustere de calcul mai distribuite (adică insulele de calcul mici, dar numeroase). Nu este clar cum se va dovedi pentru ambele părți (și, în cele din urmă, pentru consumatorii modelelor produse de fiecare), dar se pare că direcția în care se îndreaptă lucrurile. Ați putea chiar spune că am văzut deja sclipiri din acest lucru. Laboratoarele chineze au constrângeri de calcul fundamental diferite de cele ale OpenAI, de exemplu. Aceste laboratoare chineze au trebuit să inoveze în tehnicile de antrenament/inferență din această cauză. Nu este o analogie perfectă, dar poate că poate ajuta la elucidarea a ceea ce arată "pașii mici" către o nouă paradigmă și, în timp, acești pași mici se compun și produc ceva care arată/funcționează destul de diferit de ceea ce produce cealaltă cale.