J'aimerais aussi voir cela se réaliser. Mais en pratique, je ne suis pas sûr de la manière d'implémenter quelque chose comme ça. Le gouvernement fédéral subventionne-t-il simplement le coût pour que des laboratoires ouverts acquièrent ce matériel ? Ce serait une subvention continue (il faut du nouveau matériel fréquemment maintenant), et comment sélectionner quels laboratoires reçoivent la subvention ? Un calcul rapide pour 10 000 H200 est probablement supérieur à 300 millions de dollars si nous utilisons l'hypothèse simple d'environ 30 000 dollars par H200. Et cela ne concerne que l'acquisition de matériel GPU. Vous avez besoin d'un endroit pour faire fonctionner tout cela, ainsi que des coûts d'exploitation pour les maintenir. Si vous forcez les propriétaires de calcul existants à céder une partie de leur approvisionnement pour fournir à ces laboratoires, ils auront également besoin d'une forme de subvention. La plupart de ces entreprises disent qu'elles sont également contraintes par l'approvisionnement en ce moment. Quoi qu'il en soit, il semble que nous nous dirigions vers la création d'un nouveau paradigme de calcul. Le paradigme jusqu'à présent a tourné autour de l'augmentation du calcul co-localisé. Sans aucun doute, il y aura encore des constructions de centres de données de la taille de Manhattan aux États-Unis et ailleurs. Mais, il y aura aussi des îlots de calcul plus petits de tailles variées, qui sont connectés par fibre, etc. Lorsque ceux-ci deviendront les nouvelles contraintes/limitations fondamentales, cela poussera la communauté de recherche en IA plus large dans de nouvelles directions inexplorées. L'impact en aval de cela pourrait signifier une divergence large et croissante entre la recherche, les architectures de modèles, l'économie, etc. produites entre les plus grands laboratoires d'IA fermés (ceux travaillant avec des centres de données uniques massifs) et ceux (probablement des universitaires et des entreprises d'IA décentralisées) qui utilisent des clusters de calcul plus distribués (c'est-à-dire, les petits mais nombreux îlots de calcul). Il est incertain de voir comment cela se déroulera pour chaque côté (et finalement, pour les consommateurs des modèles produits par chacun), mais il semble que c'est la direction dans laquelle les choses se dirigent. On pourrait même soutenir que nous avons déjà vu des aperçus de cela. Les laboratoires chinois ont des contraintes de calcul fondamentalement différentes de celles d'OpenAI, par exemple. Ces laboratoires chinois ont dû innover sur les techniques d'entraînement/d'inférence à cause de cela. Ce n'est pas une analogie parfaite, mais peut-être que cela peut aider à éclairer à quoi ressemblent les "petits pas" vers un nouveau paradigme, et au fil du temps, ces petits pas s'accumulent et produisent quelque chose qui ressemble/fonctionne de manière assez différente de ce que l'autre chemin produit.