Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Tôi cũng rất muốn thấy điều này xảy ra. Nhưng trên thực tế, tôi không chắc làm thế nào để triển khai một cái gì đó như thế này.
Liệu chính phủ liên bang có đơn giản là trợ cấp chi phí cho các phòng thí nghiệm mở để đi mua phần cứng này không? Đây sẽ là một khoản trợ cấp liên tục (cần phần cứng mới thường xuyên bây giờ), và làm thế nào để chọn các phòng thí nghiệm nào nhận được trợ cấp? Tính toán sơ bộ cho 10K H200 có lẽ vượt quá 300 triệu đô la nếu chúng ta sử dụng giả định đơn giản là khoảng 30K đô la cho mỗi H200. Và đây chỉ là việc mua sắm phần cứng GPU. Bạn cần một nơi nào đó để vận hành chúng cùng với chi phí vận hành để duy trì chúng.
Nếu bạn buộc các chủ sở hữu máy tính hiện có phải cắt một phần nguồn cung của họ để cung cấp cho các phòng thí nghiệm này, họ cũng sẽ cần một hình thức trợ cấp. Hầu hết các công ty này nói rằng họ cũng đang bị hạn chế nguồn cung ngay bây giờ.
Dù sao đi nữa, có vẻ như chúng ta đang hướng tới việc tạo ra một mô hình tính toán mới. Mô hình cho đến nay đã xoay quanh việc mở rộng tính toán đồng vị. Không nghi ngờ gì, vẫn sẽ có những trung tâm dữ liệu lớn như Manhattan được xây dựng ở Mỹ và nơi khác. Nhưng, cũng sẽ có những hòn đảo tính toán nhỏ hơn với kích thước khác nhau, được kết nối bằng cáp quang, v.v. Khi đây là những ràng buộc và giới hạn cơ bản mới/chuẩn, nó sẽ thúc đẩy cộng đồng nghiên cứu AI rộng lớn hơn theo những hướng mới, chưa được khám phá.
Tác động hạ nguồn của điều này có thể có nghĩa là một sự phân kỳ lớn và đang gia tăng giữa nghiên cứu, kiến trúc mô hình, kinh tế, v.v. được sản xuất giữa các phòng thí nghiệm AI lớn, đóng kín (những phòng thí nghiệm làm việc với các trung tâm dữ liệu lớn hiệu quả) và những phòng thí nghiệm (có thể là các học giả và các công ty AI phi tập trung) sử dụng các cụm tính toán phân tán hơn (tức là, những hòn đảo tính toán nhỏ nhưng đông đảo). Không rõ điều này sẽ diễn ra như thế nào cho cả hai bên (và cuối cùng, cho người tiêu dùng của các mô hình được sản xuất bởi mỗi bên), nhưng có vẻ như đây là hướng mà mọi thứ đang đi tới.
Bạn thậm chí có thể lập luận rằng chúng ta đã thấy những dấu hiệu của điều này rồi. Các phòng thí nghiệm Trung Quốc có những ràng buộc tính toán hoàn toàn khác so với OpenAI, chẳng hạn. Những phòng thí nghiệm Trung Quốc này đã phải đổi mới về các kỹ thuật đào tạo/khai thác vì điều này. Không phải là một phép so sánh hoàn hảo, nhưng có thể nó có thể giúp làm sáng tỏ những gì "những bước nhỏ" hướng tới một mô hình mới trông như thế nào, và theo thời gian, những bước nhỏ này tích lũy lại và tạo ra một cái gì đó trông/chức năng khá khác biệt so với những gì con đường khác sản xuất.

22:08 4 thg 8
Để giải quyết vấn đề này, ngưỡng tài nguyên chính là phải có nhiều phòng thí nghiệm mở với hơn 10000 GPU mỗi phòng.
Nhiều phòng thí nghiệm giúp chúng ta không phải phụ thuộc vào sự ưu ái của các công ty công nghệ lớn để muốn phát hành các mô hình. Những tổ chức này tăng cường đổi mới và giảm rủi ro cho công nghệ quan trọng này.
641
Hàng đầu
Thứ hạng
Yêu thích