Jika Anda membaca satu hal minggu ini, akan menyarankan laporan AI di bawah ini: "Dari Pengecoran Data ke Model Dunia" Ini menjalin pengecoran data, rekayasa konteks, lingkungan RL, model dunia & lainnya ke dalam esai yang mudah didekati, namun komprehensif tentang tepi AI saat ini. 👇

Artikel lengkap: 🧵bawah: 1) Dari rilis Grok 4, jelas bahwa kita belum menabrak "dinding" dalam pengeluaran komputasi. Sumber: @xai

2) Semakin banyak, data tampak menjadi tiang pendek di tenda. Sumber: @EpochAIResearch

3) Sebagian besar pengeluaran ini digunakan untuk menghasilkan kumpulan data berkualitas tinggi untuk pasca-pelatihan yang dengan cepat mendekati 50% dari anggaran komputasi

4) Hal ini telah menyebabkan perubahan permintaan untuk "pengecoran data" seperti @scale_AI @HelloSurgeAI @mercor_ai & lainnya yang membantu sumber keahlian yang diperlukan & kerajinan pipa data yang penting untuk RL dalam domain yang tidak dapat diverifikasi ...

5) Yang dapat membantu mendorong model penalaran yang lebih mumpuni, jelas paradigma penskalaan du jour per @ArtificialAnlys

6) Namun, model tidak lagi dibatasi oleh IQ tetapi oleh konteks. Rekayasa prompt telah menyerahkan tongkat estafet ke "Teknik Konteks" - bidang yang berkembang yang mengoptimalkan muatan informasi ke LLM.

7) Ruangnya sangat dinamis tetapi umumnya memerlukan konteks penskalaan di 2 vektor: 1. Panjang Konteks: tantangan komputasi & arsitektur untuk memproses urutan ultra-panjang 2. Multimodal: menskalakan konteks di luar teks ke lingkungan yang benar-benar multimodal.

8) Mungkin ekspresi utama dari konteks eng. adalah membuat "lingkungan RL" yang meniru tugas di mana RL dapat dijalankan dengan sempurna. Sementara data terbatas saat ini, @MechanizeWork percaya kita sedang menuju infleksi "GPT-3-esque" dengan RL berskala besar-besaran

9) Namun, membuat lingkungan ini cukup padat karya dan tampaknya tidak terlalu "pahit". @_kevinlu bertanya-tanya apakah ada cara untuk memanfaatkan internet untuk pasca-pelatihan seperti yang dilakukan untuk pra-pelatihan?

10) Meskipun pemikiran yang menarik, sebagian besar internet telah ditangkap oleh beberapa ekosistem besar yang terintegrasi secara vertikal dan dengan cepat melakukan RL di seluruh bahan-bahannya untuk RL yang lebih cepat (yaitu alfa berevolusi dari @GoogleDeepMind )

11) Tidak jelas apakah perusahaan-perusahaan besar ini memandang lingkungan RL yang berbeda sebagai hal penting atau hanya pemberhentian sementara dalam perjalanan ke "model dunia" penuh, lengkap dengan kembaran digital dari hampir setiap fenomena Genie 3 dari Google tentu saja merupakan anggukan ke arah ini:

12) Yang menimbulkan pertanyaan: apakah pendekatan terintegrasi secara vertikal untuk membangun kecerdasan sintetis dengan loop umpan balik RL yang lebih cepat ditujukan untuk mempercepat dan menangkap pasar atau dapatkah sistem modular komputasi laten, data, dan bakat bersaing dengan orkestrasi yang efektif?