إذا قرأت شيئا واحدا هذا الأسبوع ، فستقترح تقرير الذكاء الاصطناعي أدناه: "من مسابك البيانات إلى النماذج العالمية" إنه ينسج مسابك البيانات وهندسة السياق وبيئات RL والنماذج العالمية والمزيد في مقال ودود ولكنه شامل حول الحافة الحالية لنظام الذكاء الاصطناعي. 👇

المقال كاملا: 🧵ادناه: 1) من إصدار Grok 4 ، من الواضح أننا لم نصل إلى "حائط" في إنفاق الحوسبة. المصدر: @xai

2) على نحو متزايد ، يبدو أن البيانات هي القطب القصير في الخيمة. المصدر: @EpochAIResearch

3) يذهب معظم هذا الإنفاق نحو إنشاء مجموعات بيانات عالية الجودة لما بعد التدريب والتي تقترب بسرعة من 50٪ من ميزانيات الحوسبة

4) وقد أدى ذلك إلى تحول في الطلب على "مسابك البيانات" مثل @scale_الذكاء الاصطناعي @HelloSurgeAI @mercor_ai والمزيد الذين يساعدون في الحصول على الخبرة اللازمة وصياغة خطوط أنابيب البيانات الضرورية ل RL في المجالات التي لا يمكن التحقق منها ...

5) والتي يمكن أن تساعد في تغذية نماذج التفكير الأكثر قدرة من أي وقت مضى ، ومن الواضح أن نموذج التحجيم في كل @ArtificialAnlys

6) ومع ذلك ، لم تعد النماذج مقيدة بمعدل الذكاء ولكن بالسياق. نقلت الهندسة السريعة العصا إلى "هندسة السياق" - وهو مجال مزدهر يحسن حمولات المعلومات إلى LLMs.

7) المساحة ديناميكية للغاية ولكنها تستلزم عموما تحجيم السياق عبر 2 متجه: 1. طول السياق: التحديات الحسابية والمعمارية لمعالجة التسلسلات الطويلة جدا 2. متعدد الوسائط: توسيع نطاق السياق إلى ما وراء النص إلى بيئات متعددة الوسائط حقا.

8) ربما يكون التعبير النهائي عن هندسة السياق هو صياغة "بيئات RL" التي تحاكي تماما المهام التي يمكن تشغيل RL عليها. في حين أن البيانات مقيدة اليوم ، يعتقد @MechanizeWork أننا نتجه نحو انعطاف "GPT-3-esque" مع RL على نطاق واسع

9) ومع ذلك ، فإن صياغة هذه البيئات تتطلب عمالة كثيفة ولا يبدو أنها "مليئة بدرس المرير". @_kevinlu يتساءل عما إذا كانت هناك طريقة لتسخير الإنترنت لما بعد التدريب كما تم القيام به في التدريب المسبق؟

10) على الرغم من أنها فكرة مثيرة للاهتمام ، فقد تم التقاط الكثير من الإنترنت من قبل عدد قليل من النظم البيئية الكبيرة المدمجة رأسيا والتي توصل RL بسرعة عبر مكوناتها للحصول على RL أسرع (أي ألفا تتطور من @GoogleDeepMind)

11) من غير الواضح ما إذا كانت هذه الشركات الكبيرة تنظر إلى بيئات RL المتباينة على أنها ضرورية أو مجرد توقف مؤقت في طريقها إلى "نماذج عالمية" كاملة ، كاملة مع توائم رقمية لكل ظواهر تقريبا Genie 3 من Google هو بالتأكيد إيماءة في هذا الاتجاه:

12) ما الذي يطرح السؤال: هل الأساليب المتكاملة رأسيا لبناء الذكاء الاصطناعي مع حلقات تغذية مرتدة أسرع RL مخصصة للسرعة إلى الأمام والاستيلاء على السوق أم يمكن للأنظمة المعيارية للحوسبة الكامنة والبيانات والمواهب التنافس مع التنسيق الفعال؟