Sial, tim @sanchitmonga22 RunAnywhereAI hadir dengan MetalRT dalam 48 jam, langsung mengeringkan kecepatan decoding LLM di Apple Silicon ke tingkat yang baru, menggunakan model 4-bit yang sama pada M4 Max, Qwen3-0.6B berjalan ke 658 tok/s, LFM 2.5-1.2B 570 tok/s, dan token pertama hanya membutuhkan 6.6ms. Dibandingkan dengan dokumen yang sama, MLX milik Apple sendiri adalah 19%, rata-rata llama.cpp palu adalah 67%, belum lagi Uzu dan Ollama, yang tertinggal di seluruh papan. Apple Intelligence Apple selalu meneriakkan prioritas lokal, tetapi potensi perangkat keras sebenarnya terbuang sia-sia oleh berbagai batasan kerangka kerja, yang setara dengan disegel, MetalRT adalah untuk langsung menyerang API Metal, memotong overhead yang berantakan dari lapisan Python dan lapisan abstraksi, dan menyesuaikannya untuk memori terpadu + GPU untuk memeras gelombang kinerja ekstrem ini. Nilai sebenarnya dari model lokal tidak pernah "jalankan saja jika Anda bisa", tetapi berjalan cukup cepat, cukup ekonomis, dan cukup pribadi untuk benar-benar menggantikan cloud. Token pertama 6.6ms berarti obrolan, suara, suplemen kode, dan JSON panggilan Agen tanpa penundaan; Tok/s tinggi dapat memperluas konteks, paralelisme multi-alat, dan menghindari kemacetan. Ditambah dengan nol jaringan, tanpa langganan, dan data yang tidak pernah meninggalkan perangkat, seperti inilah AI lokal tingkat produktiviti. Lebih cepat bukan untuk memamerkan angka tok/s, tetapi membiarkan model kecil secara langsung mengalahkan pengalaman respons model besar cloud di perangkat Apple. AI di perangkat Apple seharusnya dimainkan seperti ini, dan sekarang benar-benar mulai berakselerasi. Apple benar-benar duduk di rumah, komunitas open source sedang membangun untuk membuka kotak Pandora, AI lokal terlalu nyaman, saya hanya berharap model yang lebih cerdas akan muncul.

Pendapatan Anthropic diperkirakan akan melebihi $ 19 miliar tahunan, peningkatan yang signifikan dari $ 14 miliar beberapa minggu yang lalu, menandai tingkat pertumbuhan perusahaan yang cepat menjelang konflik Pentagon.

Apple Neural Engine akhirnya membebaskan diri dari keterbatasan historis terbesarnya pada M5 Pro dan M5 Max! Sebelumnya, di iPhone, iPad, dan Mac kelas bawah, ANE sudah menjadi opsi perangkat keras inferensi terbaik (konsumsi daya rendah dan efisiensi tinggi), yang mencakup sebagian besar perangkat Apple. Namun, pada Mac kelas atas (seri Pro/Max), bandwidth memori ANE selalu jauh lebih rendah daripada GPU, sehingga tidak dapat menskalakan dengan baik ke model yang lebih besar/beban kerja yang lebih besar→ Ini telah menjadi "kecacatan" utama ANE. Sekarang M5 Pro / M5 Max memecahkan masalah ini (yang mungkin sangat meningkatkan bandwidth memori ANE dan memungkinkannya bersaing lebih adil dengan GPU). ANE akhirnya akan dapat benar-benar menyadari potensinya pada Mac kelas atas, dan di masa depan akan melihat peningkatan eksplosif dalam AI lokal, terutama inferensi efisiensi tinggi dan daya rendah.