Fan, @sanchitmonga22 RunAnywhereAI-teamet kom på MetalRT på 48 timmar, vilket direkt torkade avkodningshastigheten för LLM:er på Apple Silicon till en ny nivå, med samma 4-bitarsmodell på M4 Max, Qwen3-0,6B körs på 658 tok/s, LFM 2,5-1,2B 570 tok/s, och den första token tar bara 6,6 ms. Jämfört med samma dokument är Apples egen MLX 19 %, hammer llama.cpp genomsnittet är 67 %, för att inte tala om Uzu och Ollama, som ligger efter överlag. Apples Apple Intelligence har alltid ropat lokal prioritet, men hårdvarupotentialen slösas faktiskt bort på olika ramverksbegränsningar, vilket motsvarar att vara förseglad; MetalRT ska direkt attackera Metal API, skära bort den röriga överhuvudet från Python-lagret och abstraktionslagret, och anpassa det för enhetligt minne + GPU för att pressa ut denna våg av extrem prestanda. Det verkliga värdet av den lokala modellen är aldrig "bara kör om du kan", utan den går tillräckligt snabbt, ekonomiskt och tillräckligt privat för att verkligen ersätta molnet. 6,6 ms första token betyder chatt, röst, kodtillägg och agentsamtal JSON utan dröjsmål; Höga tok/s kan utöka kontexten, multiverktygsparallellism och undvika störning. I kombination med noll nätverk, inga prenumerationer och data som aldrig lämnar enheten, är detta hur produktivitetsnivå lokal AI bör se ut. Snabbare är inte att visa upp tok/s-siffror, utan att låta den lilla modellen direkt slå responsupplevelsen från molnmodellen på Apples enheter. Apples AI på enheten är tänkt att spelas så här, och nu har den verkligen börjat accelerera. Apple sitter verkligen hemma, open source-communityn bygger för att öppna Pandoras ask, lokal AI är för bekväm, jag hoppas bara att mer intelligenta modeller dyker upp.

Anthropics intäkter förväntas överstiga 19 miljarder dollar årligt, en betydande ökning från 14 miljarder för några veckor sedan, vilket markerar företagets snabba tillväxttakt inför Pentagon-konflikten.

Apple Neural Engine bryter äntligen sig loss från sina största historiska begränsningar på M5 Pro och M5 Max! Tidigare, på iPhones, iPads och enklare Macs, var ANE redan det bästa inferenshårdvarualternativet (låg strömförbrukning och hög effektivitet), och täckte majoriteten av Apples enheter. Dock har ANE:s minnesbandbredd på högpresterande Macs (Pro/Max-serien) alltid varit mycket lägre än GPU:ns, vilket gör att den inte kan skalas bra till större modeller/större arbetsbelastningsbatcher→ Detta har blivit ANE:s största "nackdel". Nu löser M5 Pro / M5 Max detta problem (vilket troligen ökar ANE:s minnesbandbredd avsevärt och gör att den kan konkurrera rättvisare med GPU:er). ANE kommer äntligen att kunna förverkliga sin potential på högpresterande Macs, och framtiden kommer att innebära explosiva förbättringar inom lokal AI, särskilt högpresterande och lågströmsinferens.