Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Un agent vocal alimentat de gpt-oss. Rulează local pe MacBook-ul meu. Demo înregistrat într-un Waymo cu WiFi dezactivat.
Sunt încă pe jocul meu spațial, evident. Link de cod de mai jos.
Pentru AI vocal conversațional, doriți să setați comportamentul de raționament gpt-oss la "scăzut". (Valoarea implicită este "mediu".) Note despre cum să faceți asta și un șablon jinja pe care îl puteți folosi sunt în depozit.
LLM din videoclipul demo este versiunea mare, 120B a gpt-oss. Puteți folosi modelul mai mic, 20B pentru asta, desigur. Dar OpenAI a făcut cu adevărat un lucru interesant aici, proiectând modelul 120B pentru a rula în "doar" 80 GB de VRAM. Și inferența llama.cpp mlx este rapidă: ~250ms TTFT.
Rularea unui model mare pe dispozitiv se simte ca o transformare în timp în viitorul AI.
197,57K
Limită superioară
Clasament
Favorite