Un agent vocal alimenté par gpt-oss. Fonctionnant localement sur mon MacBook. Démo enregistrée dans une Waymo avec le WiFi désactivé. Je suis toujours dans ma phase d'IA vocale pour les jeux spatiaux, évidemment. Lien du code ci-dessous. Pour l'IA vocale conversationnelle, vous devez régler le comportement de raisonnement de gpt-oss sur "faible". (La valeur par défaut est "moyenne".) Des notes sur la façon de faire cela et un modèle jinja que vous pouvez utiliser se trouvent dans le dépôt. Le LLM dans la vidéo de démonstration est la grande version de 120B de gpt-oss. Vous pouvez bien sûr utiliser le modèle plus petit de 20B pour cela. Mais OpenAI a vraiment fait quelque chose de cool ici en concevant le modèle de 120B pour fonctionner dans "juste" 80 Go de VRAM. Et l'inférence de llama.cpp mlx est rapide : ~250 ms TTFT. Faire fonctionner un grand modèle sur un appareil donne l'impression d'un voyage dans le temps vers l'avenir de l'IA.