Présentation du `gpt-oss Pro Mode` ! Essentiellement o3 Pro, mais pour les nouveaux modèles open source d'OpenAI :) Le Pro Mode enchaîne jusqu'à 10 instances du nouveau modèle GPT-OSS d'OpenAI, lui permettant de produire une meilleure réponse qu'une seule instance ne pourrait le faire ! Open source, lien ici :

Sur Macbook M4 Max gpt-oss 120b : 48 tok/s élevé 35 tok/s normal 23 tok/s faible consommation De très belles sorties, nouveau modèle de choix

Un agent vocal alimenté par gpt-oss. Fonctionnant localement sur mon MacBook. Démo enregistrée dans une Waymo avec le WiFi désactivé. Je suis toujours dans ma phase d'IA vocale pour les jeux spatiaux, évidemment. Lien du code ci-dessous. Pour l'IA vocale conversationnelle, vous devez régler le comportement de raisonnement de gpt-oss sur "faible". (La valeur par défaut est "moyenne".) Des notes sur la façon de faire cela et un modèle jinja que vous pouvez utiliser se trouvent dans le dépôt. Le LLM dans la vidéo de démonstration est la grande version de 120B de gpt-oss. Vous pouvez bien sûr utiliser le modèle plus petit de 20B pour cela. Mais OpenAI a vraiment fait quelque chose de cool ici en concevant le modèle de 120B pour fonctionner dans "juste" 80 Go de VRAM. Et l'inférence de llama.cpp mlx est rapide : ~250 ms TTFT. Faire fonctionner un grand modèle sur un appareil donne l'impression d'un voyage dans le temps vers l'avenir de l'IA.

application de chat openai gpt-oss avec thinking-ui (100 % local) :

Cela fait un peu plus de 19 heures depuis qu'OpenAI a lancé gpt-oss, un modèle entièrement open source enfin. Et les gens deviennent déjà follement créatifs et obtiennent des résultats avec. 10 exemples fous :