Introductie van `gpt-oss Pro Mode`! In wezen o3 Pro, maar voor de nieuwe OpenAI open source modellen :) Pro Mode verbindt tot 10 instanties van het nieuwe OpenAI GPT-OSS model, waardoor het in staat is om een beter antwoord te produceren dan één enkele instantie alleen zou kunnen creëren! Open source, link hier:

Op Macbook M4 Max gpt-oss 120b: 48 tok/s hoog 35 tok/s normaal 23 tok/s laag vermogen Zeer mooie output, nieuw model van keuze

Een spraakagent aangedreven door gpt-oss. Lokaal draaiend op mijn MacBook. Demo opgenomen in een Waymo met WiFi uitgeschakeld. Ik ben nog steeds bezig met mijn spraak AI in het ruimtegame-thema, dat is duidelijk. Code link hieronder. Voor conversatie spraak AI wil je het redeneergedrag van gpt-oss instellen op "laag". (De standaard is "medium".) Aantekeningen over hoe je dat doet en een jinja-sjabloon dat je kunt gebruiken, staan in de repo. Het LLM in de demo-video is de grote, 120B versie van gpt-oss. Je kunt natuurlijk ook het kleinere, 20B model hiervoor gebruiken. Maar OpenAI heeft hier echt iets cools gedaan door het 120B model te ontwerpen dat draait op "slechts" 80GB VRAM. En de llama.cpp mlx inferentie is snel: ~250ms TTFT. Een groot model op het apparaat draaien voelt als een tijdreis naar de toekomst van AI.

openai gpt-oss chat-app met thinking-ui (100% lokaal):

Het is pas iets meer dan 19 uur geleden dat OpenAI gpt-oss heeft uitgebracht, een volledig open source model eindelijk. En mensen worden al gek creatief en behalen resultaten ermee. 10 wilde voorbeelden: