Przedstawiamy `gpt-oss Pro Mode`! W zasadzie o3 Pro, ale dla nowych modeli open source OpenAI :) Pro Mode łączy do 10 instancji nowego modelu OpenAI GPT-OSS, co pozwala na uzyskanie lepszej odpowiedzi niż jedna instancja mogłaby stworzyć! Open source, link tutaj:

Na Macbooku M4 Max gpt-oss 120b: 48 tok/s wysoki 35 tok/s normalny 23 tok/s niski pobór mocy Bardzo ładne wyniki, nowy model do wyboru

Agent głosowy zasilany przez gpt-oss. Działa lokalnie na moim MacBooku. Demo nagrane w Waymo z wyłączonym WiFi. Wciąż jestem na fali AI głosowego w mojej grze kosmicznej, oczywiście. Link do kodu poniżej. Dla konwersacyjnego AI głosowego, chcesz ustawić zachowanie rozumowania gpt-oss na "niski". (Domyślnie jest "średni".) Notatki na temat tego, jak to zrobić, oraz szablon jinja, którego możesz użyć, znajdują się w repozytorium. LLM w filmie demo to duża wersja gpt-oss, 120B. Możesz użyć mniejszego modelu 20B do tego, oczywiście. Ale OpenAI naprawdę zrobiło coś fajnego, projektując model 120B, który działa w "tylko" 80GB VRAM. A wnioskowanie w llama.cpp mlx jest szybkie: ~250ms TTFT. Uruchamianie dużego modelu na urządzeniu wydaje się jak podróż w czasie w przyszłość AI.

aplikacja czatu openai gpt-oss z thinking-ui (100% lokalnie):

Minęło zaledwie nieco ponad 19 godzin, odkąd OpenAI wypuściło gpt-oss, w pełni otwarty model. A ludzie już zaczynają być szalenie kreatywni i osiągają niesamowite wyniki z jego pomocą. 10 dzikich przykładów: