Wiele sprzecznych opinii na temat gpt-oss (hurra, open-source w świetle reflektorów)! Zasilamy oficjalną demonstrację @openai dzięki dostawcom inferencji HF, dzięki @FireworksAI_HQ, @CerebrasSystems, @GroqInc i @togethercompute, więc mamy miejsce w pierwszym rzędzie, aby zobaczyć, co się dzieje. Coś, o czym warto pamiętać: inferencja dla nowych modeli otwartych na granicy nie jest łatwa, szczególnie z nowym formatem, takim jak harmony, i ilością zainteresowania, jaką gpt-oss zyskuje od samego początku. Wczesne szczyty mogą tymczasowo wpływać na jakość, dokładność i ogólne "wibracje", szczególnie 24 godziny po wydaniu, gdy dostawcy ścigają się z czasem, ledwo śpiąc! Kilka rad, aby uniknąć formowania błędnych opinii: - Jeśli zależy ci na uzyskaniu wibracji tak szybko, jak to możliwe, użyj hostowanej konfiguracji, która daje ci różnorodność dostawców, takich jak dostawcy inferencji HF (i postępuj zgodnie z oficjalnymi standardowymi przewodnikami ( - Jeśli możesz, wypróbuj to na własnym sprzęcie z stron modeli HF (które zazwyczaj są dobrymi źródłami prawdy z transformerami i vLLM (pamiętaj, że możesz również popełniać błędy w generacji tam) - Zrelaksuj się i traktuj X gorące opinie z przymrużeniem oka. Nawet jeśli pierwsze dni mogą być mylące, siła open-source polega na tym, że nie ma oszustw, więc stopniowo odkryjemy wszystkie mocne i słabe strony tych modeli! Osobiście uważam, że to przełomowe wydanie zespołu @OpenAI, które zapamiętamy za 10 lat z powodu jego implikacji. Nie mogę się doczekać, co przyniesie przyszłość 🚀🚀🚀