Отличная перспектива и советы от @ClementDelangue о первых днях gpt-oss. Создание прочных основ требует времени, и мы рады работать с провайдерами вывода и @huggingface, чтобы помочь этим моделям работать наилучшим образом. Пожалуйста, продолжайте делиться своими отзывами!
clem 🤗
clem 🤗6 авг., 23:44
Много противоречивых мнений о gpt-oss (ура, открытый код в центре внимания)! Мы поддерживаем официальный демо-ролик @openai с помощью провайдеров инференса HF благодаря @FireworksAI_HQ, @CerebrasSystems, @GroqInc и @togethercompute, так что у нас есть возможность наблюдать за происходящим в первых рядах. Важно помнить: инференс для новых открытых моделей на переднем крае не прост, особенно с новым форматом, таким как harmony, и объемом интереса, который gpt-oss получает с самого начала. Ранние всплески могут временно повлиять на качество, точность и общие "вибрации", особенно через 24 часа после релиза, когда провайдеры спешат, почти не спя! Некоторые советы, чтобы избежать формирования неправильных мнений: - Если вам важно получить "вибрации" как можно быстрее, используйте хостинговую настройку, которая предоставляет вам разнообразие провайдеров, таких как провайдеры инференса HF (и следуйте официальным стандартным руководствам ( - Если можете, попробуйте на своем оборудовании со страниц моделей HF (которые обычно являются хорошими источниками правды с трансформерами и vLLM (имейте в виду, что вы тоже можете ошибаться в генерации там) - Расслабьтесь и воспринимайте X горячих мнений с долей скептицизма. Даже если первые дни могут быть запутанными, сила открытого кода в том, что здесь нет обмана, так что мы постепенно раскроем все сильные и слабые стороны этих моделей! Лично я считаю, что это знаковый релиз команды @OpenAI, который мы будем помнить через 10 лет из-за его последствий. Не могу дождаться, чтобы увидеть, что принесет будущее 🚀🚀🚀
26,17K