Ótima perspectiva e dicas de @ClementDelangue sobre os primeiros dias do gpt-oss. Construir bases sólidas leva tempo, e estamos entusiasmados em trabalhar com provedores de inferência e @huggingface para ajudar esses modelos a ter o melhor desempenho. Por favor, continue enviando seus comentários!
clem 🤗
clem 🤗6 de ago., 23:44
Muitas opiniões conflitantes sobre gpt-oss (yay open-source no centro das atenções)! Estamos alimentando a demonstração oficial do @openai com provedores de inferência de HF graças a @FireworksAI_HQ, @CerebrasSystems, @GroqInc e @togethercompute para que tenhamos um lugar na primeira fila do que está acontecendo. Algo para lembrar: a inferência para novos modelos abertos de fronteira não é fácil, especialmente com um novo formato como o harmony e o volume de interesse que o gpt-oss está recebendo desde o início. Os picos iniciais podem afetar temporariamente a qualidade, a precisão e as "vibrações" gerais, principalmente apenas 24 horas após o lançamento, quando os provedores estão correndo contra o relógio com quase nenhum sono! Alguns conselhos para evitar formar opiniões erradas: - Se você se preocupa em obter vibrações o mais rápido possível, use uma configuração hospedada que ofereça uma diversidade de provedores, como provedores de inferência HF ( e siga os guias padrão oficiais ( - Se puder, experimente em seu próprio hardware nas páginas do modelo HF (que geralmente são boas fontes de verdade com transformadores e vLLM (lembre-se de que você também pode cometer erros na geração) - Refrigere e tome X tomadas quentes com um grão de sal. Mesmo que os primeiros dias possam ser confusos, o poder do código aberto é que não há trapaça, então vamos descobrir todos os pontos fortes e limitações desses modelos progressivamente! Pessoalmente, acho que este é um lançamento marcante da equipe @OpenAI, do tipo que lembraremos em 10 anos por causa de suas implicações. Mal posso esperar para ver o que o futuro reserva 🚀🚀🚀
26,13K