Analiza 👇👇👇 precisă a modelelor de expediere și servire implică obținerea corectă a sute de detalii nuanțate. Testele în acest domeniu sunt rareori promovate/eșuate.
clem 🤗
clem 🤗6 aug., 23:44
O mulțime de preluări contradictorii despre gpt-oss (yay open-source în lumina reflectoarelor)! Alimentăm demonstrația oficială @openai cu furnizorii de inferență HF datorită @FireworksAI_HQ, @CerebrasSystems, @GroqInc și @togethercompute astfel încât să avem un loc în primul rând la ceea ce se întâmplă. Ceva de reținut: deducția pentru noile modele deschise de frontieră nu este ușoară, mai ales cu un nou format precum armonia și volumul de interes pe care gpt-oss îl primește din poartă. Vârfurile timpurii pot afecta temporar calitatea, acuratețea și "vibrațiile" generale, în special la doar 24 de ore după lansare, când furnizorii sunt într-o cursă contra cronometru cu aproape deloc somn! Câteva sfaturi pentru a evita formarea unor opinii greșite: - Dacă vă pasă să obțineți vibrații cât mai repede posibil, utilizați o configurație găzduită care vă oferă o diversitate de furnizori, cum ar fi furnizorii de inferență HF (și urmați ghidurile standard oficiale ( - Dacă puteți, încercați-l pe propriul hardware din paginile modelului HF (care sunt de obicei surse bune de adevăr cu transformatoare și vLLM (rețineți că puteți face greșeli și în generație acolo) - Răciți și luați X preluări fierbinți cu un grăunte de sare. Chiar dacă primele zile pot fi confuze, puterea open-source este că nu există înșelăciune, așa că vom descoperi treptat toate punctele forte și limitările acestor modele! Personal, cred că aceasta este o lansare de referință a echipei @OpenAI, genul de lansare de care ne vom aminti peste 10 ani datorită implicațiilor sale. Abia aștept să văd ce ne rezervă 🚀🚀🚀 viitorul
2,52K