Ich freue mich auf die Veröffentlichung von DailyBench! DailyBench ist ein automatisierter 4x täglicher Benchmark, der Frontier-Modell-APIs auf einem Fork von HELMLite auswertet. Ich habe DailyBench entwickelt, um zu sehen, ob wir Modellanbieter erkennen können, die Gewichtungen quantisieren, den KV-Cache komprimieren oder Modelle bei Spitzenlasten austauschen.
25,54K