我記得在2019年初，當我將楊志霖的transformers XL模型作為transformers庫中的第三個模型時，感到非常印象深刻。 我並不驚訝他現在與Moonshot AI一起推出了令人驚豔的產品。 這是一個漫長的故事，我應該有一天講述，但在某種程度上，這個小型的Google團隊是最早真正理解擴大訓練數據力量的團隊之一。