Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
le pré CoT était le meilleur car vous aviez la liberté de structurer le CoT comme vous le souhaitiez. gpt4-0314 était génial pour ça.
Une fois qu'ils ont intégré le CoT, les choses ont commencé à aller mal. Tous les prompts sont devenus soumis aux mêmes abstractions.
Tout ce qu'il fait, c'est inonder la fenêtre de contexte pour guider les sorties.
Même dans gpt 3.5, les gens savaient que les meilleures sorties venaient après "avoir amorcé la pompe" pour fournir un cadre.
L'obsession de pouvoir tout faire en une seule fois a rendu le produit moins malléable.

8 août, 07:29
Le raisonnement par chaîne de pensée des LLMs est-il un mirage ?
... Nos résultats révèlent que le raisonnement CoT est un mirage fragile qui disparaît lorsqu'il est poussé au-delà des distributions d'entraînement. Ce travail offre une compréhension plus profonde des raisons pour lesquelles et des moments où le raisonnement CoT échoue, soulignant le défi permanent d'atteindre un raisonnement véritable et généralisable.
... Nos découvertes révèlent que le raisonnement CoT fonctionne efficacement lorsqu'il est appliqué à des données dans la distribution ou proches de la distribution, mais devient fragile et sujet à l'échec même sous des changements de distribution modérés. Dans certains cas, les LLMs génèrent des étapes de raisonnement fluides mais logiquement inconsistantes. Les résultats suggèrent que ce qui semble être un raisonnement structuré peut être un mirage, émergeant de motifs mémorisés ou interpolés dans les données d'entraînement plutôt que d'une inférence logique.
... Ensemble, ces résultats suggèrent que les LLMs ne sont pas des raisonneurs principiels mais plutôt des simulateurs sophistiqués de textes ressemblant à du raisonnement.

1,69K
Meilleurs
Classement
Favoris