pre CoT 是最好的,因为你可以自由地构建 CoT。gpt4-0314 在这方面非常出色。 一旦他们将 CoT 融入其中,事情就开始走 downhill。所有提示都变得受到相同抽象的影响。 它所做的只是填充上下文窗口以引导输出。 即使在 gpt 3.5 中,人们也知道最佳输出是在 "priming the pump" 之后出现的,以提供一些框架。 对能够一击解决所有问题的痴迷使得产品变得不那么灵活。
steve hsu
steve hsu8月8日 07:29
大型语言模型的链式思维推理是一种幻影吗? ……我们的结果揭示了链式思维推理是一种脆弱的幻影,当它被推向超出训练分布的范围时就会消失。这项工作提供了对链式思维推理失败的原因和时机的更深入理解,强调了实现真正且可推广推理的持续挑战。 ……我们的发现表明,链式思维推理在应用于分布内或接近分布内的数据时效果显著,但在适度的分布变化下变得脆弱且容易失败。在某些情况下,大型语言模型生成流畅但逻辑不一致的推理步骤。结果表明,看似结构化的推理可能是一种幻影,源于训练数据中记忆或插值的模式,而非逻辑推理。 ……综合这些发现表明,大型语言模型并不是原则性的推理者,而是推理类文本的复杂模拟器。
1.6K