热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Andrej Karpathy 支持在使用 LLM 的 AI 软件开发中引入与 "上下文工程" 相关的新术语。
这个术语早已显得非常必要。每当我向人们解释我们是如何开发 Nethermind AuditAgent 时,除了使用领域专业知识(web3 安全)和使用来自 OpenAI、Anthropic 和 Google 的最佳可用 AI 模型以及 LLM 工具之外,一个关键方面正是 "上下文工程"。
有时会有一句话 "上下文是王",这确实是事实。无论是巨大的先进 LLM 还是优化的小型 LLM,都是强大的工具,但就像任何工具一样,如果在错误的手中,你得到的结果远不如你正确使用它们时的结果。上下文管理(或工程)确实是一个复杂且描述不够清晰的领域,正在不断发展,它实际上是作为提示工程概念的扩展而出现的,而提示工程已经有一些负面含义。
总体而言,Andrej 列出了与上下文工程相关的主要方面(在第二张截图中),但在每个具体任务中,人们在很大程度上通过反复试验取得了出色的结果,每次单调地尝试选择在这个问题解决阶段真正需要的上下文元素,收集每个阶段的基准,查看指标,将数据集划分为测试、验证等,等等。
你对 "上下文工程" 有什么看法?

2025年6月25日
+1 对于 "上下文工程" 而非 "提示工程"。
人们将提示与日常使用中给 LLM 的简短任务描述联系在一起。而在每个工业级 LLM 应用中,上下文工程是将正确的信息填充到上下文窗口以进行下一步的微妙艺术和科学。科学在于,正确地做到这一点涉及任务描述和解释、少量示例、RAG、相关(可能是多模态)数据、工具、状态和历史、压缩……太少或形式错误,LLM 就没有正确的上下文以实现最佳性能。太多或太无关,LLM 的成本可能会上升,性能可能会下降。做好这一点是非常复杂的。而艺术在于对 LLM 心理学和人类精神的引导直觉。
除了上下文工程本身,LLM 应用还必须:
- 恰当地将问题分解为控制流
- 恰当地打包上下文窗口
- 调度合适类型和能力的 LLM 调用
- 处理生成-验证 UIUX 流程
- 还有很多 - 保护措施、安全性、评估、并行处理、预取……
因此,上下文工程只是一个新兴的复杂软件层中的一小部分,该层将单个 LLM 调用(以及更多)协调成完整的 LLM 应用。"ChatGPT 包装器" 这个术语已经过时,真的非常错误。
395
热门
排行
收藏