18禁xx181818 网站

18禁xx181818 网站?面向AI代理的上下文工程：构建 Manus 的经验教训 2025 年 7 月 18 日 季逸超 在Manus 项目伊始，我和团队面临一个关键抉择：是使用开源基础模型训练一个端到端的代理模型，还是基于前沿模型的上下文学习能力构建代理？ 回想我在自然语言处理领域的最初十年，我们没有这样的选择余地。在BERT 的远古时代（是的，已经七年了），模型必须经过微调并评估后才能迁移到新任务。即使当时的模型远小于如今的 LLMs，这一过程每次迭代往往也需数周。对于快速发展的应用，尤其是产品市场匹配前期，这样缓慢的反馈周期是致命的。这是我上一家创业公司的惨痛教训，当时我从零开始训练模型用于开放信息抽取和语义搜索。随后 GPT-3 和 Flan-T5 的出现，让我自研的模型一夜之间变得无关紧要。讽刺的是，正是这些模型开启了上下文学习的新纪元——也为我们开辟了一条全新的前进道路。 这个来之不易的教训让选择变得清晰：Manus 将押注于上下文工程。这使我们能够在数小时内发布改进，而不是数周，同时保持我们的产品与底层模型正交：如果模型进步是涨潮，我们希望 Manus 是船，而不是固定在海床上的柱子。 然而，上下文工程远非简单。这是一门实验科学——我们已经重建了四次代理框架，每次都是在发现了更好的上下文塑造方法之后。我们亲切地称这种手动的架构搜索、提示调整和经验猜测过程为“随机梯度下降”。它不优雅，但有效。 这篇文章分享了我们通过自己的“SGD”达到的局部最优解。如果你正在构建自己的 AI 代理，希望这些原则能帮助你更快收敛。 围绕KV缓存设计 如果只能选择一个指标，我认为KV 缓存命中率是生产阶段 AI 代理最重要的指标。它直接影响延迟和成本。要理解原因，我们先看看典型代理的工作方式： 在接收到用户输入后，代理通过一系列工具调用来完成任务。在每次迭代中，模型根据当前上下文从预定义的动作空间中选择一个动作。然后在环境中执行该动作（例如Manus 的虚拟机沙箱），以产生观察结果。动作和观察结果被追加到上下文中，形成下一次迭代的输入。这个循环持续进行，直到任务完成。 正如你所想象的，上下文随着每一步增长，而输出——通常是结构化的函数调用——则相对较短。这使得预填充与解码之间的比例在代理中远远偏高，区别于聊天机器人。例如，在 Manus 中，平均输入与输出的Token比约为100:1。 幸运的是，具有相同前缀的上下文可以利用KV 缓存，这大大减少了首次生成标记时间（TTFT）和推理成本——无论你是使用自托管模型还是调用推理 API。这里的节省可不是小数目：以 Claude Sonnet 为例，缓存的输入标记费用为 0.30 美元/千标记，而未缓存的则为 3 美元/千标记——相差 10 倍。 从上下文工程的角度来看，提高KV 缓存命中率涉及几个关键做法： 保持提示前缀稳定。由于LLMs 的自回归特性，即使是单个标记的差异也会使该标记及其之后的缓存失效。一个常见错误是在系统提示开头包含时间戳——尤其是精确到秒的时间戳。虽然这样可以让模型告诉你当前时间，但也会大幅降低缓存命中率。 使你的上下文仅追加。避免修改之前的操作或观察。确保你的序列化是确定性的。许多编程语言和库在序列化JSON 对象时不保证键的顺序稳定，这可能会悄无声息地破坏缓存。 在需要时明确标记缓存断点。一些模型提供商或推理框架不支持自动增量前缀缓存，而是需要在上下文中手动插入缓存断点。设置这些断点时，应考虑缓存可能过期的情况，至少确保断点包含系统提示的结尾部分。 此外，如果你使用像vLLM 这样的框架自托管模型，确保启用了前缀/提示缓存，并且使用会话 ID 等技术在分布式工作节点间一致地路由请求。 遮蔽，而非移除 随着你的智能体功能不断增强，其动作空间自然变得更加复杂——简单来说，就是工具数量激增。最近 MCP 的流行更是火上浇油。如果允许用户自定义工具，相信我：总会有人将数百个神秘工具接入你精心策划的动作空间。结果，模型更可能选择错误的动作或走低效路径。简而言之，你的重装智能体反而变得更笨。 一种自然的反应是设计动态动作空间——或许使用类似 RAG 的方式按需加载工具。我们在 Manus 中也尝试过。但实验表明一个明确的规则：除非绝对必要，避免在迭代过程中动态添加或移除工具。主要有两个原因： 1. 在大多数LLMs 中，工具定义在序列化后通常位于上下文的前部，通常在系统提示之前或之后。因此，任何更改都会使所有后续操作和观察的 KV 缓存失效。 2. 当之前的操作和观察仍然引用当前上下文中不再定义的工具时，模型会感到困惑。如果没有受限解码，这通常会导致模式违规或幻觉操作。 为了解决这一问题，同时提升动作选择的效果，Manus 使用了一个上下文感知的状态机来管理工具的可用性。它不是移除工具，而是在解码过程中屏蔽Token的对数概率，以根据当前上下文防止（或强制）选择某些动作。 在实际操作中，大多数模型提供商和推理框架都支持某种形式的响应预填充，这使你可以在不修改工具定义的情况下限制动作空间。函数调用通常有三种模式（我们以NousResearch 的 Hermes 格式为例）： 自动——模型可以选择是否调用函数。通过仅预填回复前缀实现：<|im_start|>assistant 必需——模型必须调用一个函数，但选择不受限制。通过预填充到工具调用标记实现：<|im_start|>assistant 指定——模型必须从特定子集中调用函数。通过预填充到函数名开头实现：<|im_start|>assistant {"name": “browser_ 利用此方法，我们通过直接屏蔽标记的对数概率来限制动作选择。例如，当用户提供新输入时，Manus 必须立即回复，而不是执行动作。我们还特意设计了具有一致前缀的动作名称——例如，所有与浏览器相关的工具都以 browser_开头，命令行工具以 shell_开头。这使我们能够轻松确保代理在特定状态下仅从某一组工具中选择，而无需使用有状态的对数概率处理器。 这些设计有助于确保Manus 代理循环保持稳定——即使在模型驱动架构下也是如此。 将文件系统用作上下文 现代前沿的LLMs 现在提供 128K Token或更多的上下文窗口。但在现实世界的智能代理场景中，这通常不够，有时甚至成为负担。有三个常见的痛点： 1. 观察内容可能非常庞大，尤其是当代理与网页或PDF 等非结构化数据交互时。很容易超出上下文限制。 2. 即使窗口技术上支持，模型性能在超过某个上下文长度后往往会下降。 3. 长输入代价高昂，即使使用前缀缓存也是如此。你仍然需要为传输和预填充每个标记付费。 为了解决这个问题，许多智能体系统实施了上下文截断或压缩策略。但过度压缩不可避免地导致信息丢失。问题是根本性的：智能体本质上必须基于所有先前状态来预测下一步动作——而你无法可靠地预测哪条观察在十步之后可能变得关键。从逻辑角度看，任何不可逆的压缩都存在风险。 这就是为什么我们将文件系统视为Manus 中的终极上下文：大小无限，天生持久，并且可以由智能体自身直接操作。模型学会按需写入和读取文件——不仅将文件系统用作存储，更作为结构化的外部记忆。 我们的压缩策略始终设计为可恢复的。例如，只要保留网址，网页内容就可以从上下文中删除；只要沙盒中仍有文档路径，文档内容也可以省略。这使得 Manus 能够缩短上下文长度而不永久丢失信息。 在开发此功能时，我不禁想象，状态空间模型（SSM）要在具代理性的环境中有效工作需要什么条件。与 Transformer 不同，SSM 缺乏完全的注意力机制，难以处理长距离的向后依赖。但如果它们能掌握基于文件的记忆——将长期状态外部化而非保存在上下文中——那么它们的速度和效率可能会开启新一代代理。具代理性的 SSM 或许才是神经图灵机的真正继任者。 通过背诵操控注意力 如果你使用过Manus，可能会注意到一个有趣的现象：在处理复杂任务时，它倾向于创建一个 todo.md 文件，并随着任务的推进逐步更新，勾选已完成的事项。 这不仅仅是可爱的行为——这是一种有意操控注意力的机制。 Manus 中的一个典型任务平均需要大约 50 次工具调用。这是一个较长的循环——由于 Manus 依赖 LLMs 进行决策，因此在长上下文或复杂任务中，容易偏离主题或忘记之前的目标。 通过不断重写待办事项清单，Manus 将其目标反复写入上下文末尾。这将全局计划推入模型的近期注意力范围，避免了“中途丢失”问题，减少了目标不一致的情况。实际上，它利用自然语言来引导自身关注任务目标——无需特殊的架构改动。 保留错误信息 智能体会犯错。这不是漏洞——这是现实。语言模型会产生幻觉，环境会返回错误，外部工具会出现异常，意外的边缘情况时常发生。在多步骤任务中，失败不是例外；它是循环的一部分。 然而，一个常见的冲动是隐藏这些错误：清理痕迹，重试操作，或重置模型状态，寄希望于神奇的“温度”参数。这看起来更安全、更可控。但这付出了代价：抹去失败就抹去了证据。没有证据，模型就无法适应。 根据我们的经验，改善智能体行为的最有效方法之一看似简单：在上下文中保留错误的路径。当模型看到失败的操作及其产生的观察结果或堆栈跟踪时，它会隐式地更新内部信念。这会使其先验偏离类似的操作，从而减少重复同样错误的可能性。 事实上，我们认为错误恢复是衡量真正智能体行为的最明确指标之一。然而，在大多数学术研究和公开基准测试中，这一指标仍然被忽视，这些研究和测试通常侧重于理想条件下的任务成功率。 避免被少量示例限制 少量示例提示是提升LLM 输出的常用技巧。但在智能体系统中，它可能以微妙的方式适得其反。 语言模型擅长模仿；它们会复制上下文中的行为模式。如果你的上下文充满了类似的过去动作-观察对，模型往往会遵循这种模式，即使这已不再是最优选择。 在涉及重复决策或操作的任务中，这可能会带来危险。例如，在使用Manus 帮助审查一批 20 份简历时，代理经常陷入一种节奏——仅仅因为上下文中出现了类似内容，就重复执行相似的操作。这会导致偏离、过度泛化，甚至有时产生幻觉。 解决方法是增加多样性。Manus 在动作和观察中引入少量结构化的变化——不同的序列化模板、替代表达、顺序或格式上的细微噪声。这种受控的随机性有助于打破模式，调整模型的注意力。 换句话说，不要让少量示例把自己限制在固定模式中。上下文越统一，代理就越脆弱。 结论 上下文工程仍是一门新兴科学——但对于代理系统来说，它已经至关重要。模型可能变得更强大、更快速、更廉价，但再强的原始能力也无法替代记忆、环境和反馈的需求。你如何塑造上下文，最终决定了代理的行为：运行速度、恢复能力以及扩展范围。 在Manus，我们通过反复重写、走过死胡同以及在数百万用户中的实际测试，学到了这些经验。我们在这里分享的内容并非普遍真理，但这些是对我们有效的模式。如果它们能帮助你避免哪怕一次痛苦的迭代，那么这篇文章就达到了它的目的。 智能代理的未来将由一个个情境逐步构建。精心设计每一个情境。 迪马济奥：波贝加转会费为100万欧租借+700万欧强制买断

18禁xx181818 网站?但他在毒贩组织里的作用很大，一旦他暴露了身份，上头的那群人都自顾不暇，跑都跑不过来，还有心思报复一对儿不起眼的母子？ 崔早周记者 何磊 摄

18禁xx181818 网站?本工程的招标范围：1、楼本体基础改造整治：改造内容包括屋面改造、外墙和外窗改造，空调规整、楼体外面线缆规整，室内供水、排水改造等。2、小区公共区域改造整治：小区综合整治主要包括弱电架空线规整，修补破损道路、补绿化建，完善公共区域照明等全部工程的监理服务。

18禁xx181818 网站?报道指出，截至2017年7月，仍有12万部三星Galaxy Note 7手机在市场上流通。这起事件对三星后续手机电池产生深远影响，至今三星手机最高充电功率仍控制在45W。

18禁xx181818 网站?不过来自米兰新闻网首席跟队记者安东尼奥-维蒂耶洛的消息表示，埃斯图皮尼安这次选择了2号球衣。这个号码直到一年前还属于卡拉布里亚。 潘玉涛记者 王丹 摄

18禁xx181818 网站?情绪过后能够持续走出业绩和股价的“戴维斯双击”的才是真正受益的企业，三峡工程建设期间，海螺水泥凭借地理优势成为水泥主供之一，受益三峡工程建设的黄金十年及其他大基建项目，净利润曾增长超12倍，但这一次由于地域限制恐怕优势就没那么明显了。 王兴武记者 毛辉 摄

18禁xx181818 网站?小曼给苏诗雨支了很多招。比如她长得好看，做过主持、模特、礼仪，有很多其他路可以尝试。可苏诗雨似乎沉浸在自己的焦虑中，满脑子只想着解决在医院的困境。

18禁xx181818 网站?“我觉得这对一个新秀来说很重要，尤其是对一个非美国本土的球员而言。他们来到新环境难免会面临挑战和压力，而这种自信的心态或许能帮上大忙。他不仅个性鲜明，从他的打球风格和赛场上的冲劲也能看得出来。” 李朝君记者 姜元植 摄

18禁xx181818 网站?最后是推理延迟问题。高昂的计算和内存需求直接导致了推理速度的显著下降，使得像语音助手实时响应、在线翻译无缝切换等对延迟敏感的实时应用难以提供流畅的用户体验。尽管业界的研究者们曾尝试通过 Multi-Query Attention (MQA) 和 Grouped-Query Attention (GQA) 等方法来优化效率，但这些方案往往需要在性能和资源消耗之间做出艰难的权衡，难以找到理想的平衡点。面对这一系列严峻的挑战，研究团队经过不懈努力，最终推出了 Grouped-head latent Attention (GTA)，以其颠覆性的设计，重新定义了注意力机制的效率极限，为大型语言模型的未来发展开辟了全新的道路。 温居朝记者 熊军 摄

18禁xx181818 网站?据了解，新院区院落式的形制与布局传承中医院的历史沿革，一脉相承的“一主轴一副轴”与医疗功能紧密契合的同时，又为患者就诊、家属陪护和医护人员工作提供了室内室外交融渗透的空间环境，充分提升使用感受,使患者在就诊的全过程中体验到淳朴亲切的京味合院生活气息。

18禁xx181818 网站?《好莱坞报道者》认为，深夜秀这种传统电视节目未来将拥抱数字媒体，毕竟，深夜档的目标受众——年轻人如今都把大部分时间花在社交视频平台上，传统节目也纷纷在各大平台上线，像《今夜秀》有3270万YouTube和1920万Instagram粉丝，《直播秀》有2070万YouTube和430万Instagram粉丝。在《今夜秀》前制作人加文·珀塞尔看来，如今这类节目的影响力更多是在网络上，不少前深夜档主持人如特雷弗·诺亚、柯南·奥布莱恩都转战流媒体平台，“那些好莱坞传统渠道正在逐渐落伍，现在最重要的是吸引受众注意力。这些视频类社交媒体正是他们发挥影响力、展示能力的地方。” 牛海英记者 曾兴蓉 摄

18禁xx181818 网站?从此前他赴广东参与指导2007年龄段精英训练营、考察2008年龄段原U17国足备战的事实来看，中国足协更倾向于转聘他担任2007/2008年龄段新一届国青队主教练。而在临时接手国足前，久尔杰维奇还曾前往南京江宁基地考察全运会男足U18组别赛事及球员。应该说，对于接手这支新国青队，久尔杰维奇已经做了比较充分的准备。而从另一个角度来说，久尔杰维奇此刻已放弃竞聘国足帅位。

18禁xx181818 网站?“我记得当时（开拓者）选中他的时候，那位助教就对他赞不绝口，但我确实没怎么看过他打球。后来在夏季联赛中观察了他的表现，我才意识到‘这小子是个有真材实料的球员’，尤其是考虑到如今联盟的风格——很多强队都需要那种能在进攻端承担组织任务、推动进攻的球员，而他就具备这样的能力，而且身上还带着一股自信的劲头，确实有两把刷子！”

18禁xx181818 网站?他的传球能力非常出色，不仅能够传出一些精准的助攻，而且他的传球视野非常好。我希望看到他更多地进行简单的传球，尤其是在与以及与不太出色的队友配合。

18禁xx181818 网站?Ben Mann: 《万神殿》真的很棒。根据刘宇昆或特德·姜的故事改编。我想是刘宇昆。《超级好》讨论了如果我们上传了智能，这意味着什么，以及它们的道德和伦理需求是什么？《足球教练泰德》，表面上是关于足球的，但实际上是关于人际关系以及人们如何相处，超级暖心又有趣。

18禁xx181818 网站?汪峰与章子怡的经历提醒人们，婚姻的成功与否，并不仅仅取决于爱情的深度，更在于双方是否能够在家庭与事业之间找到平衡。

18禁xx181818 网站?对于一个有钱人来说，他更有可能在觉得一个人漂亮之后，会和这个人发生一点小插曲，但并不可能直接就因为好看娶个人回去当老婆。

18禁xx181818 网站?如果想避开花哨的特征，大家可以尽量选用一些底色偏简单的服饰。像下面这条深色的印花裙，一点都不会让人觉得夸张，反而透露出一种高级感。

18禁xx181818 网站?现在网上到处都在吵这事。有人说黄晓明有钱人就是薄情，刚有孩子就甩了人；也有人说叶珂就是图钱，不然为啥分手后这么快又跑来挣钱。叶珂自己说产后抑郁去看病的时候，黄晓明的定位还在外地拍戏，这也太不靠谱了。 吴金瑞记者 王鑫 摄

18禁xx181818 网站?“中国和特朗普治下的美国，对欧洲的看法一致——我们无关紧要，我们不重要。”在美国亚洲协会（Asia Society）近期于法国巴黎举办的一场活动上，波兰国际事务研究所亚洲项目负责人尤斯蒂娜·什祖德利克（Justyna Szczudlik）这样说道。

18禁xx181818 网站?美国加州大学圣迭戈分校的地球物理学家邓肯·阿格纽（Duncan Agnew）表示，虽然这种现象不会造成灾难性的后果，但确实值得关注。他指出，如果未来几年地球继续出现自转加快的情况，全球的计时系统可能面临历史性的调整：首次引入“负闰秒”。 胡晨鹏记者 孔鹏 摄

18禁xx181818 网站?北京德恒（西安高新区）律师事务所李宝坤律师认为：这远非简单的消费纠纷，其核心暴露出两个关键问题——商家涉嫌欺诈，以及电商平台在商家准入和保证金监管环节存在漏洞。

18禁xx181818 网站?报告期内，沐曦先后推出了用于智算推理的曦思N系列GPU、用于训推一体和通用计算的曦云C系列GPU，以及正在研发用于图形渲染的曦彩G系列GPU。但当前主要收入来源为训推一体芯片曦云C500系列的销售，较为依赖单一产品。招股书数据显示，2023年度、2024年度和2025年一季度，曦云C500系列收入分别为0.15亿元、7.22亿元和3.14亿元，占同期主营业务收入的比例分别为30.09%、97.28%和97.87%。

18禁xx181818 网站?出海模式的进化则展现出创新企业登上国际舞台的共生智慧，瑞宏迪实践的NewCo股权合作颠覆了传统技术转让的一次性交易。通过持有新公司股权，中国企业不仅保障长期收益，更能深度参与全球开发决策，推动国内临床数据获得国际认可。“这是本土企业国际化的渐进路径。”宁威强调。从技术输出到决策共治，中国药企正以股权纽带编织全球创新网络。 ，更多推荐：樱花视频