一句话导读
让大模型自学使用搜索、计算器等外部工具
论文信息
| 英文原名 | Toolformer: Language Models Can Teach Themselves to Use Tools |
| 中文常用名 | Toolformer(自学工具) |
| 作者 | Schick, Dwivedi-Yu, Dessi, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2302.04761 |
| 所属专题 | AI Agent |
本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。
详细解读(中文)
一、论文背景:大语言模型的知识固定于训练数据、且无法做精确计算或获取实时信息。能否让模型自己学会”在合适时机调用外部工具(搜索、计算器、翻译)”,而不是依赖人工为每个任务写死工具调用?
二、核心创新:Toolformer 提出”自学工具调用”:模型在语料中自动标注出”何时需要调用工具”的位置(如计算、日期、搜索),生成 API 调用(如 [Calculator(1+2)→3]),再用”调用结果能否改善预测”作为自监督信号筛选标注,最后在标注后的数据上微调,让模型学会自主决定何时调用工具。
三、关键技术细节:① 候选工具包括计算器、问答系统、搜索引擎、翻译器、日历;② 标注过程:对语料中的词,用模型提示”要不要调用工具?”并采样生成调用,执行后用 loss 对比(保留能降低预测损失的调用);③ 微调后模型可在 zero-shot 下自主调用工具;④ 实验表明 Toolformer 在算术、问答、事实查询等任务上超越 GPT-3 基线,且不会像人工工具提示那样降低通用能力。
影响与后续发展
Toolformer 开创了”语言模型自学使用工具”的研究方向,是当前”函数调用(Function Calling)””工具增强 Agent”(OpenAI 函数调用、Claude tools、各类 MCP 生态)的思想源头之一。
查看原始论文(权威链接)
英文原文摘要(Original Abstract,节选)
Toolformer: Language models can be taught to use external tools (such as search engines, calculators, and translation systems) through self-supervised learning. We introduce a model that decides when and how to call APIs, and show that it significantly improves zero-shot performance across a range of downstream tasks, enabling models to access up-to-date information and perform exact calculations.
提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。