Toolformer(自学工具)(Toolformer: Language Models Can Teach Themselves to Use Tools)

一句话导读

让大模型自学使用搜索、计算器等外部工具

论文信息

英文原名 Toolformer: Language Models Can Teach Themselves to Use Tools
中文常用名 Toolformer(自学工具)
作者 Schick, Dwivedi-Yu, Dessi, et al.
发表年份 2023
出处 / 获取 arXiv:2302.04761
所属专题 AI Agent

本文为 AI泡泡堂 经典 AI 文献栏目收录,信息经公开渠道核验。若需引用请以原论文为准。

详细解读(中文)

一、论文背景:大语言模型的知识固定于训练数据、且无法做精确计算或获取实时信息。能否让模型自己学会”在合适时机调用外部工具(搜索、计算器、翻译)”,而不是依赖人工为每个任务写死工具调用?

二、核心创新:Toolformer 提出”自学工具调用”:模型在语料中自动标注出”何时需要调用工具”的位置(如计算、日期、搜索),生成 API 调用(如 [Calculator(1+2)→3]),再用”调用结果能否改善预测”作为自监督信号筛选标注,最后在标注后的数据上微调,让模型学会自主决定何时调用工具。

三、关键技术细节:① 候选工具包括计算器、问答系统、搜索引擎、翻译器、日历;② 标注过程:对语料中的词,用模型提示”要不要调用工具?”并采样生成调用,执行后用 loss 对比(保留能降低预测损失的调用);③ 微调后模型可在 zero-shot 下自主调用工具;④ 实验表明 Toolformer 在算术、问答、事实查询等任务上超越 GPT-3 基线,且不会像人工工具提示那样降低通用能力。

影响与后续发展

Toolformer 开创了”语言模型自学使用工具”的研究方向,是当前”函数调用(Function Calling)””工具增强 Agent”(OpenAI 函数调用、Claude tools、各类 MCP 生态)的思想源头之一。


查看原始论文(权威链接)

英文原文摘要(Original Abstract,节选)

Toolformer: Language models can be taught to use external tools (such as search engines, calculators, and translation systems) through self-supervised learning. We introduce a model that decides when and how to call APIs, and show that it significantly improves zero-shot performance across a range of downstream tasks, enabling models to access up-to-date information and perform exact calculations.

提示:以上英文摘要为原文节选,完整论文请通过上方权威链接查看(原始论文版权归原作者/出版方所有)。

发表评论

您的邮箱地址不会被公开。必填项已用 * 标注

© 2026 AI泡泡堂 · 银川鲸鱼智家网络科技有限公司 · 宁ICP备2026003950号
回到顶部