一句话导读
开源可商用的大模型，推动AI应用平民化
论文信息
| 英文原名 | LLaMA: Open and Efficient Foundation Language Models |
| 中文常用名 | LLaMA（开源大模型） |
| 作者 | Touvron, Lavril, Izacard, et al. |
| 发表年份 | 2023 |
| 出处 / 获取 | arXiv:2302.13971 |
| 所属专题 | 大语言模型 |
本文为 AI泡泡堂 经典 AI 文献栏目收录，信息经公开渠道核验。若需引用请以原论文为准。
详细解读（中文）
一、论文背景：GPT-3、PaLM 等顶尖大模型均为闭源，研究者无法复现、无法微调、无法审计。开源社区迫切需要性能接近闭源模型、且参数规模可被学术机构训练/部署的开源大模型。
二、核心创新：LLaMA 提出”用更多数据、更小模型追赶大模型”的策略：在高达 1.4 万亿 token 的纯公开数据上训练 7B/13B/33B/65B 四个规模的 Decoder-only Transformer。论文强调：同样算力预算下，应该训练更多 token 而非盲目加大参数量（与 Chinchilla 最优计算策略一致）。
三、关键技术细节：① 架构基于 GPT-3 并改进：使用预归一化（Pre-norm）、SwiGLU 激活、旋转位置编码（RoPE）；② 数据来源全部公开（CommonCrawl、C4、GitHub、维基、书籍、arXiv 论文等），过滤去重保证质量；③ 65B 模型在 2048 张 A100 上训练约 21 天，仅消耗约 2.1M GPU 小时（远低于 GPT-3 的 3.6M）；④ 13B LLaMA 在多数基准上超越 GPT-3 175B，65B 接近 Chinchilla-70B 与 PaLM-540B。
影响与后续发展
LLaMA 引爆了开源大模型生态：其权重开放催生了 Alpaca、Vicuna、Llama 2/3、Qwen、DeepSeek 等一大批开源与国产模型，也让”数据规模优先”的训练哲学成为共识。LLaMA 系列至今仍是开源社区最重要的基础模型之一。
查看原始论文（权威链接）
英文原文摘要（Original Abstract，节选）
We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. Trained on trillions of tokens with publicly available data only, LLaMA models achieve state-of-the-art performance on many benchmarks while using fewer parameters than other published models. We release the models to the research community to help advance the study of large language models.
提示：以上英文摘要为原文节选，完整论文请通过上方权威链接查看（原始论文版权归原作者/出版方所有）。