少样本学习

少样本学习（few-shot learning）是一种范式：不改模型参数，只在提示词里给模型看几条 "任务 → 结果" 的示例，再抛出一个新任务，让它照着前面的样子作答

按给出的示例数量，可以细分成三档

名称	示例数量	典型用法
zero-shot	0 条	只给任务，靠模型自身能力和一句引导语
one-shot	1 条	给一个范例定调，常用于翻译、格式转换
few-shot	2~5 条	给多条范例，稳定输出结构、对齐标注口径

比如做情感分类，给三条带标签的示例，模型就会照着 正面 / 负面 / 中性 的口径回答最后一条

正面 -> 评论：这个产品真不错，用得很顺手
负面 -> 评论：完全失望，质量太差了
中性 -> 评论：快递到了

评论：外观还行，性能一般般。

它的价值在于快速适应新任务、灵活套用各种格式，以及 让输出结构更可控

主要注意的问题

1. 模型会 强烈模仿示例的格式，连标点、空格、大小写都学，所以示例的排版必须和你想要的输出完全一致；
2. 示例的 标签分布会带偏模型，如果三条示例里两条都是 "正面"，模型会倾向于多判正面，做分类时要让各类标签均衡出现

逐步思考

先看一个经典问题：369 * 1235 是多少？

这个问题对于早期模型来讲经常会被算错，原因就是前面所说的：模型是 一个 token 一个 token 从左到右预测 的，每位数字都是 "猜" 出来的，而不是 "算" 出来的，它没有一块地方专门做多位乘法

逐步思考（Chain-of-Thought，CoT）就是应对这件事的：不让模型直接输出答案，而是引导它先把 中间推理步骤 写出来

最轻量的做法，是在问题后面加一句 "让我们一步一步思考（Let's think step by step）"

Q: 小明有 3 个苹果，小红给了他 2 个，然后他吃掉 1 个，现在他有几个？
请一步步思考。

这种 "不给任何示例、仅靠一句话触发推理" 的方式，叫 零样本思维链（zero-shot-CoT），最早由 Kojima 等人在 2022 年的论文 Large Language Models Are Zero-Shot Reasoners 中提出

它为什么有效？

关键在于 把推理过程外化成了 token。模型每生成一个 token 的算力是固定的，直接要答案，等于逼它在一步之内跳到结论；而先写推理步骤，等于把一道难题拆成很多步简单预测，每一步都建立在上一步已写出的中间结果之上，等于给了模型 "更多的思考空间"

新一代 推理模型（如 o 系列、DeepSeek-R1 等）已经把思维链 内化进了训练过程，它们会自动展开长推理，不需要再手动加 "一步步思考"，硬加反而可能干扰它自己的推理节奏。CoT 提示主要是给 非推理模型 用的补丁

贡献者: zhaojisen

上一页RCT 构词法

下一页基于反馈迭代优化