AI 手记AI 手记

小模型 + 好提示,干掉大模型 + 懒提示

2 分钟0 阅读

我有个习惯,特别费钱:不管什么任务,都默认用最大最强的模型。

理由很朴素——大的就是好的,贵的成本就当买保险了。直到有一次做成本审计,我发现 90% 的调用量,都是摘要、改写、抽取这种机械任务。而我把最贵的模型,用在了最便宜的任务上。

一次换模型的对照实验

我挑了最典型的摘要任务做对照:同一批 100 篇文章,分别让大模型和小模型生成摘要,一套给懒提示(「请总结以下内容」),一套给精调提示(明确字数、结构、禁口语、给一个样例)。

结果摆出来很有意思:

  • 大模型 + 懒提示:质量很好。
  • 小模型 + 懒提示:质量明显拉胯。
  • 小模型 + 精调提示:质量逼近大模型,成本是大模型的十五分之一。

关键的变量不是模型大小,是提示质量。小模型用懒提示会被大模型碾压,但配上精调提示,差距收窄到几乎可忽略。而精调提示我只需要写一次,之后所有摘要任务复用。

这件事的真正启发

这次实验让我改了两个认知。

第一,大模型不是万能药,是贵药。 它的价值在于处理难任务、长尾情况、需要判断的地方。把它浪费在标准化任务上,是用牛刀杀鸡,还嫌鸡贵。

第二,提示词的价值和模型大小成反比。 模型越强,对提示的依赖越低(它能脑补你的意图);模型越弱,对提示的依赖越高(你得把意图讲清它才会干)。所以用小模型逼出了好提示,好提示又反过来让小模型能干更多事,是个正循环。

我现在的配比

我把任务分成三档,对应三档模型:

  • 机械任务(摘要、抽取、格式转换)→ 小模型 + 精调提示,成本最低。
  • 常规任务(改写、问答、多轮对话)→ 中模型,性价比档。
  • 难任务(方案设计、复杂调试、创意发想)→ 大模型,用在对的地方。

成本降了一个量级,整体产出质量我没感到下降。

一个反直觉的收尾

很多人觉得用小模型是「省钱」,言下之意是「认怂」。但我的体感相反:能精准地用小模型,恰恰说明你比模型更懂这个任务——你知道它不需要多大的智能就能干好。用最大的那个反而省事但不省心。

会按任务配模型,是一种比「无脑用最强」更高级的用法。这不是抠门,是把智能用在刀刃上。

相关阅读