一、token 就是 AI 眼里的“文字积木”你写一句话“今天天气真好。”在你眼里这是 6 个字。但在 AI 眼里它可能被拆成了几块小积木今天天气真好。这就是 5 个token。每个 token 是 AI 处理文本时的最小基本单元它不一定是完整的字或词而是模型觉得“这样切最合理”的片段。再比如英文I love eating apples.可能被切成 →Iloveeatingapples.注意 “apples” 被拆成了apples因为 AI 发现这样能复用app应用程序这个常见片段节省学习成本。一句话记住token 就是把人类语言切成“标准零件”方便 AI 这个机器来组装理解。二、为什么非得切成 token直接用字不行吗举个极端例子假设 AI 用“字”当最小单元。“葡萄”如果只记一个字碰到“葡萄牙”就会懵——到底是“葡萄”的牙还是“葡萄牙”但如果它能记一个 token 叫“葡萄”一个 token 叫“葡萄牙”就能分清了。所以切 token 的好处是平衡效率与理解既不会像逐字母切那么啰嗦也不会像整词那样面对生僻词直接“死亡”。处理生僻字/新词比如“牛哇牛哇”AI 可能切成牛哇牛哇虽然它没见过整个词但靠基础 token 仍然能读出含义。跨语言复用中文、英文、代码、表情符号都可以被统一切成 token模型底层是一套积木系统。这个负责切积木的程序叫Tokenizer分词器。你平时感受不到它的存在但它一直在后台默默把聊天记录切成 token 再喂给模型。三、token 是怎样变成你钱包里扣掉的钱核心公式你的账单 (输入 token 数 输出 token 数) × 单价输入 token你发过去的话以及系统提示词比如“你是一个幽默的助手”这些都被切成 token 占用量。输出 tokenAI 生成的每一个字也都是 token。比如你跟 GPT-4 说“给我写个200字自我介绍。”你输入的句子可能消耗 50 tokenAI 输出的内容消耗 300 token那么这次对话总共消耗350 token。官方按 1000 token 为单位收几美分那些“贩卖 token”的人就是赚这个差价。关键认知你问一个简单问题和问一个带着 10 页资料的问题消耗的输入 token 天差地别。所以很多 AI 应用会限制“上下文长度”比如某些免费版只支持 4K token 上下文也就是对话记忆约等于三千个汉字聊多了它就忘了前面。四、一个 token 大概是多少字实用换算这没有绝对标准不同模型的切法不一样但有个大致估算语言约等于英文1 token ≈ 0.75 个单词或者说 1 个单词约 1.3 token中文1 token ≈ 0.5 ~ 0.6 个汉字也就是说1 个汉字大概占 1.6 ~ 2 个 token所以一个 1000 字的英文文章大约 1300 token而一个 1000 字的中文文章常常要 1800~2000 token。中文在 token 消耗上天生比英文“贵”一点因为每个汉字都需要单独一个或更多 token 来表示不像英文单词可以字母组合复用。五、生活中你哪里会碰到 token现在你随便打开一个接入了大模型的产品其实都在和 token 打交道用 AI 画图比如 Midjourney你输入的提示词会被切成 token 去理解。AI 翻译软件整段话先切 token翻译完再拼回人话。代码助手GitHub Copilot你的代码被切成 token让模型判断你接下来想写什么。所有“上下文长度”的宣传比如“支持 128K 上下文”说的就是模型一次性能记住 128,000 个 token 的对话差不多一本《三体》第一部的量。六、再回头看“贩卖 token”有了上面的理解你就会彻底明白那些卖 token 的人其实是在贩卖AI 处理积木的额度。一个“100 万 token 包”意思就是你能让 AI 替你处理总共 100 万个文字碎片不管是输入还是输出都在里面扣。你可以想象成买了一张“文字工厂加工券”这工厂按积木块数收钱。你扔进去一堆积木输入它给你拼出一堆积木输出有多少块就用掉多少券。那些贩子就是把大额加工券拆成小额转手卖给你赚个差价。七、多模态的 Token不是“文字积木”而是“感官切片”对于文本token 是把句子切成字词。但对于图片、视频、音频这些没有天然“词汇”的东西模型用的是一种更底层的办法把文件切成无数个小块然后把每一块都变成一个“类 token”的数字向量。你可以把这个过程想象成图像→ 切成小方格Patch每个方格看成一个“视觉 token”音频→ 切成短片段如 20 毫秒一帧每个片段看成一个“音频 token”视频→ 先切成帧每一帧再切成小方格所以等于帧数 × 每帧方格数的 token这些“视觉 token”或“音频 token”和文本 token 一起输入到一个统一的大模型里模型就能同时理解“看”和“听”到的内容。不同媒体类型的“Token 化”方式类型如何切分成 Token消耗 Token 的大致规则图片把图分成一个个固定大小的小块如16×16像素的patch每个小块编码成一个向量这就是一个 token。另外有些模型会先整体看一个缩略图再加上局部细节。通常按图像分辨率计算。例如 GPT-4o一张 512×512 的图可能消耗约 170 个 token高清模式high res下大图按 512 的倍率裁剪一张图最多消耗上千 token。音频把音频波形按时间切成极短的帧比如每 20ms 一帧然后提取每一帧的频谱特征形成一个 token 序列。按秒计费。例如 Whisper API 按音频秒数计每分钟音频大约等于 1000 个 token 的文本费用。但更先进的多模态模型会把音频 token 直接融入计价可能更高。视频本质上就是图片时序。从视频中抽取若干帧比如每秒 1-2 帧每一帧再按图片的方式切成 patches然后加上时间轴位置编码。极其昂贵。一个 30 秒视频取帧 30 张每张按 170 token 算光图像就 5100 token还不算时间维度的计算。所以多模态模型处理视频通常有严格长度和帧率限制。关键认知这些“多模态 token”不是简单的文本计数而是特征向量的序列。它们占用的显存和算力比文本 token 大得多所以一张图片的 token 成本往往是几百字的几十倍。所以下次再看到“token”不要只想到虚拟货币。在 AI 的世界里它就是语言的原子是模型思考的最小单位也是你钱包流逝的最小沙粒。
