Token(令牌)
Token(令牌)是什么？
Token 是 AI 模型用作基本处理单位的小块文本(大致是一个词或词的一部分),就像模型用来构建其理解的一块块砖。
一图看懂
- 别称
- 文本 token输入 token输出 token视觉 token
- 主要用途
- 衡量 AI 模型中的提示长度与上下文窗口消耗基于所处理的 token 计算 AI API 的使用成本在多模态架构中把图像块表示为视觉 token理解模型注意力如何在提示内容中分配
- Key features
- 基本的文本处理单位:大致是一个词或词的一部分Token 上限定义最大提示长度、输出长度与会话记忆在多模态模型中扩展为视觉 token,用于图像与视频输入Token 的位置与邻近关系影响概念之间关联的强弱
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
Token 与词、字符及参数相关但不同。词是 token 所近似的人类语言单位;字符是 token 所聚合的字母级原始单位;参数是模型神经网络内部习得的权重,是一个完全不同的概念,在随意讨论中有时会与 token 混淆。模型的参数量描述其规模与学习容量,而其 token 数描述它一次能处理的文本长度:一个参数更多的模型,未必就拥有更大的上下文窗口,而更大的上下文窗口也并不意味着模型有更多知识或能力。这一区别在评估 AI 工具时很重要:参数量衡量模型知道什么;token 上限衡量它一次能关注多少。
可以这样理解…
把 token 想象成一幅极大拼图中的一块。一个词往往是一块,但一个不寻常或技术性的词可能需要被拆成两三块更小的块,模型再从上下文中把它们拼成意义。模型一次只能在桌面上放一定数量的块:这就是它的上下文窗口。如果你往桌上倒太多块,最早的那些就会从边缘滑落、被遗忘。这就是为什么长提示有时会忘记那些远离当前生成点所指定的指令:那些 token 已经移出了活跃的注意空间。
实用提示
为 AI 视频或图像生成编写提示时,把开头的二三十个 token 当作黄金地段。先写最关键的创意决策(主体、摄影机处理、视觉风格、布光),再加入次要细节,如背景元素、色温或氛围。模型对靠前 token 的加权比靠后的更一致,而一段把关键指令埋在第三段的长提示,往往会在那条指令上执行不足,却忠实地遵循早先描述的细节。如果你的提示一向很长,试着做一遍精简,删去任何能从上下文推断出的措辞,把 token 腾给模型无法猜到的、真正具体的创意方向。
类型与变体
Token 根据所用的模态与上下文呈现不同形式。文本 token 是标准形式:由分词器从输入文本产生、并由模型注意力层顺序处理的语言单位。输入 token 是用户作为提示一部分提交的;输出 token 是模型作为响应生成的。在商业 AI API 中,这两者通常定价不同,因为输出生成在计算上比输入处理更密集。视觉 token 把这一概念扩展到图像数据:图像被分割为固定尺寸的空间块,每一块被转换为一个数值向量,与文本 token 并列被模型处理。在视频模型中,时间 token 表示帧序列,在空间块结构上加入了时间维度。特殊 token(如标记序列开头或结尾的 token,或不同内容类型之间的分隔 token)被模型在内部用于管理上下文结构。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
在通过 API 使用 AI 模型时,Token 意识最为直接相关，，使用按 token 计费,而上下文窗口上限要求对提示长度与对话历史进行细致管理。构建 AI 驱动应用的开发者必须在一个会话内追踪累计 token 数,以避免超出上下文上限并管理 API 成本。对于直接使用 AI 生成界面的创作者而言,当构建冗长、详尽的提示时,token 的考量会变得相关，，尤其是带有多个主体、特定风格参考与详细技术指令的复杂场景，，其中存在提示后段内容被模型欠关注的风险。理解 token 分配,也有助于解释为什么多主体场景有时会对某个主体描述不足:如果提示花了大量 token 详细确立第一个主体,留给描述第二个的 token 就更少,导致画面各部分生成质量不均。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
