浅谈Token的发展史

时间:2026-11-17

     “Token”这个词今天随处可见:登录要 Token,区块链有 Token,大模型按 Token 计费。它常被译作“令牌”“代币”“词元”或“标记”。这些译法看似分散,其实共享一个隐喻:Token 是某个系统中可被识别、传递、验证或计量的最小单位。Token 的发展史并非一条单线,而是同一概念在编译原理、网络认证、区块链和人工智能等领域的多线演进。

一、从词法单元到语言切分

    较早系统化的 Token 出现在编译原理中。编译器处理源代码时,先由词法分析器把字符流切分成 Token,如关键字、标识符、数字、运算符和分隔符。例如 int x = 1; 会被切分为若干词法单元。Token 在这里是语法分析的基本材料,强调“最小可识别单位”。

这一思想后来延伸到自然语言处理。文本先被分词或切分为子词单元,再送入模型。早期多按词或字切分,后来 BPE、WordPiece、SentencePiece 等子词算法流行,使开放词表和多语言处理成为可能。2017 年 Transformer 兴起后,Token 逐渐成为模型输入输出的基本单位。到大模型时代,上下文窗口、训练数据规模和 API 计费都围绕 Token 展开。Token 从语言学上的切分单位,变成了模型计算与商业计量的单位。

二、从会话标识到权限凭证

    在网络与安全领域,Token 长期以“令牌”身份出现。令牌环网、Kerberos 票据等早期机制中,Token 代表某种通行资格。Web 兴起后,网站常用 Session ID 和 Cookie 维持登录态。随着 API 经济和前后端分离发展,Access Token、API Key 等逐渐普及。2007 年 OAuth 1.0、2012 年 OAuth 2.0 推动第三方授权中的令牌机制;2015 年 JWT 标准化为 RFC 7519,使自包含、可签名、可校验的 JSON Token 广泛用于微服务。

这条主线的变化是:Token 从“会话标识”走向“可携带声明、可验证、可过期、可撤销的权限凭证”。近年零信任架构强调短期令牌、刷新令牌和细粒度授权,Token 已成为身份与权限基础设施的一部分。

三、从链上单位到可编程权益

    区块链中的 Token 通常译作“代币”或“通证”。比特币的 UTXO 可视为早期链上价值单位,但 Token 的大规模爆发与以太坊有关。2015 年以太坊上线,智能合约让发行 Token 变得容易。ERC-20 成为同质化代币标准,推动 ICO、稳定币、治理代币和 DeFi 发展;ERC-721 推动 NFT,ERC-1155 支持多类型资产。此后又出现功能型代币、证券型代币、治理代币等讨论。

在这里,Token 从链上记账单位扩展为可编程的价值、权益、身份和治理载体。它不仅是“钱”,也可以是会员资格、投票权、访问许可或数字藏品。其核心在于用公开规则和密码学验证来定义稀缺性、流转条件和权益归属。

四、大模型时代的计量单位

    自然语言处理中的 Token 原本只是文本切分结果,但大模型把它推到基础设施层面。模型不能直接处理无限长文本,必须把输入切成 Token 再映射为向量。上下文长度、推理成本、API 价格都按 Token 计算。于是 Token 同时具备技术含义和经济含义:它既是模型处理文本的最小单位,也是服务计费和资源管理的单位。

结语

    回顾 Token 的发展史,可以看到一条清晰的分化路径:在语言处理中,它是词法单元和词元;在网络安全中,它是身份与权限凭证;在区块链中,它是价值与权益载体;在大模型中,它是计算与计费单位。今天 Token 之所以重要,是因为 API 经济、加密资产和大模型同时把它推到了系统接口层面。谁定义 Token、验证 Token、计量 Token,谁就掌握系统连接与价值分配的关键。Token 的历史,本质上是一部“最小单位如何成为基础设施”的历史。

咨

询

请拨打咨询热线:
4001-11-4001

订购意向