Token的不同含义:从AI、Web3到密码学

作者:Diario Rosy来源:medium2023-06-05

人工智能(AI)和Web3都是最近关注度很高的领域,其中出现了很多大家平时不会接触到的名词,“Token”便是其中之一。尽管叫法相同,但在不同领域其定义和应用都存在区别。

本文简单概括一下“Token”和“Tokenization”在AI、Web3和密码学领域的不同含义。

AI领域中的Token

在AI领域,Token通常指的是文本处理过程中的最小单位。Tokenization是将连续的文本序列拆分为单个标记(tokens)的过程。这些标记可以是单词、短语、句子或其他更小的文本单元。因此NLP技术中 Tokenization 也是“word segmentation” — — 分词。

Tokenization主要关注文本处理中的最小单位和将文本转换为结构化数据,用于提高算法对文本的理解和分析能力。Tokenization在自然语言处理(NLP)任务中广泛应用,如文本分类、机器翻译和命名实体识别。

按照下面的流程图来理解【分词】的任务内容,就是将文本句子切成一个个子单元,然后将子单元数值化(映射为向量),接着将这些向量输入到模型进行编码,最后输出到下游的任务中进一步得到最终的结果。

加密货币图源:https://zhuanlan.zhihu.com/p/547152931

其中Tokenization按照切分的粒度,有三种不同的分类方法:

  1. 按词粒度来分
  2. 按字符粒度来分
  3. 按子词粒度(subword)来分

具体可以参考这篇文章:https://zhuanlan.zhihu.com/p/547152931

Web3/Crypto领域中的Token

在Web3/Crypto领域,Token具有更广泛的含义。它指的是基于区块链技术发行的数字资产,可以代表实物或虚拟资产,并具有一定的价值。这些Token可以用于交换价值、代表权益或在去中心化应用程序中进行治理。

Token和Tokenization之间的联系主要体现在数字资产的创建和管理方面。Tokenization是将实物或虚拟资产转化为数字Token的过程。这些Token可以在区块链上进行交易和转移,为数字经济提供了更高的可互操作性和流动性(可交易)。

(在加密领域,token和coin也是两个经常被拿出来对比的概念,區別主要是,coin的有自己的链,主要功能是進行支付和交易,而Token沒有自己的区块链,除了交易之外,還具有許多其他功能,如投票、收息、質押。)

密码学领域中的Token

在密码学领域,Token和Tokenization与数字身份和安全密钥管理有关。Token通常指的是硬件或软件设备,用于生成和存储安全令牌或密码。这些令牌可以用于身份验证、授权和加密通信。Tokenization是将敏感数据(如信用卡号)替换为不可逆转的标记的过程,以提高数据的安全性。

为什么提到密码学?

在密码学(cryptography)和加密货币(crypto)领域中都存在Token的概念,容易混淆,但它们含义绝不相同。

加密货币联系
在某种程度上,密码学和加密货币领域中的Token都与安全性和身份验证有关。在密码学中,Token用于生成和验证安全令牌,以保护敏感数据和执行安全操作。在加密货币领域,Token的交易和转移也依赖于区块链的安全性和身份验证机制。
在加密货币领域中,Token的安全性和交易可追溯性依赖于密码学原理和算法。

总结

Token指的是一种特定的标记或符号,用于表示某种信息或资产,而Tokenization是将某种信息转化为一种特定的形式的概念。尽管在不同领域中都有Token的说法,但它们在具体定义和应用上有明显的区别。