DeepSeek 的爆火让茶余饭后讨论的话题都变成了AI,如果你玩过ChatGPT 或者 DeepSeek 这样的 AI,可能听过 “token” 这个词。听起来像是啥高科技玩意儿对吧?别慌,其实它超级简单!
Token 就是AI看懂你说话的“小砖块”,就像你搭乐高时一块块小零件。咱们今天就来轻松拆解它。
Token 是啥?
在自然语言处理(NLP)中,token 是文本被拆分后的最小片段。AI模型并不会直接理解完整的句子,而是把句子拆成一块块小的“零件”——这些零件就是token。
想象一下,你跟AI说:“我爱AI!”AI不会直接看整个句子,而是把它拆成小块——这些小块就是token。比如:
-
• 英文里:“I love AI!” 可能是 4 个 token:“I”、“love”、“AI”、 "!"。
-

-
• 中文里:“人工智能很强大” 可能是 5 个token:“人工”、“智能”、“很”、“强大”。
-



