不需要论文,也能看懂大语言模型。往下滑动,用动画拆解 Transformer、Token、Context Window 和 Temperature 这四个核心概念。
Transformer 就是接龙大师的大脑。它靠"注意力机制"自动抓重点 —— 同一个词在不同语境下,关注的对象完全不同。点击下面的按钮,看看模型在不同语境下,把"注意力"放在了哪里。
同一个"苹果"，模型靠自注意力机制（Self-Attention）自动判断该和哪些词产生强关联——这就是它"理解上下文"的秘密，而不是死记硬背词义。
计算机看不懂人类的文字，必须先把句子切成一块块碎片——这些碎片就是 Token。在下面输入一句话，看它被拆成了哪些"积木"。
中文模型（如 Qwen、DeepSeek）词表庞大，一个 Token 常常就是一个汉字甚至一个词；早期偏英文的模型则可能把一个汉字拆成 2-3 块。我们常说的"按 Token 收费"，本质上就是在为搬运这些乐高积木付费。
Context Window 就是 AI 手里的草稿纸。它能同时看懂、记住的字数是有上限的——草稿纸写满了，最早的内容就会被悄悄擦掉。点击按钮，模拟对话不断涌入的过程。
聊得越久、丢进去的文档越长，越容易超出窗口大小，AI 就开始"丢三落四"——通常是把最早的对话忘掉，只记住最近的部分。
Temperature 控制 AI 说话是保守还是有创意。拖动旋钮，看看同一句话的下一个词，会怎么被选中。
温度越低，模型越倾向选择"最大概率"的词，回答稳定但保守，适合算题、写代码；温度越高，低概率的冷门词被选中的机会上升，更有创意，但也更容易"胡说八道"。
先把文字切成 Token 积木，塞进 Context Window 这张草稿纸，靠 Transformer 的注意力机制理解上下文，再用 Temperature 决定接下来这个词是稳还是浪——这就是 LLM 文字接龙的全过程。