Transformer层记忆机制解析：从线性到自注意力
Transformer每层本质是记忆单元。从线性映射到自注意力，64维键下容量由64条跃升至百万级。解析MLP与自注意力的干扰比率，揭示模型如何突破存储上限并实现海量信息的精准检索。
# MLP
共 2 篇相关文章
GPT-2架构详解：从嵌入到注意力机制
GPT-2架构详解：从嵌入到注意力机制。解析Transformer三大核心组件，涵盖分词、位置编码及自注意力机制。借助1.24亿参数模型，拆解文本生成原理，展示如何捕捉长距离依赖并预测下一个Token。