# 自注意力

Transformer层记忆机制解析：从线性到自注意力

Transformer每层本质是记忆单元。从线性映射到自注意力，64维键下容量由64条跃升至百万级。解析MLP与自注意力的干扰比率，揭示模型如何突破存储上限并实现海量信息的精准检索。