——持续迭代的工程与创新
对Transformer框架内的注意力模块和前馈网络[FFNs]进行了优化，采用了我们提出的多头潜在注意力[MLA]和DeepSeekMoE技术。
· 在注意力机制方面，多头注意力[MHA]的键值[KV]缓存对大型语言模型[LLms]的推理效率构成了重大障碍。人们已经探索了多种方法来解决这个问题，包括分组查询注意力[GQA]和多查询注意力[MQA]。然而，这些方法在试图减少KV缓存时，往往会牺牲性能。为了实现两全其美，我们引入了TLA,这是一种具备低秩键值联合压缩功能的注意力机制。实证研究表明，MLA相较于THA具有更优的性能，同时显著减少了推理过程中的KV缓存，从而提高了推理效率。
· 对于前馈网络[FFNs],我们采用了DeepSeekMoE架构，该架构采用细粒度的专家分割和共享专家隔离策略，以实现更高的专家专业化潜力。与传统的MoE架构相比，Deep5eekTIoE架构具有显著优势，使我们能够以较低的成本训练出强大的模型。由于我们在训练过程中采用了专家并行策略，还设计了补充机制来控制通信开销并确保负载均衡。
本文来自知之小站
PDF报告已分享至知识星球，微信扫码加入立享3万+精选资料，年更新1万+精选报告
（星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com）
