DeepSeek-V3采用了混合专家（MoE）架构，拥有6710亿个参数，但每个token仅激活370亿参数，极大地提高了计算效率。通过引入多头潜在注意力（MLA）机制和辅助损失自由的负载均衡策略，DeepSeek-V3在性能上与OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet相媲美。arXiv
更令人瞩目的是其训练成本。在美国对华出口限制的背景下，DeepSeek使用2048块NVIDIA H800 GPU，仅耗时57天，花费约560万美元完成了模型训练。相比之下，OpenAI训练GPT-4的成本据估计超过1亿美元。AMAX Engineering
二、DeepSeek-R1：推理能力的革新
DeepSeek-R1是DeepSeek推出的首个推理模型，采用了强化学习（RL）训练方法，跳过了传统的监督微调（SFT）阶段。这一创新使得模型在推理任务中表现出色，能够进行链式思维（Chain-of-Thought）推理，性能接近OpenAI的o1模型。
为解决早期版本中出现的语言混合等问题，DeepSeek引入了“冷启动”技术，先使用少量SFT数据进行初步训练，再通过RL优化模型表现。这一多阶段训练策略不仅提升了模型的推理能力，也确保了输出的可读性和一致性。
三、开源策略与社区反响
DeepSeek将其模型权重和部分训练细节开源，允许开发者自由使用、修改和部署。在AI社区平台HuggingFace上，基于DeepSeek-V3和DeepSeek-R1的模型已超过700个，下载量超过500万次。
尽管如此，DeepSeek并未公开其完整的训练数据集和代码，这在开源社区引发了一定争议。为此，HuggingFace发起了Open-R1项目，旨在重现一个完全开源的DeepSeek-R1版本，推动AI模型的透明化发展。
四、全球影响与未来展望
DeepSeek的崛起对全球AI产业产生了深远影响。其高性能、低成本的模型挑战了传统AI巨头的主导地位，引发了科技股的震荡。例如，NVIDIA的股价在DeepSeek-R1发布后大幅下跌，市值蒸发超过6000亿美元。
同时，DeepSeek的成功也促使其他国家和地区重新评估AI发展战略。欧洲一些国家担心美国的出口控制可能影响自身的AI生态系统，呼吁建立更加开放和合作的国际AI发展框架。
结语：AI发展的新纪元
DeepSeek的成功不仅展示了中国在AI领域的创新能力，也标志着全球AI发展进入了一个新的阶段。在资源受限的情况下，通过算法优化和架构创新，依然可以实现高性能的AI模型。这为全球AI研究者和开发者提供了新的思路和方向。
未来，随着更多的AI模型和技术开源，全球AI生态将更加多元和开放。DeepSeek的案例证明，创新和合作是推动AI持续发展的关键。
