DeepSeek-V2开源,性能卓越,成本效益高

移动终端 2024-05-08 10:50 阅读:9

DeepSeek公司今日宣布开源其第二代MoE模型DeepSeek-V2,经过4个月的深入研究,该模型在多个主流大模型评测榜单中表现突出,尤其在中文综合能力方面排名第一,与闭源模型如GPT-4-Turbo和文心4.0处于同一水平。

DeepSeek-V2采用了MLA架构和Sparse结构DeepSeekMoE,显著减少了计算量和推理显存,每token成本大幅降低,输入吞吐量超过每秒10万tokens,输出超过每秒5万tokens。API定价极具竞争力,每百万tokens输入1元、输出2元。

该模型在英文综合能力方面也表现突出,与开源模型LLaMA3-70B并列第一梯队,超越了其他MoE开源模型。在知识、数学、推理和编程等多个领域,DeepSeek-V2均取得了领先地位,支持高达128K的上下文窗口,能够处理更复杂的任务。

DeepSeek-V2拥有236B的总参数和21B的激活量,性能可与70B至110B的Dense模型相媲美,但显存消耗仅为同级别Dense模型的1/5至1/100。在实际部署测试中,输入吞吐量超过每秒10万tokens,输出超过每秒5万tokens。

API定价极具竞争力,每百万tokens输入1元、输出2元,仅为GPT-4-Turbo价格的近百分之一。DeepSeek-V2模型和相关论文已完全开源,免费商用,无需申请,模型权重可在Hugging Face平台获取,技术报告发布在GitHub上。DeepSeek-V2的性能卓越,成本效益高,是一款值得关注的开源模型。