美股
基金
外汇丶加密货币
沪丶深港通
港股
 
纳斯达克
 
恒生指数
 
道琼斯
 
标准普尔
 
 
新闻分享
如欲分享新闻,请填写收件人及阁下之电邮,再按「送出」。*必需填写
收件者电邮*
请用分号「;」分隔不同电邮地址,例子:a@a.com; b@b.com
阁下之电邮*
分享内容
国信证券:DeepSeek多层面技术提升训练效率 测试性能领跑开源模型
国信证券发表报告表示,中国人工智能公司深度求索(DeepSeek)於去年12月26日上线并开源DeepSeek-V3模型,多项评测超同类开源模型,在重要领域与顶尖闭源模型相当,训练成本低。模型层采用M...
重设
送出
视窗将於5秒内关闭
国信证券:DeepSeek多层面技术提升训练效率 测试性能领跑开源模型
AAAASTOCKS新闻
推荐
50
利好
81
利淡
30
 
 

国信证券发表报告表示,中国人工智能公司深度求索(DeepSeek)於去年12月26日上线并开源DeepSeek-V3模型,多项评测超同类开源模型,在重要领域与顶尖闭源模型相当,训练成本低。模型层采用MoE架构,经多阶段训练与能力提炼,在知识、代码、数学推理等测评中领先开源模型。架构层沿用V2架构,引入新技术,如无辅助损失负载均衡策略、MTP提升数据利用率。训练层通过DualPipe算法和FP8混合精度训练实现成本控制与效率提升。

推理层先推出R1-Lite模型,後将R1推理能力迁移至V3提升其性能,推理算力包含GB300、博通、marvell等各类asic芯片。2025年1月发布的DeepSeek-R1模型在多测试中超越OpenAI的o1,在数学、编程及多种测试中表现出色。

国信证券指,DeepSeek的MoE较传统MoE有多方面改进。与传统MoE架构相比,DeepSeek MoE使用了更细粒度的专家,并将部分专家设置为共享专家,能够更精确地针对特定的问题提供解决方案。同时,传统MoE架构采用辅助损失来鼓励负载平衡,以免不平衡的专家载荷导致计算效率降低,但这可能在某些情况下影响模型性能。DeepSeekMoE引入了无辅助损失的负载平衡策略,在每个专家模型的任务匹配程度评分中添加一个偏置项,用於调整每个专家在决定哪些专家应该处理哪些任务时的负载,同时使用补充序列级辅助损失,以此来优化整个系统的性能和效率。

该行指,为了促进模型的高效训练,DeepSeek实施了工程优化。首先,模型使用了DualPipe算法,以实现高效的管道并行。与现有方法相比,DualPipe具有更少的管道气泡(等待数据处理或通信延迟形成的停滞区域),在模型训练的前向和後向传播过程实现了重叠计算和通信,从而提高了整体的训练效率。其次,DeepSeek引入了FP8混合精度训练,优化了训练期间的内存占用。

DualPipe技术优化通信成本。在大规模分布式训练系统中,每个计算节点需要频繁地与其他节点交换信息,导致部分时间在等待数据的传输,计算资源不能持续进行数据处理,资源利用率低下。以DeepSeek-V3为例,在模型训练时跨节点的专家并行性带来的通信开销导致计算与通信的比率约为1:1。为了解决这一问题,DeepSeek在单独的前向和後向块内部重叠计算和通信,通过采用双向管道调度, 同时从管道的两端供给数据,使大部分通信可以完全重叠,从而实现通信成本的降低。

本周一(20)日晚,拥有660B参数的超大规模模型DeepSeekR1正式发布。这款模型在数学任务上表现出色,如在AIME2024上获得79.8%的pass@1得分,略超OpenAI-o1;在MATH-500上得分高达97.3%,与OpenAI-o1相当。编程任务方面,如Codeforces 上获得2029 Elo评级,超越96.3%的人类参与者。在MMLU、MMLU-Pro和GPQA Diamond等知识基准测试中,DeepSeek R1得分分别为90.8%、84.0%和71.5%,虽略低於OpenAI-o1,但优於其他闭源模型。在最新公布的大模型竞技场LM Arena的综合榜单中,DeepSeek R1排名第三, 与o1并列。(wl/k)

AASTOCKS新闻

公布日期
指标
暂时没有相关新闻。
 
美股网站地图
支援电邮: support@aastocks.com
阿斯达克网络信息有限公司 (AASTOCKS.COM LIMITED) 版权所有,不得转载
免责声明
阁下明确同意使用本网站/应用程式的风险是由阁下个人承担。

AASTOCKS.com Limited、香港交易所资讯服务有限公司、中国投资信息有限公司、深圳证券信息有限公司、Nasdaq, Inc.、其控股公司及/或该等控股公司的任何附属公司、或其资讯来源及/或其他第三方数据供应商均竭力确保所提供资讯的准确和可靠度,但不能保证其绝对准确和可靠,且亦不会承担因任何不准确或遗漏而引起的任何损失或损害的责任(不管是否侵权法下的责任或合约责任又或其他责任)。

AASTOCKS.com Limited、香港交易所资讯服务有限公司、中国投资信息有限公司、深圳证券信息有限公司、Nasdaq, Inc.、其控股公司及/或该等控股公司的任何附属公司、或其资讯来源及/或其他第三方数据供应商均对资讯不作任何明示或隐含的要约、陈述或保证(包括但不限于可销售性及特殊用途合适性的资讯保证) 。

AASTOCKS.com Limited、香港交易所资讯服务有限公司、中国投资信息有限公司、深圳证券信息有限公司、Nasdaq, Inc.、或其控股公司及/或该等控股公司的任何附属公司、或其资讯来源及/或其他第三方数据供应商不会就任何原因导致的中断、不准确、错误或遗漏或因此而造成的任何损害赔偿(不论直接或间接、相应而生、惩罚性或惩戒性)对任何人承担责任。

AASTOCKS.com Limited不负责,亦不承担任何由于不可抗力的事故或在AASTOCKS.com Limited不可合理控制的情况下导致的损失或损害,如台风、暴雨、其他自然灾难、政府或有关机构的限制、骚动、战争、病毒爆发,网络故障或电信故障,引致AASTOCKS.com Limited不能履行协议内的责任或提供服务。

Morningstar免责声明:版权所有©2020 Morningstar,Inc。保留所有权利此处包含的资料,数据,分析和意见(“信息”):( 1)包含Morningstar及其内容提供者的专营资料;(2)除特别授权外,不得复制或转载;(3) 不构成投资建议;(4)仅供参考,(5)并未为所载资料的完整性,准确性及时间性作出保证.Morningstar对于阁下使用任何相关资料而作出的任何有关交易决定,伤害及其它损失均不承担 任何责任。请在使用所有资料前作出核实,并且在咨询专业投资顾问意见前勿作任何投资决定。过往业绩并不代表将来表现,任何投资项目的价值及所得收入皆可升可跌。

本网站/应用程式包含的内容和信息乃根据公开资料分析和演释,该公开资料,乃从相信属可靠之来源搜集,这些分析和信息并未经独立核实和AASTOCKS.com Limited并不保证他们的准确性、完整性、实时性或者正确性。

在本网站/应用程式的资料、金融市场数据、报价、图表、统计数据、汇率、新闻、研究、分析、购买或者出售评分、财金教学及其他资讯仅作参考使用,在根据资讯执行证券或任何交易前,应咨询独立专业意见,以核实定价资料或获取更详细的市场信息。AASTOCKS.com Limited不应被视为游说任何订户或访客执行任何交易,阁下须为所有跟随在本网站/应用程式的资料、评论和购买或出售评分执行的交易负责。

AASTOCKS.com Limited之信息服务基于「现况」及「现有」的基础提供,网站/应用程式的信息和内容如有更改恕不另行通知。AASTOCKS.com Limited有权但无此义务,改善或更正在本网站/应用程式的任何部分之错误或疏漏。

用户在没有AASTOCKS.com Limited明确的书面同意情况下,不得以任何方式复制、传播、出售、出版、广播、公布、传递资讯内容或者利用在本网站/应用程式的信息和内容作商业用途。

投资涉及风险。 阁下可自行决定利用本网站的财金教学作学术参考用途,但 AASTOCKS.com Limited不能并不会保证任何在本网站/应用程式现在或未来的购买或出售评论和讯息会否带来赢利。 过往之表现不一定反映未来之表现,AASTOCKS.com Limited不可能作出该保证及用户不应该作出该假设 。

AASTOCKS.com Limited也许连结订户或访客至其有兴趣的网站,但AASTOCKS.com Limited只提供此服务给订户或访客并不为此安排负责。

AASTOCKS.com Limited对于任何包含于、经由、连结、下载或从任何与本网站/应用程式有关服务所获得之资讯、内容或广告,不声明或保证其内容之正确性或可靠性。对于阁下透过本网站/应用程式上之广告、资讯或要约而展示、购买或取得之任何产品、资讯资料,本公司亦不负品质保证之责任。

AATV是AASTOCKS.com Limited所属的视频网站平台。

阁下确认:(i)AATV只为提供资讯,而不是为了任何交易目的;(ii)AATV节目内容及其提供的资料本身并不构成任何AASTOCKS为售出任何证券。 (iii)AATV并非并存的人或法律实体,在其他司法管辖区或国家使用,而在某处可能因该使用或分发而违反当地法律或法规。

AASTOCKS.com Limited不对任何其他人进行评论,也不会代表AASTOCKS.com有限公司。 (i)AATV的不准确,错误或遗漏,包括但不限于报价和财务数据;(ii)AATV中的节目传输的流量,错误或中断;(iii)阁下由AATV中部节目内容招致任何损失。

我们保留的权利不时更改本免责声明和并存于本网站/应用程序程序的版本更新版本。阁下必须定期定期查阅于本网站/应用程序声明该信息,并确保您及时知悉任何有关的费用。更新后仍可以继续使用本网站/应用程序,即代表代表阁下同意接受更改后的本免责声明的约束。

本免責聲明應受中華人民共和國香港特別行政區(「香港」)法律管限。閣下同意接受香港法院的專屬司法管轄權管轄。

本免责声明的中英原文如有任何岐异,一切以英文原文为准。

更新日期为: 2023年1月6日