本发明涉及一种分布式深度学习的通信优化方法及系统。该方法包括:1)对于分布式深度学习的训练过程中各计算节点产生的梯度,采用稀疏化方法选取部分梯度值;2)对采用稀疏化方法选取的部分梯度值进行量化,将量化后的梯度值作为梯度通信的传输对象,传输给参数服务器。本发明提出了梯度的稀疏化传递和量化压缩的结合,并且针对训练过程中的不同特点划分了三个不同的训练阶段,根据不同的训练状况进行调整,将梯度压缩的效果进一步提升,提高了分布式场景下的训练效率,并且没有对收敛性能和模型的精度产生明显的负面影响。
- 网站首页Home
-
新闻资讯
News
欢迎访问我们网站
-
科技资源
Resources
-
科技服务
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要发布
Release
-
风采大厅
Events
-
联系我们
Contact
江苏淮海技术产权交易中心是由江苏淮海科技城、徐州市科技局和中国矿业大学国家大学科技园联合出资设立的，专业从事技术成果转化、转移与技术产权交易的服务机构。
发明专利
-
专利名称：一种分布式深度学习的通信优化方法及系统专利类型：发明专利专利号：CN201910035739.9发布日期：2025-12-19授权公告日：
-
详细内容
扫描访问手机版 科技与知识产权
关于我们
电话：0516-83896168 传真：0516-83896168 邮箱：jshtec@163.com 网址：www.jshtec.com 地址：江苏徐州市金山东路中国矿业大学国家大学科技园科技大厦
