本发明公开了一种Spark平台Shuffle过程压缩算法决策方法。本方法为:1)Spark平台根据RDD的依赖关系生成有向无环图DAG,并根据RDD的依赖关系将DAG划分成不同的阶段;2)根据用户提供的所在集群的基础数据以及目标作业信息,计算Shuffle过程用到压缩算法的两个不同过程不使用压缩算法时以及使用不同压缩算法时带来的总收益、总消耗;3)根据不同压缩配置下得到的所述总收益、总消耗计算执行该目标作业的整个Shuffle过程中对应的总开销;然后根据总开销确定该集群运行该目标作业采用的配置组合。本发明保证了Spark平台的稳定性,具有可扩展性、成本低、效率高等优点。
- 网站首页Home
-
新闻资讯
News
欢迎访问我们网站
-
科技资源
Resources
-
科技服务
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要发布
Release
-
风采大厅
Events
-
联系我们
Contact
江苏淮海技术产权交易中心是由江苏淮海科技城、徐州市科技局和中国矿业大学国家大学科技园联合出资设立的，专业从事技术成果转化、转移与技术产权交易的服务机构。
发明专利
-
专利名称：一种Spark平台Shuffle过程压缩算法决策方法专利类型：发明专利专利号：CN201710695285.9发布日期：2025-12-19授权公告日：
-
详细内容
扫描访问手机版 科技与知识产权
关于我们
电话：0516-83896168 传真：0516-83896168 邮箱：jshtec@163.com 网址：www.jshtec.com 地址：江苏徐州市金山东路中国矿业大学国家大学科技园科技大厦
