本发明提供一种面向用户生成内容的分布式采集方法,包括:1)根据采集页面的采集量和采集难度划分页面类型,基于页面类型构建采集任务并将其加入采集队列;其中,所述采集任务包括复合采集任务,所述复合采集任务根据采集量和采集难度将多个同类型的采集页面划入;2)并发地从所述采集任务队列取出采集任务,执行该采集任务并返回所采集的信息。本发明还提供了相应的分布式采集系统,包括主控节点和多个子节点,主控节点用于构建并维护采集任务队列;各个所述子节点用于并发地执行采集任务。本发明的采集速度快,显著地提高了UGC新闻采集的实时性;可以适用于各种不同类型页面的采集,执行多样化的采集任务;能够规避采集对象的监控措施。
- 网站首页Home
-
新闻资讯
News
欢迎访问我们网站
-
科技资源
Resources
-
科技服务
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要发布
Release
-
风采大厅
Events
-
联系我们
Contact
江苏淮海技术产权交易中心是由江苏淮海科技城、徐州市科技局和中国矿业大学国家大学科技园联合出资设立的，专业从事技术成果转化、转移与技术产权交易的服务机构。
发明专利
-
专利名称：一种面向用户生成内容的分布式采集方法与系统专利类型：发明专利专利号：CN201510102980.0发布日期：2025-12-19授权公告日：
-
详细内容
扫描访问手机版 科技与知识产权
关于我们
电话：0516-83896168 传真：0516-83896168 邮箱：jshtec@163.com 网址：www.jshtec.com 地址：江苏徐州市金山东路中国矿业大学国家大学科技园科技大厦
