欢迎来到中细软旗下技术转移平台

服务热线：400-9696-518

节能环保新能源新材料高端制造生物产业数字创意

免费询价在线咨询

专利号	2018103499876	专利名称	网络爬虫方法、终端及存储介质
专利类型	发明专利	国际分类
申请人	平安科技（深圳）有限公司	申请地址
发明人	阮晓雯	申请日期	2018-04-18
下证状态	已下证	更新时间	2026-09-23 17:33:30
专利摘要	一种网络爬虫方法，包括：将每隔预设时间段获取的多个代理IP存储于预先设置的代理IP池中；对所述代理IP池中的每个代理IP进行逐个验证，判断所获取的代理IP的有效性；将确定为有效的代理IP记录于所述代理IP池中的白名单中，将确定为无效的代理IP记录于所述代理IP池中的黑名单中；当侦测到当前的代理IP满足预先设置的代理替换条件时，从所述代理IP池中的所述白名单中选取出一个代理IP；及将选取出的代理IP作为新的代理IP进行数据爬取。本发明还提供一种终端及存储介质。本发明能够有效地解决同一代理IP在长时间、多次快速、大量爬取数据的过程中的IP受限问题。

买卖双方需提供			平台提供	转让后买方可获得
	企业	个人	专利代理委托书专利权转让协议办理文件副本请求书发明人变更声明	专利证书手续合格通知书专利登记簿副本
买方	企业营业执照企业组织机构代码证	身份证
卖方	企业营业执照专利证书原件	身份证专利证书原件