OpenVINOTM,给你看得见的未来!>>
电子产品世界 » 论坛首页 » 综合技术 » 物联网技术 » 解决封IP测试

共2条 1/1 1 跳转至

解决封IP测试

菜鸟
2019-11-01 17:26:09    评分

现在爬虫越来越火,大到征信,小到房产信息,汽车,身边的所有生活都于爬虫相关。随着爬虫越来越强,反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态是12306的图片,人工都只有50%机率.当然反爬最牛的还是封锁IP.同一个IP如果爬取过快或过多,机器就判断你是爬虫,而不是正常访问.

那么有没有办法防止被反爬呢:

目前最有效的就二种方法.

A.放慢你的脚步,设延时.不要一个月干的事情,你一天干完.

b.当然就是使用代理ip

第一个就是时间和速度会拉长,来爬数据,对于个人或学校等挺适合.但对于公司来说,时间成本才是最贵的.那有没有在最快的速度最快的时间内,可以爬取到你想要的数据呢.答案就是第二种方式,使用代理ip.亿牛云代理专为爬虫而生的代理,使用最先进的云代理技术,所有的请求走一个请求ip.一天提供不重复ip已经达到了100.




助工
2019-11-04 22:31:31    评分
2楼

最好的办法就是动态IP


共2条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]