selenium+python设置爬虫动态ip的方法

selenium+python设置爬虫代理IP的方法
1.设置后台
是使用selenium浏览器渲染技术,当我们爬取某个网站的信息时 ,一般情况下,速度不是特别快。 另外,需要使用selenium浏览器渲染技术进行爬取的网站,反爬虫响应技术都比较强大,对IP访问的频率有很大的限制。 因此,如果要提高selenium爬取数据的速度,可以从两个方面入手: 
 
第一,爬取频率要提高,出现的验证信息 破解一般是验证码或者用户登录。  
 
第二个方面是使用多线程+代理IP。 这种方法需要电脑有足够的内存和足够稳定的代理IP。  
 
2。 为chrome
 
动态IP模拟器设置代理IP
 
注意:
一、选择一个稳定固定的代理IP。 不要选择动态代理IP。 我们常用的爬虫IP代理一般都是高度匿名的动态IP,保密性高,通过拨号动态生成,时效很短,一般3分钟左右。 非常适合高并发不需要登录的爬虫,比如scrapy,但是不适合浏览器渲染的爬虫。  
 
二、选择更快的代理IP。 因为selenium爬虫使用浏览器渲染技术,这种浏览器渲染技术天生就慢。 如果选择的代理IP较慢,则爬取时间会进一步增加。  
 
三、必须有足够的电脑内存。 由于chrome占用大量内存,在高并发的情况下,很容易导致浏览器崩溃,即程序崩溃。  
 
四、程序最后调用browser.quit()清除浏览器缓存。  
 
3。 需要用户名和密码认证的代理