IP模拟器
很多从事爬虫业务的人发现，他们使用了稳定的代理IP，还控制了访问速度和次数。他们发现有时候爬虫工作会遇到各种问题，工作无法顺利进行。那么，爬虫使用代理IP后遇到的问题如何解决？
1.分布式爬虫。爬行时可以采用分布式的方法，有一定几率起到防爬的作用，也可以提高爬行量。
2.保存cookies。当模拟登录比较麻烦的时候，可以直接登录web，删除cookie保存，然后拿cookie当爬虫，但这不是长久之计，而且过一段时间cookie也可能失效。
3.多账号反抓取。很多网站会通过固定时间内账号访问的频率来判断是不是机器人。这种情况下可以测试单个账号的固定时间值，然后在时间临近的时候切换代理IP，这样就可以循环爬行了。
4.验证码问题。爬虫时间久了经常会遇到验证码问题。这是为了验证你是不是机器人，而不是为了认可你是爬行类机器人。第一种解决方案:这种情况下可以在本地下载验证码，手动输入验证码进行验证。这种方法成本高，不能完全自动捕捉，需要人工干预。第二种解决方案:可以通过图像识别自动填写验证码，但是现在的验证码大多比较复杂，不熟悉图像识别的话无法识别出正确的验证码。第三种解决方案:可以接入自动编码平台。这个最方便，但是需要买。
不同的网站有不同的反抓取方式，一套抓取策略不会适用于任何一个网站。所以需要根据具体情况进行分析，不断测试分析过程，找出这个网站的反爬虫策略，这样才能事半功倍。
