IP模拟器

爬虫工作者在试用爬虫进行数据采集时经常会遇到这样的情况。 一开始，爬虫运行正常，数据抓取状态也在有条不紊的进行中。 但是，您可能无法一目了然，并且会出现错误，例如403 Forbidden。 如果此时打开网页，网页会提示“您的IP访问频率太高”。 出现这种现象的原因是被访问的网站采用了反爬虫机制。 例如，服务器会检测一个IP在单位时间内发出的请求数。 如果超过这个阈值，它会直接拒绝服务并返回一些错误信息，这种情况可以称为 IP限制。

 

动态IP模拟器 

 

那么这种情况的解决方法很简单，因为他可以检测某个IP的请求次数，所以最好用代理IP来伪装 自己的IP地址。 一个好办法，这样可以防止IP被屏蔽。  

 

然后了解代理IP的基本原理，看看代理IP是如何伪装的。  

 

基本原理 

 

代理其实就是一个代理服务器，代理IP的作用是代理网络客户端获取网络信息。 打个比方，它相当于一个网络信息的中转站。 当我们正常请求一个网站时，请求被发送到网络服务器，网络服务器将响应返回给我们。 如果中间设置了代理服务器，它实际上是机器和访问的网站之间的桥梁。 这时候机器并没有直接向Web服务器发起请求，而是向代理服务器发送请求，请求会被发送到代理服务器再由代理服务器发送给Web服务器，而 然后代理服务器将Web服务器返回的响应转发给机器。 这样我们也可以正常访问网页，但是这个过程中web服务器识别的真实IP不再是我们的本地IP，成功实现了IP伪装。 这就是代理的基本原理。  

 

2。 代理的作用 

 

 说一下 HTTP代理IP的作用 

 

 突破自己的 IP 访问限制，访问一些平时访问不了的网站。  

 

 访问单位或团体的一些内部资源：如使用教育网内部地址段免费代理服务器，可用于对教育网开放的各种FTP下载和上传，以及各种数据查询和共享服务。  

 

提高访问速度：通常代理服务器会设置更大的硬盘缓冲区，当外部信息通过时，也会同时保存在缓冲区中，当其他用户再次访问相同的信息时， 信息直接从缓冲区中检索并传递给用户，以提高访问速度。  

 

隐藏真实IP：网民也可以通过这种方式隐藏自己的IP，避免被攻击。 对于爬虫，我们使用代理来隐藏我们的IP，防止我们的IP被屏蔽。  

 

3。 爬虫代理

 

在爬取数据的时候，因为爬虫速度太快，会出现同一个IP访问过于频繁的问题。 这时候网站会被验证或者直接屏蔽本地IP会给数据抓取带来很大的不便。  

 

 使用代理隐藏真实IP，使服务器误认为代理服务器在请求自己。 这样通过在爬虫过程中不断改变爬虫代理IP，就不会被屏蔽，可以达到很好的爬虫效果。  

 

4。 代理分类 

 

 代理分类时，可根据约定或匿名程度进行区分。  

 

(1)根据协议 

 

根据代理协议，代理可分为以下几类。  

 

 FTP代理服务器：主要用于访问FTP服务器，一般有上传、下载和缓存功能，端口一般为21、2121等。 

 

 HTTP代理服务器：主要用于访问web 页面，一般有内容过滤和缓存功能，端口一般为80、8080、3128等。 

 

SSL/TLS代理：主要用于访问加密网站，通常带有SSL或TLS加密功能（向上 到128位加密强度），端口一般为443。 

 

RTSP代理：主要用于访问Real流媒体服务器，一般有缓存功能，端口一般为554。 

[  h] Telnet代理：主要用于telnet远程控制（黑客入侵电脑时常使用隐藏身份），端口一般为23。 

 

POP3/SMTP代理：主要用于发送和接收 POP3/SMTP 模式的电子邮件，普遍可用缓存功能，端口一般为110/25。  

 

 SOCKS代理：只传输数据包，不关心具体协议和用途，所以速度快很多，一般带缓存功能，端口一般为1080。SOCKS代理协议划分 进入 SOCKS4 和 SOCKS5。 前者只支持TCP，后者支持TCP和UDP。 它还支持各种认证机制和服务器端域名解析。 简单的说，SOCK4能做的SOCKS5能做，但SOCKS5能做的SOCK4未必。  

 

(2) 根据匿名程度 

 

 根据代理的匿名程度，代理可以分为以下几类。  

 

 高度匿名代理：数据包会原封不动地转发，从服务器的角度来看，看起来真的是一个普通的客户端在访问，记录的IP就是代理服务器的IP。  

 

 普通匿名代理：数据包会有一些变化。 服务器可能会发现这是一个代理服务器，有一定几率可以追踪到客户端的真实IP。 代理服务器通常添加的 HTTP 标头是 HTTP_VIA 和 HTTP_X_FORWARDED_FOR。  

 

 透明代理：不仅改变数据包，还告诉服务器客户端的真实IP。 这种代理除了可以利用缓存技术提高浏览速度和内容过滤提高安全性外，没有其他显着的效果。 最常见的示例是 Intranet 中的硬件防火墙。  

 

 间谍代理：指由组织或个人创建的一种代理服务器，用于记录用户传输的数据，进而进行研究、监控等目的。  

 

5。 常用代理设置 

 

 使用网上免费代理：最好使用高度隐蔽的代理IP。 此外，可用的代理并不多。 您需要在使用前过滤可用的代理，或者您可以进一步维护一个代理池。  

 

 使用付费代理服务：网上有很多代理，可以收费使用，质量比免费代理好很多。  

 

 ADSL拨号：拨一个号码换一个IP，稳定性高，也是一种更有效的解决方案。