安卓app数据抓取方法推荐

随着手机的普及,app越来越多,很多行业甚至都开始专注于app的开发,所以用爬虫来爬app是顺理成章的。 目前国内大部分人都使用安卓手机,那么从安卓应用中抓取数据的方法有哪些呢?  
 
1。 下载并设置fiddler抓包工具
 
Fiddler是一个http协议调试代理工具,它可以记录和检查你的电脑和互联网之间的所有http通信,设置断点,查看所有“进出”Fiddler 数据(指cookies、html、js、css等文件)。  
 
 打开下载的fiddler,进行设置,找到Tools -> Options,然后在HTTPS工具栏下勾选Decrpt HTTPS traffic,在弹出的选项栏下勾选Ignore server certificate errors。  
 
设置允许外部设备向fiddler发送HTTP/HTTPS
 
动态IP模拟器
 
同理,在Connections选项栏下勾选Allow remote computer to connect,并使 备注住上面的端口号8888,后面会用到。  
 
2。 手机设置 
 
为手机设置代理,前提是电脑和手机需要在同一个网络下操作,比如使用wifi或者热点。  
 
 
反爬的方法有很多,比如在一定时间段内对频繁访问的IP阻塞接口(会误杀),这是一个很好的方法 绕过代理IP池的使用 这是可以避免的。  
 
3。 下载Fiddler的安全证书
 
用安卓手机浏览器打开:http://192.168.1.96:8888,点击“FiddlerRoot证书”,安装证书。  
 
4。 测试效果,打开一个app
 
返回200,表示已经发送请求,成功接收到响应。 这样就成功抓到了安卓手机终端的数据包。  
 
 以上详细说明了Android app的数据抓取方法。 相比web端,app端的数据其实更容易抓取,反爬虫也没有那么强。 它们中的大多数也是 http/https 协议。 可以根据流程抓取测试数据,如果要获取ios数据也可以使用此方法。