Charles:从没听说过到变成高手
以前在某公司工作的时候,只知道爬数据用八爪鱼、火车头,但是这两工具后面要付钱,扒不了太多数据,作罢。
后来又听说扒数据要用Python,也试着跟猪头请教如何学,结果猪头把教程都发我了,我压根没有开始,又作罢。
最近看文献,看到人家用大数据分析那个爽,实在受不了了,决定自己学。
某篇文章的某位大佬提及了好几种软件,最终推荐了Charles。那就学起来,首先是官网下载,再安装:
推荐这篇《可能是最好的Mac Charles 配置指南》
https://blog.csdn.net/u010296640/article/details/80953708
需要替换Charles.jar,是我从别处别人的百度云盘下载的。
如果抓到的出现乱码,那么可以参考如下文章:
https://www.cnblogs.com/cynthia-wuqian/archive/2018/01/22/8327939.html
如果是需要对手机APP里面的数据进行抓包,那么手机也要配置,发现自己用iPhone的Safari操作了并没用,后来又查到一篇文章:
《MAC电脑-安卓手机安装charles证书,亲测无误》
https://www.jianshu.com/p/980a4a4e3007
才知道可以在电脑上生成证书,然后通过air传给手机,在setting那里安装了就行。
但是手机需要与电脑配置一样的IP,又是一顿操作,详情教程里都有;
所以每次开始抓数据都要重新设置一遍咯??
https://www.jianshu.com/p/5c205ae5431b
也即是重复这个链接中的Step 3.
猪头说,如果不用Charles了,要恢复网络设置,不然手机用不了网络。
接下来呢,找到了
http://blog.devtang.com/2015/11/14/charles-introduction/#Charles-主界面介绍
看得云里雾里。似乎下面这篇更有用:
https://www.cnblogs.com/zhangyublogs/p/5454080.html
希望自己最终能get proficiency!
如果只是抓包PC浏览器中的网页数据,猪头说,可以通过Chrome直接抓,步骤如下:
打开页面--菜单栏“视图”--开发者--开发者工具--Network--XHR--把那段东西复制黏贴下来就好
对了,抓到的数据是一堆代码,需要转码,猪头给了个转码的网址:
http://tool.chinaz.com/tools/unicode.aspx
似乎老半天转不出什么来,于是开始学习Python.