模拟登录新浪微博(直接填入Cookie)
之前写过一篇模拟登录新浪微博,是采用POST 用户名/密码等参数(经过加密)并保存Cookie来模拟登录的方法。
一般情况下,为了保证安全性,网站会定期更新登录的detail,例如修改参数名、更新加密(散列)算法等。所以模拟登录的代码定期肯定会失效,但是如果网站没有进行大的更新的话,稍微改一改还是能用的。另外,碰到验证码的情况就更难办了,虽然程序可以一定程度地识别验证码字符,但目前很难找到简单的可以通用的验证码识别程序。
很多豆友反馈有模拟登录新浪微博抓取数据的需求,其实对于一般的微博数据获取,如用户信息、微博内容等,使用微博开放平台API是更明智的选择:速度更快,而且节省许多网页处理的功夫。对于API没有开放的数据,我们再采用模拟登录的方法。
熟悉Web的朋友只要定期维护模拟登录的代码就可以一直成功登录微博。如果不那么熟悉的话,其实可以采用更naive的思路来解决:直接将Cookie发送给新浪微博以实现模拟登录。
1,获取Cookie
很简单,使用Chrome浏览器的”开发者工具(Developer Tools)“或者Firefox的"HTTPFOX"等插件就可以直接查看自己新浪微博的Cookie。(注: 这个私人Cookie千万不要泄露哦!)
比如,Chrome 查看cookie (快捷键F12 可以调出chrome开发者工具)
2, 将Cookie作为访问微博的header参数提交
headers = {'cookie': 'your cookie'}
req = urllib2.Request(url, headers=headers) #每次访问页面都带上 headers参数
r = urllib2.urlopen(req)
具体代码见:https://gist.github.com/ghostrong/d10c061000b7b65e5039
一般情况下,为了保证安全性,网站会定期更新登录的detail,例如修改参数名、更新加密(散列)算法等。所以模拟登录的代码定期肯定会失效,但是如果网站没有进行大的更新的话,稍微改一改还是能用的。另外,碰到验证码的情况就更难办了,虽然程序可以一定程度地识别验证码字符,但目前很难找到简单的可以通用的验证码识别程序。
很多豆友反馈有模拟登录新浪微博抓取数据的需求,其实对于一般的微博数据获取,如用户信息、微博内容等,使用微博开放平台API是更明智的选择:速度更快,而且节省许多网页处理的功夫。对于API没有开放的数据,我们再采用模拟登录的方法。
熟悉Web的朋友只要定期维护模拟登录的代码就可以一直成功登录微博。如果不那么熟悉的话,其实可以采用更naive的思路来解决:直接将Cookie发送给新浪微博以实现模拟登录。
1,获取Cookie
很简单,使用Chrome浏览器的”开发者工具(Developer Tools)“或者Firefox的"HTTPFOX"等插件就可以直接查看自己新浪微博的Cookie。(注: 这个私人Cookie千万不要泄露哦!)
比如,Chrome 查看cookie (快捷键F12 可以调出chrome开发者工具)
![]() |
cookie in chrome |
2, 将Cookie作为访问微博的header参数提交
headers = {'cookie': 'your cookie'}
req = urllib2.Request(url, headers=headers) #每次访问页面都带上 headers参数
r = urllib2.urlopen(req)
具体代码见:https://gist.github.com/ghostrong/d10c061000b7b65e5039
-
消失的蚁群 赞了这篇日记 2017-07-17 13:34:31
-
绿豆味的黄豆芽 赞了这篇日记 2017-04-09 23:38:36
-
摸小鱼儿 赞了这篇日记 2017-02-19 23:13:21
-
雪 赞了这篇日记 2016-07-02 15:36:40
-
Hazel 赞了这篇日记 2016-05-20 17:07:23
-
你不是有病吗 赞了这篇日记 2015-11-28 03:00:51
-
Player 赞了这篇日记 2015-09-24 00:35:36
-
AltenLi 赞了这篇日记 2015-08-24 15:01:36
-
混乱的猴子 赞了这篇日记 2015-08-21 11:32:25
-
要有好多钱 赞了这篇日记 2015-06-08 21:31:36
-
NoWhere 赞了这篇日记 2015-04-02 14:14:00
-
比比 赞了这篇日记 2014-10-19 16:43:48
-
LongForSth. 赞了这篇日记 2014-10-03 09:35:07
-
-.-.--.. 赞了这篇日记 2014-08-14 16:36:00
-
三良同学 赞了这篇日记 2014-06-11 10:48:14
-
豆友1088024 赞了这篇日记 2014-01-25 14:36:05
-
Tabulator Key 赞了这篇日记 2013-11-18 21:15:38
-
ClandestineCla 赞了这篇日记 2013-11-15 13:40:21
-
Angry Bender 赞了这篇日记 2013-10-28 17:02:19
-
forever 赞了这篇日记 2013-07-09 01:13:58
-
不死的神 赞了这篇日记 2013-03-07 16:25:10
-
绝影 赞了这篇日记 2013-03-06 21:15:08
-
细胞膜 赞了这篇日记 2013-03-05 10:46:27
-
苏格拉底大王 赞了这篇日记 2013-03-05 08:37:58
-
马孔多 赞了这篇日记 2013-03-04 23:30:40