利用python爬取多个目标及多网页标题笔记
import requests
import re
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36'}
def baidu(college,page): #定义大学名称和网页页数函数
num = (page - 1) * 10
url = 'https://www.baidu.com/s?rtt=1&bsst=1&cl=2&tn=news&word=' + college +'&pn=' + str(num)
res = requests.get(url,headers = headers).text
p_href = '<h3 class="c-title">.*?<a href="(.*?)"'
p_title = '<h3 class="c-title">.*?>(.*?)</a>'
p_info = '<p class="c-author">(.*?)</p>'
href = re.findall(p_href,res,re.S)
title = re.findall(p_title,res,re.S)
info = re.findall(p_info,res,re.S)
source = []
date = []
for i in range(len(title)):
title[i] = title[i].strip()
title[i] = re.sub('<.*?>','',title[i])
info[i] = re.sub('<.*?>','',info[i])
source.append(info[i].split(' ')[0])
date.append(info[i].split(' ')[1])
source[i] = source[i].strip()
date[i] = date[i].strip()
print(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')')
print(href[i])
colleges = ['佛山科学技术学院','东莞理工学院','广东技术师范大学','广东海洋大学','五邑大学'] #将广东几所二本大学定义进大学列表中
for college in colleges:
for i in range(5): #爬取5页网页
baidu(college,i+1)
print(college + '第' + str(i+1) + '页爬取成功')
部分结果显示
1.胡春华朱小丹赴佛山科学技术学院调研(2016年09月30日 10:12-中国共产党新闻网)
http://cpc.people.com.cn/gb/http:/cpc.people.com.cn/n1/2016/0930/c64094-28753145.html
2.佛山科学技术学院2019年硕士研究生招生简章及专业目录(2018年09月03日 15:30-中国高校之窗)
http://www.gx211.com/news/20180903/n15359597963367.html
3.佛山科学技术学院公交优化 年底前设置共享汽车网点(2017年08月30日 11:13-金羊网)
http://news.ycwb.com/2017-08/30/content_25438376.htm
4.佛山科学技术学院食堂厨房设备(北院新校区教工及学生食堂)项目...(2017年06月27日 11:25-政府采购信息网)
http://www.caigou2003.com/tender/success/3029182.html
5.中加清洁技术和新能源成果转化研究院落户佛山科学技术学院(2016年12月07日 09:39-中国教育在线)
https://www.eol.cn/guangdong/guaungdongxiaoyuan/201612/t20161207_1473752.shtml
6.郝志峰校长见证佛山科学技术学院与德国比歇尔集团签署战略合作协议(2016年10月25日 09:54-中国教育在线)
https://www.eol.cn/guangdong/guaungdongxiaoyuan/201610/t20161025_1461458.shtml
7....数据教育联盟大数据教育及科研合作交流会 在佛山科学技术学院...(2016年10月22日 20:39-CIO时代网)
http://www.ciotimes.com/txhhd/119814.html
8.获评示范后,顺德职业技术学院如何探索?(2016年12月23日 15:42-南方网)
http://fs.southcn.com/content/2016-12/23/content_162296700.htm
9.今年力争新增 义务教育学位5.3万个-珠江时报(2020年03月25日 02:38-珠江时报)
http://szb.nanhaitoday.com/epaper/zjsb/html/2020-03/25/content_4753.htm
10.新学期来啦!佛山再增一大波新学校,设施先进,颜值爆表,你家附近有吗?(2019年08月28日 22:26-佛山新闻网)
https://baijiahao.baidu.com/s?id=1643121106377037115&wfr=spider&for=pc
佛山科学技术学院第5页爬取成功
1.2020东莞市最好大学排名,东莞理工学院第一(2020年03月31日 19:59-艾瑞深校友会网)
https://baijiahao.baidu.com/s?id=1662680766002060215&wfr=spider&for=pc
2.东莞理工学院今年计划招收研究生209人(2020年03月31日 09:08-东莞阳光网)
http://news.sun0769.com/dg/headnews/202003/t20200331_16087539.shtml
3.快讯:东莞理工学院2020研究生招生计划公布,共209人!(2020年03月30日 21:31-校园教育)
https://baijiahao.baidu.com/s?id=1662595983006125041&wfr=spider&for=pc
4.东莞理工学院组织开展招生宣传业务知识在线培训(2020年03月30日 17:53-中国高校之窗)
http://www.gx211.com/news/20200330/n15855619877525.html
5.东莞理工学院喜获中国轻工业联合会科技进步二等奖(2020年03月30日 17:24-中国高校之窗)
http://www.gx211.com/news/20200330/n15855602471747.html
6.东莞理工学院新增三个本科专业(2020年03月06日 17:45-广州日报)
https://baijiahao.baidu.com/s?id=1660430252747664042&wfr=spider&for=pc
7.疫情防控期 东莞理工学院基层党组织主题党日活动这样过(2020年03月05日 19:47-中国教育装备采购网)
https://www.caigou.com.cn/news/2020030528.shtml
8.广东省公办本科高校,广东石油化工学院和东莞理工学院(2020年02月22日 10:55-走过路过自然飘过)
https://baijiahao.baidu.com/s?id=1659203893770857724&wfr=spider&for=pc
9.东莞理工学院李忠红副校长视察研究院复工及疫情防控工作情况(2020年03月26日 09:21-中国高校之窗)
http://www.gx211.com/news/20200326/n15851856223673.html
10.东莞理工学院作为第一参与单位的广东省重点领域研发计划项目正式...(2020年03月26日 10:27-中国高校之窗)
http://www.gx211.com/news/20200326/n15851896302381.html
东莞理工学院第1页爬取成功
1.2020广东技术师范大学招聘音乐学院舞蹈专任教师(人事代理)2人公告(2020年03月18日 15:40-中公教师网)
http://www.zgjsks.com/html/2020/gd_0318/446539.html
2.广东省公办本科高校,五邑大学和广东技术师范学院(2020年03月07日 10:44-走过路过自然飘过)
https://baijiahao.baidu.com/s?id=1660471545627077695&wfr=spider&for=pc
3.铁肩担道义,广东技术师范大学师生积极投身战“疫”志愿服务(2020年03月06日 12:21-新快报)
https://baijiahao.baidu.com/s?id=1660387040344406697&wfr=spider&for=pc
4.广东技术师范大学召开春季学期线上教育工作视频会议(2020年03月02日 12:43-未来网高校)
https://baijiahao.baidu.com/s?id=1660026035762576795&wfr=spider&for=pc
5.广东技术师范大学:奋力建设中国特色、世界水平技术师范大学(2019年12月25日 06:01-南方新闻网)
http://news.southcn.com/nfplus/gdjytt/m/content/2019-12/25/content_189903160.htm
6.广东技术师范大学校本部春晖园一、二楼餐厅引进餐饮合作伙伴项目...(2019年10月30日 14:08-中国教育..)
http://www.ceiea.com/html/201910/201910301409344322.shtml
7.2019广东技术师范大学招聘教务处管理人员(人事代理)公告【招3人】(2019年09月28日 09:30-中公网校)
http://www.eoffcn.com/kszx/gonggao/972766.html
8.2020全国硕士研究生报名广东技术师范大学考点公告(2019年09月23日 10:05-广东华图)
http://gd.huatu.com/2019/0923/1668512.html
9.2020广东技术师范大学硕士研究生招生专业目录(2019年09月17日 20:46-广东华图)
http://gd.huatu.com/2019/0917/1666978.html
10.广东技术师范大学(2019年08月08日 21:35-中国教育在线)
https://souky.eol.cn/news/takeinfo/1055/47170.html
广东技术师范大学第1页爬取成功
1.广东财经大学、广西医科大学、广东海洋大学谁实力更强?看排名(2020年03月30日 20:53-老王谈教育99)
https://baijiahao.baidu.com/s?id=1662593586967511181&wfr=spider&for=pc
2.2020年放大招 广东海洋大学深圳研究院招收25名博士后(2020年03月26日 09:35-腾讯新闻)
https://new.qq.com/omn/20200326/20200326A05IUT00.html
3.广东海洋大学寸金学院机关党总支战“疫”走在前(2020年03月25日 18:06-人民论坛网)
http://www.rmlt.com.cn/2020/0325/574062.shtml
4.广东海洋大学新增经济与金融、船舶电子电气工程等3个本科专业!(2020年03月05日 14:23-校园教育)
https://baijiahao.baidu.com/s?id=1660304130524589659&wfr=spider&for=pc
5.袁隆平受聘为广东海洋大学特聘院士(2019年12月18日 21:16-澎湃新闻)
https://baijiahao.baidu.com/s?id=1653263665943207764&wfr=spider&for=pc
6.广州南沙与广东海洋大学签署合作框架协议(2020年01月04日 10:06-环京津网)
https://baijiahao.baidu.com/s?id=1654762082153884008&wfr=spider&for=pc
7.五大共建项目!广东海洋大学与广州市南沙区全方位合作(2020年01月02日 15:19-南方新闻网)
https://baijiahao.baidu.com/s?id=1654600048123982057&wfr=spider&for=pc
8.新年迎新,广东海洋大学将在南沙建研究生院(2020年01月02日 14:48-广州日报)
https://baijiahao.baidu.com/s?id=1654598454522228617&wfr=spider&for=pc
9.广东海洋大学获评“2019年广东省十大中学信赖本科高校”(2019年12月24日 00:00-中国教育在线)
https://www.eol.cn/guangdong/guaungdongxiaoyuan/201912/t20191225_1701442.shtml
10.广东省重点大学,广东工业大学和广东海洋大学(2019年11月07日 10:44-走过路过自然飘过)
https://baijiahao.baidu.com/s?id=1649509297341689019&wfr=spider&for=pc
广东海洋大学第1页爬取成功
