百木园 1 # -*- condeing = utf-8 -*-
2 # @Time:2021/7/19 20:40
3 # @Author : lmb
4 # @File:.py
5 # @Software:
6
7 import urllib.request,urllib.error
8 import re
9 from bs4 import BeautifulSoup
10
11 #爬取多条(实例：豆瓣TOP250)
12 def GetUrl(baseurl):
13 #1.爬取网页
14 for i in range(0,10):
15 url=baseurl+str(i*25)#根据网页网址的规律例如：start=0?
16 html=AskUrl(url)#保存获取的网页源码
17
18 #2.逐一解析数据
19 soup=BeautifulSoup(html,\"html.parser\")
20 for item in soup.find_all(\'div\',class_=\"hd\"):#div里class为“hd”的，其实也就是所需要的数据所在的标签区
21 #print(item)
22 data=[] #保存一部电影的信息
23 item=str(item)#将其转换为string类型
24
25
26 name=re.findall(findName,item)[0] #[0]的意思是只要提取每个标签的出现的第一个相匹配的
27 print(name)#打印出爬取的电影名称
28
29
30 #爬取网页
31 def AskUrl(url):#获取html源码
32 #模拟浏览器读取网页
33 head={\"User-Agent\":\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4542.2 Safari/537.36\"}
34 reqs=urllib.request.Request(url,headers=head)#对其进行封装
35 html=\"\";
36 try:
37 resposed=urllib.request.urlopen(reqs)#打开request封装好的reps
38 html=resposed.read().decode(\"utf-8\")#用read()读取
39
40
41 except urllib.error.URLError as e:#可能会报错的一些情况
42 if hasattr(e,\"code\"):
43 print(e.code)
44 if hasattr(e,\"reason\"):
45 print(e.reson)
46 return html#必须返回一个读取出来的对象
47
48 if __name__ == \'__main__\':
49
50 findName=re.compile(r\'<span class=\"title\">(.*?)</span>\')#获取电影名的正则表达式
51 GetUrl(\"https://movie.douban.com/top250?start=\")#用GetUrl的方法,得到爬取的排名前250的电影名称
来源：https://www.cnblogs.com/lmbl/p/15032915.html
图文来源于网络，如有侵权请联系删除。