整合營銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
ython作為一門高級編程語言，它的定位是優(yōu)雅、明確和簡單。我學(xué)用python差不多一年時間了，用得最多的還是各類爬蟲腳本：寫過抓代理本機(jī)驗(yàn)證的腳本，寫過論壇中自動登錄自動發(fā)貼的腳本，寫過自動收郵件的腳本，寫過簡單的驗(yàn)證碼識別的腳本。
這些腳本有一個共性，都是和web相關(guān)的，總要用到獲取鏈接的一些方法，故累積了不少爬蟲抓站的經(jīng)驗(yàn)，在此總結(jié)一下，那么以后做東西也就不用重復(fù)勞動了。
下面分享一個小案例，實(shí)現(xiàn)爬取網(wǎng)站里面的圖片，包括源碼及實(shí)現(xiàn)思路。
一、還原手工操作
所謂爬取頁面圖片，正常人手動操作可以分為兩步：
1.打開頁面
2.選中圖片下載到指定文件夾
用代碼實(shí)現(xiàn)的話可以節(jié)省掉每次下載圖片的操作，運(yùn)行代碼實(shí)現(xiàn)批量下載。
二、設(shè)計代碼實(shí)現(xiàn)
步驟一：導(dǎo)入相關(guān)庫操作
import urllib #導(dǎo)入urllib包
import urllib.request#導(dǎo)入urllib包里的request方法
import re #導(dǎo)入re正則庫
步驟二：定義解析頁面 load_page（）
這個函數(shù)實(shí)現(xiàn)打開傳入的路徑并將頁面數(shù)據(jù)讀取出來，實(shí)現(xiàn)代碼，包括發(fā)送請求，打開頁面，獲取數(shù)據(jù)。
代碼實(shí)現(xiàn)：
def load_page(url):
request=urllib.request.Request(url)#發(fā)送url請求
response=urllib.request.urlopen(request)#打開url網(wǎng)址
data=response.read()#讀取頁面數(shù)據(jù)
return data#返回頁面數(shù)據(jù)
步驟三：定義get_image()函數(shù)
首先利用正則表達(dá)式匹配圖片路徑并存到數(shù)組中。
其次遍歷數(shù)組實(shí)現(xiàn)圖片下載操作。
代碼實(shí)現(xiàn)：
def get_image(html):
regx=r'http://[\S]*jpg' #定義正則匹配公式
pattern=re.compile(regx)#構(gòu)造匹配模式，速度更快
get_image=re.findall(pattern,repr(html))#repr（）將內(nèi)容轉(zhuǎn)化為字符串形式，findall列表形式展示正則表達(dá)式匹配的結(jié)果
num=1 #定義變量控制循環(huán)
for img in get_image: #定義變量遍歷數(shù)組
image=load_page(img)#將圖片路徑傳入加載函數(shù)
with open('F:\photo\%s.jpg'%num,'wb') as fb: #以只讀方式打開圖片并命名
fb.write(image) #寫入內(nèi)容
print('正在下載第%s張圖片'%num)
num=num+1 #變量遞增
print("下載完成")
步驟四：函數(shù)調(diào)用
#調(diào)用函數(shù)
url='http://p.weather.com.cn/2019/10/3248439.shtml' #傳入url路徑
html=load_page(url)#加載頁面
get_image(html)#圖片下載
關(guān)鍵單詞釋義
如果第一次接觸爬蟲代碼，相信有幾個單詞大家很陌生，為了方便記憶我把他們歸類到一起加深印象，你也可以拿出一張白紙?jiān)囍貞浿?/p>
1.爬蟲協(xié)議庫ulrlib、urllib.request
2.正則匹配庫rb
3.發(fā)送請求方法request（）
4.打開頁面方法urlopen（）
5.讀取數(shù)據(jù)方法read（）
6.正則表達(dá)式-所有圖片【\S】*.jpg
7.匹配模式定義compile（）
8.查找匹配findall（）
9.循環(huán)遍歷語句 for a in b
10.打開文件 并命名 with open（）... as fb
11.寫到... write*()
12.輸出語句 print（）
到現(xiàn)在為止可以把我上面的代碼在pycharm中打開嘗試著運(yùn)行起來吧！
最后，有2個報錯信息匯總供參考：
1. module 'urllib' has no attribute 'requset'
定位到當(dāng)行語句，發(fā)現(xiàn)request 單詞拼寫錯誤。
2. 沒有報錯，但是圖片沒有下載成功
重新檢查代碼，發(fā)現(xiàn)正則表達(dá)式寫的有錯誤，記住是大寫的S修改完之后看效果。
我是一名從事了多年軟件測試的老測試員，今年年初我花了一個月整理了一份最適合2020年學(xué)習(xí)的軟件測試學(xué)習(xí)干貨，可以送給每一位對軟件測試感興趣的小伙伴，想要獲取的可以關(guān)注我的頭條號+私信：【測試】，即可免費(fèi)獲取。
不缺好看的桌面呢？這邊來爬取網(wǎng)站超清圖片吧
本次爬蟲用到的網(wǎng)址是：
http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁紙，而且都是可以下載高清無損的，還比較不錯，所以我就拿這個網(wǎng)站練練手。
作為一個初學(xué)者，剛開始的時候，無論的代碼的質(zhì)量如何，總之代碼只要能夠被正確完整的運(yùn)行那就很能夠讓自己開心的，如同我們的游戲一樣，能在短時間內(nèi)得到正向的反饋，我們就會更有興趣去玩。
學(xué)習(xí)也是如此，只要我們能夠在短期內(nèi)得到學(xué)習(xí)帶來的反饋，那么我們的對于學(xué)習(xí)的欲望也是強(qiáng)烈的。能夠完整的完整此次爬蟲程序的編寫，那便是一個最大的收貨，但其實(shí)我在此次過程中的收獲遠(yuǎn)不止此。
好的代碼其實(shí)應(yīng)該具有以下特性
就以充分的測試為例，經(jīng)常寫代碼的就應(yīng)該知道，盡管多數(shù)時候你的代碼沒有BUG,但那僅僅說明只是大多數(shù)情況下是穩(wěn)定的，但是在某些條件下就會出錯（達(dá)到出錯條件，存在邏輯問題的時候等）。這是肯定的。至于什么原因，不同的代碼有不同的原因。如果代碼程序都是一次就能完善的，那么我們使用的軟件的軟件就不會經(jīng)常更新了。其他其中的道理就不一 一道說了，久而自知。
好的代碼一般具有的5大特性1.便于維護(hù)
2.可復(fù)用
3.可擴(kuò)展
4.強(qiáng)靈活性
5.健壯性經(jīng)過我的代碼運(yùn)行我發(fā)現(xiàn)時間復(fù)雜度比較大，因此這是我將要改進(jìn)的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改進(jìn)吧！
路過的大佬歡迎留下您寶貴的代碼修改意見，
完整代碼如下
import os
import bs4
import re
import time
import requests
from bs4 import BeautifulSoup
def getHTMLText(url, headers):
"""向目標(biāo)服務(wù)器發(fā)起請求并返回響應(yīng)"""
try:
r = requests.get(url=url, headers=headers)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, "html.parser")
return soup
except:
return ""
def CreateFolder():
"""創(chuàng)建存儲數(shù)據(jù)文件夾"""
flag = True
while flag == 1:
file = input("請輸入保存數(shù)據(jù)文件夾的名稱：")
if not os.path.exists(file):
os.mkdir(file)
flag = False
else:
print('該文件已存在，請重新輸入')
flag = True
# os.path.abspath(file) 獲取文件夾的絕對路徑
path = os.path.abspath(file) + "\\"
return path
def fillUnivList(ulist, soup):
"""獲取每一張圖片的原圖頁面"""
# [0]使得獲得的ul是 <class 'bs4.BeautifulSoup'> 類型
div = soup.find_all('div', 'list')[0]
for a in div('a'):
if isinstance(a, bs4.element.Tag):
hr = a.attrs['href']
href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
if bool(href) == True:
ulist.append(href[0])
return ulist
def DownloadPicture(left_url,list,path):
for right in list:
url = left_url + right
r = requests.get(url=url, timeout=10)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text,"html.parser")
tag = soup.find_all("p")
# 獲取img標(biāo)簽的alt屬性，給保存圖片命名
name = tag[0].a.img.attrs['alt']
img_name = name + ".jpg"
# 獲取圖片的信息
img_src = tag[0].a.img.attrs['src']
try:
img_data = requests.get(url=img_src)
except:
continue
img_path = path + img_name
with open(img_path,'wb') as fp:
fp.write(img_data.content)
print(img_name, " ******下載完成！")
def PageNumurl(urls):
num = int(input("請輸入爬取所到的頁碼數(shù)："))
for i in range(2,num+1):
u = "http://www.netbian.com/index_" + str(i) + ".htm"
urls.append(u)
return urls
if __name__ == "__main__":
uinfo = []
left_url = "http://www.netbian.com"
urls = ["http://www.netbian.com/index.htm"]
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
}
start = time.time()
# 1.創(chuàng)建保存數(shù)據(jù)的文件夾
path = CreateFolder()
# 2. 確定要爬取的頁面數(shù)并返回每一頁的鏈接
PageNumurl(urls)
n = int(input("訪問的起始頁面："))
for i in urls[n-1:]:
# 3.獲取每一個頁面的首頁數(shù)據(jù)文本
soup = getHTMLText(i, headers)
# 4.訪問原圖所在頁鏈接并返回圖片的鏈接
page_list = fillUnivList(uinfo, soup)
# 5.下載原圖
DownloadPicture(left_url, page_list, path)
print("全部下載完成！", "共" + str(len(os.listdir(path))) + "張圖片")
end = time.time()
print("共耗時" + str(end-start) + "秒")運(yùn)行
部分展示結(jié)果如下：
起學(xué)Python，一起寫代碼，加油！奧利給！！！
<img src="./post-img.jpg" />注：HTML有多種標(biāo)簽中使用的屬性，屬性的作用是描述元素，src就是屬性，為了描述圖片。圖片的路徑可以是絕對路徑也可以是相對路徑。
<img src="./post-img.jpg" alt="HTML 代碼圖片" />若我們圖片無法顯示，將會如下圖顯示:
<img src="./post-img.jpg" alt="HTML 代碼圖片" width="500" height="200" /><html lang="zh-CN"><head>
<meta charset="UTF-8" />
</head>注：meta元素代表元數(shù)據(jù),【charset="UTF-8"】，表示字符集編碼格式為UTF-8
*請認(rèn)真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。
