要：從零開始寫爬蟲，初學者的速成指南！

需要免費獲取本文章講解的視頻+源碼，關注+轉發此文然后私信我回復“音樂”即可領取資料，也歡迎大家和我一起交流學習Python，共同成長

封面：

大家好，《手把手教你寫網絡爬蟲》連載開始了！在筆者的職業生涯中，幾乎沒有發現像網絡爬蟲這樣的編程實踐，可以同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術和盤托出，為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧！

介紹

什么是爬蟲？

先看看百度百科的定義:

簡單的說網絡爬蟲（Web crawler）也叫做網絡鏟（Web scraper）、網絡蜘蛛（Web spider），其行為一般是先“爬”到對應的網頁上，再把需要的信息“鏟”下來。

為什么學習爬蟲？

看到這里，有人就要問了：google、百度等搜索引擎已經幫我們抓取了互聯網上的大部分信息了，為什么還要自己寫爬蟲呢？這是因為，需求是多樣的。比如在企業中，爬取下來的數據可以作為數據挖掘的數據源。甚至有人為了炒股，專門抓取股票信息。筆者就見過有人為了分析房價，自學編程，爬了綠中介的數據。

在大數據深入人心的時代，網絡爬蟲作為網絡、存儲與機器學習等領域的交匯點，已經成為滿足個性化網絡數據需求的最佳實踐。還猶豫什么？讓我們開始學習吧！

語言&環境

語言：人生苦短，我用Python。讓Python帶我們飛！

urllib.request：這是Python自帶的庫，不需要單獨安裝，它的作用是為我們打開url獲取html的內容。Python官方文檔的介紹：The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

BeautifulSoup：是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航，查找，修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工作時間。安裝比較簡單：

$pip install beautifulsoup4

驗證的方法，進入Python直接import一下，如果沒有異常，那就說明安裝成功了！

“美味的湯，綠色的濃湯，

在熱氣騰騰的蓋碗里裝！

誰不愿意嘗一嘗，這樣的好湯？

晚餐用的湯，美味的湯！”

BeautifulSoup庫的名字取自《愛麗絲夢游仙境》里的同名詩歌。

爬取數據

接下來，我們就用urllib.request獲取html內容，再用BeautifulSoup提取其中的數據，完成一次簡單的爬取。

把這段代碼保存為get_html.py，然后運行，看看輸出了什么：

果然，輸出了http://jr.jd.com 這個網頁的全部HTML代碼。

輸出的代碼簡直無法直視，如何方便的找到我們想抓取數據呢？用Chrome打開url，然后按F12，再按Ctrl + Shift + C。如果我們要抓導航欄，就用鼠標點擊任意一個導航欄的項目，瀏覽器就在html中找到了它的位置。效果如下：

定位到的html代碼：

有了這些信息，就可以用BeautifulSoup提取數據了。升級一下代碼：

把這段代碼保存為get_data.py，然后運行，看看輸出了什么：

沒錯，得到了我們想要的數據！

BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。怎么樣，是不是覺得只要復制粘貼就可以寫爬蟲了？簡單的爬蟲確實是可以的！

一個迷你爬蟲

我們先定一個小目標：爬取網易云音樂播放數大于500萬的歌單。

打開歌單的url: http://music.163.com/#/discover/playlist，然后用BeautifulSoup提取播放數<span class="nb">3715</span>。結果表明，我們什么也沒提取到。難道我們打開了一個假的網頁？

動態網頁：所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。

值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這里說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關系，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是采用了動態網站技術生成的網頁都可以稱為動態網頁。

現在我們明白了，這是一個動態網頁，我們得到它的時候，歌單還沒請求到呢，當然什么都提取不出來！

我們之前的技術不能執行那些讓頁面產生各種神奇效果的JavaScript 代碼。如果網站的HTML頁面沒有運行JavaScript，就可能和你在瀏覽器里看到的樣子完全不同，因為瀏覽器可以正確地執行JavaScript。用Python 解決這個問題只有兩種途徑：直接從JavaScript 代碼里采集內容，或者用Python 的第三方庫運行JavaScript，直接采集你在瀏覽器里看到的頁面。我們當然選擇后者。今天第一課，不深究原理，先簡單粗暴的實現我們的小目標。

Selenium：是一個強大的網絡數據采集工具，其最初是為網站自動化測試而開發的。近幾年，它還被廣泛用于獲取精確的網站快照，因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以加載網站的瀏覽器，但是它也可以像BeautifulSoup對象一樣用來查找頁面元素，與頁面上的元素進行交互（發送文本、點擊等），以及執行其他動作來運行網絡爬蟲。安裝方式與其他Python第三方庫一樣。

$pip install Selenium

驗證一下：

Selenium 自己不帶瀏覽器，它需要與第三方瀏覽器結合在一起使用。例如，如果你在Firefox 上運行Selenium，可以直接看到一個Firefox 窗口被打開，進入網站，然后執行你在代碼中設置的動作。雖然這樣可以看得更清楚，但不適用于我們的爬蟲程序，爬一頁就打開一頁效率太低，所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS：是一個“無頭”（headless）瀏覽器。它會把網站加載到內存并執行頁面上的JavaScript，但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起，就可以運行一個非常強大的網絡爬蟲了，可以處理cookie、JavaScript、header，以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫，不能用pip安裝。它是一個完善的瀏覽器，所以你需要去它的官方網站下載，然后把可執行文件拷貝到Python安裝目錄的Scripts文件夾，像這樣：

開始干活！

打開歌單的第一頁：

http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

用Chrome的“開發者工具”F12先分析一下，很容易就看穿了一切。

播放數nb (number broadcast)：29915

封面 msk (mask)：有標題和url

同理，可以找到“下一頁”的url，最后一頁的url是“javascript：void(0)”。

最后，用18行代碼即可完成我們的工作。

把這段代碼保存為get_data.py，然后運行。運行結束后，在程序的目錄里生成了一個playlist.csv文件。

看到成果后是不是很有成就感？如果你感興趣，還可以按照這個思路，找找評論數最多的單曲，再也不用擔心沒歌聽了！

需要免費獲取本文章講解的視頻+源碼，關注+轉發此文然后私信我回復“音樂”即可領取資料，也歡迎大家和我一起交流學習Python，共同成長

今天的內容比較淺顯，希望對你有用。就先介紹到這里，我們下期再見！

身、吃飯、敲代碼；等車、擼貓、下午茶……若能佐以合適的音樂當“配餐”，總是愜意非常。本文就將帶你爬一爬網易云的那些熱門歌單！

作者 | 上海小胖

責編 | 仲培藝

心情好或心情壞，點一首歌撫慰你受傷或躁動的心靈——下面教你用 15 行代碼搞定熱門歌單！

本文使用的是 Selenium 模塊，它是一個自動化測試工具，利用它我們可以驅動瀏覽器執行特定的動作，如點擊、下拉等操作，對于一些 JavaScript 渲染的頁面來說，此種抓取方式非常有效。

采用了 Chrome 瀏覽器配合 Selenium 工作，本文的 Python 版本是 3.7.2。

準備工作

1. 若你的環境中沒有 Selenium 模塊，直接使用 pip 安裝即可：

pip install selenium

2. 打開谷歌瀏覽器，檢查Chrome的版本：在瀏覽器地址中輸入 chrome://settings/help 回車即可看到：

3. 打開 ChromeDriver 的官方網站（https://sites.google.com/a/chromium.org/chromedriver/downloads），尋找與你當前瀏覽器版本相對應的 ChromeDriver 下載：

4. 選擇你自己的操作系統類型進行下載即可：

5. 以 Windows 為例，下載結束后，將 ChromeDriver 放置在 Python 安裝目錄下的 Scripts 文件夾即可：

準備工作完成，代碼寫起來吧~

迷你爬蟲的實現

我們這次的目標是爬取熱門歌單，比如網易云音樂中播放量大于 1000萬 的歌單信息（歌單名稱、鏈接）。

1. 先來打開網易云的歌單第一頁：

https://music.163.com/#/discover/playlist/

2. 使用 Chrome 的開發者工具 <F12> 進行分析：

我們想要拿的信息全在這里：

msk，封面 [mask]：有歌單的名稱及鏈接

nb，播放數 [number broadcast]：135萬

3. 我們還需要遍歷所有的頁，使用工具繼續分析，找到“下一頁”的 URL：

4. 切換至最后一頁，拿到最后一頁的 URL：

5. 等我們爬取完所有符合的歌單信息后，將其保存在本地；

6.全部工作結束，最后再通過下面的偽代碼回顧下整體思路：

7. 爬取的效果如下：

另附源碼：https://github.com/MiracleYoung/You-are-Pythonista/tree/master/PythonExercise/Tool/Mini_Crawl

作者簡介：上海小胖，四大咨詢的TechLead，mongoDB Professional 獲得者。「Python專欄」專注Python領域的各種技術：爬蟲、DevOps、人工智能、Web開發等。

本文系作者投稿，版權歸作者所有。

ython開發音樂播放器（一）—— 模擬登陸+獲得歌單信息

這個星期我的個人項目——（能導入各個平臺歌單的）音樂播放器已經開始啦。所以先理清思路：

1. 使用selenium進行模擬登錄，即登錄QQ號時同時能獲得網易云和QQ音樂時可以獲取兩個賬號的歌單
2. 使用Python創建GUI界面（初期使用簡潔的界面，后期再進行美化和功能增加）
3. 將Python的GUI界面與第一步得到的歌單融合
4. 解決音樂在播放器上播放的問題（目前想到的是兩種方法：1.爬取源mp3文件，此方式較為困難并且可能涉及到版權問題暫時不適合。2. 得到播放的鏈接，進行在線播放）

期間可能會遇到各種問題或者說我的思路有問題的地方會進行改進，當然同時也不吝賜教。

一、selenium模擬登陸

首先是安裝并且配置selenium的環境，網上都有教程這里就不贅述了。

接著進行網頁的分析，打開網易云界面，我們首先要實現模擬登陸的功能。

查看此處的代碼結構：

點擊后彈出新的框：

此處因為需要點擊QQ登錄因此利用css選擇器使用下列代碼：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from time import sleep
class getMusic():
 #chrome_options=Options()
 #設置為無界面模式
 #chrome_options.add_argument('--headless')
 userid='***' #這里填上QQ號
 password='***'#這里填上對應的密碼
 browser = webdriver.Chrome()
 browser.implicitly_wait(10)
 browser.get("https://music.163.com/")
 #login = browser.find_element_by_link_text('登錄')
 #login.click()
 browser.implicitly_wait(10)
 browser.find_element_by_css_selector(".m-tophead.f-pr.j-tflag > a").click() #點擊登錄
 #css 選擇器中如果一個 tag 的 class 包含空格，要用.號代替空格
 browser.find_element_by_css_selector(".lyct.lyct-1 > div > div.u-alt > ul > li:nth-child(2) > a").click() #點擊QQ登錄

運行代碼，進入下列界面：

我們要先對選項卡進行切換

music_handle = browser.current_window_handle
print(music_handle) # 輸出當前窗口句柄 
handles = browser.window_handles # 獲取當前全部窗口句柄集合
print(handles)
#切換到QQ登陸頁面
for handle in handles:
 if handle != browser.current_window_handle:
 print('switch to qq login window')
 browser.switch_to.window(handle)
 browser.implicitly_wait(10)
 ##QQlogin = browser.find_element_by_link_text('QQ登錄')
 #QQlogin.click()
#music_handle = browser.current_window_handle
browser.implicitly_wait(10)
sleep(2)

接著我們發現QQ登錄窗口含有iframe：

因此先切換此窗口：

browser.switch_to.frame('ptlogin_iframe')

再點擊帳號密碼登錄，出現文本框將賬號密碼輸入后進行登錄。

browser.find_element_by_link_text('帳號密碼登錄').click()
userid_ele=browser.find_element_by_name('u')
#password_ele=browser.find_element_by_id('pwdArea')
password_ele=browser.find_element_by_name('p')
userid_ele.send_keys(userid)
password_ele.send_keys(password)
browser.find_element_by_id('login_button').click()

切換回原窗口：

browser.switch_to.window(music_handle)

完成登錄：

二、初步獲得歌單信息

首先進入我的音樂：

代碼：

browser.find_element_by_xpath('//*[@id="g-topbar"]/div[1]/div/ul/li[2]/span/a/em').click()
browser.implicitly_wait(10)
sleep(2)

接下來提取歌單的名稱：

經過檢查代碼發現，這里也是個iframe：

browser.switch_to.frame('contentFrame')

提取名稱：

list=[]
#list=browser.find_element_by_xpath('//*[@id="g_mymusic"]/div/div[1]/div/div[1]/ul/li[3]')
#list.click()
i=1
while True:
 try:
 list=browser.find_element_by_xpath('//*[@id="g_mymusic"]/div/div[1]/div/div[1]/ul/li[{}]'.format(i))
 print(list.text)
 i=i+1
 except:
 print('over')
 break;

輸出結果：

?

（未完待續，如以上有疑問，不吝賜教）