整合營銷服務商

          電腦端+手機端+微信端=數據同步管理

          免費咨詢熱線:

          手把手教你寫Python網絡爬蟲(1):網易云音樂歌單

          要:從零開始寫爬蟲,初學者的速成指南!

          需要免費獲取本文章講解的視頻+源碼,關注+轉發此文然后私信我回復“音樂”即可領取資料,也歡迎大家和我一起交流學習Python,共同成長

          封面:

          封面

          大家好,《手把手教你寫網絡爬蟲》連載開始了!在筆者的職業生涯中,幾乎沒有發現像網絡爬蟲這樣的編程實踐,可以同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術和盤托出,為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧!

          介紹

          什么是爬蟲?

          先看看百度百科的定義:

          網絡爬蟲

          簡單的說網絡爬蟲(Web crawler)也叫做網絡鏟(Web scraper)、網絡蜘蛛(Web spider),其行為一般是先“爬”到對應的網頁上,再把需要的信息“鏟”下來。

          為什么學習爬蟲?

          看到這里,有人就要問了:google、百度等搜索引擎已經幫我們抓取了互聯網上的大部分信息了,為什么還要自己寫爬蟲呢?這是因為,需求是多樣的。比如在企業中,爬取下來的數據可以作為數據挖掘的數據源。甚至有人為了炒股,專門抓取股票信息。筆者就見過有人為了分析房價,自學編程,爬了綠中介的數據。

          在大數據深入人心的時代,網絡爬蟲作為網絡、存儲與機器學習等領域的交匯點,已經成為滿足個性化網絡數據需求的最佳實踐。還猶豫什么?讓我們開始學習吧!

          語言&環境

          語言:人生苦短,我用Python。讓Python帶我們飛!

          Python

          urllib.request:這是Python自帶的庫,不需要單獨安裝,它的作用是為我們打開url獲取html的內容。Python官方文檔的介紹:The urllib.request module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

          BeautifulSoup:是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式。Beautiful Soup會幫你節省數小時甚至數天的工作時間。安裝比較簡單:

          $pip install beautifulsoup4

          驗證的方法,進入Python直接import一下,如果沒有異常,那就說明安裝成功了!

          BeautifulSoup

          “美味的湯,綠色的濃湯,

          在熱氣騰騰的蓋碗里裝!

          誰不愿意嘗一嘗,這樣的好湯?

          晚餐用的湯,美味的湯!”

          BeautifulSoup庫的名字取自《愛麗絲夢游仙境》里的同名詩歌。

          爬取數據

          接下來,我們就用urllib.request獲取html內容,再用BeautifulSoup提取其中的數據,完成一次簡單的爬取。

          urllib.request

          把這段代碼保存為get_html.py,然后運行,看看輸出了什么:

          get_html.py

          果然,輸出了http://jr.jd.com 這個網頁的全部HTML代碼。

          輸出的代碼簡直無法直視,如何方便的找到我們想抓取數據呢?用Chrome打開url,然后按F12,再按Ctrl + Shift + C。如果我們要抓導航欄,就用鼠標點擊任意一個導航欄的項目,瀏覽器就在html中找到了它的位置。效果如下:

          HTML代碼

          定位到的html代碼:

          html代碼

          有了這些信息,就可以用BeautifulSoup提取數據了。升級一下代碼:

          BeautifulSoup

          把這段代碼保存為get_data.py,然后運行,看看輸出了什么:

          get_data.py

          沒錯,得到了我們想要的數據!

          BeautifulSoup提供一些簡單的、Python式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數據,因為簡單,所以不需要多少代碼就可以寫出一個完整的應用程序。怎么樣,是不是覺得只要復制粘貼就可以寫爬蟲了?簡單的爬蟲確實是可以的!

          一個迷你爬蟲

          我們先定一個小目標:爬取網易云音樂播放數大于500萬的歌單。

          打開歌單的url: http://music.163.com/#/discover/playlist,然后用BeautifulSoup提取播放數<span class="nb">3715</span>。結果表明,我們什么也沒提取到。難道我們打開了一個假的網頁?

          動態網頁:所謂的動態網頁,是指跟靜態網頁相對的一種網頁編程技術。靜態網頁,隨著html代碼的生成,頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然,頁面代碼雖然沒有變,但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。

          值得強調的是,不要將動態網頁和頁面內容是否有動感混為一談。這里說的動態網頁,與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關系,動態網頁也可以是純文字內容的,也可以是包含各種動畫的內容,這些只是網頁具體內容的表現形式,無論網頁是否具有動態效果,只要是采用了動態網站技術生成的網頁都可以稱為動態網頁。

          現在我們明白了,這是一個動態網頁,我們得到它的時候,歌單還沒請求到呢,當然什么都提取不出來!

          我們之前的技術不能執行那些讓頁面產生各種神奇效果的JavaScript 代碼。如果網站的HTML頁面沒有運行JavaScript,就可能和你在瀏覽器里看到的樣子完全不同,因為瀏覽器可以正確地執行JavaScript。用Python 解決這個問題只有兩種途徑:直接從JavaScript 代碼里采集內容,或者用Python 的第三方庫運行JavaScript,直接采集你在瀏覽器里看到的頁面。我們當然選擇后者。今天第一課,不深究原理,先簡單粗暴的實現我們的小目標。

          Selenium:是一個強大的網絡數據采集工具,其最初是為網站自動化測試而開發的。近幾年,它還被廣泛用于獲取精確的網站快照,因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調用的API。WebDriver 有點兒像可以加載網站的瀏覽器,但是它也可以像BeautifulSoup對象一樣用來查找頁面元素,與頁面上的元素進行交互(發送文本、點擊等),以及執行其他動作來運行網絡爬蟲。安裝方式與其他Python第三方庫一樣。

          $pip install Selenium

          驗證一下:

          Selenium

          Selenium 自己不帶瀏覽器,它需要與第三方瀏覽器結合在一起使用。例如,如果你在Firefox 上運行Selenium,可以直接看到一個Firefox 窗口被打開,進入網站,然后執行你在代碼中設置的動作。雖然這樣可以看得更清楚,但不適用于我們的爬蟲程序,爬一頁就打開一頁效率太低,所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

          PhantomJS:是一個“無頭”(headless)瀏覽器。它會把網站加載到內存并執行頁面上的JavaScript,但是它不會向用戶展示網頁的圖形界面。把Selenium和PhantomJS 結合在一起,就可以運行一個非常強大的網絡爬蟲了,可以處理cookie、JavaScript、header,以及任何你需要做的事情。

          PhantomJS并不是Python的第三方庫,不能用pip安裝。它是一個完善的瀏覽器,所以你需要去它的官方網站下載,然后把可執行文件拷貝到Python安裝目錄的Scripts文件夾,像這樣:

          Scripts文件夾

          開始干活!

          打開歌單的第一頁:

          http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

          用Chrome的“開發者工具”F12先分析一下,很容易就看穿了一切。

          html代碼

          播放數nb (number broadcast):29915

          封面 msk (mask):有標題和url

          同理,可以找到“下一頁”的url,最后一頁的url是“javascript:void(0)”。

          最后,用18行代碼即可完成我們的工作。

          代碼

          把這段代碼保存為get_data.py,然后運行。運行結束后,在程序的目錄里生成了一個playlist.csv文件。

          playlist.csv文件

          看到成果后是不是很有成就感?如果你感興趣,還可以按照這個思路,找找評論數最多的單曲,再也不用擔心沒歌聽了!

          需要免費獲取本文章講解的視頻+源碼,關注+轉發此文然后私信我回復“音樂”即可領取資料,也歡迎大家和我一起交流學習Python,共同成長

          今天的內容比較淺顯,希望對你有用。就先介紹到這里,我們下期再見!

          身、吃飯、敲代碼;等車、擼貓、下午茶……若能佐以合適的音樂當“配餐”,總是愜意非常。本文就將帶你爬一爬網易云的那些熱門歌單!

          作者 | 上海小胖

          責編 | 仲培藝

          心情好或心情壞,點一首歌撫慰你受傷或躁動的心靈——下面教你用 15 行代碼搞定熱門歌單!

          本文使用的是 Selenium 模塊,它是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等操作,對于一些 JavaScript 渲染的頁面來說,此種抓取方式非常有效。

          采用了 Chrome 瀏覽器配合 Selenium 工作,本文的 Python 版本是 3.7.2。

          準備工作

          1. 若你的環境中沒有 Selenium 模塊,直接使用 pip 安裝即可:

          pip install selenium
          

          2. 打開谷歌瀏覽器,檢查Chrome的版本:在瀏覽器地址中輸入 chrome://settings/help 回車即可看到:

          3. 打開 ChromeDriver 的官方網站(https://sites.google.com/a/chromium.org/chromedriver/downloads),尋找與你當前瀏覽器版本相對應的 ChromeDriver 下載:

          4. 選擇你自己的操作系統類型進行下載即可:

          5. 以 Windows 為例,下載結束后,將 ChromeDriver 放置在 Python 安裝目錄下的 Scripts 文件夾即可:

          準備工作完成,代碼寫起來吧~

          迷你爬蟲的實現

          我們這次的目標是爬取熱門歌單,比如網易云音樂中播放量大于 1000萬 的歌單信息(歌單名稱、鏈接)。

          1. 先來打開網易云的歌單第一頁:

          https://music.163.com/#/discover/playlist/

          2. 使用 Chrome 的開發者工具 <F12> 進行分析:

          我們想要拿的信息全在這里:

          msk,封面 [mask]:有歌單的名稱及鏈接

          nb,播放數 [number broadcast]:135萬

          3. 我們還需要遍歷所有的頁,使用工具繼續分析,找到“下一頁”的 URL:

          4. 切換至最后一頁,拿到最后一頁的 URL:

          5. 等我們爬取完所有符合的歌單信息后,將其保存在本地;

          6.全部工作結束,最后再通過下面的偽代碼回顧下整體思路:

          7. 爬取的效果如下:

          另附源碼:https://github.com/MiracleYoung/You-are-Pythonista/tree/master/PythonExercise/Tool/Mini_Crawl

          作者簡介:上海小胖,四大咨詢的TechLead,mongoDB Professional 獲得者。「Python專欄」專注Python領域的各種技術:爬蟲、DevOps、人工智能、Web開發等。

          本文系作者投稿,版權歸作者所有。

          ython開發音樂播放器(一)—— 模擬登陸+獲得歌單信息

          這個星期我的個人項目——(能導入各個平臺歌單的)音樂播放器已經開始啦。所以先理清思路:

          1. 使用selenium進行模擬登錄,即登錄QQ號時同時能獲得網易云和QQ音樂時可以獲取兩個賬號的歌單
          2. 使用Python創建GUI界面(初期使用簡潔的界面,后期再進行美化和功能增加)
          3. 將Python的GUI界面與第一步得到的歌單融合
          4. 解決音樂在播放器上播放的問題(目前想到的是兩種方法:1.爬取源mp3文件,此方式較為困難并且可能涉及到版權問題暫時不適合。2. 得到播放的鏈接,進行在線播放)

          期間可能會遇到各種問題或者說我的思路有問題的地方會進行改進,當然同時也不吝賜教。

          一、selenium模擬登陸

          首先是安裝并且配置selenium的環境,網上都有教程這里就不贅述了。

          接著進行網頁的分析,打開網易云界面,我們首先要實現模擬登陸的功能。


          查看此處的代碼結構:


          點擊后彈出新的框:


          此處因為需要點擊QQ登錄因此利用css選擇器使用下列代碼:

          from selenium import webdriver
          from selenium.webdriver.chrome.options import Options
          from selenium.webdriver.common.keys import Keys
          from time import sleep
          class getMusic():
           #chrome_options=Options()
           #設置為無界面模式
           #chrome_options.add_argument('--headless')
           userid='***' #這里填上QQ號
           password='***'#這里填上對應的密碼
           browser = webdriver.Chrome()
           browser.implicitly_wait(10)
           browser.get("https://music.163.com/")
           #login = browser.find_element_by_link_text('登錄')
           #login.click()
           browser.implicitly_wait(10)
           browser.find_element_by_css_selector(".m-tophead.f-pr.j-tflag > a").click() #點擊登錄
           #css 選擇器中如果一個 tag 的 class 包含空格,要用.號代替空格
           browser.find_element_by_css_selector(".lyct.lyct-1 > div > div.u-alt > ul > li:nth-child(2) > a").click() #點擊QQ登錄
          

          運行代碼,進入下列界面:


          我們要先對選項卡進行切換

          music_handle = browser.current_window_handle
          print(music_handle) # 輸出當前窗口句柄 
          handles = browser.window_handles # 獲取當前全部窗口句柄集合
          print(handles)
          #切換到QQ登陸頁面
          for handle in handles:
           if handle != browser.current_window_handle:
           print('switch to qq login window')
           browser.switch_to.window(handle)
           browser.implicitly_wait(10)
           ##QQlogin = browser.find_element_by_link_text('QQ登錄')
           #QQlogin.click()
          #music_handle = browser.current_window_handle
          browser.implicitly_wait(10)
          sleep(2)
          

          接著我們發現QQ登錄窗口含有iframe:


          因此先切換此窗口:

          browser.switch_to.frame('ptlogin_iframe')
          

          再點擊帳號密碼登錄,出現文本框將賬號密碼輸入后進行登錄。



          browser.find_element_by_link_text('帳號密碼登錄').click()
          userid_ele=browser.find_element_by_name('u')
          #password_ele=browser.find_element_by_id('pwdArea')
          password_ele=browser.find_element_by_name('p')
          userid_ele.send_keys(userid)
          password_ele.send_keys(password)
          browser.find_element_by_id('login_button').click()
          

          切換回原窗口:

          browser.switch_to.window(music_handle)
          

          完成登錄:


          二、初步獲得歌單信息

          首先進入我的音樂:


          代碼:

          browser.find_element_by_xpath('//*[@id="g-topbar"]/div[1]/div/ul/li[2]/span/a/em').click()
          browser.implicitly_wait(10)
          sleep(2)
          

          接下來提取歌單的名稱:


          經過檢查代碼發現,這里也是個iframe:


          browser.switch_to.frame('contentFrame')
          

          提取名稱:

          list=[]
          #list=browser.find_element_by_xpath('//*[@id="g_mymusic"]/div/div[1]/div/div[1]/ul/li[3]')
          #list.click()
          i=1
          while True:
           try:
           list=browser.find_element_by_xpath('//*[@id="g_mymusic"]/div/div[1]/div/div[1]/ul/li[{}]'.format(i))
           print(list.text)
           i=i+1
           except:
           print('over')
           break;
          

          輸出結果:


          ?

          (未完待續,如以上有疑問,不吝賜教)


          主站蜘蛛池模板: 久久精品一区二区东京热| 在线不卡一区二区三区日韩| 久久国产视频一区| 国产成人午夜精品一区二区三区| 国产午夜精品免费一区二区三区| 精品久久综合一区二区| 97精品国产一区二区三区| 亚洲日韩精品无码一区二区三区| 天堂不卡一区二区视频在线观看| 在线精品视频一区二区| 亚洲综合色一区二区三区小说| av无码一区二区三区| 一区二区国产精品| 国产SUV精品一区二区88L| 日本精品一区二区在线播放| AV天堂午夜精品一区二区三区| 亚洲欧洲专线一区| 国产精品无码一区二区三区不卡 | 国模无码视频一区二区三区| 91久久精品一区二区| 久久精品免费一区二区| 人妻无码第一区二区三区| 农村乱人伦一区二区| 91无码人妻精品一区二区三区L| 日韩精品一区二区三区中文| 乱子伦一区二区三区| 3D动漫精品一区二区三区| 中文字幕av日韩精品一区二区| 久久国产精品无码一区二区三区| 蜜臀AV免费一区二区三区| 国产成人精品日本亚洲专一区| 3D动漫精品啪啪一区二区下载| 精品深夜AV无码一区二区老年 | 高清一区高清二区视频| 精品中文字幕一区在线| 一区二区三区精品高清视频免费在线播放 | 一区二区三区伦理高清| 国产一区二区三区精品视频| 国产乱码精品一区二区三区中文 | 亚洲中文字幕一区精品自拍| 亚洲一区二区三区在线观看网站|