言

文的文字及圖片來(lái)源于網(wǎng)絡(luò),僅供學(xué)習(xí)、交流使用,不具有任何商業(yè)用途,版權(quán)歸原作者所有,如有問(wèn)題請(qǐng)及時(shí)聯(lián)系我們以作處理。

作者： 風(fēng)，又奈何

PS：如有需要Python學(xué)習(xí)資料的小伙伴可以加點(diǎn)擊下方鏈接自行獲取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

準(zhǔn)備

• python3
• scrapy

項(xiàng)目創(chuàng)建：

cmd命令行切換到工作目錄創(chuàng)建scrapy項(xiàng)目 兩條命令 scarpy startproject與scrapy genspider 然后用pycharm打開(kāi)項(xiàng)目

D:\pythonwork>scrapy startproject zongheng
New Scrapy project 'zongheng', using template directory 'c:\users\11573\appdata\local\programs\python\python36\lib\site-packages\scrapy\templates\project', created in:
 D:\pythonwork\zongheng
You can start your first spider with:
 cd zongheng
 scrapy genspider example example.com
D:\pythonwork>cd zongheng
D:\pythonwork\zongheng>cd zongheng
D:\pythonwork\zongheng\zongheng>scrapy genspider xuezhong http://book.zongheng.com/chapter/189169/3431546.html
Created spider 'xuezhong' using template 'basic' in module:
 zongheng.spiders.xuezhong

確定內(nèi)容

首先打開(kāi)網(wǎng)頁(yè)看下我們需要爬取的內(nèi)容

其實(shí)小說(shuō)的話(huà)結(jié)構(gòu)比較簡(jiǎn)單 只有三大塊 卷 章節(jié) 內(nèi)容

因此 items.py代碼：

內(nèi)容提取spider文件編寫(xiě)

還是我們先創(chuàng)建一個(gè)main.py文件方便我們測(cè)試代碼

然后我們可以在spider文件中先編寫(xiě)

# -*- coding: utf-8 -*-
import scrapy
class XuezhongSpider(scrapy.Spider):
 name='xuezhong'
 allowed_domains=['http://book.zongheng.com/chapter/189169/3431546.html']
 start_urls=['http://book.zongheng.com/chapter/189169/3431546.html/']
 def parse(self, response):
 print(response.text)
 pass

運(yùn)行main.py看看有沒(méi)有輸出

發(fā)現(xiàn)直接整個(gè)網(wǎng)頁(yè)的內(nèi)容都可以爬取下來(lái)，說(shuō)明該網(wǎng)頁(yè)基本沒(méi)有反爬機(jī)制，甚至不用我們?nèi)バ薷膗ser-agent那么就直接開(kāi)始吧

打開(kāi)網(wǎng)頁(yè) F12查看元素位置 并編寫(xiě)xpath路徑 然后編寫(xiě)spider文件

需要注意的是我們要對(duì)小說(shuō)內(nèi)容進(jìn)行一定量的數(shù)據(jù)清洗，因?yàn)榘承﹉tml標(biāo)簽我們需要去除

# -*- coding: utf-8 -*-
import scrapy
import re
from zongheng.items import ZonghengItem
class XuezhongSpider(scrapy.Spider):
 name='xuezhong'
 allowed_domains=['book.zongheng.com']
 start_urls=['http://book.zongheng.com/chapter/189169/3431546.html/']
 def parse(self, response):
 xuezhong_item=ZonghengItem()
 xuezhong_item['book']=response.xpath('//*[@id="reader_warp"]/div[2]/text()[4]').get()[3:]
 xuezhong_item['section']=response.xpath('//*[@id="readerFt"]/div/div[2]/div[2]/text()').get()

 content=response.xpath('//*[@id="readerFt"]/div/div[5]').get()
 #content內(nèi)容需要處理因?yàn)闀?huì)顯示標(biāo)簽和
標(biāo)簽
 content=re.sub(r'', "", content)
 content=re.sub(r'
|
|
',"\n",content )

 xuezhong_item['content']=content
 yield xuezhong_item

 nextlink=response.xpath('//*[@id="readerFt"]/div/div[7]/a[3]/@href').get()
 print(nextlink)
 if nextlink:
 yield scrapy.Request(nextlink,callback=self.parse)

有時(shí)候我們會(huì)發(fā)現(xiàn)無(wú)法進(jìn)入下個(gè)鏈接，那可能是被allowed_domains過(guò)濾掉了 我們修改下就可以

唉 突然發(fā)現(xiàn)了到第一卷的一百多章后就要VIP了 那我們就先只弄一百多章吧 不過(guò)也可以去其他網(wǎng)站爬取免費(fèi)的 這次我們就先爬取一百多章吧

內(nèi)容保存

接下來(lái)就是內(nèi)容的保存了，這次就直接保存為本地txt文件就行了

首先去settings.py文件里開(kāi)啟 ITEM_PIPELINES

然后編寫(xiě)pipelines.py文件

# -*- coding: utf-8 -*-
class ZonghengPipeline(object):
 def process_item(self, item, spider):
 filename=item['book']+item['section']+'.txt'
 with open("../xuezhongtxt/"+filename,'w') as txtf:
 txtf.write(item['content'])
 return item

由于選址失誤導(dǎo)致了我們只能爬取免費(fèi)的一百多章節(jié)，尷尬，不過(guò)我們可以類(lèi)比運(yùn)用到其他網(wǎng)站爬取全文免費(fèi)的書(shū)籍

怎么樣 使用scrapy爬取是不是很方便呢

.

crapy框架的簡(jiǎn)單使用：

網(wǎng)絡(luò)爬蟲(chóng)，是在網(wǎng)上進(jìn)行數(shù)據(jù)抓取的程序，使用它能夠抓取特定網(wǎng)頁(yè)的HTML數(shù)據(jù)。雖然我們利用一些庫(kù)開(kāi)發(fā)一個(gè)爬蟲(chóng)程序，但是使用框架可以大大提高效率，縮短開(kāi)發(fā)時(shí)間。Scrapy使用Python編寫(xiě)，輕量級(jí)的，簡(jiǎn)單輕巧，并且使用起來(lái)非常的方便。使用Scrapy可以很方便的完成網(wǎng)上數(shù)據(jù)的采集工作，它為我們完成了大量的工作，而不需要自己費(fèi)大力氣去開(kāi)發(fā)。

image

下面我們來(lái)通過(guò)一個(gè)很簡(jiǎn)單的例子來(lái)介紹Scrapy框架的使用

我們要爬的網(wǎng)址是：搜讀網(wǎng)： http://www.sodu.cc

我喜歡在這個(gè)網(wǎng)站看小說(shuō)，里面的小說(shuō)內(nèi)容還是比較豐富的，推薦讀者喜歡看小說(shuō)的可以來(lái)看看。

因?yàn)橹皇呛?jiǎn)單介紹，所以我只準(zhǔn)備抓取小說(shuō)的標(biāo)題。

好的，基本流程既然確定了，那接下來(lái)就一步一步的完成就可以了。

步驟一： 創(chuàng)建一個(gè)工程和Spider模板

我們先用命令行創(chuàng)建一個(gè)Scrapy工程：

$ scrapy startproject soudu

接著，我們進(jìn)入到工程目錄：

$ cd soudu

我們來(lái)看一下目錄結(jié)構(gòu)：

tree# OUT:.├── soudu #外層目錄│ ├── __init__.py #初始化腳本 │ ├── __pycache__ #Python緩存文件。暫時(shí)無(wú)視│ ├── items.py #Items代碼模板，繼承類(lèi)自scrapy.Item│ ├── middlewares.py #Middlewares代碼模板(繼承類(lèi))│ ├── pipelines.py #Pipelines代碼模板(繼承類(lèi))│ ├── settings.py #Scrapy爬蟲(chóng)的配置文件│ └── spiders #Spiders代碼模板目錄 我們寫(xiě)爬蟲(chóng)的地方│ ├── __init__.py│ └── __pycache__└── scrapy.cfg #部署爬蟲(chóng)的配置文件

4 directories, 7 files

最后，我們用命令行創(chuàng)建第一個(gè)Spider：

$ scrapy genspider title www.sodu.cc

這樣我們就創(chuàng)建了一個(gè)名為title的爬蟲(chóng)了。

我們來(lái)看看他長(zhǎng)什么樣，打開(kāi)/spiders/title.py:

# -*- coding: utf-8 -*-import scrapyclass NewsSpider(scrapy.Spider): name='title' allowed_domains=['www.sodu.cc'] start_urls=['http://www.sodu.cc/'] def parse(self, response): pass

可以看到，Scrapy已經(jīng)幫我們把爬蟲(chóng)的框架寫(xiě)好了，我們只要在這個(gè)框架的基礎(chǔ)上進(jìn)行進(jìn)一步的定制就可以了。

步驟二：編寫(xiě)Spider 我們來(lái)著手定制我們的爬蟲(chóng)吧：

看一下詳細(xì)的注釋

# -*- coding: utf-8 -*-import scrapy# 將我們需要爬的項(xiàng)目引入進(jìn)來(lái)from soudu.items import SouduItemclass DemoSpider(scrapy.Spider): #該爬蟲(chóng)的名字 name="title" #規(guī)定爬蟲(chóng)爬取網(wǎng)頁(yè)的域名 allowed_domains=['www.sodu.cc'] #開(kāi)始爬取的url鏈接 start_urls=['http://www.sodu.cc/'] def parse(self, response): ''' parse()函數(shù)接收Response參數(shù)，就是網(wǎng)頁(yè)爬取后返回的數(shù)據(jù) 用于處理響應(yīng)，他負(fù)責(zé)解析爬取的內(nèi)容 生成解析結(jié)果的字典，并返回新的需要爬取的請(qǐng)求 ''' #由于是demo 我們不做完全的功能， #只要求爬取出第一部小說(shuō)的名字 #xpath規(guī)則可以通過(guò)查看網(wǎng)頁(yè)源文件得出，chrome右鍵檢查定位到所要爬取的內(nèi)容 name=response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0] #建立一個(gè)items字典，用于保存我們爬到的結(jié)果，并返回給pipline處理 items={} items['第一部小說(shuō)名']=name return items

步驟三：編寫(xiě)Item Pipeline 首先我們編寫(xiě)itmes.py來(lái)定義這個(gè)爬蟲(chóng)框架需要爬哪些內(nèi)容：

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass SouduItem(scrapy.Item): # define the fields for your item here like: # name=scrapy.Field() name=scrapy.Field()

接著我們編寫(xiě) piplines.py來(lái)處理spider爬到的內(nèi)容：

# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.htmlclass ZimukuPipeline(object): def process_item(self, item, spider): # 因?yàn)槭亲詈?jiǎn)單的，所以我們把爬到的結(jié)果打印一下 print(item) return item

步驟四：優(yōu)化配置Settings.py

# -*- coding: utf-8 -*-# Scrapy settings for soudu project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:## https://doc.scrapy.org/en/latest/topics/settings.html# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html# https://doc.scrapy.org/en/latest/topics/spider-middleware.htmlBOT_NAME='soudu'SPIDER_MODULES=['soudu.spiders']NEWSPIDER_MODULE='soudu.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agent#USER_AGENT='soudu (+http://www.yourdomain.com)'# Obey robots.txt rulesROBOTSTXT_OBEY=True#只增加了這一行，通過(guò)配置告訴Scrapy明白是誰(shuí)來(lái)處理結(jié)果ITEM_PIPELINES={ 'soudu.pipelines.SouduPipeline': 300,}

好了，這樣一個(gè)爬蟲(chóng)就算完成了，那怎么獲取爬到的結(jié)果呢？？？

首先我們通過(guò)命令來(lái)執(zhí)行爬蟲(chóng)：

$ scrapy crawl title

讓我們這個(gè)最最簡(jiǎn)單的爬蟲(chóng)跑起來(lái)。

來(lái)看一下結(jié)果：

我只截取部分我們需要的內(nèi)容，其他的我且暫不寫(xiě)出了：

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>{'第一部小說(shuō)名': '圣墟'}

是不是可以看到我們需要找到的內(nèi)容了？？？？

Scrapy框架的基本使用已經(jīng)說(shuō)完了，以后我會(huì)一步一步來(lái)講解其他的例子！

本文就分享到這里，更多python學(xué)習(xí)可以關(guān)注我們哦！

注：python學(xué)習(xí)關(guān)注我們企鵝qun： 8393 83765 各類(lèi)入門(mén)學(xué)習(xí)資料免費(fèi)分享哦！