整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
溫馨提示，請勿在以下場景食用本文：吃飯時、擠電梯時、路過精神病院時.....
java vs c++
功能先上了再說
軟件開發項目
OMG
高級開發人員作為一個團隊進行編程
調試CSS
編譯錯誤：括號不匹配
高級開發人員重構代碼
看實習生編碼的時候，我的表情
我設計的接口和別人調用的接口
想提前下班，在門口遇到了老板
當我測試剛寫完的代碼
明明是個小bug，但就是死活修不好
偶然間看到了自己多年前寫的代碼
調試過多線程的都會懂
Git 代碼合并
HTML不是編程語言
我也想知道這是干嘛的
：程序員私房菜
首先，糗事百科大家都聽說過吧？糗友們發的搞笑的段子一抓一大把，這次我們嘗試一下用爬蟲把他們抓取下來。
友情提示
糗事百科在前一段時間進行了改版，導致之前的代碼沒法用了，會導致無法輸出和CPU占用過高的情況，是因為正則表達式沒有匹配到的緣故。現在，博主已經對程序進行了重新修改，代碼親測可用，包括截圖和說明，之前一直在忙所以沒有及時更新，望大家海涵！糗事百科又又又又改版了，博主已經沒心再去一次次匹配它了，如果大家遇到長時間運行不出結果也不報錯的情況，請大家參考最新的評論，熱心小伙伴提供的正則來修改下吧～
本篇目標
1.抓取糗事百科熱門段子2.過濾帶有圖片的段子3.實現每按一次回車顯示一個段子的發布時間，發布人，段子內容，點贊數。
糗事百科是不需要登錄的，所以也沒必要用到Cookie，另外糗事百科有的段子是附圖的，我們把圖抓下來圖片不便于顯示，那么我們就嘗試過濾掉有圖的段子吧。
好，現在我們嘗試抓取一下糗事百科的熱門段子吧，每按下一次回車我們顯示一個段子。
1.確定URL并抓取頁面代碼
首先我們確定好頁面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一個數字1代表頁數，我們可以傳入不同的值來獲得某一頁的段子內容。
我們初步構建如下的代碼來打印頁面代碼內容試試看，先構造最基本的頁面抓取方式，看看會不會成功
# -*- coding:utf-8 -*- import urllib import urllib2 page=1 url='http://www.qiushibaike.com/hot/page/' + str(page) try: request=urllib2.Request(url) response=urllib2.urlopen(request) print response.read() except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
運行程序，哦不，它竟然報錯了，真是時運不濟，命途多舛啊
line 373, in _read_status raise BadStatusLine(line) httplib.BadStatusLine: ''
好吧，應該是headers驗證的問題，我們加上一個headers驗證試試看吧，將代碼修改如下
# -*- coding:utf-8 -*-
import urllib
import urllib2
page=1
url='http://www.qiushibaike.com/hot/page/' + str(page)
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={ 'User-Agent' : user_agent }
try:
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
嘿嘿，這次運行終于正常了，打印出了第一頁的HTML代碼，大家可以運行下代碼試試看。在這里運行結果太長就不貼了。
2.提取某一頁的所有段子
好，獲取了HTML代碼之后，我們開始分析怎樣獲取某一頁的所有段子。
首先我們審查元素看一下，按瀏覽器的F12，截圖如下
我們可以看到，每一個段子都是<div class=”article block untagged mb15″ id=”…”>…</div>包裹的內容。
現在我們想獲取發布人，發布日期，段子內容，以及點贊的個數。不過另外注意的是，段子有些是帶圖片的，如果我們想在控制臺顯示圖片是不現實的，所以我們直接把帶有圖片的段子給它剔除掉，只保存僅含文本的段子。
所以我們加入如下正則表達式來匹配一下，用到的方法是 re.findall 是找尋所有匹配的內容。方法的用法詳情可以看前面說的正則表達式的介紹。
好，我們的正則表達式匹配語句書寫如下，在原來的基礎上追加如下代碼
content=response.read().decode('utf-8')
pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,content)
for item in items:
print item[0],item[1],item[2],item[3],item[4]
現在正則表達式在這里稍作說明
1）.*? 是一個固定的搭配，.和*代表可以匹配任意無限多個字符，加上？表示使用非貪婪模式進行匹配，也就是我們會盡可能短地做匹配，以后我們還會大量用到 .*? 的搭配。
2）(.*?)代表一個分組，在這個正則表達式中我們匹配了五個分組，在后面的遍歷item中，item[0]就代表第一個(.*?)所指代的內容，item[1]就代表第二個(.*?)所指代的內容，以此類推。
3）re.S 標志代表在匹配時為點任意匹配模式，點 . 也可以代表換行符。
這樣我們就獲取了發布人，發布時間，發布內容，附加圖片以及點贊數。
在這里注意一下，我們要獲取的內容如果是帶有圖片，直接輸出出來比較繁瑣，所以這里我們只獲取不帶圖片的段子就好了。
所以，在這里我們就需要對帶圖片的段子進行過濾。
我們可以發現，帶有圖片的段子會帶有類似下面的代碼，而不帶圖片的則沒有，所以，我們的正則表達式的item[3]就是獲取了下面的內容，如果不帶圖片，item[3]獲取的內容便是空。
<div class="thumb"> <a href="/article/112061287?list=hot&s=4794990" target="_blank"> <img src="http://pic.qiushibaike.com/system/pictures/11206/112061287/medium/app112061287.jpg" alt="但他們依然樂觀"> </a> </div>
所以我們只需要判斷item[3]中是否含有img標簽就可以了。
好，我們再把上述代碼中的for循環改為下面的樣子
for item in items:
haveImg=re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
現在，整體的代碼如下
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page=1
url='http://www.qiushibaike.com/hot/page/' + str(page)
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={ 'User-Agent' : user_agent }
try:
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
content=response.read().decode('utf-8')
pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,content)
for item in items:
haveImg=re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
運行一下看下效果
恩，帶有圖片的段子已經被剔除啦。是不是很開森？
3.完善交互，設計面向對象模式
好啦，現在最核心的部分我們已經完成啦，剩下的就是修一下邊邊角角的東西，我們想達到的目的是：
按下回車，讀取一個段子，顯示出段子的發布人，發布日期，內容以及點贊個數。
另外我們需要設計面向對象模式，引入類和方法，將代碼做一下優化和封裝，最后，我們的代碼如下所示
__author__='CQC'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
#糗事百科爬蟲類
class QSBK:
#初始化方法，定義一些變量
def __init__(self):
self.pageIndex=1
self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#初始化headers
self.headers={ 'User-Agent' : self.user_agent }
#存放段子的變量，每一個元素是每一頁的段子們
self.stories=[]
#存放程序是否繼續運行的變量
self.enable=False
#傳入某一頁的索引獲得頁面代碼
def getPage(self,pageIndex):
try:
url='http://www.qiushibaike.com/hot/page/' + str(pageIndex)
#構建請求的request
request=urllib2.Request(url,headers=self.headers)
#利用urlopen獲取頁面代碼
response=urllib2.urlopen(request)
#將頁面轉化為UTF-8編碼
pageCode=response.read().decode('utf-8')
return pageCode
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"連接糗事百科失敗,錯誤原因",e.reason
return None
#傳入某一頁代碼，返回本頁不帶圖片的段子列表
def getPageItems(self,pageIndex):
pageCode=self.getPage(pageIndex)
if not pageCode:
print "頁面加載失敗...."
return None
pattern=re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,pageCode)
#用來存儲每頁的段子們
pageStories=[]
#遍歷正則表達式匹配的信息
for item in items:
#是否含有圖片
haveImg=re.search("img",item[3])
#如果不含有圖片，把它加入list中
if not haveImg:
replaceBR=re.compile('<br/>')
text=re.sub(replaceBR,"\n",item[1])
#item[0]是一個段子的發布者，item[1]是內容，item[2]是發布時間,item[4]是點贊數
pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()])
return pageStories
#加載并提取頁面的內容，加入到列表中
def loadPage(self):
#如果當前未看的頁數少于2頁，則加載新一頁
if self.enable==True:
if len(self.stories) < 2:
#獲取新一頁
pageStories=self.getPageItems(self.pageIndex)
#將該頁的段子存放到全局list中
if pageStories:
self.stories.append(pageStories)
#獲取完之后頁碼索引加一，表示下次讀取下一頁
self.pageIndex +=1
#調用該方法，每次敲回車打印輸出一個段子
def getOneStory(self,pageStories,page):
#遍歷一頁的段子
for story in pageStories:
#等待用戶輸入
input=raw_input()
#每當輸入回車一次，判斷一下是否要加載新頁面
self.loadPage()
#如果輸入Q則程序結束
if input=="Q":
self.enable=False
return
print u"第%d頁\t發布人:%s\t發布時間:%s\t贊:%s\n%s" %(page,story[0],story[2],story[3],story[1])
#開始方法
def start(self):
print u"正在讀取糗事百科,按回車查看新段子，Q退出"
#使變量為True，程序可以正常運行
self.enable=True
#先加載一頁內容
self.loadPage()
#局部變量，控制當前讀到了第幾頁
nowPage=0
while self.enable:
if len(self.stories)>0:
#從全局list中獲取一頁的段子
pageStories=self.stories[0]
#當前讀到的頁數加一
nowPage +=1
#將全局list中第一個元素刪除，因為已經取出
del self.stories[0]
#輸出該頁的段子
self.getOneStory(pageStories,nowPage)
spider=QSBK()
spider.start()
好啦，大家來測試一下吧，點一下回車會輸出一個段子，包括發布人，發布時間，段子內容以及點贊數，是不是感覺爽爆了！
最后，我自己是一名從事了多年開發的Python老程序員，辭職目前在做自己的Python私人定制課程，今年年初我花了一個月整理了一份最適合2019年學習的Python學習干貨，可以送給每一位喜歡Python的小伙伴，想要獲取的可以關注我的頭條號并在后臺私信我：01，即可免費獲取。
收集了很多編程語錄，基本上都跟程序員的生活有關。這些語錄涉及軟件開發，代碼維護，調試糾錯，軟件bug，系統設計、文檔，代碼質量，測試和軟件開發團隊管理等方面。下面的這59條語錄雖然很搞笑，但卻真實無比。只有程序員才能理解這些編程語句里的真正內涵。閑言少敘，開始吧…
程序員編程語錄
1. 一個好的程序員是那種過單行線馬路都要往兩邊看的人。(Doug Linder)
2. 程序有問題時不要擔心。如果所有東西都沒問題，你就失業了。(軟件工程的Mosher定律)
3. 程序員的麻煩在于，你無法弄清他在搗騰什么，當你最終弄明白時，也許已經晚了。(超級計算機之父Seymour Cray)
4. 我想大部分人都知道通常一個程序員會具有的美德。當然了，有三種：懶惰，暴躁，傲慢。(Perl語言發明者Larry Wall)
5. 編程時要保持這種心態：就好像將來要維護你這些代碼的人是一位殘暴的精神病患者，而且他知道你住在哪。(Martin Golding)
6. 一個人寫的爛軟件將會給另一個人帶來一份全職工作。(Jessica Gaston)
7. 如果建筑工人像程序員寫軟件那樣蓋房子，那第一只飛來的啄木鳥就能毀掉人類文明。(Gerald Weinberg)
8. 這世界最有可能毀滅的方式——大多數專家都同意——是次意外。這就是為什么會有我們，我們是計算機專家，我們創造意外。(Nathaniel Borenstein)
9. 我們這個行業有個特別奇怪的現象：不僅我們不從失敗里吸取教訓，同時也不從成功中學習經驗。 (Keith Braithwaite)
10. 一種新技術一旦開始流行，你要么坐上壓路機，要么成為鋪路石。(Stewart Brand)
11. 如果沒能一次成功，那就叫它1.0版吧。(unknown)
12. 所有的程序員都是編劇，所有的計算機都是爛演員。(Anonymous Hack Actor)
13. 工作進度上越早落后，你就會有越充足的時間趕上。(Anonymous Scheduler)
14. 當有這樣的一種編程語言出現：它能讓程序員用簡單的英語編程，你將會發現，程序員都開始不會說英語。(Anonymous Linguist)
15. 為什么我們沒有時間把事情做對，卻總有時間把事情做過頭？(Anonymous)
16. 傻瓜都能寫出計算機能理解的程序。優秀的程序員寫出的是人類能讀懂的代碼。
17. 任何你寫的代碼，超過6個月不去看它，當你再看時，都像是別人寫的。(Eagleson’s law)
編程/軟件開發語錄
1. 按代碼行數來評估軟件開發的進度，就如同按重量來評估飛機建造的進度。(比爾-蓋茨)
2. 軟件就像做愛。一次犯錯，你需要用余下一生來維護支持。(Michael Sinz)
3. 在水上行走和按需求文檔開發軟件都很容易——前提是它們都是凍結狀態。(Edward V Berard)
4. 最初90%的代碼用去了最初90%的開發時間…余下10%的代碼用去了另外90%的開發時間。(Tom Cargill)
5. 注釋代碼很像清潔你的廁所——你不想干，但如果你做了，這絕對會給你和你的客人帶來更愉悅的體驗。(Ryan Campbell)
6. 如今的編程是一場程序員和上帝的競賽，程序員要開發出更大更好、傻瓜都會用到軟件。而上帝在努力創造出更大更傻的傻瓜。目前為止，上帝是贏的。(Rick Cook)
7. 軟件設計最困難的部分…是阻擋新功能的引入。(Donald Norman)
8. 為了理解遞歸，我們首先要理解的是遞歸。(Anonymous)
9. 世上只有兩類編程語言：那些擁有被人詬病的和那些沒人用的。(Bjarne Stroustrup)
10. The best thing about a boolean is even if you are wrong, you are only off by a bit. (Anonymous)
11. 如果Java能實現真的垃圾回收，那大部分的程序都會在執行時刪除自己。(Robert Swell)
12. 理論上，理論和實踐是沒有差異的。但實踐中，是有的。(Jan L. A. van de Snepscheut)
13. 預備，開火，瞄準：這是最快的軟件開發方法。預備，瞄準，瞄準，瞄準，瞄準：這是最慢的軟件開發方法。(Anonymous)
14. 編程是10%的科學，20%天份，和70%的讓這天份符合科學。(Anonymous)
15. 評估一個事情要比去理解你評估了什么容易。(Anonymous)
16. 測評不會撒謊，但測評的人會。(Anonymous)
17. 培養員工，即使他們有跳槽的風險。什么都不做而留他們在公司，這樣風險更大。(Anonymous)
18. 計算機科學的目標是做出一個東西，并且保證它至少能堅持到我們將它開發完成。(Anonymous)
19. Java之于JavaScript如同Car之于Carpet。 (Chris Heilmann)
20. 起初就把事情做對是完全沒必要的。但最后要把事情做對是絕對必要的。(Andrew Hunt and David Thomas)
21. 數組的起始索引應該從0開始還是從1開始？我的0.5的折中提議被他們未經認真考慮到拒絕了——我認為是這樣的。(Stan Kelly-Bootle)
22. 程序必須是為了給人看而寫，給機器去執行只是附帶任務。 (Abelson / Sussman)
23. 編程可以很有趣，你可以用它做密碼學研究，但兩者絕對不能合二為一。(Kreitzberg and Shneiderman)
24. 拷貝-粘貼是一種設計錯誤。(David Parnas)
25. 計算機善于遵循指令，但不善于理解你的思維。(Donald Knuth)
軟件糾錯語錄
1. 刪除的代碼是沒有bug的代碼。(Jeff Sickel)
2. 如果糾錯是消除軟件bug的過程，那編程一定是把它們放進去的過程。(Edsger Dijkstra)
3. 代碼糾錯要比新編寫代碼困難一倍。因為，如果你寫出了最聰明的代碼，按此推算，你將沒有更大的智慧來debug它。
4. 想在自己的代碼里找出一個錯誤是十分困難的。而當你認為你的代碼沒有錯誤時，那就更難了。(Steve McConnel)
軟件bug語錄
1. 這不是個bug——這一個未注明的功能特征。(Anonymous)
2. 沒有需求或設計，編程就是一種將bug添加到一個空文本文件里的藝術。(Louis Srygley)
3. 爛代碼并不爛，只是被誤解了。(Anonymous Code Behaviorist)
4. 有兩種方法能寫出沒有錯誤的程序；但只有第三種好用。(Alan J. Perlis)
5. 小心上面代碼中的bug；我只知道這些代碼是正確的，但沒有試過。(Donald Knuth)
軟件產品/成品語錄
1. 軟件能夠復用前，它必須要可用。(Ralph Johnson)
2. 軟件通常在beta測試完成不久后發布。Beta在拉丁語中是“還不能用”的意思。(Anonymous)
3. 最好的性能改進是將軟件從不能用的狀態變成可用。(J. Osterhout)
4. 最廉價、最快速、最可信賴的組件是那些還未出現的組件。(Gordon Bell)
5. I think Microsoft named .Net so it wouldn’t show up in a Unix directory listing. (Oktal)
6. 軟件和教堂非常相似——建成之后我們就在祈禱。(Sam Redwine)
7. 除非最后一個用戶死掉，軟件是不會有完工的時候的。(Anonymous)
8. 如今的大部分軟件都非常像埃及金字塔，由成千上萬的石塊一個摞一個構成，沒有結構上的集成，是由暴力強制和成千上萬的奴隸完成。(Alan Kay)
“我自己是一名從事了多年開發的Python老程序員，辭職目前在做自己的Python私人定制課程，今年年初我花了一個月整理了一份最適合2019年學習的Python學習干貨，從最基礎的到各種框架都有整理，送給每一位喜歡Python小伙伴，想要獲取的可以轉發文章并關注我的頭條號。在后臺私信我：01，即可免費獲取。"
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
