jQuery 跨站腳本漏洞影響大量網(wǎng)站

nyk 發(fā)布了 2019 年度的 JavaScript 框架安全狀況報(bào)告（PDF），除了最流行的 JS 框架 Angular 和 React 外，報(bào)告還觀察了其它三個(gè)流行 JS 前端框架 Vue.js、Bootstrap 和 jQuery 的安全漏洞。

作者/來源：安華金和

Snyk 發(fā)布了 2019 年度的 JavaScript 框架安全狀況報(bào)告（PDF），除了最流行的 JS 框架 Angular 和 React 外，報(bào)告還觀察了其它三個(gè)流行 JS 前端框架 Vue.js、Bootstrap 和 jQuery 的安全漏洞。

jQuery 過去 12 個(gè)月的下載量超過了 1.2 億次，是 Vue.js 的 4000 萬次和 Bootstrap 的 7900 萬次之和。Vue.js 發(fā)現(xiàn)了 4 個(gè)漏洞，都已經(jīng)修復(fù)。

Bootstrap 發(fā)現(xiàn)了 7 個(gè)跨站腳本漏洞，3 個(gè)是在 2019 年披露的，無安全修正。jQuery 發(fā)現(xiàn)了 6 個(gè)影響所有版本的安全漏洞，4 個(gè)是中等危險(xiǎn)級(jí)別的跨站腳本漏洞，1 個(gè)是中危 Prototype Pollution 漏洞，還有一個(gè)是低危拒絕服務(wù)漏洞。

jQuery 3.4.0 以上版本不受漏洞影響。jQuery 生態(tài)系統(tǒng)還發(fā)現(xiàn)了多個(gè)惡意的擴(kuò)展包，其中包括 jquery.js、jquery-airload、github-jquery-widgets、 jquery-mobile、jquery-file-upload 和 jquery-colorbox，這些包過去一年的下載量從幾百到幾千不等。

來源：solidot.org

點(diǎn)擊“了解更多”可訪問文內(nèi)鏈接

者：李曉飛

來源：Python 技術(shù)

爬蟲程序想必大家都很熟悉了，隨便寫一個(gè)就可以獲取網(wǎng)頁上的信息，甚至可以通過請(qǐng)求自動(dòng)生成 Python 腳本[1]。

最近我遇到一個(gè)爬蟲項(xiàng)目，需要爬取網(wǎng)上的文章。感覺沒有什么特別的，但問題是沒有限定爬取范圍，意味著沒有明確的頁面的結(jié)構(gòu)。

對(duì)于一個(gè)頁面來說，除了核心文章內(nèi)容外，還有頭部，尾部，左右列表欄等等。有的頁面框架用 div 布局，有的用 table，即使都用 div，不太的網(wǎng)站風(fēng)格和布局也不同。

但問題必須解決，我想，既然搜索引擎抓取到各種網(wǎng)頁的核心內(nèi)容，我們也應(yīng)該可以搞定，拎起 Python，說干就干！

各種嘗試

如何解決呢？

生成PDF

開始想了一個(gè)取巧的方法，就是利用工具（wkhtmltopdf[2]）將目標(biāo)網(wǎng)頁生成 PDF 文件。

好處是不必關(guān)心頁面的具體形式，就像給頁面拍了一張照片，文章結(jié)構(gòu)是完整的。

雖然 PDF 是可以源碼級(jí)檢索，但是，生成 PDF 有諸多缺點(diǎn)：

耗費(fèi)計(jì)算資源多、效率低、出錯(cuò)率高，體積太大。

幾萬條數(shù)據(jù)已經(jīng)兩百多G，如果數(shù)據(jù)量上來光存儲(chǔ)就是很大的問題。

提取文章內(nèi)容

不生成PDF，有簡單辦法就是通過 xpath[3] 提取頁面上的所有文字。

但是內(nèi)容將失去結(jié)構(gòu)，可讀性差。更要命的是，網(wǎng)頁上有很多無關(guān)內(nèi)容，比如側(cè)邊欄，廣告，相關(guān)鏈接等，也會(huì)被提取下來，影響內(nèi)容的精確性。

為了保證有一定的結(jié)構(gòu)，還要識(shí)別到核心內(nèi)容，就只能識(shí)別并提取文章部分的結(jié)構(gòu)了。像搜索引擎學(xué)習(xí)，就是想辦法識(shí)別頁面的核心內(nèi)容。

我們知道，通常情況下，頁面上的核心內(nèi)容（如文章部分）文字比較集中，可以從這個(gè)地方著手分析。

于是編寫了一段代碼，我是用 Scrapy[4] 作為爬蟲框架的，這里只截取了其中提取文章部分的代碼：

divs = response.xpath("body//div")
sel = None
maxvalue = 0
for d in divs:
  ds = len(d.xpath(".//div"))
  ps = len(d.xpath(".//p"))
  value = ps - ds
  if value > maxvalue:
    sel = {
      "node": d,
      "value": value
    }
    maxvalue = value

print("".join(sel['node'].getall()))

response 是頁面的一個(gè)響應(yīng)，其中包含了頁面的所有內(nèi)容，可以通過 xpath 提取想要的部分
"body//div" 的意思是提取所以 body 標(biāo)簽下的 div 子標(biāo)簽，注意：// 操作是遞歸的
遍歷所有提取到的標(biāo)簽，計(jì)算其中包含的 div 數(shù)量，和 p 數(shù)量
p 數(shù)量和 div 數(shù)量的差值作為這個(gè)元素的權(quán)值，意思是如果這個(gè)元素里包含了大量的 p 時(shí)，就認(rèn)為這里是文章主體
通過比較權(quán)值，選擇出權(quán)值最大的元素，這便是文章主體
得到文章主體之后，提取這個(gè)元素的內(nèi)容，相當(dāng)于 jQuery[5] 的 outerHtml

簡單明了，測試了幾個(gè)頁面確實(shí)挺好。

不過大量提取時(shí)發(fā)現(xiàn)，很多頁面提取不到數(shù)據(jù)。仔細(xì)查看發(fā)現(xiàn)，有兩種情況。

有的文章內(nèi)容被放在了 <article> 標(biāo)簽里了，所以沒有獲取到
有的文章每個(gè) <p> 外面都包裹了一個(gè) <div>，所以 p 的數(shù)量和 div 的抵消了

再調(diào)整了一下策略，不再區(qū)分 div，查看所有的元素。

另外優(yōu)先選擇更多的 p，在其基礎(chǔ)上再看更少的 div。調(diào)整后的代碼如下：

divs = response.xpath("body//*")
sels = []
maxvalue = 0
for d in divs:
  ds = len(d.xpath(".//div"))
  ps = len(d.xpath(".//p"))
  if ps >= maxvalue:
    sel = {
      "node": d,
      "ps": ps,
      "ds": ds
    }
    maxvalue = ps
    sels.append(sel)

sels.sort(lambda x: x.ds)

sel = sels[0]

print("".join(sel['node'].getall()))

方法主體里，先挑選出 p 數(shù)量比較大的節(jié)點(diǎn)，注意 if 判斷條件中換成了 >= 號(hào)，作用時(shí)篩選出同樣具有 p 數(shù)量的結(jié)點(diǎn)
經(jīng)過篩選之后，按照 div 數(shù)量排序，然后選取 div 數(shù)量最少的

經(jīng)過這樣修改之后，確實(shí)在一定程度上彌補(bǔ)了前面的問題，但是引入了一個(gè)更麻煩的問題。

就是找到的文章主體不穩(wěn)定，特別容易受到其他部分有些 p 的影響。

選擇最優(yōu)

既然直接計(jì)算不太合適，需要重新設(shè)計(jì)一個(gè)算法。

我發(fā)現(xiàn)，文字集中的地方是往往是文章主體，而前面的方法中，沒有考慮到這一點(diǎn)，只是機(jī)械地找出了最大的 p。

還有一點(diǎn)，網(wǎng)頁結(jié)構(gòu)是個(gè)顆 DOM 樹[6]

那么越靠近 p 標(biāo)簽的地方應(yīng)該越可能是文章主體，也就是說，計(jì)算是越靠近 p 的節(jié)點(diǎn)權(quán)值應(yīng)該越大，而遠(yuǎn)離 p 的結(jié)點(diǎn)及時(shí)擁有很多 p 但是權(quán)值也應(yīng)該小一點(diǎn)。

經(jīng)過試錯(cuò)，最終代碼如下：

def find(node, sel):
    value = 0
    for n in node.xpath("*"):
        if n.xpath("local-name()").get() == "p":
            t = "".join([s.strip() for s in (n.xpath('text()').getall() + n.xpath("*/text()").getall())])
            value += len(t)
        else:
            value += find(n, a)*0.5
    if value > sel["value"]:
        sel["node"] = node
        sel["value"] = value
    return value

sel = {
    'value': 0,
    'node': None
}
find(response.xpath("body"), sel)

定義了一個(gè) find 函數(shù)，這是為了方便做遞歸，第一次調(diào)用的參數(shù)是 body 標(biāo)簽，和前面一樣
進(jìn)入方法里，只找出該節(jié)點(diǎn)的直接孩子們，然后遍歷這些孩子
判斷如果孩子是 p 節(jié)點(diǎn)，提取出其中的所有文字，包括子節(jié)點(diǎn)的，然后將文字的長度作為權(quán)值
提取文字的地方比較繞，先取出直接的文本，和間接文本，合成 list，對(duì)每部分文本做了去除前后空字符，最后合并為一個(gè)字符串，得到了所包含的文本
如果孩子節(jié)點(diǎn)不是 p，就遞歸調(diào)用 find 方法，而 find 方法返回的是指定節(jié)點(diǎn)所包含的文本長度
在獲取子節(jié)點(diǎn)的長度時(shí)，做了縮減處理，用以體現(xiàn)距離越遠(yuǎn)，權(quán)值越低的規(guī)則
最終通過引用傳遞的 sel 參數(shù)，記錄權(quán)值最高的節(jié)點(diǎn)

通過這樣改造之后，效果特別好。

為什么呢？其實(shí)利用了密度原理，就是說越靠近中心的地方，密度越高，遠(yuǎn)離中心的地方密度成倍的降低，這樣就能篩選出密度中心了。

50% 的坡度比率是如何得到的呢？

其實(shí)是通過實(shí)驗(yàn)確定的，剛開始時(shí)我設(shè)置為 90%，但結(jié)果時(shí) body 節(jié)點(diǎn)總是最優(yōu)的，因?yàn)?body 里包含了所有的文字內(nèi)容。

反復(fù)實(shí)驗(yàn)后，確定 50% 是比較好的值，如果在你的應(yīng)用中不合適，可以做調(diào)整。

總結(jié)

描述了我如何選取文章主體的方法后，后沒有發(fā)現(xiàn)其實(shí)很是很簡單的方法。而這次解決問題的經(jīng)歷，讓我感受到了數(shù)學(xué)的魅力。

一直以來我認(rèn)為只要了解常規(guī)處理問題的方式就足以應(yīng)對(duì)日常編程了，可以當(dāng)遇到不確定性問題，沒有辦法抽取出簡單模型的問題時(shí)，常規(guī)思維顯然不行。

所以平時(shí)我們應(yīng)該多看一些數(shù)學(xué)性強(qiáng)的，解決不確定性問題的方法，以便提高我們的編程適應(yīng)能力，擴(kuò)展我們的技能范圍。

境管理

管理 Python 版本和環(huán)境的工具：

p：非常簡單的交互式 python 版本管理工具。官網(wǎng)
pyenv：簡單的 Python 版本管理工具。官網(wǎng)
Vex：可以在虛擬環(huán)境中執(zhí)行命令。官網(wǎng)
virtualenv：創(chuàng)建獨(dú)立 Python 環(huán)境的工具。官網(wǎng)
virtualenvwrapper：virtualenv 的一組擴(kuò)展。官網(wǎng)

包管理

管理包和依賴的工具。

pip：Python 包和依賴關(guān)系管理工具。官網(wǎng)
pip-tools：保證 Python 包依賴關(guān)系更新的一組工具。官網(wǎng)
pipenv：Pyhton 官方推薦的新一代包管理工具。官網(wǎng)
conda：跨平臺(tái)，Python 二進(jìn)制包管理工具。官網(wǎng)
Curdling：管理 Python 包的命令行工具。官網(wǎng)
wheel：Python 分發(fā)的新標(biāo)準(zhǔn)，意在取代 eggs。官網(wǎng)

包倉庫

本地 PyPI 倉庫服務(wù)和代理。

warehouse：下一代 PyPI。官網(wǎng)
Warehouse：預(yù)覽
bandersnatch：PyPA 提供的 PyPI 鏡像工具。官網(wǎng)
devpi：PyPI 服務(wù)和打包/測試/分發(fā)工具。官網(wǎng)
localshop：本地 PyPI 服務(wù)（自定義包并且自動(dòng)對(duì) PyPI 鏡像）。官網(wǎng)

分發(fā)

打包為可執(zhí)行文件以便分發(fā)。

PyInstaller：將 Python 程序轉(zhuǎn)換成獨(dú)立的執(zhí)行文件（跨平臺(tái)）。官網(wǎng)
dh-virtualenv：構(gòu)建并將 virtualenv 虛擬環(huán)境作為一個(gè) Debian 包來發(fā)布。官網(wǎng)
Nuitka：將腳本、模塊、包編譯成可執(zhí)行文件或擴(kuò)展模塊。官網(wǎng)
py2app：將 Python 腳本變?yōu)楠?dú)立軟件包（Mac OS X）。官網(wǎng)
py2exe：將 Python 腳本變?yōu)楠?dú)立軟件包（Windows）。官網(wǎng)
pynsist：一個(gè)用來創(chuàng)建 Windows 安裝程序的工具，可以在安裝程序中打包 Python 本身。官網(wǎng)

構(gòu)建工具

將源碼編譯成軟件。

buildout：一個(gè)構(gòu)建系統(tǒng)，從多個(gè)組件來創(chuàng)建，組裝和部署應(yīng)用。官網(wǎng)
BitBake：針對(duì)嵌入式 Linux 的類似 make 的構(gòu)建工具。官網(wǎng)
fabricate：對(duì)任何語言自動(dòng)找到依賴關(guān)系的構(gòu)建工具。官網(wǎng)
PlatformIO：多平臺(tái)命令行構(gòu)建工具。官網(wǎng)
PyBuilder：純 Python 實(shí)現(xiàn)的持續(xù)化構(gòu)建工具。官網(wǎng)
SCons：軟件構(gòu)建工具。官網(wǎng)

交互式解析器

交互式 Python 解析器。

IPython：功能豐富的工具，非常有效的使用交互式 Python。官網(wǎng)
bpython：界面豐富的 Python 解析器。官網(wǎng)
ptpython：高級(jí)交互式 Python 解析器，構(gòu)建于 python-prompt-toolkit 之上。官網(wǎng)

文件

文件管理和 MIME（多用途的網(wǎng)際郵件擴(kuò)充協(xié)議）類型檢測。

imghdr：（Python 標(biāo)準(zhǔn)庫）檢測圖片類型。官網(wǎng)
mimetypes：（Python 標(biāo)準(zhǔn)庫）將文件名映射為 MIME 類型。官網(wǎng)
path.py：對(duì) os.path 進(jìn)行封裝的模塊。官網(wǎng)
pathlib：（Python3.4+ 標(biāo)準(zhǔn)庫）跨平臺(tái)的、面向?qū)ο蟮穆窂讲僮鲙臁９倬W(wǎng)
python-magic：文件類型檢測的第三方庫 libmagic 的 Python 接口。官網(wǎng)
Unipath：用面向?qū)ο蟮姆绞讲僮魑募湍夸洝９倬W(wǎng)
watchdog：管理文件系統(tǒng)事件的 API 和 shell 工具。官網(wǎng)

日期和時(shí)間

操作日期和時(shí)間的類庫。

arrow：更好的 Python 日期時(shí)間操作類庫。官網(wǎng)
Chronyk：Python 3 的類庫，用于解析手寫格式的時(shí)間和日期。官網(wǎng)
dateutil：Python datetime 模塊的擴(kuò)展。官網(wǎng)
delorean：解決 Python 中有關(guān)日期處理的棘手問題的庫。官網(wǎng)
moment：一個(gè)用來處理時(shí)間和日期的 Python 庫。靈感來自于 Moment.js。官網(wǎng)
pendulum：一個(gè)比 arrow 更具有明確的，可預(yù)測的行為的時(shí)間操作庫。官網(wǎng)
PyTime：一個(gè)簡單易用的 Python 模塊，用于通過字符串來操作日期/時(shí)間。官網(wǎng)
pytz：現(xiàn)代以及歷史版本的世界時(shí)區(qū)定義。將時(shí)區(qū)數(shù)據(jù)庫引入 Python。官網(wǎng)
when.py：提供用戶友好的函數(shù)來幫助用戶進(jìn)行常用的日期和時(shí)間操作。官網(wǎng)

文本處理

用于解析和操作文本的庫。

通用
chardet：字符編碼檢測器，兼容 Python2 和 Python3。官網(wǎng)
difflib：(Python 標(biāo)準(zhǔn)庫)幫助我們進(jìn)行差異化比較。官網(wǎng)
ftfy：讓 Unicode 文本更完整更連貫。官網(wǎng)
fuzzywuzzy：模糊字符串匹配。官網(wǎng)
Levenshtein：快速計(jì)算編輯距離以及字符串的相似度。官網(wǎng)
pangu.py：在中日韓語字符和數(shù)字字母之間添加空格。官網(wǎng)
pypinyin：漢字拼音轉(zhuǎn)換工具 Python 版。官網(wǎng)
shortuuid：一個(gè)生成器庫，用以生成簡潔的，明白的，URL 安全的 UUID。官網(wǎng)
simplejson：Python 的 JSON 編碼、解碼器。官網(wǎng)
unidecode：Unicode 文本的 ASCII 轉(zhuǎn)換形式。官網(wǎng)
uniout：打印可讀的字符，而不是轉(zhuǎn)義的字符串。官網(wǎng)
xpinyin：一個(gè)用于把漢字轉(zhuǎn)換為拼音的庫。官網(wǎng)
yfiglet-figlet：pyfiglet -figlet 的 Python 實(shí)現(xiàn)。
Slug 化
awesome-slugify：一個(gè) Python slug 化庫，可以保持 Unicode。官網(wǎng)
python-slugify：Python slug 化庫，可以把 unicode 轉(zhuǎn)化為 ASCII。官網(wǎng)
unicode-slugify：一個(gè) slug 工具，可以生成 unicode slugs ,需要依賴 Django 。官網(wǎng)
解析器
phonenumbers：解析，格式化，儲(chǔ)存，驗(yàn)證電話號(hào)碼。官網(wǎng)
PLY：lex 和 yacc 解析工具的 Python 實(shí)現(xiàn)。官網(wǎng)
Pygments：通用語法高亮工具。官網(wǎng)
pyparsing：生成通用解析器的框架。官網(wǎng)
python-nameparser：把一個(gè)人名分解為幾個(gè)獨(dú)立的部分。官網(wǎng)
python-user-agents：瀏覽器 user agent 解析器。官網(wǎng)
sqlparse：一個(gè)無驗(yàn)證的 SQL 解析器。官網(wǎng)

特殊文本格式處理

一些用來解析和操作特殊文本格式的庫。

通用
tablib：一個(gè)用來處理中表格數(shù)據(jù)的模塊。官網(wǎng)
Office
Marmir：把輸入的 Python 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為電子表單。官網(wǎng)
openpyxl：一個(gè)用來讀寫 Excel 2010 xlsx/xlsm/xltx/xltm 文件的庫。官網(wǎng)
python-docx：讀取，查詢以及修改 Microsoft Word 2007/2008 docx 文件。官網(wǎng)
unoconv：在 LibreOffice/OpenOffice 支持的任意文件格式之間進(jìn)行轉(zhuǎn)換。官網(wǎng)
XlsxWriter：一個(gè)用于創(chuàng)建 Excel .xlsx 文件的 Python 模塊。官網(wǎng)
xlwings：一個(gè)使得在 Excel 中方便調(diào)用 Python 的庫（反之亦然），基于 BSD 協(xié)議。官網(wǎng)
xlwt：讀寫 Excel 文件的數(shù)據(jù)和格式信息。官網(wǎng) / xlrd
relatorio：模板化 OpenDocument 文件。官網(wǎng)
PDF
PDFMiner：一個(gè)用于從 PDF 文檔中抽取信息的工具。官網(wǎng)
PyPDF2：一個(gè)可以分割，合并和轉(zhuǎn)換 PDF 頁面的庫。官網(wǎng)
ReportLab：快速創(chuàng)建富文本 PDF 文檔。官網(wǎng)
Markdown
Mistune：快速并且功能齊全的純 Python 實(shí)現(xiàn)的 Markdown 解析器。官網(wǎng)
Python-Markdown：John Gruber’s Markdown 的 Python 版實(shí)現(xiàn)。官網(wǎng)
Python-Markdown2：純 Python 實(shí)現(xiàn)的 Markdown 解析器，比 Python-Markdown 更快，更準(zhǔn)確，可擴(kuò)展。官網(wǎng)
YAML
PyYAML：Python 版本的 YAML 解析器。官網(wǎng)
CSV
csvkit：用于轉(zhuǎn)換和操作 CSV 的工具。官網(wǎng)
Archive
unp：一個(gè)用來方便解包歸檔文件的命令行工具。官網(wǎng)

自然語言處理

用來處理人類語言的庫。

NLTK：一個(gè)先進(jìn)的平臺(tái)，用以構(gòu)建處理人類語言數(shù)據(jù)的 Python 程序。官網(wǎng)
jieba：中文分詞工具。官網(wǎng)
langid.py：獨(dú)立的語言識(shí)別系統(tǒng)。官網(wǎng)
Pattern：Python 網(wǎng)絡(luò)信息挖掘模塊。官網(wǎng)
SnowNLP：一個(gè)用來處理中文文本的庫。官網(wǎng)
TextBlob：為進(jìn)行普通自然語言處理任務(wù)提供一致的 API。官網(wǎng)
TextGrocery：一簡單高效的短文本分類工具，基于 LibLinear 和 Jieba。官網(wǎng)

文檔

用以生成項(xiàng)目文檔的庫。

Sphinx：Python 文檔生成器。官網(wǎng)
awesome-sphinxdoc：官網(wǎng)
MkDocs：對(duì) Markdown 友好的文檔生成器。官網(wǎng)
pdoc：一個(gè)可以替換 Epydoc 的庫，可以自動(dòng)生成 Python 庫的 API 文檔。官網(wǎng)
Pycco：文學(xué)編程（literate-programming）風(fēng)格的文檔生成器。官網(wǎng)
readthedocs：一個(gè)基于 Sphinx/MkDocs 的在線文檔托管系統(tǒng)，對(duì)開源項(xiàng)目免費(fèi)開放使用。官網(wǎng)

配置

用來保存和解析配置的庫。

config：logging 模塊作者寫的分級(jí)配置模塊。官網(wǎng)
ConfigObj：INI 文件解析器，帶驗(yàn)證功能。官網(wǎng)
ConfigParser：(Python 標(biāo)準(zhǔn)庫) INI 文件解析器。官網(wǎng)
profig：通過多種格式進(jìn)行配置，具有數(shù)值轉(zhuǎn)換功能。官網(wǎng)
python-decouple：將設(shè)置和代碼完全隔離。官網(wǎng)

命令行工具

用于創(chuàng)建命令行程序的庫。

命令行程序開發(fā)
asciimatics：跨平臺(tái)，全屏終端包（即鼠標(biāo)/鍵盤輸入和彩色，定位文本輸出），完整的復(fù)雜動(dòng)畫和特殊效果的高級(jí) API。官網(wǎng)
cement：Python 的命令行程序框架。官網(wǎng)
click：一個(gè)通過組合的方式來創(chuàng)建精美命令行界面的包。官網(wǎng)
cliff：一個(gè)用于創(chuàng)建命令行程序的框架，可以創(chuàng)建具有多層命令的命令行程序。官網(wǎng)
clint：Python 命令行程序工具。官網(wǎng)
colorama：跨平臺(tái)彩色終端文本。官網(wǎng)
docopt：Python 風(fēng)格的命令行參數(shù)解析器。官網(wǎng)
Gooey：一條命令，將命令行程序變成一個(gè) GUI 程序。官網(wǎng)
python-prompt-toolkit：一個(gè)用于構(gòu)建強(qiáng)大的交互式命令行程序的庫。官網(wǎng)
python-fire：Google 出品的一個(gè)基于 Python 類的構(gòu)建命令行界面的庫。官網(wǎng)
Pythonpy：在命令行中直接執(zhí)行任何 Python 指令。官網(wǎng)
生產(chǎn)力工具
aws-cli：Amazon Web Services 的通用命令行界面。官網(wǎng)
bashplotlib：在終端中進(jìn)行基本繪圖。官網(wǎng)
caniusepython3：判斷是哪個(gè)項(xiàng)目妨礙你你移植到 Python3。官網(wǎng)
cookiecutter：從 cookiecutters（項(xiàng)目模板）創(chuàng)建項(xiàng)目的一個(gè)命令行工具。官網(wǎng)
doitlive：一個(gè)用來在終端中進(jìn)行現(xiàn)場演示的工具。官網(wǎng)
pyftpdlib：一個(gè)速度極快和可擴(kuò)展的 Python FTP 服務(wù)庫。官網(wǎng)
howdoi：通過命令行獲取即時(shí)的編程問題解答。官網(wǎng)
httpie：一個(gè)命令行 HTTP 客戶端，cURL 的替代品，易用性更好。官網(wǎng)
PathPicker：從 bash 輸出中選出文件。官網(wǎng)
percol：向 UNIX shell 傳統(tǒng)管道概念中加入交互式選擇功能。官網(wǎng)
SAWS：一個(gè)加強(qiáng)版的 AWS 命令行。官網(wǎng)
thefuck：修正你之前的命令行指令。官網(wǎng)
mycli：一個(gè) MySQL 命令行客戶端，具有自動(dòng)補(bǔ)全和語法高亮功能。官網(wǎng)
pgcli：Postgres 命令行工具，具有自動(dòng)補(bǔ)全和語法高亮功能。官網(wǎng)
try：一個(gè)從來沒有更簡單的命令行工具，用來試用 python 庫。官網(wǎng)

下載器

用來進(jìn)行下載的庫.

s3cmd：一個(gè)用來管理 Amazon S3 和 CloudFront 的命令行工具。官網(wǎng)
s4cmd：超級(jí) S3 命令行工具，性能更加強(qiáng)勁。官網(wǎng)
you-get：一個(gè) YouTube/Youku/Niconico 視頻下載器，使用 Python3 編寫。官網(wǎng)
youtube-dl：一個(gè)小巧的命令行程序，用來下載 YouTube 視頻。官網(wǎng)

圖像處理

用來操作圖像的庫.

pillow：Pillow 是一個(gè)更加易用版的 PIL。官網(wǎng)
hmap：圖像直方圖映射。官網(wǎng)
imgSeek：一個(gè)使用視覺相似性搜索一組圖片集合的項(xiàng)目。官網(wǎng)
nude.py：裸體檢測。官網(wǎng)
pyBarcode：不借助 PIL 庫在 Python 程序中生成條形碼。官網(wǎng)
pygram：類似 Instagram 的圖像濾鏡。官網(wǎng)
python-qrcode：一個(gè)純 Python 實(shí)現(xiàn)的二維碼生成器。官網(wǎng)
Quads：基于四叉樹的計(jì)算機(jī)藝術(shù)。官網(wǎng)
scikit-image：一個(gè)用于（科學(xué)）圖像處理的 Python 庫。官網(wǎng)
thumbor：一個(gè)小型圖像服務(wù)，具有剪裁，尺寸重設(shè)和翻轉(zhuǎn)功能。官網(wǎng)
wand：MagickWand的 Python 綁定。MagickWand 是 ImageMagick 的 C API 。官網(wǎng)
face_recognition：簡單易用的 python 人臉識(shí)別庫。官網(wǎng)

OCR

光學(xué)字符識(shí)別庫。

pyocr：Tesseract 和 Cuneiform 的一個(gè)封裝(wrapper)。官網(wǎng)
pytesseract：Google Tesseract OCR 的另一個(gè)封裝(wrapper)。官網(wǎng)
python-tesseract：Google Tesseract OCR 的一個(gè)包裝類。

音頻

用來操作音頻的庫

audiolazy：Python 的數(shù)字信號(hào)處理包。官網(wǎng)
audioread：交叉庫 (GStreamer + Core Audio + MAD + FFmpeg) 音頻解碼。官網(wǎng)
beets：一個(gè)音樂庫管理工具及 MusicBrainz 標(biāo)簽添加工具。官網(wǎng)
dejavu：音頻指紋提取和識(shí)別。官網(wǎng)
django-elastic-transcoder：Django + Amazon Elastic Transcoder。官網(wǎng)
eyeD3：一個(gè)用來操作音頻文件的工具，具體來講就是包含 ID3 元信息的 MP3 文件。官網(wǎng)
id3reader：一個(gè)用來讀取 MP3 元數(shù)據(jù)的 Python 模塊。官網(wǎng)
m3u8：一個(gè)用來解析 m3u8 文件的模塊。官網(wǎng)
mutagen：一個(gè)用來處理音頻元數(shù)據(jù)的 Python 模塊。官網(wǎng)
pydub：通過簡單、簡潔的高層接口來操作音頻文件。官網(wǎng)
pyechonest：Echo Nest API 的 Python 客戶端。官網(wǎng)
talkbox：一個(gè)用來處理演講/信號(hào)的 Python 庫。官網(wǎng)
TimeSide：開源 web 音頻處理框架。官網(wǎng)
tinytag：一個(gè)用來讀取 MP3, OGG, FLAC 以及 Wave 文件音樂元數(shù)據(jù)的庫。官網(wǎng)
mingus：一個(gè)高級(jí)音樂理論和曲譜包，支持 MIDI 文件和回放功能。官網(wǎng)

Video

用來操作視頻和 GIF 的庫。

moviepy：一個(gè)用來進(jìn)行基于腳本的視頻編輯模塊，適用于多種格式，包括動(dòng)圖 GIFs。官網(wǎng)
scikit-video：SciPy 視頻處理常用程序。官網(wǎng)

地理位置

地理編碼地址以及用來處理經(jīng)緯度的庫。

GeoDjango：世界級(jí)地理圖形 web 框架。官網(wǎng)
GeoIP：MaxMind GeoIP Legacy 數(shù)據(jù)庫的 Python API。官網(wǎng)
geojson：GeoJSON 的 Python 綁定及工具。官網(wǎng)
geopy：Python 地址編碼工具箱。官網(wǎng)
pygeoip：純 Python GeoIP API。官網(wǎng)
django-countries：一個(gè) Django 應(yīng)用程序，提供用于表格的國家選擇功能，國旗圖標(biāo)靜態(tài)文件以及模型中的國家字段。官網(wǎng)

HTTP

使用 HTTP 的庫。

requests：人性化的 HTTP 請(qǐng)求庫。官網(wǎng)
grequests：requests 庫 + gevent ，用于異步 HTTP 請(qǐng)求.官網(wǎng)
httplib2：全面的 HTTP 客戶端庫。官網(wǎng)
treq：類似 requests 的 Python API 構(gòu)建于 Twisted HTTP 客戶端之上。官網(wǎng)
urllib3：一個(gè)具有線程安全連接池，支持文件 post，清晰友好的 HTTP 庫。官網(wǎng)

數(shù)據(jù)庫

Python 實(shí)現(xiàn)的數(shù)據(jù)庫。

pickleDB：一個(gè)簡單，輕量級(jí)鍵值儲(chǔ)存數(shù)據(jù)庫。官網(wǎng)
PipelineDB：流式 SQL 數(shù)據(jù)庫。官網(wǎng)
TinyDB：一個(gè)微型的，面向文檔型數(shù)據(jù)庫。官網(wǎng)
ZODB：一個(gè) Python 原生對(duì)象數(shù)據(jù)庫。一個(gè)鍵值和對(duì)象圖數(shù)據(jù)庫。官網(wǎng)

數(shù)據(jù)庫驅(qū)動(dòng)

用來連接和操作數(shù)據(jù)庫的庫。

MySQL：awesome-mysql 系列
mysql-python：Python 的 MySQL 數(shù)據(jù)庫連接器。官網(wǎng)
ysqlclient：mysql-python 分支，支持 Python 3。
oursql：一個(gè)更好的 MySQL 連接器，支持原生預(yù)編譯指令和 BLOBs.官網(wǎng)
PyMySQL：純 Python MySQL 驅(qū)動(dòng)，兼容 mysql-python。官網(wǎng)
PostgreSQL
psycopg2：Python 中最流行的 PostgreSQL 適配器。官網(wǎng)
queries：psycopg2 庫的封裝，用來和 PostgreSQL 進(jìn)行交互。官網(wǎng)
txpostgres：基于 Twisted 的異步 PostgreSQL 驅(qū)動(dòng)。官網(wǎng)
其他關(guān)系型數(shù)據(jù)庫
apsw：另一個(gè) Python SQLite 封裝。官網(wǎng)
dataset：在數(shù)據(jù)庫中存儲(chǔ) Python 字典
pymssql：一個(gè)簡單的 Microsoft SQL Server 數(shù)據(jù)庫接口。官網(wǎng)
NoSQL 數(shù)據(jù)庫
cassandra-python-driver：Cassandra 的 Python 驅(qū)動(dòng)。官網(wǎng)
HappyBase：一個(gè)為 Apache HBase 設(shè)計(jì)的，對(duì)開發(fā)者友好的庫。官網(wǎng)
Plyvel：一個(gè)快速且功能豐富的 LevelDB 的 Python 接口。官網(wǎng)
py2neo：Neo4j restful 接口的 Python 封裝客戶端。官網(wǎng)
pycassa：Cassandra 的 Python Thrift 驅(qū)動(dòng)。官網(wǎng)
PyMongo：MongoDB 的官方 Python 客戶端。官網(wǎng)
redis-py：Redis 的 Python 客戶端。官網(wǎng)
telephus：基于 Twisted 的 Cassandra 客戶端。官網(wǎng)
txRedis：基于 Twisted 的 Redis 客戶端。官網(wǎng)

ORM

實(shí)現(xiàn)對(duì)象關(guān)系映射或數(shù)據(jù)映射技術(shù)的庫。

關(guān)系型數(shù)據(jù)庫
awesome-sqlalchemy 系列
Django Models：Django 的一部分。官網(wǎng)
SQLAlchemy：Python SQL 工具以及對(duì)象關(guān)系映射工具。官網(wǎng)
Peewee：一個(gè)小巧，富有表達(dá)力的 ORM。官網(wǎng)
PonyORM：提供面向生成器的 SQL 接口的 ORM。官網(wǎng)
python-sql：編寫 Python 風(fēng)格的 SQL 查詢。官網(wǎng)
NoSQL 數(shù)據(jù)庫
django-mongodb-engine：Django MongoDB 后端。官網(wǎng)
PynamoDB：Amazon DynamoDB 的一個(gè) Python 風(fēng)格接口。官網(wǎng)
flywheel：Amazon DynamoDB 的對(duì)象映射工具。官網(wǎng)
MongoEngine：一個(gè) Python 對(duì)象文檔映射工具，用于 MongoDB。官網(wǎng)
hot-redis：為 Redis 提供 Python 豐富的數(shù)據(jù)類型。官網(wǎng)
redisco：一個(gè) Python 庫，提供可以持續(xù)存在在 Redis 中的簡單模型和容器。官網(wǎng)
其他
butterdb：Google Drive 電子表格的 Python ORM。官網(wǎng)

Web 框架

全棧 Web 框架。

Django：Python 界最流行的 web 框架。官網(wǎng)
awesome-django 系列
Flask：一個(gè) Python 微型框架。官網(wǎng)
awesome-flask 系列
pyramid：一個(gè)小巧，快速，接地氣的開源 Python web 框架。
awesome-pyramid 系列
Bottle：一個(gè)快速小巧，輕量級(jí)的 WSGI 微型 web 框架。官網(wǎng)
CherryPy：一個(gè)極簡的 Python web 框架，服從 HTTP/1.1 協(xié)議且具有 WSGI 線程池。官網(wǎng)
TurboGears：一個(gè)可以擴(kuò)展為全棧解決方案的微型框架。官網(wǎng)
web.py：一個(gè) Python 的 web 框架，既簡單，又強(qiáng)大。官網(wǎng)
web2py：一個(gè)全棧 web 框架和平臺(tái)，專注于簡單易用。官網(wǎng)
Tornado：一個(gè) web 框架和異步網(wǎng)絡(luò)庫。官網(wǎng)

權(quán)限

允許或拒絕用戶訪問數(shù)據(jù)或功能的庫。

Carteblanche：站在用戶和設(shè)計(jì)者角度開發(fā)的一個(gè)代碼對(duì)齊模塊，很好地處理了代碼導(dǎo)航及權(quán)限。官網(wǎng)
django-guardian：Django 1.2+ 實(shí)現(xiàn)了單個(gè)對(duì)象權(quán)限。官網(wǎng)
django-rules：一個(gè)小巧但是強(qiáng)大的應(yīng)用，提供對(duì)象級(jí)別的權(quán)限管理，且不需要使用數(shù)據(jù)庫。官網(wǎng)

CMS

內(nèi)容管理系統(tǒng)

odoo-cms: 一個(gè)開源的，企業(yè)級(jí) CMS，基于 odoo。官網(wǎng)
django-cms：一個(gè)開源的，企業(yè)級(jí) CMS，基于 Django。官網(wǎng)
djedi-cms：一個(gè)輕量級(jí)但卻非常強(qiáng)大的 Django CMS ，考慮到了插件，內(nèi)聯(lián)編輯以及性能。官網(wǎng)
FeinCMS：基于 Django 構(gòu)建的最先進(jìn)的內(nèi)容管理系統(tǒng)之一。官網(wǎng)
Kotti：一個(gè)高級(jí)的，Python 范的 web 應(yīng)用框架，基于 Pyramid 構(gòu)建。官網(wǎng)
Mezzanine：一個(gè)強(qiáng)大的，持續(xù)的，靈活的內(nèi)容管理平臺(tái)。官網(wǎng)
Opps：一個(gè)為雜志，報(bào)紙網(wǎng)站以及大流量門戶網(wǎng)站設(shè)計(jì)的 CMS 平臺(tái)，基于 Django。官網(wǎng)
Plone：一個(gè)構(gòu)建于開源應(yīng)用服務(wù)器 Zope 之上的 CMS。官網(wǎng)
Quokka：靈活，可擴(kuò)展的小型 CMS，基于 Flask 和 MongoDB。官網(wǎng)
Wagtail：一個(gè) Django 內(nèi)容管理系統(tǒng)。官網(wǎng)
Widgy：最新的 CMS 框架，基于 Django。官網(wǎng)

電子商務(wù)

用于電子商務(wù)以及支付的框架和庫。

django-oscar：一個(gè)用于 Django 的開源的電子商務(wù)框架。官網(wǎng)
django-shop：一個(gè)基于 Django 的店鋪系統(tǒng)。官網(wǎng)
Cartridge：一個(gè)基于 Mezzanine 構(gòu)建的購物車應(yīng)用。官網(wǎng)
shoop：一個(gè)基于 Django 的開源電子商務(wù)平臺(tái)。官網(wǎng)
alipay：非官方的 Python 支付寶 API。官網(wǎng)
merchant：一個(gè)可以接收來自多種支付平臺(tái)支付的 Django 應(yīng)用。官網(wǎng)
money：一個(gè)貨幣類庫。帶有可選的 CLDR 后端本地化格式，提供可擴(kuò)展的貨幣兌換解決方案。官網(wǎng)
python-currencies：顯示貨幣格式以及它的數(shù)值。官網(wǎng)

RESTful API

用來開發(fā) RESTful APIs 的庫

Django
django-rest-framework：一個(gè)強(qiáng)大靈活的工具，用來構(gòu)建 web API。官網(wǎng)
django-tastypie：為 Django 應(yīng)用開發(fā) API。官網(wǎng)
django-formapi：為 Django 的表單驗(yàn)證，創(chuàng)建 JSON APIs 。官網(wǎng)
Flask
flask-api：為 flask 開發(fā)的，可瀏覽 Web APIs 。官網(wǎng)
flask-restful：為 flask 快速創(chuàng)建 REST APIs 。官網(wǎng)
flask-restless：為 SQLAlchemy 定義的數(shù)據(jù)庫模型創(chuàng)建 RESTful APIs 。官網(wǎng)
flask-api-utils：為 Flask 處理 API 表示和驗(yàn)證。官網(wǎng)
eve：REST API 框架，由 Flask, MongoDB 等驅(qū)動(dòng)。官網(wǎng)
Pyramid
cornice：一個(gè) Pyramid 的 REST 框架。官網(wǎng)
與框架無關(guān)的
falcon：一個(gè)用來建立云 API 和 web app 后端的高性能框架。官網(wǎng)
sandman：為現(xiàn)存的數(shù)據(jù)庫驅(qū)動(dòng)系統(tǒng)自動(dòng)創(chuàng)建 REST APIs 。官網(wǎng)
restless：框架無關(guān)的 REST 框架，基于從 Tastypie 學(xué)到的知識(shí)。官網(wǎng)
ripozo：快速創(chuàng)建 REST/HATEOAS/Hypermedia APIs。官網(wǎng)

驗(yàn)證

實(shí)現(xiàn)驗(yàn)證方案的庫。

OAuth
Authomatic：簡單但是強(qiáng)大的框架，身份驗(yàn)證/授權(quán)客戶端。官網(wǎng)
django-allauth：Django 的驗(yàn)證應(yīng)用。官網(wǎng)
django-oauth-toolkit：為 Django 用戶準(zhǔn)備的 OAuth2。官網(wǎng)
django-oauth2-provider：為 Django 應(yīng)用提供 OAuth2 接入。官網(wǎng)
Flask-OAuthlib：OAuth 1.0/a, 2.0 客戶端實(shí)現(xiàn)，供 Flask 使用。官網(wǎng)
OAuthLib：一個(gè) OAuth 請(qǐng)求-簽名邏輯通用、完整的實(shí)現(xiàn)。官網(wǎng)
python-oauth2：一個(gè)完全測試的抽象接口。用來創(chuàng)建 OAuth 客戶端和服務(wù)端。官網(wǎng)
python-social-auth：一個(gè)設(shè)置簡單的社會(huì)化驗(yàn)證方式。官網(wǎng)
rauth：OAuth 1.0/a, 2.0, 和 Ofly 的 Python 庫。官網(wǎng)
sanction：一個(gè)超級(jí)簡單的 OAuth2 客戶端實(shí)現(xiàn)。官網(wǎng)
其他
jose：JavaScript 對(duì)象簽名和加密草案的實(shí)現(xiàn)。官網(wǎng)
PyJWT：JSON Web 令牌草案 01。官網(wǎng)
python-jws：JSON Web 簽名草案 02 的實(shí)現(xiàn)。官網(wǎng)
python-jwt：一個(gè)用來生成和驗(yàn)證 JSON Web 令牌的模塊。官網(wǎng)

模板引擎

模板生成和詞法解析的庫和工具。

Jinja2：一個(gè)現(xiàn)代的，對(duì)設(shè)計(jì)師友好的模板引擎。官網(wǎng)
Chameleon：一個(gè) HTML/XML 模板引擎。模仿了 ZPT（Zope Page Templates）, 進(jìn)行了速度上的優(yōu)化。官網(wǎng)
Genshi：Python 模板工具，用以生成 web 感知的結(jié)果。官網(wǎng)
Mako：Python 平臺(tái)的超高速輕量級(jí)模板。官網(wǎng)

Queue

處理事件以及任務(wù)隊(duì)列的庫。

celery：一個(gè)異步任務(wù)隊(duì)列/作業(yè)隊(duì)列，基于分布式消息傳遞。官網(wǎng)
huey：小型多線程任務(wù)隊(duì)列。官網(wǎng)
mrq：Mr. Queue -一個(gè) Python 的分布式 worker 任務(wù)隊(duì)列，使用 Redis 和 gevent。官網(wǎng)
rq：簡單的 Python 作業(yè)隊(duì)列。官網(wǎng)
simpleq：一個(gè)簡單的，可無限擴(kuò)張的，基于亞馬遜 SQS 的隊(duì)列。官網(wǎng)

搜索

對(duì)數(shù)據(jù)進(jìn)行索引和執(zhí)行搜索查詢的庫和軟件。

django-haystack：Django 模塊化搜索。官網(wǎng)
elasticsearch-py：Elasticsearch 的官方底層 Python 客戶端。官網(wǎng)
elasticsearch-dsl-py：Elasticsearch 的官方高級(jí) Python 客戶端。官網(wǎng)
solrpy：solr 的 Python 客戶端。官網(wǎng)
Whoosh：一個(gè)快速的純 Python 搜索引擎庫。官網(wǎng)

動(dòng)態(tài)消息

用來創(chuàng)建用戶活動(dòng)的庫。

django-activity-stream：從你的站點(diǎn)行為中生成通用活動(dòng)信息流。官網(wǎng)
Stream-Framework：使用 Cassandra 和 Redis 創(chuàng)建動(dòng)態(tài)消息和通知系統(tǒng)。官網(wǎng)

資源管理

管理、壓縮、縮小網(wǎng)站資源的工具。

django-compressor：將鏈接和內(nèi)聯(lián)的 JavaScript 或 CSS 壓縮到一個(gè)單獨(dú)的緩存文件中。官網(wǎng)
django-storages：一個(gè)針對(duì) Django 的自定義存儲(chǔ)后端的工具集合。官網(wǎng)
fanstatic：打包、優(yōu)化，并且把靜態(tài)文件依賴作為 Python 的包來提供。官網(wǎng)
File Conveyor：一個(gè)后臺(tái)駐留的程序，用來發(fā)現(xiàn)和同步文件到 CDNs, S3 和 FTP。官網(wǎng)
Flask-Assets：幫你將 web 資源整合到你的 Flask app 中。官網(wǎng)
jinja-assets-compressor：一個(gè) Jinja 擴(kuò)展，用來編譯和壓縮你的資源。官網(wǎng)
webassets：為你的靜態(tài)資源打包、優(yōu)化和管理生成獨(dú)一無二的緩存 URL。官網(wǎng)

緩存

緩存數(shù)據(jù)的庫。

Beaker：一個(gè)緩存和會(huì)話庫，可以用在 web 應(yīng)用和獨(dú)立 Python 腳本和應(yīng)用上。官網(wǎng)
django-cache-machine：Django 模型的自動(dòng)緩存和失效。官網(wǎng)
django-cacheops：具有自動(dòng)顆粒化事件驅(qū)動(dòng)失效功能的 ORM。官網(wǎng)
django-viewlet：渲染模板，同時(shí)具有額外的緩存控制功能。官網(wǎng)
dogpile.cache：dogpile.cache 是 Beaker 的下一代替代品，由同一作者開發(fā)。官網(wǎng)
HermesCache：Python 緩存庫，具有基于標(biāo)簽的失效和 dogpile effect 保護(hù)功能。官網(wǎng)
johnny-cache：django 應(yīng)用緩存框架。官網(wǎng)
pylibmc：libmemcached 接口的 Python 封裝。官網(wǎng)

電子郵件

用來發(fā)送和解析電子郵件的庫。

django-celery-ses：帶有 AWS SES 和 Celery 的 Django email 后端。官網(wǎng)
envelopes：供人類使用的電子郵件庫。官網(wǎng)
flanker：一個(gè) email 地址和 Mime 解析庫。官網(wǎng)
imbox：Python IMAP 庫。官網(wǎng)
inbox.py：Python SMTP 服務(wù)器。官網(wǎng)
inbox：一個(gè)開源電子郵件工具箱。官網(wǎng)
lamson：Python 風(fēng)格的 SMTP 應(yīng)用服務(wù)器。官網(wǎng)
mailjet：Mailjet API 實(shí)現(xiàn)，用來提供批量發(fā)送郵件，統(tǒng)計(jì)等功能。官網(wǎng)
marrow.mailer：高性能可擴(kuò)展郵件分發(fā)框架。官網(wǎng)
modoboa：一個(gè)郵件托管和管理平臺(tái)，具有現(xiàn)代的、簡約的 Web UI。官網(wǎng)
pyzmail：創(chuàng)建，發(fā)送和解析電子郵件。官網(wǎng)
Talon：Mailgun 庫，用來抽取信息和簽名。官網(wǎng)

國際化

用來進(jìn)行國際化的庫。

Babel：一個(gè) Python 的國際化庫。官網(wǎng)
Korean：一個(gè)韓語詞態(tài)庫。官網(wǎng)

URL 處理

解析 URLs 的庫

furl：一個(gè)讓處理 URL 更簡單小型 Python 庫。官網(wǎng)
purl：一個(gè)簡單的，不可變的 URL 類，具有簡潔的 API 來進(jìn)行詢問和處理。官網(wǎng)
pyshorteners：一個(gè)純 Python URL 縮短庫。官網(wǎng)
shorturl：生成短小 URL 和類似 bit.ly 短鏈的 Python 實(shí)現(xiàn)。官網(wǎng)
webargs：一個(gè)解析 HTTP 請(qǐng)求參數(shù)的庫，內(nèi)置對(duì)流行 web 框架的支持，包括 Flask, Django, Bottle, Tornado 和 Pyramid。官網(wǎng)

HTML 處理

處理 HTML 和 XML 的庫。

BeautifulSoup：以 Python 風(fēng)格的方式來對(duì) HTML 或 XML 進(jìn)行迭代，搜索和修改。官網(wǎng)
bleach：一個(gè)基于白名單的 HTML 清理和文本鏈接庫。官網(wǎng)
cssutils：一個(gè) Python 的 CSS 庫。官網(wǎng)
html5lib：一個(gè)兼容標(biāo)準(zhǔn)的 HTML 文檔和片段解析及序列化庫。官網(wǎng)
lxml：一個(gè)非常快速，簡單易用，功能齊全的庫，用來處理 HTML 和 XML。官網(wǎng)
MarkupSafe：為 Python 實(shí)現(xiàn) XML/HTML/XHTML 標(biāo)記安全字符串。官網(wǎng)
pyquery：一個(gè)解析 HTML 的庫，類似 jQuery。官網(wǎng)
untangle：將 XML 文檔轉(zhuǎn)換為 Python 對(duì)象，使其可以方便的訪問。官網(wǎng)
xhtml2pdf：HTML/CSS 轉(zhuǎn) PDF 工具。官網(wǎng)
xmltodict：像處理 JSON 一樣處理 XML。官網(wǎng)

爬取網(wǎng)絡(luò)站點(diǎn)的庫

Scrapy：一個(gè)快速高級(jí)的屏幕爬取及網(wǎng)頁采集框架。官網(wǎng)
cola：一個(gè)分布式爬蟲框架。官網(wǎng)
Demiurge：基于 PyQuery 的爬蟲微型框架。官網(wǎng)
feedparser：通用 feed 解析器。官網(wǎng)
Grab：站點(diǎn)爬取框架。官網(wǎng)
MechanicalSoup：用于自動(dòng)和網(wǎng)絡(luò)站點(diǎn)交互的 Python 庫。官網(wǎng)
portia：Scrapy 可視化爬取。官網(wǎng)
pyspider：一個(gè)強(qiáng)大的爬蟲系統(tǒng)。官網(wǎng)
RoboBrowser：一個(gè)簡單的，Python 風(fēng)格的庫，用來瀏覽網(wǎng)站，而不需要一個(gè)獨(dú)立安裝的瀏覽器。官網(wǎng)

網(wǎng)頁內(nèi)容提取

用于進(jìn)行網(wǎng)頁內(nèi)容提取的庫。

Haul：一個(gè)可以擴(kuò)展的圖像爬取工具。官網(wǎng)
html2text：將 HTML 轉(zhuǎn)換為 Markdown 格式文本。官網(wǎng)
lassie：人性化的網(wǎng)頁內(nèi)容檢索庫。官網(wǎng)
micawber：一個(gè)小型網(wǎng)頁內(nèi)容提取庫，用來從 URLs 提取富內(nèi)容。官網(wǎng)
newspaper：使用 Python 進(jìn)行新聞提取，文章提取以及內(nèi)容策展。官網(wǎng)
opengraph：一個(gè)用來解析開放內(nèi)容協(xié)議(Open Graph Protocol)的 Python 模塊。官網(wǎng)
python-goose：HTML 內(nèi)容/文章提取器。官網(wǎng)
python-readability：arc90 公司 readability 工具的 Python 高速端口。官網(wǎng)
sanitize：為雜亂的數(shù)據(jù)世界帶來調(diào)理性。官網(wǎng)
sumy：一個(gè)為文本文件和 HTML 頁面進(jìn)行自動(dòng)摘要的模塊。官網(wǎng)
textract：從任何格式的文檔中提取文本，Word，PowerPoint，PDFs 等等。官網(wǎng)

表單

進(jìn)行表單操作的庫。

Deform：Python HTML 表單生成庫，受到了 formish 表單生成庫的啟發(fā)。官網(wǎng)
django-bootstrap3：集成了 Bootstrap 3 的 Django。官網(wǎng)
django-crispy-forms：一個(gè) Django 應(yīng)用，他可以讓你以一種非常優(yōu)雅且 DRY（Don't repeat yourself）的方式來創(chuàng)建美觀的表單。官網(wǎng)
django-remote-forms：一個(gè)平臺(tái)獨(dú)立的 Django 表單序列化工具。官網(wǎng)
WTForms：一個(gè)靈活的表單驗(yàn)證和呈現(xiàn)庫。官網(wǎng)
WTForms-JSON：一個(gè) WTForms 擴(kuò)展，用來處理 JSON 數(shù)據(jù)。官網(wǎng)

數(shù)據(jù)驗(yàn)證

數(shù)據(jù)驗(yàn)證庫。多用于表單驗(yàn)證。

Cerberus：一個(gè)映射驗(yàn)證器（mappings-validator）。支持多種規(guī)則，提供歸一化功能，可以方便地定制為 Python 風(fēng)格的 schema 定義。官網(wǎng)
colander：一個(gè)用于對(duì)從 XML, JSON，HTML 表單獲取的數(shù)據(jù)或其他同樣簡單的序列化數(shù)據(jù)進(jìn)行驗(yàn)證和反序列化的系統(tǒng)。官網(wǎng)
kmatch：一種用于匹配/驗(yàn)證/篩選 Python 字典的語言。官網(wǎng)
schema：一個(gè)用于對(duì) Python 數(shù)據(jù)結(jié)構(gòu)進(jìn)行驗(yàn)證的庫。官網(wǎng)
Schematics：數(shù)據(jù)結(jié)構(gòu)驗(yàn)證。官網(wǎng)
valideer：輕量級(jí)可擴(kuò)展的數(shù)據(jù)驗(yàn)證和適配庫。官網(wǎng)
voluptuous：一個(gè) Python 數(shù)據(jù)驗(yàn)證庫。主要是為了驗(yàn)證傳入 Python 的 JSON，YAML 等數(shù)據(jù)。官網(wǎng)

反垃圾技術(shù)

幫助你和電子垃圾進(jìn)行戰(zhàn)斗的庫。

django-simple-captcha：一個(gè)簡單、高度可定制的 Django 應(yīng)用，可以為任何 Django 表單添加驗(yàn)證碼。官網(wǎng)
django-simple-spam-blocker：一個(gè)用于 Django 的簡單的電子垃圾屏蔽工具。官網(wǎng)

標(biāo)記

用來進(jìn)行標(biāo)記的庫。

django-taggit：簡單的 Django 標(biāo)記工具。官網(wǎng)

管理面板

管理界面庫。

Ajenti：一個(gè)你的服務(wù)器值得擁有的管理面板。官網(wǎng)
django-suit：Django 管理界面的一個(gè)替代品 (僅對(duì)于非商業(yè)用途是免費(fèi)的)。官網(wǎng)
django-xadmin：Django admin 的一個(gè)替代品，具有很多不錯(cuò)的功能。官網(wǎng)
flask-admin：一個(gè)用于 Flask 的簡單可擴(kuò)展的管理界面框架。官網(wǎng)
flower：一個(gè)對(duì) Celery 集群進(jìn)行實(shí)時(shí)監(jiān)控和提供 web 管理界面的工具。官網(wǎng)
Grappelli：Django 管理界面的一個(gè)漂亮的皮膚。官網(wǎng)
Wooey：一個(gè) Django 應(yīng)用，可以為 Python 腳本創(chuàng)建 web 用戶界面。官網(wǎng)

靜態(tài)站點(diǎn)生成器

靜態(tài)站點(diǎn)生成器是一個(gè)軟件，它把文本和模板作為輸入，然后輸出 HTML 文件。

Pelican：使用 Markdown 或 ReST 來處理內(nèi)容， Jinja 2 來制作主題。支持 DVCS, Disqus.。AGPL 許可。官網(wǎng)
Cactus：為設(shè)計(jì)師設(shè)計(jì)的靜態(tài)站點(diǎn)生成器。官網(wǎng)
Hyde：基于 Jinja2 的靜態(tài)站點(diǎn)生成器。官網(wǎng)
Nikola：一個(gè)靜態(tài)網(wǎng)站和博客生成器。官網(wǎng)
Tinkerer：Tinkerer 是一個(gè)博客引擎/靜態(tài)站點(diǎn)生成器，由 Sphinx 驅(qū)動(dòng)。官網(wǎng)
Lektor：一個(gè)簡單易用的靜態(tài) CMS 和博客引擎。官網(wǎng)

進(jìn)程

操作系統(tǒng)進(jìn)程啟動(dòng)及通信庫。

envoy：比 Python subprocess 模塊更人性化。官網(wǎng)
sarge：另一種 subprocess 模塊的封裝。官網(wǎng)
sh：一個(gè)完備的 subprocess 替代庫。官網(wǎng)

并發(fā)和并行

用以進(jìn)行并發(fā)和并行操作的庫。

multiprocessing：(Python 標(biāo)準(zhǔn)庫) 基于進(jìn)程的“線程”接口。官網(wǎng)
threading：(Python 標(biāo)準(zhǔn)庫)更高層的線程接口。官網(wǎng)
eventlet：支持 WSGI 的異步框架。官網(wǎng)
gevent：一個(gè)基于協(xié)程的 Python 網(wǎng)絡(luò)庫，使用 greenlet。官網(wǎng)
Tomorrow：用于產(chǎn)生異步代碼的神奇的裝飾器語法實(shí)現(xiàn)。官網(wǎng)
uvloop：在 libuv 之上超快速實(shí)現(xiàn) asyncio 事件循環(huán)。官網(wǎng)

網(wǎng)絡(luò)

用于網(wǎng)絡(luò)編程的庫。

asyncio：(Python 標(biāo)準(zhǔn)庫) 異步 I/O, 事件循環(huán), 協(xié)程以及任務(wù)。官網(wǎng)
Twisted：一個(gè)事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎。官網(wǎng)
pulsar：事件驅(qū)動(dòng)的并發(fā)框架。官網(wǎng)
diesel：基于 Greenlet 的事件 I/O 框架。官網(wǎng)
pyzmq：一個(gè) ZeroMQ 消息庫的 Python 封裝。官網(wǎng)
txZMQ：基于 Twisted 的 ZeroMQ 消息庫的 Python 封裝。官網(wǎng)

WebSocket

幫助使用 WebSocket 的庫。

AutobahnPython：給 Python 、使用的 WebSocket & WAMP 基于 Twisted 和 asyncio。官網(wǎng)
Crossbar：開源統(tǒng)一應(yīng)用路由(Websocket & WAMP for Python on Autobahn)。官網(wǎng)
django-socketio：給 Django 用的 WebSockets。官網(wǎng)
WebSocket-for-Python：為 Python2/3 以及 PyPy 編寫的 WebSocket 客戶端和服務(wù)器庫。官網(wǎng)

WSGI 服務(wù)器

兼容 WSGI 的 web 服務(wù)器

gunicorn：Pre-forked, 部分是由 C 語言編寫的。官網(wǎng)
uwsgi：uwsgi 項(xiàng)目的目的是開發(fā)一組全棧工具，用來建立托管服務(wù)，由 C 語言編寫。官網(wǎng)
bjoern：異步，非常快速，由 C 語言編寫。官網(wǎng)
fapws3：異步 (僅對(duì)于網(wǎng)絡(luò)端)，由 C 語言編寫。官網(wǎng)
meinheld：異步，部分是由 C 語言編寫的。官網(wǎng)
netius：異步，非常快速。官網(wǎng)
paste：多線程，穩(wěn)定，久經(jīng)考驗(yàn)。官網(wǎng)
rocket：多線程。官網(wǎng)
waitress：多線程, 是它驅(qū)動(dòng)著 Pyramid 框架。官網(wǎng)
Werkzeug：一個(gè) WSGI 工具庫，驅(qū)動(dòng)著 Flask ，而且可以很方便大嵌入到你的項(xiàng)目中去。官網(wǎng)

RPC 服務(wù)器

兼容 RPC 的服務(wù)器。

SimpleJSONRPCServer：這個(gè)庫是 JSON-RPC 規(guī)范的一個(gè)實(shí)現(xiàn)。官網(wǎng)
SimpleXMLRPCServer：(Python 標(biāo)準(zhǔn)庫) 簡單的 XML-RPC 服務(wù)器實(shí)現(xiàn)，單線程。官網(wǎng)
zeroRPC：zerorpc 是一個(gè)靈活的 RPC 實(shí)現(xiàn)，基于 ZeroMQ 和 MessagePack。官網(wǎng)

密碼學(xué)

cryptography：這個(gè)軟件包意在提供密碼學(xué)基本內(nèi)容和方法提供給 Python 開發(fā)者。官網(wǎng)
hashids：在 Python 中實(shí)現(xiàn) hashids 。官網(wǎng)
Paramiko：SSHv2 協(xié)議的 Python (2.6+, 3.3+) ，提供客戶端和服務(wù)端的功能。官網(wǎng)
Passlib：安全密碼存儲(chǔ)／哈希庫，官網(wǎng)
PyCrypto：Python 密碼學(xué)工具箱。官網(wǎng)
PyNacl：網(wǎng)絡(luò)和密碼學(xué)(NaCl) 庫的 Python 綁定。官網(wǎng)

圖形用戶界面

用來創(chuàng)建圖形用戶界面程序的庫。

curses：內(nèi)建的 ncurses 封裝，用來創(chuàng)建終端圖形用戶界面。官網(wǎng)
enaml：使用類似 QML 的 Declaratic 語法來創(chuàng)建美觀的用戶界面。官網(wǎng)
kivy：一個(gè)用來創(chuàng)建自然用戶交互（NUI）應(yīng)用程序的庫，可以運(yùn)行在 Windows, Linux, Mac OS X, Android 以及 iOS 平臺(tái)上。官網(wǎng)
pyglet：一個(gè) Python 的跨平臺(tái)窗口及多媒體庫。官網(wǎng)
PyQt：跨平臺(tái)用戶界面框架 Qt 的 Python 綁定，支持 Qt v4 和 Qt v5。官網(wǎng)
PySide：跨平臺(tái)用戶界面框架 Qt 的 Python 綁定，支持 Qt v4。官網(wǎng)
Tkinter：Tkinter 是 Python GUI 的一個(gè)事實(shí)標(biāo)準(zhǔn)庫。官網(wǎng)
Toga：一個(gè) Python 原生的, 操作系統(tǒng)原生的 GUI 工具包。官網(wǎng)
urwid：一個(gè)用來創(chuàng)建終端 GUI 應(yīng)用的庫，支持組件，事件和豐富的色彩等。官網(wǎng)
wxPython：wxPython 是 wxWidgets C++ 類庫和 Python 語言混合的產(chǎn)物。官網(wǎng)
PyGObject：GLib/GObject/GIO/GTK+ (GTK+3) 的 Python 綁定。官網(wǎng)
Flexx：Flexx 是一個(gè)純 Python 語言編寫的用來創(chuàng)建 GUI 程序的工具集，它使用 web 技術(shù)進(jìn)行界面的展示。官網(wǎng)

游戲開發(fā)

超贊的游戲開發(fā)庫。

Cocos2d：cocos2d 是一個(gè)用來開發(fā) 2D 游戲，示例和其他圖形/交互應(yīng)用的框架。基于 pyglet。官網(wǎng)
Panda3D：由迪士尼開發(fā)的 3D 游戲引擎，并由卡內(nèi)基梅隴娛樂技術(shù)中心負(fù)責(zé)維護(hù)。使用 C++ 編寫, 針對(duì) Python 進(jìn)行了完全的封裝。官網(wǎng)
Pygame：Pygame 是一組 Python 模塊，用來編寫游戲。官網(wǎng)
PyOgre：Ogre 3D 渲染引擎的 Python 綁定，可以用來開發(fā)游戲和仿真程序等任何 3D 應(yīng)用。官網(wǎng)
PyOpenGL：OpenGL 的 Python 綁定及其相關(guān) APIs。官網(wǎng)
PySDL2：SDL2 庫的封裝，基于 ctypes。官網(wǎng)
RenPy：一個(gè)視覺小說（visual novel）引擎。官網(wǎng)

日志

用來生成和操作日志的庫。

logging：(Python 標(biāo)準(zhǔn)庫) 為 Python 提供日志功能。官網(wǎng)
logbook：Logging 庫的替代品。官網(wǎng)
Eliot：為復(fù)雜的和分布式系統(tǒng)創(chuàng)建日志。官網(wǎng)
Raven：Sentry 的 Python 客戶端。官網(wǎng)
Sentry：實(shí)時(shí)記錄和收集日志的服務(wù)器。官網(wǎng)

測試

進(jìn)行代碼庫測試和生成測試數(shù)據(jù)的庫。

測試框架
unittest：(Python 標(biāo)準(zhǔn)庫) 單元測試框架。官網(wǎng)
nose：nose 擴(kuò)展了 unittest 的功能。官網(wǎng)
contexts：一個(gè) Python 3.3+ 的 BDD 框架。受到 C# – Machine.Specifications 的啟發(fā)。官網(wǎng)
hypothesis：Hypothesis 是一個(gè)基于先進(jìn)的 Quickcheck 風(fēng)格特性的測試庫。官網(wǎng)
mamba：Python 的終極測試工具，擁護(hù) BDD。官網(wǎng)
PyAutoGUI：PyAutoGUI 是一個(gè)人性化的跨平臺(tái) GUI 自動(dòng)測試模塊。官網(wǎng)
pyshould：Should 風(fēng)格的斷言，基于 PyHamcrest。官網(wǎng)
pytest：一個(gè)成熟的全功能 Python 測試工具。官網(wǎng)
green：干凈，多彩的測試工具。官網(wǎng)
pyvows：BDD 風(fēng)格的測試工具，受 Vows.js 的啟發(fā)。官網(wǎng)
Robot Framework：一個(gè)通用的自動(dòng)化測試框架。官網(wǎng)
Web 測試
Selenium：Selenium WebDriver 的 Python 綁定。官網(wǎng)
locust：使用 Python 編寫的，可擴(kuò)展的用戶加載測試工具。官網(wǎng)
sixpack：一個(gè)和語言無關(guān)的 A/B 測試框架。官網(wǎng)
splinter：開源的 web 應(yīng)用測試工具。官網(wǎng)
Mock 測試
mock：(Python 標(biāo)準(zhǔn)庫) 一個(gè)用于偽造測試的庫。官網(wǎng)
doublex：Python 的一個(gè)功能強(qiáng)大的 doubles 測試框架。官網(wǎng)
freezegun：通過偽造日期模塊來生成不同的時(shí)間。官網(wǎng)
httmock：針對(duì) Python 2.6+ 和 3.2+ 生成偽造請(qǐng)求的庫。官網(wǎng)
httpretty：Python 的 HTTP 請(qǐng)求 mock 工具。官網(wǎng)
responses：偽造 Python 中的 requests 庫的一個(gè)通用庫。官網(wǎng)
VCR.py：在你的測試中記錄和重放 HTTP 交互。官網(wǎng)
對(duì)象工廠
factoryboy：一個(gè) Python 用的測試固件 (test fixtures) 替代庫。官網(wǎng)
mixer：另外一個(gè)測試固件 (test fixtures) 替代庫，支持 Django, Flask, SQLAlchemy, Peewee 等。官網(wǎng)
modelmommy：為 Django 測試創(chuàng)建隨機(jī)固件。官網(wǎng)
代碼覆蓋率
coverage：代碼覆蓋率測量。官網(wǎng)
Codecov：一個(gè)代碼覆蓋率測試工具，為開源項(xiàng)目提供免費(fèi)代碼覆蓋率測試服務(wù)。官網(wǎng)
偽數(shù)據(jù)
faker：一個(gè) Python 庫，用來生成偽數(shù)據(jù)。官網(wǎng)
fake2db：偽數(shù)據(jù)庫生成器。官網(wǎng)
radar：生成隨機(jī)的日期/時(shí)間。官網(wǎng)
錯(cuò)誤處理
FuckIt.py：FuckIt.py 使用最先進(jìn)的技術(shù)來保證你的 Python 代碼無論對(duì)錯(cuò)都能繼續(xù)運(yùn)行。官網(wǎng)

代碼分析和 Lint 工具

進(jìn)行代碼分析，解析和操作代碼庫的庫和工具。

代碼分析
coala：語言獨(dú)立和易于擴(kuò)展的代碼分析應(yīng)用程序。官網(wǎng)
code2flow：把你的 Python 和 JavaScript 代碼轉(zhuǎn)換為流程圖。官網(wǎng)
pycallgraph：這個(gè)庫可以把你的 Python 應(yīng)用的流程(調(diào)用圖)進(jìn)行可視化。官網(wǎng)
pysonar2：Python 類型推斷和檢索工具。官網(wǎng)
Lint 工具
Flake8：模塊化源碼檢查工具: pep8, pyflakes 以及 co。官網(wǎng)
Pylint：一個(gè)完全可定制的源碼分析器。官網(wǎng)
YAPF: Google 的 Python 代碼格式化工具。官網(wǎng)
pylama：Python 和 JavaScript 的代碼審查工具。官網(wǎng)
代碼格式化
autopep8：自動(dòng)格式化 Python 代碼，以使其符合 PEP8 規(guī)范。官網(wǎng)

調(diào)試工具

用來進(jìn)行代碼調(diào)試的庫。

調(diào)試器
ipdb：IPython 啟用的 pdb。官網(wǎng)
pudb：全屏，基于控制臺(tái)的 Python 調(diào)試器。官網(wǎng)
pyringe：可以在 Python 進(jìn)程中附加和注入代碼的調(diào)試器。官網(wǎng)
wdb：一個(gè)奇異的 web 調(diào)試器，通過 WebSockets 工作。官網(wǎng)
winpdb：一個(gè)具有圖形用戶界面的 Python 調(diào)試器，可以進(jìn)行遠(yuǎn)程調(diào)試，基于 rpdb2。官網(wǎng)
django-debug-toolbar：為 Django 顯示各種調(diào)試信息。官網(wǎng)
django-devserver：一個(gè) Django 運(yùn)行服務(wù)器的替代品。官網(wǎng)
flask-debugtoolbar：django-debug-toolbar 的 flask 版。官網(wǎng)
性能分析器
lineprofiler：逐行性能分析。官網(wǎng)
Memory Profiler：監(jiān)控 Python 代碼的內(nèi)存使用。官網(wǎng)、內(nèi)存
profiling：一個(gè)交互式 Python 性能分析工具。官網(wǎng)
其他
pyelftools：解析和分析 ELF 文件以及 DWARF 調(diào)試信息。官網(wǎng)
python-statsd：statsd 服務(wù)器的 Python 客戶端。官網(wǎng)

科學(xué)計(jì)算和數(shù)據(jù)分析

用來進(jìn)行科學(xué)計(jì)算和數(shù)據(jù)分析的庫。

astropy：一個(gè)天文學(xué) Python 庫。官網(wǎng)
bcbio-nextgen：這個(gè)工具箱為全自動(dòng)高通量測序分析提供符合最佳實(shí)踐的處理流程。官網(wǎng)
bccb：生物分析相關(guān)代碼集合。官網(wǎng)
Biopython：Biopython 是一組可以免費(fèi)使用的用來進(jìn)行生物計(jì)算的工具。官網(wǎng)
blaze：NumPy 和 Pandas 的大數(shù)據(jù)接口。官網(wǎng)
cclib：一個(gè)用來解析和解釋計(jì)算化學(xué)軟件包輸出結(jié)果的庫。官網(wǎng)
NetworkX：一個(gè)為復(fù)雜網(wǎng)絡(luò)設(shè)計(jì)的高性能軟件。官網(wǎng)
Neupy：執(zhí)行和測試各種不同的人工神經(jīng)網(wǎng)絡(luò)算法。官網(wǎng)
Numba：Python JIT (just in time) 編譯器，針對(duì)科學(xué)用的 Python ，由 Cython 和 NumPy 的開發(fā)者開發(fā)。官網(wǎng)
NumPy：使用 Python 進(jìn)行科學(xué)計(jì)算的基礎(chǔ)包。官網(wǎng)
Open Babel：一個(gè)化學(xué)工具箱，用來描述多種化學(xué)數(shù)據(jù)。官網(wǎng)
Open Mining：使用 Python 挖掘商業(yè)情報(bào) (BI) (Pandas web 接口)。官網(wǎng)
orange：通過可視化編程或 Python 腳本進(jìn)行數(shù)據(jù)挖掘，數(shù)據(jù)可視化，分析和機(jī)器學(xué)習(xí)。官網(wǎng)
Pandas：提供高性能，易用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。官網(wǎng)
PyDy：PyDy 是 Python Dynamics 的縮寫，用來為動(dòng)力學(xué)運(yùn)動(dòng)建模工作流程提供幫助，基于 NumPy, SciPy, IPython 和 matplotlib。官網(wǎng)
PyMC：馬爾科夫鏈蒙特卡洛采樣工具。官網(wǎng)
RDKit：化學(xué)信息學(xué)和機(jī)器學(xué)習(xí)軟件。官網(wǎng)
SciPy：由一些基于 Python ，用于數(shù)學(xué)，科學(xué)和工程的開源軟件構(gòu)成的生態(tài)系統(tǒng)。官網(wǎng)
statsmodels：統(tǒng)計(jì)建模和計(jì)量經(jīng)濟(jì)學(xué)。官網(wǎng)
SymPy：一個(gè)用于符號(hào)數(shù)學(xué)的 Python 庫。官網(wǎng)
zipline：一個(gè) Python 算法交易庫。官網(wǎng)
Bayesian-belief-networks：優(yōu)雅的貝葉斯信念網(wǎng)絡(luò)框架。官網(wǎng)

數(shù)據(jù)可視化

進(jìn)行數(shù)據(jù)可視化的庫。參見: awesome-javascript。

matplotlib：一個(gè) Python 2D 繪圖庫。官網(wǎng)
bokeh：用 Python 進(jìn)行交互式 web 繪圖。官網(wǎng)
ggplot：ggplot2 給 R 提供的 API 的 Python 版本。官網(wǎng)
plotly：協(xié)同 Python 和 matplotlib 工作的 web 繪圖庫。官網(wǎng)
pyecharts：基于百度 Echarts 的數(shù)據(jù)可視化庫。官網(wǎng)
pygal：一個(gè) Python SVG 圖表創(chuàng)建工具。官網(wǎng)
pygraphviz：Graphviz 的 Python 接口。官網(wǎng)
PyQtGraph：交互式實(shí)時(shí) 2D/3D/ 圖像繪制及科學(xué)/工程學(xué)組件。官網(wǎng)
SnakeViz：一個(gè)基于瀏覽器的 Python's cProfile 模塊輸出結(jié)果查看工具。官網(wǎng)
vincent：把 Python 轉(zhuǎn)換為 Vega 語法的轉(zhuǎn)換工具。官網(wǎng)
VisPy：基于 OpenGL 的高性能科學(xué)可視化工具。官網(wǎng)

計(jì)算機(jī)視覺

計(jì)算機(jī)視覺庫。

OpenCV：開源計(jì)算機(jī)視覺庫。官網(wǎng)
pyocr：Tesseract 和 Cuneiform 的包裝庫。官網(wǎng)
pytesseract：Google Tesseract OCR 的另一包裝庫。官網(wǎng)
SimpleCV：一個(gè)用來創(chuàng)建計(jì)算機(jī)視覺應(yīng)用的開源框架。官網(wǎng)

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)庫。參見: awesome-machine-learning.

Caffe: 一個(gè) Caffe 的 python 接口。官網(wǎng)
Caffe2：一個(gè)輕量級(jí)的，模塊化的，可擴(kuò)展的深度學(xué)習(xí)框架。官網(wǎng)
Crab：靈活、快速的推薦引擎。官網(wǎng)
gensim：人性化的話題建模庫。官網(wǎng)
hebel：GPU 加速的深度學(xué)習(xí)庫。官網(wǎng)
keras: 以 tensorflow/theano/CNTK 為后端的深度學(xué)習(xí)封裝庫，快速上手神經(jīng)網(wǎng)絡(luò)。官網(wǎng)
MXNet：一個(gè)高效和靈活的深度學(xué)習(xí)框架。官網(wǎng)
NuPIC：智能計(jì)算 Numenta 平臺(tái)。官網(wǎng)
pattern：Python 網(wǎng)絡(luò)挖掘模塊。官網(wǎng)
PyBrain：另一個(gè) Python 機(jī)器學(xué)習(xí)庫。官網(wǎng)
pydeep：Python 深度學(xué)習(xí)庫。官網(wǎng)
Pylearn2：一個(gè)基于 Theano 的機(jī)器學(xué)習(xí)庫。官網(wǎng)
python-recsys：一個(gè)用來實(shí)現(xiàn)推薦系統(tǒng)的 Python 庫。官網(wǎng)
Pytorch：一個(gè)具有張量和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，并有強(qiáng)大 GPU 加速能力的深度學(xué)習(xí)框架。官網(wǎng)
scikit-learn：基于 SciPy 構(gòu)建的機(jī)器學(xué)習(xí) Python 模塊。官網(wǎng)
skflow：一個(gè) TensorFlow 的簡化接口(模仿 scikit-learn)。官網(wǎng)
TensorFlow：谷歌開源的最受歡迎的深度學(xué)習(xí)框架。官網(wǎng)
Theano：一個(gè)快速數(shù)值計(jì)算庫。官網(wǎng)
vowpalporpoise：輕量級(jí) Vowpal Wabbit 的 Python 封裝。官網(wǎng)

MapReduce

MapReduce 框架和庫。

dpark：Spark 的 Python 克隆版，一個(gè)類似 MapReduce 的框架。官網(wǎng)
dumbo：這個(gè) Python 模塊可以讓人輕松的編寫和運(yùn)行 Hadoop 程序。官網(wǎng)
luigi：這個(gè)模塊幫你構(gòu)建批處理作業(yè)的復(fù)雜流水線。官網(wǎng)
mrjob：在 Hadoop 或 Amazon Web Services 上運(yùn)行 MapReduce 任務(wù)。官網(wǎng)
PySpark：Spark 的 Python API 。官網(wǎng)
streamparse：運(yùn)行針對(duì)事實(shí)數(shù)據(jù)流的 Python 代碼。集成了 Apache Storm。官網(wǎng)

函數(shù)式編程

使用 Python 進(jìn)行函數(shù)式編程。

CyToolz：Toolz 的 Cython 實(shí)現(xiàn) : 高性能函數(shù)式工具。官網(wǎng)
fn.py：在 Python 中進(jìn)行函數(shù)式編程 : 實(shí)現(xiàn)了一些享受函數(shù)式編程缺失的功能。官網(wǎng)
funcy：炫酷又實(shí)用的函數(shù)式工具。官網(wǎng)
Toolz：一組用于迭代器，函數(shù)和字典的函數(shù)式編程工具。官網(wǎng)

第三方 API

用來訪問第三方 API 的庫。參見： List of Python API Wrappers and Libraries。

apache-libcloud：一個(gè)為各種云設(shè)計(jì)的 Python 庫。官網(wǎng)
boto：Amazon Web Services 的 Python 接口。官網(wǎng)
django-wordpress：WordPress models and views for Django.官網(wǎng)
facebook-sdk：Facebook 平臺(tái)的 Python SDK.官網(wǎng)
facepy：Facepy 讓和 Facebook's Graph API 的交互變得更容易。官網(wǎng)
gmail：Gmail 的 Python 接口。官網(wǎng)
google-api-python-client：Python 用的 Google APIs 客戶端庫。官網(wǎng)
gspread：Google 電子表格的 Python API.官網(wǎng)
twython：Twitter API 的封裝。官網(wǎng)

DevOps 工具

用于 DevOps 的軟件和庫。

Ansible：一個(gè)非常簡單的 IT 自動(dòng)化平臺(tái)。官網(wǎng)
SaltStack：基礎(chǔ)設(shè)施自動(dòng)化和管理系統(tǒng)。官網(wǎng)
OpenStack：用于構(gòu)建私有和公有云的開源軟件。官網(wǎng)
Docker Compose：快速，分離的開發(fā)環(huán)境，使用 Docker。官網(wǎng)
Fabric：一個(gè)簡單的，Python 風(fēng)格的工具，用來進(jìn)行遠(yuǎn)程執(zhí)行和部署。官網(wǎng)
cuisine：為 Fabric 提供一系列高級(jí)函數(shù)。官網(wǎng)
Fabtools：一個(gè)用來編寫超贊的 Fabric 文件的工具。官網(wǎng)
gitapi：Git 的純 Python API。官網(wǎng)
hgapi：Mercurial 的純 Python API。官網(wǎng)
honcho：Foreman 的 Python 克隆版，用來管理基于 Procfile 的應(yīng)用。官網(wǎng)
pexpect：Controlling interactive programs in a pseudo-terminal like 在一個(gè)偽終端中控制交互程序，就像 GNU expect 一樣。官網(wǎng)
psutil：一個(gè)跨平臺(tái)進(jìn)程和系統(tǒng)工具模塊。官網(wǎng)
supervisor：UNIX 的進(jìn)程控制系統(tǒng)。官網(wǎng)

任務(wù)調(diào)度

任務(wù)調(diào)度庫。

APScheduler：輕巧但強(qiáng)大的進(jìn)程內(nèi)任務(wù)調(diào)度，使你可以調(diào)度函數(shù)。官網(wǎng)
django-schedule：一個(gè) Django 排程應(yīng)用。官網(wǎng)
doit：一個(gè)任務(wù)執(zhí)行和構(gòu)建工具。官網(wǎng)
gunnery：分布式系統(tǒng)使用的多用途任務(wù)執(zhí)行工具，具有 web 交互界面。官網(wǎng)
Joblib：一組為 Python 提供輕量級(jí)作業(yè)流水線的工具。官網(wǎng)
Plan：如有神助地編寫 crontab 文件。官網(wǎng)
schedule：人性化的 Python 任務(wù)調(diào)度庫。官網(wǎng)
Spiff：使用純 Python 實(shí)現(xiàn)的強(qiáng)大的工作流引擎。官網(wǎng)
TaskFlow：一個(gè)可以讓你方便執(zhí)行任務(wù)的 Python 庫，一致并且可靠。官網(wǎng)

外來函數(shù)接口

使用外來函數(shù)接口的庫。

cffi：用來調(diào)用 C 代碼的外來函數(shù)接口。官網(wǎng)
ctypes：(Python 標(biāo)準(zhǔn)庫) 用來調(diào)用 C 代碼的外來函數(shù)接口。官網(wǎng)
PyCUDA：Nvidia CUDA API 的封裝。官網(wǎng)
SWIG：簡化的封裝和接口生成器。官網(wǎng)

高性能

讓 Python 更快的庫。

Cython：優(yōu)化的 Python 靜態(tài)編譯器。使用類型混合使 Python 編譯成 C 或 C++ 模塊來獲得性能的極大提升。官網(wǎng)
PeachPy：嵌入 Python 的 x86-64 匯編器。可以被用作 Python 內(nèi)聯(lián)的匯編器或者是獨(dú)立的匯編器，用于 Windows, Linux, OS X, Native Client 或者 Go 。官網(wǎng)
PyPy：使用 Python 實(shí)現(xiàn)的 Python。解釋器使用黑魔法加快 Python 運(yùn)行速度且不需要加入額外的類型信息。官網(wǎng)
Pyston：使用 LLVM 和現(xiàn)代 JIT 技術(shù)構(gòu)建的 Python 實(shí)現(xiàn)，目標(biāo)是為了獲得很好的性能。官網(wǎng)
Stackless Python：一個(gè)強(qiáng)化版的 Python。官網(wǎng)

微軟的 Windows 平臺(tái)

在 Windows 平臺(tái)上進(jìn)行 Python 編程。

Python(x,y)：面向科學(xué)應(yīng)用的 Python 發(fā)行版，基于 Qt 和 Spyder。官網(wǎng)
pythonlibs：非官方的 Windows 平臺(tái) Python 擴(kuò)展二進(jìn)制包。官網(wǎng)
PythonNet：Python 與 .NET 公共語言運(yùn)行庫 (CLR)的集成。官網(wǎng)
PyWin32：針對(duì) Windows 的 Python 擴(kuò)展。官網(wǎng)
WinPython：Windows 7/8 系統(tǒng)下便攜式開發(fā)環(huán)境。官網(wǎng)

網(wǎng)絡(luò)可視化和 SDN

用來進(jìn)行網(wǎng)絡(luò)可視化和 SDN(軟件定義網(wǎng)絡(luò))的工具和庫。

Mininet：一款流行的網(wǎng)絡(luò)模擬器以及用 Python 編寫的 API。官網(wǎng)
POX：一個(gè)針對(duì)基于 Python 的軟件定義網(wǎng)絡(luò)應(yīng)用（例如 OpenFlow SDN 控制器）的開源開發(fā)平臺(tái)。官網(wǎng)
Pyretic：火熱的 SDN 編程語言中的一員，為網(wǎng)絡(luò)交換機(jī)和模擬器提供強(qiáng)大的抽象能力。官網(wǎng)
SDX Platform：基于 SDN 的 IXP 實(shí)現(xiàn)，影響了 Mininet, POX 和 Pyretic。官網(wǎng)

硬件

用來對(duì)硬件進(jìn)行編程的庫。

ino：操作 Arduino 的命令行工具。官網(wǎng)
Pyro：Python 機(jī)器人編程庫。官網(wǎng)
PyUserInput：跨平臺(tái)的，控制鼠標(biāo)和鍵盤的模塊。官網(wǎng)
scapy：一個(gè)非常棒的操作數(shù)據(jù)包的庫。官網(wǎng)
wifi：一個(gè) Python 庫和命令行工具用來在 Linux 平臺(tái)上操作 WiFi。官網(wǎng)
Pingo：Pingo 為類似 Raspberry Pi，pcDuino， Intel Galileo 等設(shè)備提供統(tǒng)一的 API 用以編程。官網(wǎng)

兼容性

幫助從 Python 2 向 Python 3 遷移的庫。

Python-Future：這就是 Python 2 和 Python 3 之間丟失的那個(gè)兼容性層。官網(wǎng)
Python-Modernize：使 Python 代碼更加現(xiàn)代化以便最終遷移到 Python 3。官網(wǎng)
Six：Python 2 和 3 的兼容性工具。官網(wǎng)
雜項(xiàng)

不屬于上面任何一個(gè)類別，但是非常有用的庫。

blinker：一個(gè)快速的 Python 進(jìn)程內(nèi)信號(hào)/事件分發(fā)系統(tǒng)。官網(wǎng)
itsdangerous：一系列輔助工具用來將可信的數(shù)據(jù)傳入不可信的環(huán)境。官網(wǎng)
pluginbase：一個(gè)簡單但是非常靈活的 Python 插件系統(tǒng)。官網(wǎng)
Pychievements：一個(gè)用來創(chuàng)建和追蹤成就的 Python 框架。官網(wǎng)
Tryton：一個(gè)通用商務(wù)框架。官網(wǎng)

算法和設(shè)計(jì)模式

Python 實(shí)現(xiàn)的算法和設(shè)計(jì)模式。

algorithms：一個(gè) Python 算法模塊。官網(wǎng)
python-patterns：Python 設(shè)計(jì)模式的集合。官網(wǎng)
sortedcontainers：快速，純 Python 實(shí)現(xiàn)的 SortedList，SortedDict 和 SortedSet 類型。官網(wǎng)

編輯器插件

編輯器和 IDE 的插件

Emacs
Elpy：Emacs Python 開發(fā)環(huán)境。官網(wǎng)
Sublime Text
SublimeJEDI：一個(gè) Sublime Text 插件，用來使用超贊的自動(dòng)補(bǔ)全庫 Jedi。官網(wǎng)
Anaconda：Anaconda 把你的 Sublime Text 3 變成一個(gè)功能齊全的 Python IDE。官網(wǎng)
Vim
YouCompleteMe：引入基于 Jedi 的 Python 自動(dòng)補(bǔ)全引擎。官網(wǎng)
Jedi-vim：綁定 Vim 和 Jedi 自動(dòng)補(bǔ)全庫對(duì) Python 進(jìn)行自動(dòng)補(bǔ)全。官網(wǎng)
Python-mode：將 Vim 變成 Python IDE 的一款多合一插件。官網(wǎng)
Visual Studio
PTVS：Visual Studio 的 Python 工具。官網(wǎng)

集成開發(fā)環(huán)境

流行的 Python 集成開發(fā)環(huán)境。

PyCharm：商業(yè)化的 Python IDE ，由 JetBrains 開發(fā)。也有免費(fèi)的社區(qū)版提供。官網(wǎng)
LiClipse：基于 Eclipse 的免費(fèi)多語言 IDE 。使用 PyDev 來支持 Python 。官網(wǎng)
Spyder：開源 Python IDE。官網(wǎng)

自動(dòng)聊天工具

用于開發(fā)聊天機(jī)器人的庫

Errbot：最簡單和最流行的聊天機(jī)器人用來實(shí)現(xiàn)自動(dòng)聊天工具。官網(wǎng)

服務(wù)

在線工具和簡化開發(fā)的 API 。

金融數(shù)據(jù)

Tushare ：一個(gè)可以提供免費(fèi)股票、基金、期貨、港股等金融數(shù)據(jù)的 Python 開源數(shù)據(jù)。官網(wǎng)
Ta-Lib ：金融數(shù)據(jù)技術(shù)分析庫，可以依據(jù)原始金融數(shù)據(jù)計(jì)算各種技術(shù)指標(biāo),計(jì)算性能比較優(yōu)異。官網(wǎng)

持續(xù)集成

參見: awesome-CIandCD.

Travis CI：一個(gè)流行的工具，為你的開源和私人項(xiàng)目提供持續(xù)集成服務(wù)。(僅支持 GitHub)官網(wǎng)
CircleCI：一個(gè)持續(xù)集成工具，可以非常快速的進(jìn)行并行測試。 (僅支持 GitHub)官網(wǎng)
Vexor CI：一個(gè)為私人 app 提供持續(xù)集成的工具，支持按分鐘付費(fèi)。官網(wǎng)
Wercker：基于 Docker 平臺(tái)，用來構(gòu)建和部署微服務(wù)。官網(wǎng)

代碼質(zhì)量

Codacy：自動(dòng)化代碼審查，更加快速的發(fā)布高質(zhì)量代碼。對(duì)于開源項(xiàng)目是免費(fèi)的。官網(wǎng)
QuantifiedCode：一個(gè)數(shù)據(jù)驅(qū)動(dòng)、自動(dòng)、持續(xù)的代碼審查工具。官網(wǎng)

資源

在這里可以找到新的 Python 庫。

網(wǎng)站

r/Python
CoolGithubProjects
Django Packages
Full Stack Python
Python 3 Wall of Superpowers
Python Hackers
Python ZEEF
Trending Python repositories on GitHub today
PyPI Ranking

周刊

Import Python Newsletter
Pycoder's Weekly
Python Weekly

Twitter

@codetengu
@getpy
@planetpython
@pycoders
@pypi
@pythontrending
@PythonWeekly

學(xué)習(xí)指南

Scipy-lecture-notes：如何用 Python 來做學(xué)術(shù)？官網(wǎng)
SScientific-python-lectures：Python 科學(xué)計(jì)算的資料。官網(wǎng)
Mario-Level-1：用 Python 和 Pygame 寫的超級(jí)馬里奧第一關(guān)。官網(wǎng)
Python Koans：Python 的交互式學(xué)習(xí)工具。官網(wǎng)
Minecraft：用 python 寫的 Minecraft 游戲。官網(wǎng)
pycrumbs：Python 資源大全。官網(wǎng)
python-patterns：使用 python 實(shí)現(xiàn)設(shè)計(jì)模式。官網(wǎng)
Projects：Python 項(xiàng)目大集合。官網(wǎng)
The Hitchhiker’s Guide to Python：旅行者的 Python 學(xué)習(xí)指南。官網(wǎng)
Code Like a Pythonista: Idiomatic Python：如何像 Python 高手(Pythonista)一樣編程。官網(wǎng)

知名網(wǎng)站

值得關(guān)注的 Python 技術(shù)站點(diǎn)。

中文站點(diǎn)
伯樂在線 Python 頻道：分享 Python 開發(fā)技術(shù)、相關(guān)的行業(yè)動(dòng)態(tài)。官網(wǎng)
英文站點(diǎn)
《值得關(guān)注的 10 個(gè) Python 英文博客》

關(guān)注頭條號(hào)，回復(fù)“資源”，可獲得本文的原文件和官網(wǎng)鏈接

在線咨詢

上一篇：LEADTOOLS HTML5圖像教程
下一篇：PDF編輯操作圖文：PDF轉(zhuǎn)HTML批量操作技巧，提升文檔格式轉(zhuǎn)換效率

您的項(xiàng)目需求

*請(qǐng)認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。

整合營銷服務(wù)商