整合營銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
玩大數(shù)據(jù)，沒有數(shù)據(jù)怎么玩？這里推薦一些33款開源爬蟲軟件給大家。
爬蟲，即網(wǎng)絡(luò)爬蟲，是一種自動(dòng)獲取網(wǎng)頁內(nèi)容的程序。是搜索引擎的重要組成部分，因此搜索引擎優(yōu)化很大程度上就是針對(duì)爬蟲而做出的優(yōu)化。
網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)上述過程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對(duì)以后的抓取過程給出反饋和指導(dǎo)。
世界上已經(jīng)成型的爬蟲軟件多達(dá)上百種，本文對(duì)較為知名及常見的開源爬蟲軟件進(jìn)行梳理，按開發(fā)語言進(jìn)行匯總。雖然搜索引擎也有爬蟲，但本次我匯總的只是爬蟲軟件，而非大型、復(fù)雜的搜索引擎，因?yàn)楹芏嘈值苤皇窍肱廊?shù)據(jù)，而非運(yùn)營一個(gè)搜索引擎。
Java爬蟲
1、Arachnid
Arachnid是一個(gè)基于Java的web spider框架.它包含一個(gè)簡單的HTML剖析器能夠分析包含HTML內(nèi)容的輸入流.通過實(shí)現(xiàn)Arachnid的子類就能夠開發(fā)一個(gè)簡單的Web spiders并能夠在Web站上的每個(gè)頁面被解析之后增加幾行代碼調(diào)用。 Arachnid的下載包中包含兩個(gè)spider應(yīng)用程序例子用于演示如何使用該框架。
特點(diǎn)：微型爬蟲框架，含有一個(gè)小型HTML解析器
許可證：GPL
2、crawlzilla
crawlzilla 是一個(gè)幫你輕松建立搜索引擎的自由軟件，有了它，你就不用依靠商業(yè)公司的搜索引擎，也不用再煩惱公司內(nèi)部網(wǎng)站資料索引的問題。
由 nutch 專案為核心，并整合更多相關(guān)套件，并卡發(fā)設(shè)計(jì)安裝與管理UI，讓使用者更方便上手。
crawlzilla 除了爬取基本的 html 外，還能分析網(wǎng)頁上的文件，如（ doc、pdf、ppt、ooo、rss ）等多種文件格式，讓你的搜索引擎不只是網(wǎng)頁搜索引擎，而是網(wǎng)站的完整資料索引庫。
擁有中文分詞能力，讓你的搜索更精準(zhǔn)。
crawlzilla的特色與目標(biāo)，最主要就是提供使用者一個(gè)方便好用易安裝的搜索平臺(tái)。
授權(quán)協(xié)議： Apache License 2
開發(fā)語言： Java JavaScript SHELL
操作系統(tǒng)： Linux
項(xiàng)目主頁： https://github.com/shunfa/crawlzilla
下載地址： http://sourceforge.net/projects/crawlzilla/
特點(diǎn)：安裝簡易，擁有中文分詞功能
3、Ex-Crawler
Ex-Crawler 是一個(gè)網(wǎng)頁爬蟲，采用 Java 開發(fā)，該項(xiàng)目分成兩部分，一個(gè)是守護(hù)進(jìn)程，另外一個(gè)是靈活可配置的 Web 爬蟲。使用數(shù)據(jù)庫存儲(chǔ)網(wǎng)頁信息。
授權(quán)協(xié)議： GPLv3
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：由守護(hù)進(jìn)程執(zhí)行，使用數(shù)據(jù)庫存儲(chǔ)網(wǎng)頁信息
4、Heritrix
Heritrix 是一個(gè)由 java 開發(fā)的、開源的網(wǎng)絡(luò)爬蟲，用戶可以使用它來從網(wǎng)上抓取想要的資源。其最出色之處在于它良好的可擴(kuò)展性，方便用戶實(shí)現(xiàn)自己的抓取邏輯。
Heritrix采用的是模塊化的設(shè)計(jì)，各個(gè)模塊由一個(gè)控制器類（CrawlController類）來協(xié)調(diào)，控制器是整體的核心。
代碼托管：https://github.com/internetarchive/heritrix3
特點(diǎn)：嚴(yán)格遵照robots文件的排除指示和META robots標(biāo)簽
5、heyDr
heyDr是一款基于java的輕量級(jí)開源多線程垂直檢索爬蟲框架，遵循GNU GPL V3協(xié)議。
用戶可以通過heyDr構(gòu)建自己的垂直資源爬蟲，用于搭建垂直搜索引擎前期的數(shù)據(jù)準(zhǔn)備。
授權(quán)協(xié)議： GPLv3
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：輕量級(jí)開源多線程垂直檢索爬蟲框架
6、ItSucks
ItSucks是一個(gè)java web spider（web機(jī)器人，爬蟲）開源項(xiàng)目。支持通過下載模板和正則表達(dá)式來定義下載規(guī)則。提供一個(gè)swing GUI操作界面。
特點(diǎn)：提供swing GUI操作界面
7、jcrawl
jcrawl是一款小巧性能優(yōu)良的的web爬蟲,它可以從網(wǎng)頁抓取各種類型的文件,基于用戶定義的符號(hào),比如email,qq.
授權(quán)協(xié)議： Apache
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：輕量、性能優(yōu)良，可以從網(wǎng)頁抓取各種類型的文件
8、JSpider
JSpider是一個(gè)用Java實(shí)現(xiàn)的WebSpider，JSpider的執(zhí)行格式如下：
jspider [URL] [ConfigName]
URL一定要加上協(xié)議名稱，如：http://，否則會(huì)報(bào)錯(cuò)。如果省掉ConfigName，則采用默認(rèn)配置。
JSpider 的行為是由配置文件具體配置的，比如采用什么插件，結(jié)果存儲(chǔ)方式等等都在conf\[ConfigName]\目錄下設(shè)置。JSpider默認(rèn)的配置種類 很少，用途也不大。但是JSpider非常容易擴(kuò)展，可以利用它開發(fā)強(qiáng)大的網(wǎng)頁抓取與數(shù)據(jù)分析工具。要做到這些，需要對(duì)JSpider的原理有深入的了 解，然后根據(jù)自己的需求開發(fā)插件，撰寫配置文件。
授權(quán)協(xié)議： LGPL
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：功能強(qiáng)大，容易擴(kuò)展
9、Leopdo
用JAVA編寫的web 搜索和爬蟲，包括全文和分類垂直搜索，以及分詞系統(tǒng)
授權(quán)協(xié)議： Apache
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：包括全文和分類垂直搜索，以及分詞系統(tǒng)
10、MetaSeeker
是一套完整的網(wǎng)頁內(nèi)容抓取、格式化、數(shù)據(jù)集成、存儲(chǔ)管理和搜索解決方案。
網(wǎng)絡(luò)爬蟲有多種實(shí)現(xiàn)方法，如果按照部署在哪里分，可以分成：
1，服務(wù)器側(cè)：一般是一個(gè)多線程程序，同時(shí)下載多個(gè)目標(biāo)HTML，可以用PHP， Java, Python(當(dāng)前很流行）等做，可以速度做得很快，一般綜合搜索引擎的爬蟲這樣做。但是，如果對(duì)方討厭爬蟲，很可能封掉你的IP，服務(wù)器IP又不容易 改，另外耗用的帶寬也是挺貴的。建議看一下Beautiful soap。
2，客戶端：一般實(shí)現(xiàn)定題爬蟲，或者是聚焦爬蟲，做綜合搜索引擎不容易成功，而垂直搜訴或者比價(jià)服務(wù)或者推薦引擎，相對(duì)容易很多，這類爬蟲不是什么頁面都 取的，而是只取你關(guān)系的頁面，而且只取頁面上關(guān)心的內(nèi)容，例如提取黃頁信息，商品價(jià)格信息，還有提取競爭對(duì)手廣告信息的，搜一下Spyfu，很有趣。這類 爬蟲可以部署很多，而且可以很有侵略性，對(duì)方很難封鎖。
MetaSeeker中的網(wǎng)絡(luò)爬蟲就屬于后者。MetaSeeker工具包利用Mozilla平臺(tái)的能力，只要是Firefox看到的東西，它都能提取。
MetaSeeker工具包是免費(fèi)使用的，下載地址：www.gooseeker.com/cn/node/download/front
特點(diǎn)：網(wǎng)頁抓取、信息提取、數(shù)據(jù)抽取工具包，操作簡單
11、Playfish
playfish是一個(gè)采用java技術(shù)，綜合應(yīng)用多個(gè)開源java組件實(shí)現(xiàn)的網(wǎng)頁抓取工具，通過XML配置文件實(shí)現(xiàn)高度可定制性與可擴(kuò)展性的網(wǎng)頁抓取工具
應(yīng)用開源jar包包括httpclient(內(nèi)容讀取),dom4j（配置文件解析）,jericho（html解析），已經(jīng)在 war包的lib下。
這個(gè)項(xiàng)目目前還很不成熟，但是功能基本都完成了。要求使用者熟悉XML，熟悉正則表達(dá)式。目前通過這個(gè)工具可以抓取各類論壇，貼吧，以及各類CMS系統(tǒng)。像Discuz!,phpbb,論壇跟博客的文章，通過本工具都可以輕松抓取。抓取定義完全采用XML，適合Java開發(fā)人員使用。
使用方法， 1.下載右邊的.war包導(dǎo)入到eclipse中， 2.使用WebContent/sql下的wcc.sql文件建立一個(gè)范例數(shù)據(jù)庫， 3.修改src包下wcc.core的dbConfig.txt，將用戶名與密碼設(shè)置成你自己的mysql用戶名密碼。 4.然后運(yùn)行SystemCore,運(yùn)行時(shí)候會(huì)在控制臺(tái)，無參數(shù)會(huì)執(zhí)行默認(rèn)的example.xml的配置文件，帶參數(shù)時(shí)候名稱為配置文件名。
系統(tǒng)自帶了3個(gè)例子，分別為baidu.xml抓取百度知道，example.xml抓取我的javaeye的博客，bbs.xml抓取一個(gè)采用 discuz論壇的內(nèi)容。
授權(quán)協(xié)議： MIT
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：通過XML配置文件實(shí)現(xiàn)高度可定制性與可擴(kuò)展性
12、Spiderman
Spiderman 是一個(gè)基于微內(nèi)核+插件式架構(gòu)的網(wǎng)絡(luò)蜘蛛，它的目標(biāo)是通過簡單的方法就能將復(fù)雜的目標(biāo)網(wǎng)頁信息抓取并解析為自己所需要的業(yè)務(wù)數(shù)據(jù)。
怎么使用？
首先，確定好你的目標(biāo)網(wǎng)站以及目標(biāo)網(wǎng)頁（即某一類你想要獲取數(shù)據(jù)的網(wǎng)頁，例如網(wǎng)易新聞的新聞頁面）
然后，打開目標(biāo)頁面，分析頁面的HTML結(jié)構(gòu)，得到你想要數(shù)據(jù)的XPath，具體XPath怎么獲取請看下文。
最后，在一個(gè)xml配置文件里填寫好參數(shù)，運(yùn)行Spiderman吧！
授權(quán)協(xié)議： Apache
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：靈活、擴(kuò)展性強(qiáng)，微內(nèi)核+插件式架構(gòu)，通過簡單的配置就可以完成數(shù)據(jù)抓取，無需編寫一句代碼
13、webmagic
webmagic的是一個(gè)無須配置、便于二次開發(fā)的爬蟲框架，它提供簡單靈活的API，只需少量代碼即可實(shí)現(xiàn)一個(gè)爬蟲。
webmagic采用完全模塊化的設(shè)計(jì)，功能覆蓋整個(gè)爬蟲的生命周期(鏈接提取、頁面下載、內(nèi)容抽取、持久化)，支持多線程抓取，分布式抓取，并支持自動(dòng)重試、自定義UA/cookie等功能。
webmagic包含強(qiáng)大的頁面抽取功能，開發(fā)者可以便捷的使用css selector、xpath和正則表達(dá)式進(jìn)行鏈接和內(nèi)容的提取，支持多個(gè)選擇器鏈?zhǔn)秸{(diào)用。
webmagic的使用文檔：http://webmagic.io/docs/
查看源代碼：http://git.oschina.net/flashsword20/webmagic
授權(quán)協(xié)議： Apache
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：功能覆蓋整個(gè)爬蟲生命周期，使用Xpath和正則表達(dá)式進(jìn)行鏈接和內(nèi)容的提取。
備注：這是一款國產(chǎn)開源軟件，由 黃億華貢獻(xiàn)
14、Web-Harvest
Web-Harvest是一個(gè)Java開源Web數(shù)據(jù)抽取工具。它能夠收集指定的Web頁面并從這些頁面中提取有用的數(shù)據(jù)。Web-Harvest主要是運(yùn)用了像XSLT,XQuery,正則表達(dá)式等這些技術(shù)來實(shí)現(xiàn)對(duì)text/xml的操作。
其實(shí)現(xiàn)原理是，根據(jù)預(yù)先定義的配置文件用httpclient獲取頁面的全部內(nèi)容（關(guān)于httpclient的內(nèi)容，本博有些文章已介紹），然后運(yùn)用XPath、XQuery、正則表達(dá)式等這些技術(shù)來實(shí)現(xiàn)對(duì)text/xml的內(nèi)容篩選操作，選取精確的數(shù)據(jù)。前兩年比較火的垂直搜索（比如：酷訊等）也是采用類似的原理實(shí)現(xiàn)的。Web-Harvest應(yīng)用，關(guān)鍵就是理解和定義配置文件，其他的就是考慮怎么處理數(shù)據(jù)的Java代碼。當(dāng)然在爬蟲開始前，也可以把Java變量填充到配置文件中，實(shí)現(xiàn)動(dòng)態(tài)的配置。
授權(quán)協(xié)議： BSD
開發(fā)語言： Java
特點(diǎn)：運(yùn)用XSLT、XQuery、正則表達(dá)式等技術(shù)來實(shí)現(xiàn)對(duì)Text或XML的操作，具有可視化的界面
15、WebSPHINX
WebSPHINX是一個(gè)Java類包和Web爬蟲的交互式開發(fā)環(huán)境。Web爬蟲(也叫作機(jī)器人或蜘蛛)是可以自動(dòng)瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺(tái)和WebSPHINX類包。
授權(quán)協(xié)議：Apache
開發(fā)語言：Java
特點(diǎn)：由兩部分組成：爬蟲工作平臺(tái)和WebSPHINX類包
16、YaCy
YaCy基于p2p的分布式Web搜索引擎.同時(shí)也是一個(gè)Http緩存代理服務(wù)器.這個(gè)項(xiàng)目是構(gòu)建基于p2p Web索引網(wǎng)絡(luò)的一個(gè)新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的網(wǎng)頁或啟動(dòng)分布式Crawling等.
授權(quán)協(xié)議： GPL
開發(fā)語言： Java Perl
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：基于P2P的分布式Web搜索引擎
Python爬蟲
17、QuickRecon
QuickRecon是一個(gè)簡單的信息收集工具,它可以幫助你查找子域名名稱、perform zone transfe、收集電子郵件地址和使用microformats尋找人際關(guān)系等。QuickRecon使用python編寫，支持linux和 windows操作系統(tǒng)。
授權(quán)協(xié)議： GPLv3
開發(fā)語言： Python
操作系統(tǒng)： Windows Linux
特點(diǎn)：具有查找子域名名稱、收集電子郵件地址并尋找人際關(guān)系等功能
18、PyRailgun
這是一個(gè)非常簡單易用的抓取工具。支持抓取javascript渲染的頁面的簡單實(shí)用高效的python網(wǎng)頁爬蟲抓取模塊
授權(quán)協(xié)議： MIT
開發(fā)語言： Python
操作系統(tǒng)： 跨平臺(tái) Windows Linux OS X
特點(diǎn)：簡潔、輕量、高效的網(wǎng)頁抓取框架
備注：此軟件也是由國人開放
github下載：https://github.com/princehaku/pyrailgun#readme
19、Scrapy
Scrapy 是一套基于基于Twisted的異步處理框架，純python實(shí)現(xiàn)的爬蟲框架，用戶只需要定制開發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲，用來抓取網(wǎng)頁內(nèi)容以及各種圖片，非常之方便～
授權(quán)協(xié)議： BSD
開發(fā)語言： Python
操作系統(tǒng)： 跨平臺(tái)
github源代碼：https://github.com/scrapy/scrapy
特點(diǎn)：基于Twisted的異步處理框架，文檔齊全
C++爬蟲
20、hispider
HiSpider is a fast and high performance spider with high speed
嚴(yán)格說只能是一個(gè)spider系統(tǒng)的框架, 沒有細(xì)化需求, 目前只是能提取URL, URL排重, 異步DNS解析, 隊(duì)列化任務(wù), 支持N機(jī)分布式下載, 支持網(wǎng)站定向下載(需要配置hispiderd.ini whitelist).
特征和用法:
工作流程:
授權(quán)協(xié)議： BSD
開發(fā)語言： C/C++
操作系統(tǒng)： Linux
特點(diǎn)：支持多機(jī)分布式下載, 支持網(wǎng)站定向下載
21、larbin
larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 Sébastien Ailleret獨(dú)立開發(fā)。larbin目的是能夠跟蹤頁面的url進(jìn)行擴(kuò)展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。Larbin只是一個(gè)爬蟲，也就 是說larbin只抓取網(wǎng)頁，至于如何parse的事情則由用戶自己完成。另外，如何存儲(chǔ)到數(shù)據(jù)庫以及建立索引的事情 larbin也不提供。一個(gè)簡單的larbin的爬蟲可以每天獲取５００萬的網(wǎng)頁。
利用larbin，我們可以輕易的獲取/確定單個(gè)網(wǎng)站的所有鏈接，甚至可以鏡像一個(gè)網(wǎng)站；也可以用它建立url 列表群，例如針對(duì)所有的網(wǎng)頁進(jìn)行 url retrive后，進(jìn)行xml的聯(lián)結(jié)的獲取。或者是 mp3，或者定制larbin，可以作為搜索引擎的信息的來源。
授權(quán)協(xié)議： GPL
開發(fā)語言： C/C++
操作系統(tǒng)： Linux
特點(diǎn)：高性能的爬蟲軟件，只負(fù)責(zé)抓取不負(fù)責(zé)解析
22、Methabot
Methabot 是一個(gè)經(jīng)過速度優(yōu)化的高可配置的 WEB、FTP、本地文件系統(tǒng)的爬蟲軟件。
授權(quán)協(xié)議： 未知
開發(fā)語言： C/C++
操作系統(tǒng)： Windows Linux
特點(diǎn)：過速度優(yōu)化、可抓取WEB、FTP及本地文件系統(tǒng)
源代碼：http://www.oschina.net/code/tag/methabot
C#爬蟲
23、NWebCrawler
NWebCrawler是一款開源，C#開發(fā)網(wǎng)絡(luò)爬蟲程序。
特性：
授權(quán)協(xié)議： GPLv2
開發(fā)語言： C#
操作系統(tǒng)： Windows
項(xiàng)目主頁：http://www.open-open.com/lib/view/home/1350117470448
特點(diǎn)：統(tǒng)計(jì)信息、執(zhí)行過程可視化
24、Sinawler
國內(nèi)第一個(gè)針對(duì)微博數(shù)據(jù)的爬蟲程序！原名“新浪微博爬蟲”。
登錄后，可以指定用戶為起點(diǎn)，以該用戶的關(guān)注人、粉絲為線索，延人脈關(guān)系搜集用戶基本信息、微博數(shù)據(jù)、評(píng)論數(shù)據(jù)。
該應(yīng)用獲取的數(shù)據(jù)可作為科研、與新浪微博相關(guān)的研發(fā)等的數(shù)據(jù)支持，但請勿用于商業(yè)用途。該應(yīng)用基于.NET2.0框架，需SQL SERVER作為后臺(tái)數(shù)據(jù)庫，并提供了針對(duì)SQL Server的數(shù)據(jù)庫腳本文件。
另外，由于新浪微博API的限制，爬取的數(shù)據(jù)可能不夠完整（如獲取粉絲數(shù)量的限制、獲取微博數(shù)量的限制等）
本程序版權(quán)歸作者所有。你可以免費(fèi): 拷貝、分發(fā)、呈現(xiàn)和表演當(dāng)前作品,制作派生作品。 你不可將當(dāng)前作品用于商業(yè)目的。
5.x版本已經(jīng)發(fā)布！ 該版本共有6個(gè)后臺(tái)工作線程：爬取用戶基本信息的機(jī)器人、爬取用戶關(guān)系的機(jī)器人、爬取用戶標(biāo)簽的機(jī)器人、爬取微博內(nèi)容的機(jī)器人、爬取微博評(píng)論的機(jī)器人，以及調(diào)節(jié)請求頻率的機(jī)器人。更高的性能！最大限度挖掘爬蟲潛力！ 以現(xiàn)在測試的結(jié)果看，已經(jīng)能夠滿足自用。
本程序的特點(diǎn)：
1、6個(gè)后臺(tái)工作線程，最大限度挖掘爬蟲性能潛力！
2、界面上提供參數(shù)設(shè)置，靈活方便
3、拋棄app.config配置文件，自己實(shí)現(xiàn)配置信息的加密存儲(chǔ)，保護(hù)數(shù)據(jù)庫帳號(hào)信息
4、自動(dòng)調(diào)整請求頻率，防止超限，也避免過慢，降低效率
5、任意對(duì)爬蟲控制，可隨時(shí)暫停、繼續(xù)、停止爬蟲
6、良好的用戶體驗(yàn)
授權(quán)協(xié)議： GPLv3
開發(fā)語言： C# .NET
操作系統(tǒng)： Windows
25、spidernet
spidernet是一個(gè)以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設(shè)定爬行深度, 最大下載字節(jié)數(shù)限制, 支持gzip解碼, 支持以gbk(gb2312)和utf8編碼的資源; 存儲(chǔ)于sqlite數(shù)據(jù)文件.
源碼中TODO:標(biāo)記描述了未完成功能, 希望提交你的代碼.
授權(quán)協(xié)議： MIT
開發(fā)語言： C#
操作系統(tǒng)： Windows
github源代碼：https://github.com/nsnail/spidernet
特點(diǎn)：以遞歸樹為模型的多線程web爬蟲程序，支持以GBK (gb2312)和utf8編碼的資源，使用sqlite存儲(chǔ)數(shù)據(jù)
26、Web Crawler
mart and Simple Web Crawler是一個(gè)Web爬蟲框架。集成Lucene支持。該爬蟲可以從單個(gè)鏈接或一個(gè)鏈接數(shù)組開始，提供兩種遍歷模式：最大迭代和最大深度。可以設(shè)置 過濾器限制爬回來的鏈接，默認(rèn)提供三個(gè)過濾器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，這三個(gè)過濾器可用AND、OR和NOT聯(lián)合。在解析過程或頁面加載前后都可以加監(jiān)聽器。介紹內(nèi)容來自O(shè)pen-Open
開發(fā)語言： Java
操作系統(tǒng)： 跨平臺(tái)
授權(quán)協(xié)議： LGPL
特點(diǎn)：多線程，支持抓取PDF/DOC/EXCEL等文檔來源
27、網(wǎng)絡(luò)礦工
網(wǎng)站數(shù)據(jù)采集軟件 網(wǎng)絡(luò)礦工采集器（原soukey采摘）
Soukey采摘網(wǎng)站數(shù)據(jù)采集軟件是一款基于.Net平臺(tái)的開源軟件，也是網(wǎng)站數(shù)據(jù)采集軟件類型中唯一一款開源軟件。盡管Soukey采摘開源，但并不會(huì)影響軟件功能的提供，甚至要比一些商用軟件的功能還要豐富。
授權(quán)協(xié)議： BSD
開發(fā)語言： C# .NET
操作系統(tǒng)： Windows
特點(diǎn)：功能豐富，毫不遜色于商業(yè)軟件
PHP爬蟲
28、OpenWebSpider
OpenWebSpider是一個(gè)開源多線程Web Spider（robot：機(jī)器人，crawler：爬蟲)和包含許多有趣功能的搜索引擎。
授權(quán)協(xié)議： 未知
開發(fā)語言： PHP
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：開源多線程網(wǎng)絡(luò)爬蟲，有許多有趣的功能
29、PhpDig
PhpDig是一個(gè)采用PHP開發(fā)的Web爬蟲和搜索引擎。通過對(duì)動(dòng)態(tài)和靜態(tài)頁面進(jìn)行索引建立一個(gè)詞匯表。當(dāng)搜索查詢時(shí)，它將按一定的排序規(guī)則顯示包含關(guān) 鍵字的搜索結(jié)果頁面。PhpDig包含一個(gè)模板系統(tǒng)并能夠索引PDF,Word,Excel,和PowerPoint文檔。PHPdig適用于專業(yè)化更 強(qiáng)、層次更深的個(gè)性化搜索引擎，利用它打造針對(duì)某一領(lǐng)域的垂直搜索引擎是最好的選擇。
演示：http://www.phpdig.net/navigation.php?action=demo
授權(quán)協(xié)議： GPL
開發(fā)語言： PHP
操作系統(tǒng)： 跨平臺(tái)
特點(diǎn)：具有采集網(wǎng)頁內(nèi)容、提交表單功能
30、ThinkUp
ThinkUp 是一個(gè)可以采集推特，facebook等社交網(wǎng)絡(luò)數(shù)據(jù)的社會(huì)媒體視角引擎。通過采集個(gè)人的社交網(wǎng)絡(luò)賬號(hào)中的數(shù)據(jù)，對(duì)其存檔以及處理的交互分析工具，并將數(shù)據(jù)圖形化以便更直觀的查看。
授權(quán)協(xié)議： GPL
開發(fā)語言： PHP
操作系統(tǒng)： 跨平臺(tái)
github源碼：https://github.com/ThinkUpLLC/ThinkUp
特點(diǎn)：采集推特、臉譜等社交網(wǎng)絡(luò)數(shù)據(jù)的社會(huì)媒體視角引擎，可進(jìn)行交互分析并將結(jié)果以可視化形式展現(xiàn)
31、微購
微購社會(huì)化購物系統(tǒng)是一款基于ThinkPHP框架開發(fā)的開源的購物分享系統(tǒng)，同時(shí)它也是一套針對(duì)站長、開源的的淘寶客網(wǎng)站程序，它整合了淘寶、天貓、淘寶客等300多家商品數(shù)據(jù)采集接口，為廣大的淘寶客站長提供傻瓜式淘客建站服務(wù)，會(huì)HTML就會(huì)做程序模板，免費(fèi)開放下載，是廣大淘客站長的首選。
演示網(wǎng)址：http://tlx.wego360.com
授權(quán)協(xié)議： GPL
開發(fā)語言： PHP
操作系統(tǒng)： 跨平臺(tái)
ErLang爬蟲
32、Ebot
Ebot 是一個(gè)用 ErLang 語言開發(fā)的可伸縮的分布式網(wǎng)頁爬蟲，URLs 被保存在數(shù)據(jù)庫中可通過 RESTful 的 HTTP 請求來查詢。
授權(quán)協(xié)議： GPLv3
開發(fā)語言： ErLang
操作系統(tǒng)： 跨平臺(tái)
github源代碼：https://github.com/matteoredaelli/ebot
項(xiàng)目主頁： http://www.redaelli.org/matteo/blog/projects/ebot
特點(diǎn)：可伸縮的分布式網(wǎng)頁爬蟲
Ruby爬蟲
33、Spidr
Spidr 是一個(gè)Ruby 的網(wǎng)頁爬蟲庫，可以將整個(gè)網(wǎng)站、多個(gè)網(wǎng)站、某個(gè)鏈接完全抓取到本地。
開發(fā)語言： Ruby
授權(quán)協(xié)議：MIT
特點(diǎn)：可將一個(gè)或多個(gè)網(wǎng)站、某個(gè)鏈接完全抓取到本地
絡(luò)爬蟲是一種常見的數(shù)據(jù)采集技術(shù)，你可以從網(wǎng)頁、 APP上抓取任何想要的公開數(shù)據(jù)，當(dāng)然需要在合法前提下。
爬蟲使用場景也很多，比如：
與屏幕抓取不同，屏幕抓取只復(fù)制屏幕上顯示的像素，網(wǎng)絡(luò)爬蟲提取的是底層的HTML代碼，以及存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)。一般使用抓包工具獲取HTML，然后使用網(wǎng)頁解析工具提取數(shù)據(jù)。
你可以使用Python編寫爬蟲代碼實(shí)現(xiàn)數(shù)據(jù)采集，也可以使用自動(dòng)化爬蟲工具，這些工具對(duì)爬蟲代碼進(jìn)行了封裝，你只需要配置下參數(shù)，就可以自動(dòng)進(jìn)行爬蟲。
這里推薦3款不錯(cuò)的自動(dòng)化爬蟲工具，八爪魚、亮數(shù)據(jù)、Web Scraper
八爪魚爬蟲是一款功能強(qiáng)大的桌面端爬蟲軟件，主打可視化操作，即使是沒有任何編程基礎(chǔ)的用戶也能輕松上手。
官網(wǎng)：1.軟件分享[耶]八爪魚，爬取了幾百條網(wǎng)站上的公開數(shù)據(jù)，不用學(xué)代碼真的很方便。[得意]2.發(fā)現(xiàn)了一個(gè)很棒的軟件，?不用學(xué)python也可以爬數(shù)據(jù)！用它爬了n多數(shù)據(jù)。3.微博、電商、各大新聞平臺(tái)的數(shù)據(jù)，很多可以用模版一鍵爬取數(shù)據(jù)，非常方便！4.做科研項(xiàng)目要采集很多數(shù)據(jù)，[耶]科研人的救命神器，推薦！5.實(shí)時(shí)獲取樓市動(dòng)態(tài)，用八爪魚收集網(wǎng)上關(guān)于樓盤的用戶評(píng)價(jià)，不用學(xué)代碼直接爬了很多數(shù)據(jù)6.用八爪魚實(shí)時(shí)爬取電商數(shù)據(jù)，追蹤競爭對(duì)手價(jià)格，商品信息一手掌握[得意]7.用八爪魚自動(dòng)收集全網(wǎng)最新新聞，迅速獲取熱點(diǎn)資訊，超方便?
八爪魚支持多種數(shù)據(jù)類型采集，包括文本、圖片、表格等，并提供強(qiáng)大的自定義功能，能夠滿足不同用戶需求。此外，八爪魚爬蟲支持將采集到的數(shù)據(jù)導(dǎo)出為多種格式，方便后續(xù)分析處理。
主要優(yōu)勢:
使用方法:
亮數(shù)據(jù)平臺(tái)提供了強(qiáng)大的數(shù)據(jù)采集工具，比如Web Scraper IDE、亮數(shù)據(jù)瀏覽器、SERP API等，能夠自動(dòng)化地從網(wǎng)站上抓取所需數(shù)據(jù)，無需分析目標(biāo)平臺(tái)的接口，直接使用亮數(shù)據(jù)提供的方案即可安全穩(wěn)定地獲取數(shù)據(jù)。
網(wǎng)站：「鏈接」
亮數(shù)據(jù)瀏覽器支持對(duì)多個(gè)網(wǎng)頁進(jìn)行批量數(shù)據(jù)抓取，適用于需要JavaScript渲染的頁面或需要進(jìn)行網(wǎng)頁交互的場景。
另外，亮數(shù)據(jù)瀏覽器內(nèi)置了自動(dòng)網(wǎng)站解鎖功能，能夠應(yīng)對(duì)各種反爬蟲機(jī)制，確保數(shù)據(jù)的順利抓取。它能兼容多種自動(dòng)化工具，如Puppeteer、Playwright和Selenium等，用戶可以根據(jù)需求選擇合適的工具進(jìn)行數(shù)據(jù)抓取。
主要優(yōu)勢:
使用方法:
Web Scraper是一款輕便易用的瀏覽器擴(kuò)展插件，用戶無需安裝額外的軟件，即可在Chrome瀏覽器中進(jìn)行爬蟲。插件支持多種數(shù)據(jù)類型采集，并可將采集到的數(shù)據(jù)導(dǎo)出為多種格式。
主要優(yōu)勢:
使用方法:
無論是需要簡單快速的數(shù)據(jù)采集，還是復(fù)雜的定制化服務(wù)，八爪魚爬蟲、亮數(shù)據(jù)爬蟲和Web Scraper都能滿足采集需求。
選擇合適的工具，讓數(shù)據(jù)采集變得更加輕松和高效。記得在使用這些工具時(shí)，一定要遵守相關(guān)網(wǎng)站的爬蟲政策和法律法規(guī)。
eb抓取（也稱為 Web數(shù)據(jù)提取，屏幕抓取或Web收獲）是一種從網(wǎng)站提取數(shù)據(jù)的Web技術(shù)。它將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為可以存儲(chǔ)到本地計(jì)算機(jī)或數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)。
對(duì)于對(duì)編碼一無所知的人來說，構(gòu)建一個(gè)網(wǎng)絡(luò)抓取器可能很困難。幸運(yùn)的是，對(duì)于有或沒有編程技能的人都有一些可用的工具。這是我們從開源庫到瀏覽器擴(kuò)展再到桌面軟件的30種最受歡迎??的Web抓取工具的列表。
1. 美麗的湯
網(wǎng)站： https ：//www.crummy.com/software/BeautifulSoup/
這是誰的對(duì)象： 精通編程以構(gòu)建Web爬網(wǎng)程序/ Web爬網(wǎng)程序以爬網(wǎng)網(wǎng)站的開發(fā)人員。
為何要使用它： Beautiful Soup是一個(gè)開放源代碼Python庫，專門用于網(wǎng)絡(luò)抓取HTML和XML文件。它是已被廣泛使用的頂級(jí)Python解析器。如果您具有編程技能，那么將該庫與Python結(jié)合使用時(shí)，效果最佳。
2. 八度分析
網(wǎng)站：https：//www.octoparse.com/
這是誰的呢？人們不知道電子商務(wù)，投資，加密貨幣，市場營銷，房地產(chǎn)等行業(yè)的編碼。具有網(wǎng)頁抓取需求的企業(yè)。
為什么要使用它： Octoparse是終身免費(fèi)的SaaS Web數(shù)據(jù)平臺(tái)。您可以用來抓取Web數(shù)據(jù)，并將網(wǎng)站中的非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)集，而無需進(jìn)行編碼。它還提供了現(xiàn)成的任務(wù)模板，包括eBay， Twitter，BestBuy以及許多其他模板。Octoparse還提供Web數(shù)據(jù)服務(wù)。它可以根據(jù)您的刮擦需求定制刮刀。
3. Import.io
這是誰的用戶：正在尋找Web數(shù)據(jù)集成解決方案的企業(yè)。
為什么要使用它： Import.io是一個(gè)SaaS Web數(shù)據(jù)平臺(tái)。它提供了一個(gè)Web抓取軟件，可讓您從網(wǎng)站抓取數(shù)據(jù)并將其組織成數(shù)據(jù)集。他們可以將Web數(shù)據(jù)集成到用于銷售和營銷的分析工具中，以獲取見識(shí)。
4. Mozenda
這是誰的對(duì)象：具有可伸縮數(shù)據(jù)需求的企業(yè)和業(yè)務(wù)。
為什么要使用它： Mozenda提供了一種數(shù)據(jù)提取工具，可以輕松地從Web捕獲內(nèi)容。他們還提供數(shù)據(jù)可視化服務(wù)。它消除了雇用數(shù)據(jù)分析師的需要。
5. Parsehub
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為什么要使用它： ParseHub是一個(gè)可視化的Web抓取軟件，可用于從Web上獲取數(shù)據(jù)。您可以通過單擊網(wǎng)站上的任何字段來提取數(shù)據(jù)。它還具有IP輪換功能，當(dāng)您遇到帶有反抓取技術(shù)的激進(jìn)網(wǎng)站時(shí)，這將有助于更改您的IP地址。
6. 爬行動(dòng)物
這是誰的對(duì)象： SEO和營銷商
為什么要使用它： CrawlMonster是免費(fèi)的網(wǎng)絡(luò)抓取軟件。它使您能夠掃描網(wǎng)站并分析網(wǎng)站內(nèi)容，源代碼，頁面狀態(tài)以及許多其他內(nèi)容。
7. 內(nèi)涵
這是誰的用戶：正在尋找Web數(shù)據(jù)集成解決方案的企業(yè)。
為何要使用它： Connotate已與Import.IO一起使用，后者提供了自動(dòng)進(jìn)行Web數(shù)據(jù)抓取的解決方案。它提供了網(wǎng)絡(luò)數(shù)據(jù)服務(wù)，可以幫助您抓取，收集和處理數(shù)據(jù)。
8. 常見的抓取
這是給誰的：研究人員，學(xué)生和教授。
為什么要使用它： Common Crawl由數(shù)字時(shí)代的開源理念創(chuàng)立。它提供了已爬網(wǎng)網(wǎng)站的開放數(shù)據(jù)集。它包含原始網(wǎng)頁數(shù)據(jù)，提取的元數(shù)據(jù)和文本提取。
9. 爬行
這是誰的對(duì)象：有基本數(shù)據(jù)要求且無需編碼的人員。
為何要使用它： Crawly提供了自動(dòng)服務(wù)，該服務(wù)可抓取網(wǎng)站并將其轉(zhuǎn)換為JSON或CSV形式的結(jié)構(gòu)化數(shù)據(jù)。他們可以在幾秒鐘內(nèi)提取有限的元素，包括：標(biāo)題文本。HTML，注釋，DateEntity標(biāo)簽，作者，圖像URL，視頻，發(fā)布者和國家/地區(qū)。
10. 內(nèi)容收集器內(nèi)容收集器
這是誰的對(duì)象：精通編程的Python開發(fā)人員。
為什么要使用它： Content Grabber是針對(duì)企業(yè)的Web抓取軟件。您可以使用其集成的第三方工具來創(chuàng)建自己的Web抓取代理。它在處理復(fù)雜的網(wǎng)站和數(shù)據(jù)提取方面非常靈活。
11. Diffbot
這是誰的對(duì)象：開發(fā)人員和業(yè)務(wù)。
為什么要使用它： Diffbot是一個(gè)Web抓取工具，它使用機(jī)器學(xué)習(xí)和算法以及公共API從網(wǎng)頁/ Web抓取中提取數(shù)據(jù)。您可以使用Diffbot進(jìn)行競爭對(duì)手分析，價(jià)格監(jiān)控，分析消費(fèi)者行為等等。
12. Dexi.io
這是誰的對(duì)象：具有編程和拼寫技能的人。
為什么要使用它： Dexi.io是基于瀏覽器的Web搜尋器。它提供了三種類型的機(jī)器人-提取器，履帶和管道。PIPES具有主機(jī)器人功能，其中1個(gè)機(jī)器人可以控制多個(gè)任務(wù)。它支持許多第三方服務(wù)（驗(yàn)證碼求解器，云存儲(chǔ)等），您可以輕松地將其集成到機(jī)器人中。
13. DataScraping.co
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為什么要使用它： Data Scraping Studio是一個(gè)免費(fèi)的網(wǎng)絡(luò)抓取軟件，可從網(wǎng)頁，HTML，XML和pdf中收集數(shù)據(jù)。桌面客戶端當(dāng)前僅適用于Windows。
14. 簡易Web提取
這是誰的原因：數(shù)據(jù)需求有限的業(yè)務(wù)，營銷人員和缺乏編程技能的研究人員。
為什么要使用它： Easy Web Extract是用于商業(yè)目的的可視化Web抓取軟件。它可以從網(wǎng)頁中提取內(nèi)容（文本，URL，圖像，文件），并將結(jié)果轉(zhuǎn)換為多種格式。
15. FMiner
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
使用原因： FMiner是具有可視化圖表設(shè)計(jì)器的Web抓取軟件，它使您可以使用宏記錄器來構(gòu)建項(xiàng)目而無需進(jìn)行編碼。高級(jí)功能使您可以使用Ajax和Javascript從動(dòng)態(tài)網(wǎng)站中抓取。
16. Scrapy
這是誰的對(duì)象：具有編程和抓取技能的Python開發(fā)人員
為什么要使用它： Scrapy用于開發(fā)蜘蛛。該產(chǎn)品的優(yōu)點(diǎn)在于它具有異步網(wǎng)絡(luò)庫，該庫可讓您在完成任務(wù)之前繼續(xù)進(jìn)行下一個(gè)任務(wù)。
17. 氦氣刮刀
這是誰的對(duì)象： 缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為何要使用它： Helium Scraper是一種可視化的Web數(shù)據(jù)抓取軟件，在網(wǎng)站上的小元素上特別有效。它具有用戶友好的點(diǎn)擊界面，使其更易于使用。
18. Scrape.it
這是針對(duì)誰的：需要無需編碼的可伸縮數(shù)據(jù)的人。
為何要使用它：它允許將刮取的數(shù)據(jù)存儲(chǔ)在您授權(quán)的本地驅(qū)動(dòng)器上。您可以使用其Web Scraping Language（WSL）構(gòu)建刮板，該刮板的學(xué)習(xí)曲線很低，并且無需編碼。如果您正在尋找一種安全的Web抓取工具，這是一個(gè)不錯(cuò)的選擇，值得一試。
19. ScraperWiki
這是誰的工具：Python和R數(shù)據(jù)分析環(huán)境，非常適合于編碼新手的經(jīng)濟(jì)學(xué)家，統(tǒng)計(jì)學(xué)家和數(shù)據(jù)經(jīng)理。
為什么要使用它：它在公司內(nèi)部有兩個(gè)部分。一種是QuickCode，它是為具有Python和R語言知識(shí)的經(jīng)濟(jì)學(xué)家，統(tǒng)計(jì)學(xué)家和數(shù)據(jù)管理人員設(shè)計(jì)的。第二部分是The Sensible Code Company，它提供Web數(shù)據(jù)服務(wù)以將混亂的信息轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。
20. Scrapinghub
這是誰的對(duì)象：Python /網(wǎng)絡(luò)抓取開發(fā)人員
為什么要使用它： Scraping Hub是基于云的Web平臺(tái)。它具有四種不同類型的工具-Scrapy Cloud，Portia，Crawlera和Splash。Scrapinghub能夠提供覆蓋50多個(gè)國家/地區(qū)的IP地址真是太好了，這是IP禁止問題的解決方案。
21. 屏幕抓取器
這是誰的對(duì)象：與汽車，醫(yī)療，金融和電子商務(wù)行業(yè)有關(guān)的業(yè)務(wù)。
使用原因： Screen Scraper可以為汽車，醫(yī)療，金融和電子商務(wù)行業(yè)提供Web數(shù)據(jù)服務(wù)。與其他網(wǎng)絡(luò)抓取工具（如Octoparse）相比，它更加方便和基本。對(duì)于沒有網(wǎng)絡(luò)抓取經(jīng)驗(yàn)的人，它的學(xué)習(xí)曲線也很陡。
22. Salestools.io
這是給誰的：營銷人員和銷售人員。
為什么要使用它： Salestools.io提供了一個(gè)Web抓取軟件，可以幫助銷售人員在LinkedIn，Angellist，Viadeo等專業(yè)網(wǎng)絡(luò)上收集數(shù)據(jù)。
23. ScrapeHero
對(duì) 投資者來說，這是誰？對(duì)沖基金，市場分析師
為什么要使用它：作為API提供程序的ScrapeHero可讓您將網(wǎng)站變成數(shù)據(jù)。它為企業(yè)和企業(yè)提供定制的Web數(shù)據(jù)服務(wù)。
24. UniPath
這是誰的：各種規(guī)模的業(yè)務(wù)。
為何要使用它： UiPath是用于自動(dòng)Web抓取的機(jī)器人過程自動(dòng)化軟件。它允許用戶在業(yè)務(wù)流程中創(chuàng)建，部署和管理自動(dòng)化。對(duì)于企業(yè)用戶而言，這是一個(gè)不錯(cuò)的選擇，因?yàn)樗鼓梢詣?chuàng)建數(shù)據(jù)管理規(guī)則。
25. Web內(nèi)容提取器
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為何要使用它： Web Content Extractor是一個(gè)易于使用的Web抓取軟件，可用于您的私人或企業(yè)用途。學(xué)習(xí)和掌握非常容易。它有14天的免費(fèi)試用期。
26. Webharvy
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為什么要使用它： WebHarvy是一個(gè)點(diǎn)擊式Web抓取軟件。它是為非程序員設(shè)計(jì)的。提取程序不允許您安排時(shí)間。他們有網(wǎng)絡(luò)抓取教程，對(duì)大多數(shù)初學(xué)者來說非常有用。
27. Web Scraper.io
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為什么要使用它： Web Scraper是chrome瀏覽器擴(kuò)展程序，用于從網(wǎng)站抓取數(shù)據(jù)。這是一個(gè)免費(fèi)的網(wǎng)絡(luò)抓取軟件，用于抓取動(dòng)態(tài)網(wǎng)頁。
28. Web茅膏菜
這是誰的對(duì)象：企業(yè)，營銷人員和研究人員。
為什么要使用它： WebSundew是一種可視化的抓取工具，可用于結(jié)構(gòu)化的Web數(shù)據(jù)抓取。企業(yè)版允許您在遠(yuǎn)程服務(wù)器上運(yùn)行抓取，并通過FTP發(fā)布收集的數(shù)據(jù)。
29. Winautomation
這是誰的對(duì)象：開發(fā)人員，業(yè)務(wù)運(yùn)營負(fù)責(zé)人，IT專業(yè)人員
為什么要使用它： Winautomation是Windows Web抓取工具，使您可以自動(dòng)執(zhí)行基于桌面和基于Web的任務(wù)。
30. 網(wǎng)絡(luò)機(jī)器人
這是誰的對(duì)象：缺乏編程技能的數(shù)據(jù)分析師，營銷人員和研究人員。
為什么要使用它： Web Robots是一個(gè)基于云的Web抓取平臺(tái)，用于抓取動(dòng)態(tài)的Javascript繁重的網(wǎng)站。它具有Web瀏覽器擴(kuò)展程序和桌面軟件，使人們可以輕松地從網(wǎng)站上抓取數(shù)據(jù)。
作者：Ashley Weldon
原文：https://www.octoparse.com/blog/top-30-free-web-scraping-software
*請認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
