整合營銷服務商
電腦端+手機端+微信端=數(shù)據(jù)同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數(shù)據(jù)同步管理
免費咨詢熱線：
tmlParse 是一款基于windwos平臺的HTML文檔解析工具，可快速構(gòu)建DOM樹，從而輕松實現(xiàn)網(wǎng)頁元素的爬取工作。DOM樹就是一個HTML文檔的節(jié)點樹，每個節(jié)點由：標簽（Tag）、屬性（Attribute）、文本（Text）三個值來描述。
所謂的HTML文檔解析，指的就是如何構(gòu)建一顆DOM樹，只有成功構(gòu)建出DOM樹，才有可能進行后續(xù)的數(shù)據(jù)爬取和分析工作。顯然，構(gòu)建DOM樹是比較復雜的過程，因為不是每一個HTML文檔都會嚴格按照規(guī)范來書寫，因此解析過程需要具有一定容錯能力。此外，解析效率也是一個需要考慮的因素，也就是說最好通過一次文檔掃描即可建立起DOM樹，而不是反復掃描。
下面是HtmlParse介紹。
1、綠色純天然，無任何第三方依賴庫，文件大小不到150K； 2、解析速度快，具有一定的HTML語法容錯能力，可快速將HMTL文檔解析為DOM樹； 3、基于命令行參數(shù)，可通過不同參數(shù)獲取指定TAG的屬性值和文本內(nèi)容，從而實現(xiàn)網(wǎng)頁爬取功能； 4、可將爬取數(shù)據(jù)輸出為json格式，方便第三方程序進一步分析和使用； 5、可爬取script腳本到指定的js文件中；
下載地址：http://softlee.cn/HtmlParse.zip
HtmlParse HtmlPathFile -tag TagName [-attr] [Attribute] [-o] [JsonPathFile]解析指定的HTML文檔，并將文檔中指定的標簽及屬性輸出到指定文件中。
HtmlPathFile：必選參數(shù)，要解析的HTML文檔路徑名，如果文件路徑中有空格，可使用雙引號將文件路徑包含；
-tag：必選參數(shù)，用于指定要抓取的HTML標簽名稱； -attr：可選參數(shù)，用于指定標簽的屬性值，如果不指定，則返回該標簽的所有屬性值； -o：可選參數(shù)，用于指定抓取內(nèi)容輸出的文件，可將抓取的內(nèi)容保存為json格式的文件。 如果該參數(shù)不指定，則進行控制臺輸出。 如果抓取的是script、style則會保存為js格式文件。
如果要抓取doctype，可使用-tag doctype，將整個doctype內(nèi)容獲取。此時將會忽略-attr指定的任何屬性值。
1、爬取網(wǎng)頁中所有超鏈接
HtmlParse c:/sina.html -tag a -attr href -o c:/sina.json解析C盤下的sina.html文檔，并提取該文檔中的所有超鏈接到sina.json文件中。其中**-tag a -attr href，用于指定獲取超鏈接標簽a的href**屬性。
2、爬取網(wǎng)頁中所有圖片鏈接
HtmlParse c:/sina.html -tag img -attr src -o c:/sina.json解析C盤下的sina.html文檔，并提取該文檔中的所有圖片鏈接到sina.json文件中。
3、爬取網(wǎng)頁中所有腳本
HtmlParse c:/sina.html -tag script -o c:/sina.js解析C盤下的sina.html文檔，并提取該文檔中的所有腳本函數(shù)到sina.js文件中。
如果通過-o參數(shù)指定輸出文件，則會生成一個json格式的文檔。 TagName為爬取的標簽名稱，比如超鏈接的a，其值是一個json數(shù)組，數(shù)組中的每個內(nèi)容為Json對象，每個Json對象，有屬性和文本構(gòu)成。如果-attr 指定了要爬取的屬性，則AttrName為指定的屬性名稱，比如href或src。text為該標簽的文本內(nèi)容，有些標簽不存在文本內(nèi)容，比如img、meta等，則該值為空。json格式如下：
{
"TagName":
{
{"AttrName":"AttrValue1", "text":"text1"}
{"AttrName":"AttrValue1", "text":"text2"}
}
}下面是一個sina網(wǎng)頁的所有超鏈接json
{
"a": [{
"href": "javascript：;",
"text": "設為首頁"
}, {
"href": "javascript：;",
"text": "我的菜單"
}, {
"href": "https://sina.cn/",
"text": "手機新浪網(wǎng)"
}, {
"href": "",
"text": "移動客戶端"
}, {
"href": "https://c.weibo.cn/client/guide/download",
"text": "新浪微博"
}, {
"href": "https://so.sina.cn/palmnews/web-sinanews-app-download.d.html",
"text": "新浪新聞"
}, {
"href": "https://finance.sina.com.cn/mobile/comfinanceweb.shtml",
"text": "新浪財經(jīng)"
}, {
"href": "https://m.sina.com.cn/m/sinasports.shtml",
"text": "新浪體育"
}, {
"href": "https://tousu.sina.com.cn/about_app/index?frompage=heimaopc",
"text": "黑貓投訴"
}, {
"href": "http://blog.sina.com.cn/lm/z/app/",
"text": "新浪博客"
}, {
"href": "https://games.sina.com.cn/o/kb/12392.shtml",
"text": "新浪游戲"
}, {
"href": "https://zhongce.sina.com.cn/about/app",
"text": "新浪眾測"
}, {
"href": "https://mail.sina.com.cn/client/mobile/index.php?suda-key=mail_app&suda-value=login",
"text": "新浪郵箱客戶端"
}, {
"href": "javascript：;",
"text": "關(guān)閉置頂"
}, {來源：https://www.cnblogs.com/softlee/p/16374079.html
TML即一切，所有打算進行Web編程的人都應該熟悉HTML，并了解如何解析HTML。尤其對前端工程師來說這更是基礎(chǔ)，本文我們就來介紹一下JS下常見的HTML解析庫。
JavaScript和jQuery的DOM操作功能非常適合簡單HTML片段的解析。在實際編程中，如果要以編程方式解析DOM完整HTML或XML，則需要一個更好的解決方案，那就是DOMParser，它是所有現(xiàn)代數(shù)瀏覽器都支持的功能。
通過使用DOMParser，可以輕松解析HTML文檔。但是，一般需要通過欺騙瀏覽器來實現(xiàn)解析，比如，通過向當前文檔添加新元素。
DOMParser的用法非常簡單明了：
let domParser = new DOMParser();
let doc = domParser.parseFromString(stringContainingXMLSource, "application/xml");
domParser = new DOMParser();
doc = domParser.parseFromString(stringContainingSVGSource, "image/svg+xml");
domParser = new DOMParser();
doc = domParser.parseFromString(stringContainingHTMLSource, "text/html");專為服務器設計的核心jQuery的快速，靈活和精致的實現(xiàn)。
Cheerio看起來像jQuery，但是不支持瀏覽器。Cheerio可以解析HTML并使其易于操作，但不會像瀏覽器中那樣解釋HTML，解析出與瀏覽器不同的內(nèi)容，并且解析的結(jié)果不會直接發(fā)送給用戶。
Cheerio實現(xiàn)了jQuery子集，去掉了jQuery中所有與DOM不一致或者是用來填補瀏覽器的東西，重現(xiàn)了jQuery最美妙的API
由于使用了極其簡潔而又標準的DOM模型， Cheerio對文檔的轉(zhuǎn)換，操作，渲染都極其的高效。
JavaScript開發(fā)人員都應該熟悉Cheerio的語法和用法：
var chro = require('cheerio'),
$ = chio.load('<h1 class="title">Hello World!</h1>');
$('h1.title').text('Hello Chongchong!');
$('h1').attr('id', 'welcome');
$.html();
結(jié)果：
<h1 class="title" id=" welcome ">Hello Chongchong!</h1>jsdom是很多Web標準（尤其是WHATWG DOM和 HTML 標準）純JavaScript實現(xiàn)，可與Node.js結(jié)合使用。jsdom項目的目標是模擬Web瀏覽器的子集，從而滿足測試和抓取實際的Web應用程序。
jsdom不僅僅是HTML解析器，它還可以當成瀏覽器。在解析的上下文中，如果要解析的數(shù)據(jù)中省略了必要的標記，它會自動添加必要的標記。例如，如果沒有html標簽，它將像瀏覽器一樣隱式地添加它。
還可以選擇指定一些屬性，例如文檔，引薦來源網(wǎng)址或用戶代理的URL。如果需要解析包含本地URL的鏈接，則該URL特別有用。
由于它實際上與解析無關(guān)，因此只提到jsdom具有（虛擬）控制臺，對cookie的支持等。總之，需要模擬瀏覽器環(huán)境
它還可以處理外部資源。如有需求jsdom可以用來加載并執(zhí)行JS腳本。
const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM('<!DOCTYPE html><p>Hello, Chongchong!</p>');
console.log(dom.window.document.querySelector("p").textContent);結(jié)果：
"Hello, Chongchong!"parse5
parse5提供了處理HTML時所需的幾乎所有內(nèi)容。Parse5庫，目標是構(gòu)建其他工具，但也可以實現(xiàn)HTML解析以完成簡單任務。Parse5易于使用，但是并不提供瀏覽器為提供的操作DOM的方法（例如getElementById）。
parse5衍生出了一系列采用它的令人印象深刻的項目：jsdom，Angular2和Polymer。如果需求為對HTML的高級操作或解析的可靠基礎(chǔ)，那么顯然這是一個不錯的選擇。
const parse5 = require('parse5');
const document = parse5.parse('<!DOCTYPE html><html><head></head><body>Hello Chongchong!</body></html>');
console.log(document.childNodes[1].tagName);
本文我們介紹幾個JS下常見的Html解析庫。根據(jù)標準，實際的HTML格式語法格式是需要容錯的。當時這在庫很難簡單完美的實現(xiàn)。如果你有更好的推薦，歡迎和大家一起分享。
yHTML 是個快速 HTML 解析器，使用線程來實現(xiàn)一個類似純 C99庫，無任何外部依賴。
MyHTML 當前版本是 1.0.1，擴展了一個 MyCSS 開源庫。MyCSS 是個快速的 CSS 解析器，GitHub 地址：
MyHTML 主要特性：
異步解析，構(gòu)建樹和指數(shù)
和 HTML5 規(guī)范完全一致
兩個 API – 高和低水平
操作元素：添加，修改，刪除和其他
操作元素屬性：添加，修改，刪除和其他
支持 39 種字符編碼 encoding.spec.whatwg.org
支持字符編碼檢測
支持單模解析
支持無 POSIX 線程構(gòu)建
支持片段解析
支持 parsing by chunks
無外部依賴
C99 支持
通過了所有 html5lib-tests
MyCSS— Fast C/C++ CSS Parser (Cascading Style Sheets Parser)
X_USER_DEFINED, UTF_8, UTF_16LE, UTF_16BE, BIG5, EUC_KR, GB18030, IBM866, ISO_8859_10, ISO_8859_13, ISO_8859_14, ISO_8859_15, ISO_8859_16, ISO_8859_2, ISO_8859_3, ISO_8859_4, ISO_8859_5, ISO_8859_6, ISO_8859_7, ISO_8859_8, KOI8_R, KOI8_U, MACINTOSH, WINDOWS_1250, WINDOWS_1251, WINDOWS_1252, WINDOWS_1253, WINDOWS_1254, WINDOWS_1255, WINDOWS_1256, WINDOWS_1257, WINDOWS_1258, WINDOWS_874, X_MAC_CYRILLIC, ISO_2022_JP, GBK, SHIFT_JIS, EUC_JP, ISO_8859_8_IUTF-8, UTF-16LE, UTF16BE 和 russian windows-1251, koi8-r, iso-8859-5, x-mac-cyrillic, ibm866
Make
make
MyHTML_OPTIMIZATION_LEVEL=-O2set compiler optimization level. Default: -O2
MyHTML_BUILD_WITHOUT_THREADS=YESbuild without POSIX Threads. Default: NO
示例
make MyHTML_BUILD_WITHOUT_THREADS=NO
cp lib/* /usr/local/lib cp -r include/* /usr/local/include
CMake
在 myhtml/project 目錄：
cmake .make sudo make install
MyHTML_OPTIMIZATION_LEVEL=-O2set compiler optimization level. Default: -O2
CMAKE_INSTALL_LIBDIR=libset path to install created library. Default: lib
MyHTML_BUILD_SHARED=ONbuild shared library. Default: ON
MyHTML_BUILD_STATIC=ONbuild static library. Default: ON
MyHTML_INSTALL_HEADER=OFFinstall header files. Default OFF
MyHTML_BUILD_WITHOUT_THREADS=YESbuild without POSIX Threads. Default: NO
MyHTML_EXTERN_MALLOC=my_malloc_funcset extern malloc function. Default: UNDEFINED
MyHTML_EXTERN_REALLOC=my_realloc_funcset extern realloc function. Default: UNDEFINED
MyHTML_EXTERN_CALLOC=my_calloc_funcset extern calloc function. Default: UNDEFINED
MyHTML_EXTERN_FREE=my_free_funcset extern free function. Default: UNDEFINED
示例
cmake . -DCMAKE_INSTALL_LIBDIR=lib64 -DMyHTML_INSTALL_HEADER=ON
程序構(gòu)建示例
構(gòu)建共享庫
gcc -Wall -Werror -O2 -lmyhtml your_program.c -o your_program
構(gòu)建靜態(tài)庫
gcc -Wall -Werror -O2 your_program.c /path/to/libmyhtml_static.a -o your_program
簡單示例
#include <stdio.h>#include <stdlib.h>#include <string.h>#include <myhtml/api.h>int main(int argc, const char * argv[]) { char html = "<div><span>HTML</span></div>"; // basic init myhtml_t* myhtml = myhtml_create; myhtml_init(myhtml, MyHTML_OPTIONS_DEFAULT, 1, 0); // first tree init myhtml_tree_t* tree = myhtml_tree_create; myhtml_tree_init(tree, myhtml); // parse html myhtml_parse(tree, MyHTML_ENCODING_UTF_8, html, strlen(html)); // release resources myhtml_tree_destroy(tree); myhtml_destroy(myhtml); return 0; }MyHTML 遵循 LGPL 開源授權(quán)協(xié)議.
微信訂閱號：開源派 （opensourcepie）
↓點擊閱讀原文,查看相關(guān)鏈接
*請認真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。
