整合營(yíng)銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
下藍(lán)色文字均有鏈接 但由于頭條對(duì)于外部鏈接管理較嚴(yán) 故未添加鏈接 如影響閱讀 請(qǐng)看原文
原文地址https://fizzz.blog.csdn.net/article/details/86539014
今天介紹一款軟件,可以快速獲取一個(gè)網(wǎng)站的所有資源,圖片,html,css,js......
以獲取某車官網(wǎng)為例 我來展示一下這個(gè)軟件的功能.
輸入網(wǎng)站地址和網(wǎng)站要保存的文件夾
如果網(wǎng)站名稱后我們可以掃描一下網(wǎng)站, 以便我們更好的篩選資源,剔除不要的鏈接,添加爬取得鏈接
在這里也可以設(shè)置爬去的鏈接的深度和廣度,相鄰域名,
設(shè)置好了這些,就可以點(diǎn)擊Copy按鈕了
接下來就會(huì)看到完整的爬取過程,當(dāng)前爬取的鏈接,爬取的結(jié)果
可以看到那些錯(cuò)誤,那些跳過了,還有文件類型,頁(yè)面的Title,文件大小.
在爬取的過程中 你可以再開啟一個(gè)軟件的窗口,進(jìn)行另一個(gè)個(gè)爬取任務(wù),
這個(gè)軟件的其他菜單,這個(gè)工具還是很強(qiáng)大的,可以自定義正則表達(dá)式來過來url,資源,還可以把爬取任務(wù)保存起來,以便再次使用,
還可以設(shè)置代理,分析網(wǎng)站.
爬取完成后,會(huì)有一個(gè)爬取統(tǒng)計(jì) 下載了多少文件,多少M(fèi)B
進(jìn)入文件夾查看下載的文件
直接打開首頁(yè)
到此,爬取網(wǎng)站就結(jié)束了,有些網(wǎng)站的資源使用的是國(guó)外的js,css,速度會(huì)有些差異,但效果都是一樣的.爬取下來就能使用.放到服務(wù)器就能訪問了
最后給大家介紹幾款爬站工具
TeleportUltra
WebZip
Mihov Picture Downloader
WinHTTrack HTTrack
MaxprogWebDumper
IDM
(有需要巴站,彷站的,可以聯(lián)系我,偉芯demon_0212,注明仿站)
注意:扒站需謹(jǐn)慎,版權(quán)糾紛.
謝謝閱讀.如果覺得對(duì)你有幫助請(qǐng)記得點(diǎn)贊或收藏.歡迎留言討論.你的支持是我的動(dòng)力.
網(wǎng)絡(luò)爬行（也稱為網(wǎng)絡(luò)抓取）在當(dāng)今的許多領(lǐng)域得到廣泛應(yīng)用。它的目標(biāo)是從任何網(wǎng)站獲取新的或更新的數(shù)據(jù)并存儲(chǔ)數(shù)據(jù)以便于訪問。Web爬蟲工具越來越為人所知，因?yàn)閃eb爬蟲簡(jiǎn)化并自動(dòng)化了整個(gè)爬網(wǎng)過程，使每個(gè)人都可以輕松訪問Web數(shù)據(jù)資源。使用網(wǎng)絡(luò)爬蟲工具可以讓人們免于重復(fù)打字或復(fù)制粘貼，我們可以期待一個(gè)結(jié)構(gòu)良好且包羅萬(wàn)象的數(shù)據(jù)收集。此外，這些網(wǎng)絡(luò)爬蟲工具使用戶能夠以有條不紊和快速的方式抓取萬(wàn)維網(wǎng)，而無需編碼并將數(shù)據(jù)轉(zhuǎn)換為符合其需求的各種格式。
在這篇文章中，我將在推薦 3 個(gè)網(wǎng)頁(yè)抓取工具供您參考。您可能會(huì)找到最適合您需求的網(wǎng)絡(luò)爬蟲。
?Octoparse[1]--八爪魚
這個(gè)不僅操作簡(jiǎn)單、功能齊全，還能短時(shí)間內(nèi)獲取大量數(shù)據(jù)。尤其重點(diǎn)推薦Octoparse的云采集功能，給予了高度的贊許。
?Cyotek WebCopy[2]
WebCopy是一個(gè)免費(fèi)的網(wǎng)站爬蟲，允許您將本地部分或完整的網(wǎng)站復(fù)制到您的硬盤上以供離線閱讀。
它將掃描指定的網(wǎng)站，然后將網(wǎng)站內(nèi)容下載到您的硬盤上，并自動(dòng)重新映射到網(wǎng)站中圖像和其他網(wǎng)頁(yè)等資源的鏈接，以匹配其本地路徑，不包括網(wǎng)站的某個(gè)部分。還可以使用其他選項(xiàng)，例如下載要包含在副本中的URL，但不能對(duì)其進(jìn)行爬網(wǎng)。
您可以使用許多設(shè)置來配置網(wǎng)站的抓取方式，除了上面提到的規(guī)則和表單之外，您還可以配置域別名，用戶代理字符串，默認(rèn)文檔等。
但是，WebCopy不包含虛擬DOM或任何形式的JavaScript解析。如果一個(gè)網(wǎng)站大量使用JavaScript進(jìn)行操作，如果由于JavaScript用于動(dòng)態(tài)生成鏈接而無法發(fā)現(xiàn)所有網(wǎng)站，則WebCopy不太可能制作真正的副本。
?Httrack[3] 作為網(wǎng)站爬蟲免費(fèi)軟件，HTTrack提供的功能非常適合從互聯(lián)網(wǎng)下載整個(gè)網(wǎng)站到您的PC。它提供了適用于Windows，Linux，Sun Solaris和其他Unix系統(tǒng)的版本。它可以將一個(gè)站點(diǎn)或多個(gè)站點(diǎn)鏡像在一起（使用共享鏈接）。您可以在“設(shè)置選項(xiàng)”下下載網(wǎng)頁(yè)時(shí)決定要同時(shí)打開的連接數(shù)。您可以從整個(gè)目錄中獲取照片，文件，HTML代碼，更新當(dāng)前鏡像的網(wǎng)站并恢復(fù)中斷的下載。
此外，HTTTrack還提供代理支持，以最大限度地提高速度，并提供可選的身份驗(yàn)證。
HTTrack用作命令行程序，或通過shell用于私有（捕獲）或?qū)I(yè)（在線Web鏡像）使用。 有了這樣的說法，HTTrack應(yīng)該是首選，并且具有高級(jí)編程技能的人更多地使用它
總之，我上面提到的爬蟲可以滿足大多數(shù)用戶的基本爬行需求，而這些工具中各自的功能仍然存在許多差異，因?yàn)檫@些爬蟲工具中的許多都為用戶提供了更高級(jí)的內(nèi)置配置工具。因此，請(qǐng)確保在使用之前已完全了解爬蟲提供的幫助信息。
[1] Octoparse: https://www.octoparse.com/download
[2] Cyotek WebCopy: https://www.cyotek.com/cyotek-webcopy/downloads
[3] Httrack: https://www.httrack.com/
做網(wǎng)站開發(fā)時(shí)，我們有時(shí)候會(huì)獲取當(dāng)前頁(yè)面的完整路徑。在網(wǎng)頁(yè)前端如何實(shí)現(xiàn)呢？
請(qǐng)?jiān)诰W(wǎng)頁(yè)腳本代碼段中粘貼如下代碼。
function getRootPath() {
//獲取當(dāng)前網(wǎng)址，如： http://localhost:8083/uimcardprj/share/meun.jsp
var curWwwPath=window.document.location.href;
//獲取主機(jī)地址之后的目錄，如： /uimcardprj/share/meun.jsp
var pathName=window.document.location.pathname;
var pos=curWwwPath.indexOf(pathName);
//獲取主機(jī)地址，如： http://localhost:8083
var localhostPath=curWwwPath.substring(0, pos);
//獲取帶"/"的項(xiàng)目名，如：/uimcardprj
var projectName=pathName.substring(0, pathName.substr(1).indexOf('/') + 1);
return localhostPath;
}
執(zhí)行該腳本后可獲取本網(wǎng)站及當(dāng)前網(wǎng)頁(yè)的完整域名加路徑
*請(qǐng)認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
