于Python很多小伙伴們都不會陌生，這款軟件它不僅僅可以用來敲代碼實現一些功能，而且它還有爬蟲這個功能。
不僅僅可以用批量下載文字、圖片，還可以下載視頻等文件，
其中涉及的知識點也是比較多的，但是Python中有一個方法，一行代碼就能爬取任意網站上面的視頻，
只要你安裝了Python環境就可以，哪怕是小白也能輕松學會。

教程指引

1、安裝Python
2、安裝you-get
1.打開cmd，輸入命令并執行
pip3 install you-get
2.輸入命令，檢測 You-Get 是否安裝成功
you-get
3、使用you-get下載
打開cmd輸入命令

you-get空格[視頻地址]

文件保存在C:Users用戶名目錄下，如果想自定義保存位置，
使用如下命令就可以：下載一段騰訊視頻名偵探柯南146集并保存在E:Desktop
you-get -o E:/Desktop https://v.qq.com/x/cover/hzgtnf6tbvfekfv/p0014ljf32w.html?ptag=qqbrowser

TML實現文件夾的上傳和下載，前端如何用HTML5實現分片上傳GB級大文件，網頁中實現文件上傳下載的三種解決方案(推薦)，HTML5實現文件批量上傳組件，JQUERY 實現文件夾上傳(保留目錄結構)，B/S大文件上傳支持斷點上傳，WebService 大文件上傳,斷點續傳分片，HTML+AJAX實現上傳大文件問題，用HTML實現本地文件的上傳，HTML5實現大文件上傳，HTML5實現大文件分片上傳思路，利用HTML5分片上傳超大文件思路，

WEBUPLOADER 支持 超大上G,多附件上傳，JS 大文件分割/分片上傳，

百度WEBUPLOADER上傳視頻等大文件，WEBUPLOAD組件實現文件上傳功能和下載功能，JS大文件切片上傳，斷點續傳實現DEMO，前端上傳大文件的解決方案，前端上傳大文件處理（切片、斷點續傳），前端大文件上傳優化方案——分片上傳，vue大文件上傳解決方案，vue大文件上傳解決方案10G，vue大文件上傳解決方案50G，vue大文件上傳解決方案100G，html5如何實現大文件斷點續傳、秒傳，

java如何實現大文件斷點續傳、秒傳，SpringBoot如何實現大文件斷點續傳、秒傳，SpringMVC如何實現大文件斷點續傳、秒傳，SpringCloud如何實現大文件斷點續傳、秒傳，

webuploader如何實現大文件斷點續傳、秒傳，百度webuploader如何實現大文件斷點續傳、秒傳，html5實現大文件斷點續傳、秒傳，vue如何實現大文件斷點續傳、秒傳，前端如何實現大文件斷點續傳、秒傳，JavaScript如何實現大文件斷點續傳、秒傳，

html5大文件斷點續傳、秒傳解決方案，html5大文件斷點續傳、加密上傳解決方案，html5大文件斷點續傳、加密存儲解決方案，html5大文件斷點續傳分片解決方案，html5大文件斷點續傳分塊解決方案，html5大文件斷點續傳分割解決方案，html5大文件斷點續傳切割解決方案，

后端我們公司項目組選的是JAVA，因為公司有自己的產品，所以直接使用就行了，針對客戶需求這塊是進行擴展。

客戶這邊實際上要傳的文件單個大小就有50G左右，所以需要支持斷點續傳和分片上傳，并且要支持多線程上傳，能夠充分利用帶寬資源。

之前在網上找過相關的資料，論壇里面也有網友交流過，還加過很多QQ群和微信群，但是結果都不太令人滿意。

技術選型的話用的是jquery，也是一個企業內網系統，用的是之前公司的框架，只是進行功能擴展

分片網上討論的很多，基本上全部都是用的HTML5的API，這個方案也不是不能用，但是在IE下面就不行了，兼容性差了點，并且也不能進行擴展，不能進行二次開發，限制性非常大，我們技術同事提的要求是需要提供產品完整源代碼，

網上的文章全部都沒有提供文件夾上傳和續傳的代碼，也沒有提供數據庫操作的代碼，

另外這塊我們是要求必須提供產品完整源代碼，因為后面我們需要自已來維護，同時是要求能夠自主可控的

研發部門的同事調研過百度的webuploader這個組件，發現他實際上就是對Flash和HTML5進行了一個封裝，本質還是調的HTML5的API，之前在項目中也用過，嘗試過，但是最終都不太滿意，一個是兼容性非常差，說的是兼容IE，但是在IE用的是Flash，在很多用戶的電腦上用不了，卡頓崩潰發生的太頻繁，文件上傳的數量一多比如幾千個，前端頁面就開始卡了，用戶體驗非常差。這些問題研發部的同事都向百度反應過，但是百度webuploader那邊一直沒人回，基本上沒人管，領導說要求付費提供技術支持，那邊也是沒人回，聯系不上他們任何人。

webuploader這邊連個開發人員都聯系不到，這個是怎么回事？

用戶上傳的文件比較大，有20G左右，直接用HTML傳的話容易失敗，服務器也容易出錯，需要分片，分塊，分割上傳。也就是將一個大的文件分成若干個小文件塊來上傳，另外就是需要實現秒傳功能和防重復功能，秒傳就是用戶如果上傳過這個文件，那么直接在數據庫中查找記錄就行了，不用再上傳一次，節省時間，實現的思路是對文件做MD5計算，將MD5值保存到數據庫，算法可以用MD5，或者CRC，或者SHA1，這個隨便哪個算法都行。

切片的話還有一點就是在服務器上合并，一個文件的所有分片數據上傳完后需要在服務器端進行合并操作。

視頻教程：https://www.ixigua.com/7227314770696012322

導入項目：
導入到Eclipse：http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
導入到IDEA：http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot統一配置：http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2

下載示例：

https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/

工程

NOSQL

NOSQL示例不需要任何配置，可以直接訪問測試

創建數據表

選擇對應的數據表腳本，這里以SQL為例

修改數據庫連接信息

訪問頁面進行測試

文件存儲路徑

up6/upload/年/月/日/guid/filename

相關問題：
1.javax.servlet.http.HttpServlet錯誤
2.項目無法發布到tomcat
3.md5計算完畢后卡住
4.服務器找不到config.json文件

相關參考：

文件保存位置

源碼工程文檔：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra

源碼報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl

OEM版報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a

產品源代碼：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授權生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1

載HTML源碼

源碼地址，鏈接：https://www.80zhan.com/code/10509.html。我看了好多html源碼下載的，發現這個還不錯，只需要簡單注冊就能下載源碼了。
若不想注冊，可以直接下載綠色大氣的有機蔬菜食品公司網站html源碼，鏈接：https://yangxunyu.xyz/upload/2021/07/%E7%BB%BF%E8%89%B2%E5%A4%A7%E6%B0%94%E7%9A%84%E6%9C%89%E6%9C%BA%E8%94%AC%E8%8F%9C%E9%A3%9F%E5%93%81%E5%85%AC%E5%8F%B8%E7%BD%91%E7%AB%99html%E6%BA%90%E7%A0%81-1a0f6b14b7c347f9ac9bb70dc108449b.rar。

文件上傳服務

我是使用ForkLift上傳的。

vegetables.jpg

配置nginx

nginx配置詳情，參考我另外一篇文章，nginx配置詳情。