整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
TML大文件上傳源代碼，HTML大文件上傳解決方案，HTML大文件上傳思路，HTML大文件上傳實例，HTML大文件分塊上傳，HTML大文件分片上傳，HTML大文件批量上傳，HTML大文件加密上傳，HTML文件夾上傳，HTML大文件多線程上傳，
隨著視頻網站和大數據應用的普及，特別是高清視頻和4K視頻應用的到來，超大文件上傳已經成為了日常的基礎應用需求。
但是在很多情況下，平臺運營方并沒有大文件上傳和斷點續傳的開發經驗，往往在網上找一些簡單的PHP或者Java程序來實現基本的上傳功能，然而在實際使用中會發現，這些基于腳本語言實現的上傳功能模塊性能很弱，一是不支持2GB以上的內容上傳；二是無法支持斷點續傳；三是效率極低，單臺服務器最多支持幾十個并發上傳連接。
當前我們要搭建一個運營級的視頻服務平臺，在嘗試了各種產品均無法滿足要求，因此最后花精力自主用C++語言實現了這一高性能上傳服務器。
而基于PHP、JAVA等技術實現的文件上傳服務天生無法支持超大文件上傳，無法逾越2GB的最大文件尺寸瓶頸；
支持4GB以上超大文件上傳，文件大小不受限制；
支持斷點續傳，斷網、關機重啟均不受影響；
對于大文件的處理，無論是用戶端還是服務端，如果一次性進行讀取發送、接收都是不可取，很容易導致內存問題。所以對于大文件上傳，采用切塊分段上傳
從上傳的效率來看，利用多線程并發上傳能夠達到最大效率。
文件上傳頁面的前端可以選擇使用一些比較好用的上傳組件，例如百度的開源組件WebUploader，這些組件基本能滿足文件上傳的一些日常所需功能，如異步上傳文件，文件夾，拖拽式上傳，黏貼上傳，上傳進度監控，文件縮略圖，甚至是大文件斷點續傳，大文件秒傳。
在web項目中上傳文件夾現在已經成為了一個主流的需求。在OA，或者企業ERP系統中都有類似的需求。上傳文件夾并且保留層級結構能夠對用戶行成很好的引導，用戶使用起來也更方便。能夠提供更高級的應用支撐。
導入項目：
導入到Eclipse：http://www.ncmem.com/doc/view.aspx?id=9da9c7c2b91b40b7b09768eeb282e647
導入到IDEA：http://www.ncmem.com/doc/view.aspx?id=9fee385dfc0742448b56679420f22162
springboot統一配置：http://www.ncmem.com/doc/view.aspx?id=7768eec9284b48e3abe08f032f554ea2
下載示例：
https://gitee.com/xproer/up6-jsp-eclipse/tree/6.5.40/
工程
NOSQL
NOSQL示例不需要任何配置，可以直接訪問測試
創建數據表
選擇對應的數據表腳本，這里以SQL為例
修改數據庫連接信息
訪問頁面進行測試
文件存儲路徑
up6/upload/年/月/日/guid/filename
相關問題：
1.javax.servlet.http.HttpServlet錯誤
2.項目無法發布到tomcat
3.md5計算完畢后卡住
4.服務器找不到config.json文件
相關參考：
文件保存位置
源碼工程文檔：https://drive.weixin.qq.com/s?k=ACoAYgezAAw1dWofra
源碼報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwoiul8gl
OEM版報價單：https://drive.weixin.qq.com/s?k=ACoAYgezAAwuzp4W0a
產品源代碼：https://drive.weixin.qq.com/s?k=ACoAYgezAAwbdKCskc
授權生成器：https://drive.weixin.qq.com/s?k=ACoAYgezAAwTIcFph1
來百度APP暢享高清圖片
//下栽のke：chaoxingit.com/1534/
從網頁搭建入門到JavaWeb：2019版詳解
一、引言
隨著互聯網技術的飛速發展，JavaWeb已經成為了一種非常流行的開發技術。通過JavaWeb，我們可以快速地構建出功能強大、安全可靠的Web應用程序。本文將詳細介紹如何從網頁搭建入門到JavaWeb，幫助你掌握這門技術。
二、JavaWeb簡介
JavaWeb指的是使用Java技術開發的Web應用程序。它是基于Java平臺的一種開發模式，用于構建和部署在Web服務器上運行的應用程序。JavaWeb通常涉及以下關鍵組件和技術：
JavaWeb應用程序通常遵循HTTP協議，與客戶端通過HTTP請求和響應進行通信。它們可以處理各種類型的請求，包括GET、POST等，并能夠生成動態內容以及與數據庫等外部資源進行交互。 JavaWeb的發展已經成為構建企業級應用程序的主流方式之一，它提供了強大的功能和豐富的生態系統，使得開發者能夠構建高性能、可靠和安全的Web應用程序。
三、學習資源
要想入門JavaWeb，你可以選擇以下學習資源：
四、搭建開發環境
搭建JavaWeb開發環境涉及到幾個主要組件，包括Java Development Kit (JDK)、集成開發環境（IDE）、Servlet容器等。以下是從頭開始搭建JavaWeb開發環境的步驟：
在完成上述步驟后，你就建立了一個基本的JavaWeb開發環境，并且能夠開始編寫和部署簡單的Web應用程序。從這里開始，你可以深入學習JavaWeb的各個方面，包括Servlet、JSP、數據庫連接等，以構建更復雜和功能豐富的Web應用程序。
五、網頁搭建基礎
網頁搭建是學習JavaWeb的基礎，主要包括HTML、CSS和JavaScript等基礎知識。通過學習這些基礎知識，你可以快速搭建出基本的網頁。
六、JavaWeb核心技術
JavaWeb 是使用 Java 技術進行 Web 開發的一種方式，它涵蓋了多個核心技術和框架。以下是 JavaWeb 的一些核心技術：
以上是 JavaWeb 的一些核心技術，這些技術一起構成了一個完整的 JavaWeb 開發生態系統。開發人員可以根據項目需求選擇適當的技術和框架來構建穩健、高效的 Web 應用程序。
七、實踐項目
實踐項目是學習JavaWeb的重要環節，你可以選擇以下項目進行實踐：
通過實踐項目，你可以更好地掌握JavaWeb技術，并提高自己的編程能力和團隊協作能力。
八、總結與展望
通過本文的介紹，相信你已經對從網頁搭建入門到JavaWeb有了更深入的了解。要想成為一名優秀的JavaWeb開發者，你需要不斷學習、實踐和總結。同時，隨著技術的不斷發展，你需要不斷關注新技術和趨勢，并努力提升自己的技能水平。希望本文能夠幫助你成功邁向后端工程師的高階之路！
紹
大數據環境下，數據分析已由業務驅動轉變為數據驅動，網絡數據資源呈指數級增長，且散落在不同的數據源之中。對大多數企業和研究者而言，用“數據說話”仿佛成了大數據時代的重要武器。網絡爬蟲作為網絡數據獲取的重要技術，受到了越來越多數據需求者的青睞和追捧。
作為網絡爬蟲的入門采用 Java 開發語言，內容涵蓋了網絡爬蟲的原理以及開發邏輯，Java 網絡爬蟲基礎知識，網絡抓包介紹，jsoup 的介紹與使用，HttpClient 的介紹與使用等內容。本課程在介紹網絡爬蟲基本原理的同時，注重具體的代碼實現，加深讀者對爬蟲的理解，加強讀者的實戰能力。
內容
第01課：網絡爬蟲原理
引言
隨著互聯網的迅速發展，網絡資源越來越豐富，信息需求者如何從網絡中抽取信息變得至關重要。目前，有效的獲取網絡數據資源的重要方式，便是網絡爬蟲技術。簡單的理解，比如您對百度貼吧的一個帖子內容特別感興趣，而帖子的回復卻有1000多頁，這時采用逐條復制的方法便不可行。而采用網絡爬蟲便可以很輕松地采集到該帖子下的所有內容。
網絡爬蟲技術最廣泛的應用是在搜索引擎中，如百度、Google、Bing 等，它完成了搜索過程中的最關鍵的步驟，即網頁內容的抓取。下圖為簡單搜索引擎原理圖。
網絡爬蟲的作用，我總結為以下幾點：
網絡爬蟲涉及的領域包括:
網絡爬蟲的基本概念
網絡爬蟲（Web Crawler），又稱為網絡蜘蛛（Web Spider）或 Web 信息采集器，是一種按照一定規則，自動抓取或下載網絡信息的計算機程序或自動化腳本，是目前搜索引擎的重要組成部分。
網絡爬蟲的分類
網絡爬蟲按照系統架構和實現技術，大致可以分為以下幾種類型：通用網絡爬蟲（General Purpose Web Crawler）、聚焦網絡爬蟲（Focused Web Crawler）、增量式網絡爬蟲（Incremental Web Crawler）、深層網絡爬蟲（Deep Web Crawler）。實際的網絡爬蟲系統通常是幾種爬蟲技術相結合實現的。
網絡爬蟲的流程
網絡爬蟲基本流程可用下圖描述：
具體流程為：
網絡爬蟲的爬行策略
一般的網絡爬蟲的爬行策略分為兩種：深度優先搜索（Depth-First Search）策略、廣度優先搜索（Breadth-First Search）策略。
基于廣度優先的爬蟲是最簡單的爬取網站頁面的方法，也是目前使用較為廣泛的方法。在本達人課中，所講的案例皆為寬度優先式的爬蟲。
學習建議
網絡爬蟲是入門某一門編程語言的實戰技術：很多學習編程語言（如 Java、Python 或 C++ 等）的同學，采用的方式只看書或在網絡上看一些視頻，而這將導致的后果就是面對一個具體項目時，不知道如何上手，尤其對新手而言。或者，一段時間后，就將之前的書本內容或視頻內容遺忘了。
為此，我建議這些學習者可采用網絡爬蟲技術入門某一門編程語言（如 Java、Python)。因為爬蟲技術是個綜合性很強的技術，涉及到編程語言的很多方面。本達人課特別選用了 Java 作為開發語言，將帶大家深入了解 Java 網絡爬蟲背后的核心技術。學完該課程，相信您也已很好地入門 Java 編程語言。
對于零基礎入門 Java 網絡爬蟲的同學，在學習過程中請注意以下幾點：
最后，提供一些書籍和資料，給入門以及想深入學習 Java 網絡爬蟲的讀者：
第02課：Java 網絡爬蟲基礎知識
引言
Java 網絡爬蟲具有很好的擴展性可伸縮性，其是目前搜索引擎開發的重要組成部分。例如，著名的網絡爬蟲工具 Nutch 便是采用 Java 開發，該工具以 Apache Hadoop 數據結構為依托，提供了良好的批處理支持。
Java 網絡爬蟲涉及到 Java 的很多知識。本篇中將會介紹網絡爬蟲中需要了解的 Java 知識以及這些知識主要用于網絡爬蟲的哪一部分，具體包括以下內容：
Maven 的使用
Maven 是什么
Maven 是由 Apache 軟件基金會所提供一款工具，用于項目管理及自動構建。我們知道在構建一個 Java 工程時，需要使用到很多 Jar 包，例如操作數據庫需要使用到 mysql-connector-java 以及其相關依賴的 Jar 包。而 Maven 工具便可以很方便的對我們在項目中使用到的開源 Jar 包，進行很好的管理，比如下載某 Java 工程需要的 Jar 包及相關依賴 Java 包。
Maven 如何使用
Maven 使用項目對象模型（Project Object Model，POM）來配置，項目對象模型存儲在名為 pom.xml 的文件中。以 Java 為例，我們可以在 Eclipse 中創建一個 Maven 工程。其中，Maven Dependencies 便存放著由 Maven 管理的 Jar 包。
正如前面所說，構建一個 Java 工程需要使用很多 Jar 包，比如，在 Java 網絡爬蟲中，我們需要用到數據庫連接、請求網頁內容、解析網頁內容的相關 Jar 包時，我們可以在上圖所示的 pom 文件中添加如下語句：
<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.35</version></dependency><dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version> 1.8.2</version></dependency><dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient </artifactId> <version> 4.2.3</version></dependency>
之后，我們會驚訝地發現，工程的 Maven Dependencies 中自動下載了相關 Jar 包以及其依賴的 Jar 包。
讀者可以在 Maven Repository 網站中檢索自己想要的 Jar 包，以及 Maven 操作語句。
log4j 的使用
log4j 是什么
log4j 是一個基于 Java 的日志記錄工具，曾是 Apache 軟件基金會的一個項目。目前，日志是應用軟件中不可或缺的部分。
log4j 怎么使用
1. 使用 Maven 下載 log4j 的 Jar 包，代碼如下：
<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version></dependency>
2. 在 src 目錄下創建 log4j.properties 文本文件，并做相關配置（關于每個配置的具體含義，讀者可參考博文 《詳細的 Log4j 使用教程》）:
### 設置###log4j.rootLogger = debug,stdout,D,E### 輸出信息到控制抬 ###log4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target = System.outlog4j.appender.stdout.layout = org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n### 輸出DEBUG 級別以上的日志到=error.log ###log4j.appender.D = org.apache.log4j.DailyRollingFileAppenderlog4j.appender.D.File = E://logs/log.loglog4j.appender.D.Append = truelog4j.appender.D.Threshold = DEBUG log4j.appender.D.layout = org.apache.log4j.PatternLayoutlog4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n### 輸出ERROR 級別以上的日志到=error.log ###log4j.appender.E = org.apache.log4j.DailyRollingFileAppenderlog4j.appender.E.File =E://logs/error.log log4j.appender.E.Append = truelog4j.appender.E.Threshold = ERROR log4j.appender.E.layout = org.apache.log4j.PatternLayoutlog4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n
3. 實例程序，如下所示：
package log4j;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;public class Test { static final Log logger = LogFactory.getLog(Test.class); public static void main(String[] args) { System.out.println("hello"); logger.info("hello world"); logger.debug("This is debug message."); logger.warn("This is warn message."); logger.error("This is error message."); }}
基于此程序，我們就可以看到在我們工程的根目錄下會產生一個日志文件 error.log 和 log.log。
在網絡爬蟲中，我們可以使用日志記錄程序可能出錯的地方，監控程序的運行狀態。
對象的創建
在 Java 中，經常使用 new 關鍵字來創建一個對象。例如，在爬取京東商品的id、product_name（商品名稱）、price（價格）時，我們需要將每個商品的信息封裝到對象里。
JdInfoModel jingdongproduct = new JdInfoModel();
在爬蟲中，我們要操作 JdInfoModel 類中的變量（即id、product_name、price），可以使用 private 變量定義的方式。并且，使用 set() 與 get() 方法對數據進行設置（爬取數據的封裝）和獲取使用（爬取數據的存儲）。下面的代碼為 JdInfoModel 類：
package model;public class JdInfoModel { private int id; private String product_name; private double price; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getProduct_name() { return product_name; } public void setProduct_name(String product_name) { this.product_name = product_name; } public double getPrice() { return price; } public void setPrice(double price) { this.price = price; } }
集合的使用
網絡爬蟲離不開對集合的操作，這里涉及到 List、Set、Queue、Map 等集合的操作。
List 和 Set 集合的使用
List 的特征是其元素以線性方式存儲，集合中可以存放重復對象。對比而言，Set 集合中的對象不按特定的方式排序，并且沒有重復對象。在網絡爬蟲中，可以使用 List<String> 存儲待爬的 URL 列表。例如：
//List集合的創建List<String> urllist = new ArrayList<String>();urllist.add("https://movie.douban.com/subject/27608425");urllist.add("https://movie.douban.com/subject/26968024");//第一種遍歷方式for( String url : urllist ){ System.out.println(url);}//第二種遍歷方式for( int i=0; i<urllist.size(); i++ ){ System.out.println(i+":"+urllist.get(i));}//第三種遍歷方式Iterator<String> it = urllist.iterator();while ( it.hasNext() ){ System.out.println(it.next());}
同時我們也可以使用上面 List<JdInfoModel> 來封裝具體的實例，即爬蟲所采集到的數據。Set 集合的使用與 List 集合類似，這里就不過多講解了。
Map 的使用
Map 是一種把鍵對象和值對象進行映射的集合，它的每一個元素都包含一對鍵對象和值對象，其中鍵對象不可以重復。Map 不僅在網絡爬蟲中常用，也常在文本挖掘算法的編寫中使用。在網絡爬蟲中，可以使用 Map 過濾一些重復數據，但并建議使用 Map 對大規模數據去重過濾，原因是 Map 有空間大小的限制。比如，使用網絡爬蟲爬取帖子時，可能遇到置頂帖，而置頂帖可能會與下面的帖子重復出現。以下程序為 Map 的使用案例：
//Map的創建Map<String,Integer> map = new HashMap<String,Integer>();//值的添加，這里假設是爬蟲中的產品id以及每個產品id對應的銷售量map.put("jd1515", 100);map.put("jd1516", 300);map.put("jd1515", 100);map.put("jd1517", 200);map.put("jd1518", 100);//第一種方法遍歷for (String key : map.keySet()) { Integer value = map.get(key); System.out.println("Key = " + key + ", Value = " + value); } //第二種方法遍歷Iterator<Entry<String, Integer>> entries = map.entrySet().iterator(); while (entries.hasNext()) { Entry<String, Integer> entry = entries.next(); System.out.println("Key = " + entry.getKey() + ", Value = " + entry.getValue()); } //第三種方法遍歷for (Entry<String, Integer> entry : map.entrySet()) { System.out.println("key= " + entry.getKey() + " and value= " + entry.getValue()); }
Queue 的使用
隊列（Queue）使用鏈表結構存儲數據，是一種特殊的線性表，它只允許在表的前端進行刪除操作，而在表的后端進行插入操作。LinkedList 類實現了 Queue 接口，因此我們可以把 LinkedList 當成 Queue 來用。Queue 常用來存待爬 URL 隊列。
Queue<String> queue = new LinkedList<String>();//添加元素queue.offer("https://www.douban.com/people/46077896/likes/topic/");queue.offer("https://www.douban.com/people/1475408/likes/topic");queue.offer("https://www.douban.com/people/3853295/likes/topic/");boolean t = true;while (t) { //如果Url隊列為空,停止執行程序,否則請求Url if( queue.isEmpty() ){ t = false; }else { //請求的url String url = queue.poll(); System.out.println(url); //這里要寫請求數據,獲取相應狀態碼，如果狀態碼為200,則解析數據;如果為404，url移除隊列；否則該url重新如列 }
正則表達式的使用
正則表達式，是在解析數據（HTML 或 JSON 等)時，常用的方法。舉個列子，我想從下面的語句中提取用戶的 id（75975500）：
<a target="_blank" class="linkblack">尊少來自沈陽</a>
后面，我會介紹解析工具 jsoup，其可以解析獲得“//i.autohome.com.cn/75975500”。接著，便可以使用正則表達式提取 75975500。
String url = "http://i.autohome.com.cn/75975500";String user_id = url.replaceAll("\D", ""); //取代所有的非數字字符System.out.println(user_id); //輸出的結果即為75975500
如下表所示，是 Java 中一些常用的基本正則表達式。
正則表達式寫法含義\d代表0-9的任意數字\D代表任何非數字字符\s代表空格類字符\S代表非空格類字符\p{Lower}代表小寫字母[a-z]\p{Upper}代表大寫字母[A-Z]\p{Alpha}代表字母\p{Blank}代表空格或制表符
HTTP 狀態碼
當瀏覽者訪問一個網頁時，瀏覽者的瀏覽器會向網頁所在服務器發出請求。當瀏覽器接收并顯示網頁前，此網頁所在的服務器會返回一個包含 HTTP 狀態碼的信息頭（Server Header）用以響應瀏覽器的請求。在網絡爬蟲向后臺請求一個 URL 地址時，便會返回狀態碼，該狀態碼中包含豐富的信息。例如，200表示請求成功，成功獲取到了后臺傳的數據（HTML 或 JSON 等)；301資源（網頁等）被永久轉移到其它 URL；404請求的資源（網頁等）不存在等。以下是 HTTP 狀態碼的分類。
分類描述1**信息，服務器收到請求，需要請求者繼續執行操作。2**成功，操作被成功接收并處理。3**重定向，需要進一步的操作以完成請求。4**客戶端錯誤，請求包含語法錯誤或無法完成請求。5**服務器錯誤，服務器在處理請求的過程中發生了錯誤。
詳細的 HTTP 狀態碼列表，讀者可以參考這個地址。
其他
另外，網絡爬蟲還涉及到其他方面的 Java 知識，比如說Java 輸入輸出流、Java 操作數據庫、Java 多線程操作、Java 對日期的處理、Java 中的接口與繼承。所以，以網絡爬蟲，入門 Java 編程是非常好的方式。在后面的課程中，我會介紹網絡爬蟲如何使用這些技術。
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
