Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 亚洲一区二区在线免费观看,最近中文字幕完整国语视频,成人精品福利

          整合營銷服務(wù)商

          電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理

          免費(fèi)咨詢熱線:

          WebBrowser控件網(wǎng)頁數(shù)據(jù)抓取(I) - EX

          WebBrowser控件網(wǎng)頁數(shù)據(jù)抓取(I) - EXCEL VBA(22)

          用WebBrowser控件打開Web頁面,并提取頁面數(shù)據(jù)成為當(dāng)今數(shù)據(jù)收集的主要手段。EXCEL VBA網(wǎng)頁數(shù)據(jù)抓取和處理基本過程如下:

          • 運(yùn)用WebBrowser控件打開Web頁面
          • 解析文檔或字符串
          • 將抓取的網(wǎng)頁數(shù)據(jù)按格式要求寫入EXCEL表格
          • 通過EXCEL表格函數(shù)或EXCEL VBA編程進(jìn)行數(shù)據(jù)數(shù)理

          本文介紹開發(fā)一個簡單的WebBrowser控件網(wǎng)頁數(shù)據(jù)抓取工具來實現(xiàn)EXCEL VBA網(wǎng)頁數(shù)據(jù)抓取的基本過程。

          1、運(yùn)用WebBrowser控件打開Web頁面

          I、建立窗體如下圖

          窗體由控件解釋:

          • CommandButton1:【打開網(wǎng)頁】命令按鈕;
          • CommandButton2:【網(wǎng)頁數(shù)據(jù)抓取】命令按鈕;
          • TextBox1:網(wǎng)址文本框(單行)
          • TextBox2:網(wǎng)頁HTML文檔文本框(多行)。設(shè)置Multiline屬性為True、ScrollBars屬性為2;
          • WebBrowser1:網(wǎng)頁控件

          II、打開Web頁面

          • 打開窗體后運(yùn)用窗體初始化事件Initialize加載指定網(wǎng)頁
          Private Sub UserForm_Initialize()
          WebBrowser1.Navigate "http://www.galaxystatistics.com/excel/excelVBA2.html"
          End Sub
          • 打開窗體時運(yùn)用CommandButton1【打開網(wǎng)頁】命令按鈕打開TextBox1網(wǎng)址文本框中指定的網(wǎng)頁
          Private Sub CommandButton1_Click()
          WebBrowser1.Navigate TextBox1.Text
          End Sub
          • 網(wǎng)頁加載成功后執(zhí)行WebBrowser1的DocumentComplete事件,在TextBox2文本框顯示網(wǎng)頁HTML文檔
          Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)
          Dim doc As Object
          Set doc=WebBrowser1.Document
          TextBox2.Text=doc.DocumentElement.innerHTML
          TextBox2.SetFocus
          End Sub

          通常,使用瀏覽器打開網(wǎng)頁后,在頁面點(diǎn)擊鼠標(biāo)右鍵,彈出菜單如此,

          點(diǎn)擊【查看網(wǎng)頁源代碼(V)】,可以查看網(wǎng)頁HTML文檔。

          本文案例網(wǎng)頁為“http://www.galaxystatistics.com/excel/excelVBA2.html”,文檔如下:

          <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
          <html>
          <head>
          <title>Excel Train</title>
          <meta charset="utf-8"/>
          <style>
          .testTB{color:#ff0000;}
          </style>
          
          <script type="text/javascript">
          function oSum(x,y) {
          return x+y;
          }
          //無參數(shù)調(diào)用  
          function alertNull(){  
          alert("WebBrowser call!");  
          }
          //有參數(shù)調(diào)用  
          function callWithPar(name, address) {  
          alert("Name is " + name + "; address is " + address);  
          }  
           </script>
          </head>
          <body scroll="yes" bgcolor="#E3F3F9" style="border:none">
          <h4>表格一</h4>
          <table id="myTB2" class="testTB" border=0 cellspacing=0 cellpadding=5 width="100%" style="border-top:2px solid #000000; border-bottom:2px solid #000000; width:50%;">
                <tr><th style="border-right:1px solid #000000;">產(chǎn)量</th><th style="border-right:1px solid #000000;">人數(shù)</th><th>累計人數(shù)</th></tr>
                <tr>
                    <td style="border-top:1px solid #000000; border-right:1px solid #000000;">4</td>
                    <td style="border-top:1px solid #000000; border-right:1px solid #000000;">8</td>
                    <td style="border-top:1px solid #000000;">8</td>
                </tr>
                <tr>
                    <td style="border-right:1px solid #000000;">5</td>
                    <td style="border-right:1px solid #000000;">22</td>
                    <td>30</td>
                </tr>
                <tr>
                    <td style="border-right:1px solid #000000;">6</td>
                    <td style="border-right:1px solid #000000;">42</td>
                    <td>72</td>
                </tr>
                <tr>
                    <td style="border-right:1px solid #000000;">7</td>
                    <td style="border-right:1px solid #000000;">38</td>
                    <td>110</td>
                </tr>
                <tr>
                    <td style="border-right:1px solid #000000;">8</td>
                    <td style="border-right:1px solid #000000;">17</td>
                    <td>127</td></tr>
                <tr>
                    <td style="border-right:1px solid #000000;">9</td>
                    <td style="border-right:1px solid #000000;">3</td>
                    <td>130</td>
                </tr>
                <tr>
                    <td style="border-top:1px solid #000000; border-right:1px solid #000000;">合計</td>
                    <td style="border-top:1px solid #000000; border-right:1px solid #000000;">130</td>
                    <td style="border-top:1px solid #000000;">***</td>
                </tr>
            </table>
          <p>
          <h4>表格二</h4>
          <table class="testTB" border=1 cellspacing=0 cellpadding=5 width="50%">
          <tr><th>姓名</th><th>民族</th></tr>
          <tr><td>張三</td><td>漢族</td></tr>
          <tr><td>李四</td><td>回族</td></tr>
          </table>
          <form name="myFc">
          <h4>表格三</h4>
          <table>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#a51020;">1、文本框</th></tr>
          <tr><td>  姓名:</td><td><input id="myName" style="width:100px; color:#ff0000;" value="張三" onchange="alert(111)"/></td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">2、單選按鈕</th></tr>
          <tr><td>  性別:</td><td><input type="radio" name="myGender" value="1" checked/>男 <input type="radio" name="myGender" value="0"/>女</td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">3、復(fù)選框</th></tr>
          <tr><td>  愛好:</td><td><input type="checkbox" name="myLike" value="1"/>籃球 <input type="checkbox" name="myLike" value="2"/>游泳 <input type="checkbox" name="myLike" 
          value="3"/>跑步</td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">4、下拉列表</th></tr>
          <tr><td>  專業(yè):</td><td><select id="myMajor">
              <option value="1">數(shù)學(xué)</option>
              <option value="2">統(tǒng)計學(xué)</option>
              <option value="3">壽險精算</option>
              <option value="4">R語言</option>
          </select></td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">5、多行文本</th></tr>
          <tr><td>  簡介:</td><td>
          <textarea id="myIntroduction" style="width:300px; height:100px; color:#555555;">
          WebBrowser控件是Internet Explorer的主窗口,它是作為一個ActiveX控件來包裝的。用戶可以使用WebBrowser控件打開任何IE能夠顯示的Web頁面,并提取頁面數(shù)據(jù)。如有自己的網(wǎng)站,可運(yùn)用WebBrowser控件實現(xiàn)
          EXCEL文檔和服務(wù)器間數(shù)據(jù)交換
          </textarea></td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">6、DIV區(qū)塊</th></tr>
          <tr><td>  效果:</td><td>
          <div id="myEffect" style="width:300px; height:50px; border:#aaaaaa 1px solid; dsiplay:inline;">
          <b style="text-align:center; width:100%; padding-top:15px;">這是黑體效果</b>
          </div></td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">7、圖片</th></tr>
          <tr><td>  頭像:</td><td><img src="http://studio.galaxystatistics.com/shiny/rSHIndex/pic/vba1.jpg" id="myImg" style="width:200px; height:260px; color:#ff0000;"/></td></tr>
          <tr><th colspan=2 style="text-align:left; font-size:10pt; color:#e51020;">8、內(nèi)崁iFrame框架</th></tr>
          <tr><td>  框架:</td><td><iframe src="http://www.galaxystatistics.com/excel/excelVBA1.html" id="myIframe" style="width:380px; height:260px; color:#ff0000;"/></td></tr>
          </table>
          </form>
          </body>
          </html>

          2、解析HTML文檔

          WebBrowser控件網(wǎng)頁數(shù)據(jù)抓取必須具備一定基礎(chǔ)的網(wǎng)頁編程知識。通常,網(wǎng)頁數(shù)據(jù)抓取的對象為網(wǎng)頁中的table標(biāo)簽,統(tǒng)計數(shù)據(jù)往往以表格形式來呈現(xiàn)。

          I、通過table標(biāo)簽的id屬性抓取表格數(shù)據(jù)

          網(wǎng)頁中任何標(biāo)簽都可以設(shè)定id屬性做為唯一標(biāo)識,對于設(shè)定id屬性的HTML標(biāo)簽,可以用DOM文檔模型的Document.getElementById獲得該標(biāo)簽。

          案例網(wǎng)頁為“http://www.galaxystatistics.com/excel/excelVBA2.html”中第一個table標(biāo)簽為,

          <h4>表格一</h4>
          <table id="myTB2" class="testTB" border=0 cellspacing=0 cellpadding=5 width="100%">
           ...
            </table>

          這里table標(biāo)簽的id屬性為id="myTB2",CommandButton2【網(wǎng)頁數(shù)據(jù)抓取】命令按鈕代碼如下:

          Private Sub CommandButton2_Click()
          Dim tbRows As Integer
          Dim tbCols As Integer
          Dim i, j As Integer
          '通過id屬性獲得table標(biāo)簽對象
          Set doc=WebBrowser1.Document.getElementById("myTB2")
          '獲得表格行數(shù)
          tbRows=doc.Rows.Length
          '獲得表格列數(shù)
          tbCols=doc.Rows(0).Cells.Length
          Sheet1.Cells.Clear
          For i=0 To tbRows - 1
              For j=0 To tbCols - 1
          '按行、列將表格數(shù)據(jù)寫入EXCEL表格
                  Sheet1.Cells(i + 1, j + 1)=doc.Rows(i).Cells(j).innerText
             Next j
          Next i
          End Sub

          II、通過table標(biāo)簽集合抓取表格數(shù)據(jù)

          有時網(wǎng)頁中要抓取的標(biāo)簽沒設(shè)定id屬性,這時可通過DOM文檔模型的Document.getElementsByTagName獲得該標(biāo)簽集合。CommandButton2【網(wǎng)頁數(shù)據(jù)抓取】命令按鈕代碼如下:

          Dim tables As Object
          ' 獲取文檔中所有的table集合
          Set tables=WebBrowser1.Document.getElementsByTagName("table")
          ' 獲取文檔中第2個table對象
          Set doc=tables(1)
          Dim tbRows As Integer
          Dim tbCols As Integer
          Dim i, j As Integer
          tbRows=doc.Rows.Length
          tbCols=doc.Rows(0).Cells.Length
          Sheet1.Cells.Clear
          For i=0 To tbRows - 1
            For j=0 To tbCols - 1
              Sheet1.Cells(i + 1, j + 1)=doc.Rows(i).Cells(j).innerText
            Next j
          Next i

          解析HTML文檔是一個人機(jī)對話過程,開發(fā)者需要對HTML文檔結(jié)構(gòu)和EXCEL VBA編程有足夠的經(jīng)驗。

          這里介紹了網(wǎng)頁table標(biāo)簽中數(shù)據(jù)抓取的方法,對于其它網(wǎng)頁標(biāo)簽(div、textarea、img等),基本都可以有DOM的Document.getElementById和Document.getElementsByTagName方法獲得抓取對象。至于不同網(wǎng)頁標(biāo)簽的進(jìn)一步解析,則需要對HTML文檔結(jié)構(gòu)有一定程度的了解。

          本文代碼使用InternetExplorer運(yùn)行通過,如果使用Chrome瀏覽器或Firefox瀏覽器加載網(wǎng)頁,HTML文檔解析過程可能略有區(qū)別。

          參考文章:

          • Web Browser控件與網(wǎng)頁互動 - EXCEL VBA(21)

          你輸入一個網(wǎng)址,實際會發(fā)生什么?

          作為一個軟件開發(fā)者,你一定會對網(wǎng)絡(luò)應(yīng)用如何工作有一個完整的層次化的認(rèn)知,同樣這里也包括這些應(yīng)用所用到的技術(shù):像瀏覽器,HTTP,HTML,網(wǎng)絡(luò)服務(wù)器,需求處理等等。

          本文將更深入的研究當(dāng)你輸入一個網(wǎng)址的時候,后臺到底發(fā)生了一件件什么樣的事~

          首先嘛,你得在瀏覽器里輸入要網(wǎng)址:

          2. 瀏覽器查找域名的IP地址

          導(dǎo)航的第一步是通過訪問的域名找出其IP地址。DNS查找過程如下:

          瀏覽器緩存 – 瀏覽器會緩存DNS記錄一段時間。 有趣的是,操作系統(tǒng)沒有告訴瀏覽器儲存DNS記錄的時間,這樣不同瀏覽器會儲存?zhèn)€自固定的一個時間(2分鐘到30分鐘不等)。

          系統(tǒng)緩存 – 如果在瀏覽器緩存里沒有找到需要的記錄,瀏覽器會做一個系統(tǒng)調(diào)用(windows里是gethostbyname)。這樣便可獲得系統(tǒng)緩存中的記錄。

          路由器緩存 – 接著,前面的查詢請求發(fā)向路由器,它一般會有自己的DNS緩存。

          ISP DNS 緩存 – 接下來要check的就是ISP緩存DNS的服務(wù)器。在這一般都能找到相應(yīng)的緩存記錄。

          遞歸搜索 – 你的ISP的DNS服務(wù)器從跟域名服務(wù)器開始進(jìn)行遞歸搜索,從.com頂級域名服務(wù)器到Facebook的域名服務(wù)器。一般DNS服務(wù)器的緩存中會有.com域名服務(wù)器中的域名,所以到頂級服務(wù)器的匹配過程不是那么必要了。

          DNS遞歸查找如下圖所示:

          DNS有一點(diǎn)令人擔(dān)憂,這就是像wikipedia.org 或者 facebook.com這樣的整個域名看上去只是對應(yīng)一個單獨(dú)的IP地址。還好,有幾種方法可以消除這個瓶頸:

          循環(huán) DNS 是DNS查找時返回多個IP時的解決方案。舉例來說,F(xiàn)acebook.com實際上就對應(yīng)了四個IP地址。

          負(fù)載平衡器 是以一個特定IP地址進(jìn)行偵聽并將網(wǎng)絡(luò)請求轉(zhuǎn)發(fā)到集群服務(wù)器上的硬件設(shè)備。 一些大型的站點(diǎn)一般都會使用這種昂貴的高性能負(fù)載平衡器。

          地理 DNS 根據(jù)用戶所處的地理位置,通過把域名映射到多個不同的IP地址提高可擴(kuò)展性。這樣不同的服務(wù)器不能夠更新同步狀態(tài),但映射靜態(tài)內(nèi)容的話非常好。

          Anycast 是一個IP地址映射多個物理主機(jī)的路由技術(shù)。 美中不足,Anycast與TCP協(xié)議適應(yīng)的不是很好,所以很少應(yīng)用在那些方案中。

          大多數(shù)DNS服務(wù)器使用Anycast來獲得高效低延遲的DNS查找。

          3. 瀏覽器給web服務(wù)器發(fā)送一個HTTP請求

          當(dāng)你輸入一個網(wǎng)址的時候,實際會發(fā)生什么?

          因為像Facebook主頁這樣的動態(tài)頁面,打開后在瀏覽器緩存中很快甚至馬上就會過期,毫無疑問他們不能從中讀取。

          所以,瀏覽器將把一下請求發(fā)送到Facebook所在的服務(wù)器:

          GET http://facebook.com/ HTTP/1.1

          Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]

          User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]

          Accept-Encoding: gzip, deflate

          Connection: Keep-Alive

          Host: facebook.com

          Cookie: datr=1265876274-[...]; locale=en_US; lsd=WW[...]; c_user=2101[...]

          GET 這個請求定義了要讀取的URL: “http://facebook.com/”。 瀏覽器自身定義 (User-Agent 頭), 和它希望接受什么類型的相應(yīng) (Accept and Accept-Encoding 頭). Connection頭要求服務(wù)器為了后邊的請求不要關(guān)閉TCP連接。

          請求中也包含瀏覽器存儲的該域名的cookies。可能你已經(jīng)知道,在不同頁面請求當(dāng)中,cookies是與跟蹤一個網(wǎng)站狀態(tài)相匹配的鍵值。這樣cookies會存儲登錄用戶名,服務(wù)器分配的密碼和一些用戶設(shè)置等。Cookies會以文本文檔形式存儲在客戶機(jī)里,每次請求時發(fā)送給服務(wù)器。

          用來看原始HTTP請求及其相應(yīng)的工具很多。作者比較喜歡使用fiddler,當(dāng)然也有像FireBug這樣其他的工具。這些軟件在網(wǎng)站優(yōu)化時會幫上很大忙。

          除了獲取請求,還有一種是發(fā)送請求,它常在提交表單用到。發(fā)送請求通過URL傳遞其參數(shù)(e.g.: http://robozzle.com/puzzle.aspx?id=85)。發(fā)送請求在請求正文頭之后發(fā)送其參數(shù)。

          像“http://facebook.com/”中的斜杠是至關(guān)重要的。這種情況下,瀏覽器能安全的添加斜杠。而像“http: //example.com/folderOrFile”這樣的地址,因為瀏覽器不清楚folderOrFile到底是文件夾還是文件,所以不能自動添加 斜杠。這時,瀏覽器就不加斜杠直接訪問地址,服務(wù)器會響應(yīng)一個重定向,結(jié)果造成一次不必要的握手。

          4. facebook服務(wù)的永久重定向響應(yīng)


          圖中所示為Facebook服務(wù)器發(fā)回給瀏覽器的響應(yīng):

          HTTP/1.1 301 Moved Permanently

          Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,

          pre-check=0

          Expires: Sat, 01 Jan 2000 00:00:00 GMT

          Location: http://www.facebook.com/

          P3P: CP="DSP LAW"

          Pragma: no-cache

          Set-Cookie: made_write_conn=deleted; expires=Thu, 12-Feb-2009 05:09:50 GMT;

          path=/; domain=.facebook.com; httponly

          Content-Type: text/html; charset=utf-8

          X-Cnection: close

          Date: Fri, 12 Feb 2010 05:09:51 GMT

          Content-Length: 0

          服務(wù)器給瀏覽器響應(yīng)一個301永久重定向響應(yīng),這樣瀏覽器就會訪問“http://www.facebook.com/” 而非“http://facebook.com/”。

          為什么服務(wù)器一定要重定向而不是直接發(fā)會用戶想看的網(wǎng)頁內(nèi)容呢?這個問題有好多有意思的答案。

          其中一個原因跟搜索引擎排名有 關(guān)。你看,如果一個頁面有兩個地址,就像http://www.igoro.com/ 和http://igoro.com/,搜索引擎會認(rèn)為它們是兩個網(wǎng)站,結(jié)果造成每一個的搜索鏈接都減少從而降低排名。而搜索引擎知道301永久重定向是 什么意思,這樣就會把訪問帶www的和不帶www的地址歸到同一個網(wǎng)站排名下。

          還有一個是用不同的地址會造成緩存友好性變差。當(dāng)一個頁面有好幾個名字時,它可能會在緩存里出現(xiàn)好幾次。

          5. 瀏覽器跟蹤重定向地址


          現(xiàn)在,瀏覽器知道了“http://www.facebook.com/”才是要訪問的正確地址,所以它會發(fā)送另一個獲取請求:

          GET http://www.facebook.com/ HTTP/1.1

          Accept: application/x-ms-application, image/jpeg, application/xaml+xml, [...]

          Accept-Language: en-US

          User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; [...]

          Accept-Encoding: gzip, deflate

          Connection: Keep-Alive

          Cookie: lsd=XW[...]; c_user=21[...]; x-referer=[...]

          Host: www.facebook.com

          頭信息以之前請求中的意義相同。

          6. 服務(wù)器“處理”請求

          服務(wù)器接收到獲取請求,然后處理并返回一個響應(yīng)。

          這表面上看起來是一個順向的任務(wù),但其實這中間發(fā)生了很多有意思的東西- 就像作者博客這樣簡單的網(wǎng)站,何況像facebook那樣訪問量大的網(wǎng)站呢!

          Web 服務(wù)器軟件

          web服務(wù)器軟件(像IIS和阿帕奇)接收到HTTP請求,然后確定執(zhí)行什么請求處理來處理它。請求處理就是一個能夠讀懂請求并且能生成HTML來進(jìn)行響應(yīng)的程序(像ASP.NET,PHP,RUBY…)。舉 個最簡單的例子,需求處理可以以映射網(wǎng)站地址結(jié)構(gòu)的文件層次存儲。像http://example.com/folder1/page1.aspx這個地 址會映射/httpdocs/folder1/page1.aspx這個文件。web服務(wù)器軟件可以設(shè)置成為地址人工的對應(yīng)請求處理,這樣 page1.aspx的發(fā)布地址就可以是http://example.com/folder1/page1。

          請求處理

          請求處理閱讀請求及它的參數(shù)和cookies。它會讀取也可能更新一些數(shù)據(jù),并講數(shù)據(jù)存儲在服務(wù)器上。然后,需求處理會生成一個HTML響應(yīng)。

          所 有動態(tài)網(wǎng)站都面臨一個有意思的難點(diǎn) -如何存儲數(shù)據(jù)。小網(wǎng)站一半都會有一個SQL數(shù)據(jù)庫來存儲數(shù)據(jù),存儲大量數(shù)據(jù)和/或訪問量大的網(wǎng)站不得不找一些辦法把數(shù)據(jù)庫分配到多臺機(jī)器上。解決方案 有:sharding (基于主鍵值講數(shù)據(jù)表分散到多個數(shù)據(jù)庫中),復(fù)制,利用弱語義一致性的簡化數(shù)據(jù)庫。

          委 托工作給批處理是一個廉價保持?jǐn)?shù)據(jù)更新的技術(shù)。舉例來講,F(xiàn)ackbook得及時更新新聞feed,但數(shù)據(jù)支持下的“你可能認(rèn)識的人”功能只需要每晚更新 (作者猜測是這樣的,改功能如何完善不得而知)。批處理作業(yè)更新會導(dǎo)致一些不太重要的數(shù)據(jù)陳舊,但能使數(shù)據(jù)更新耕作更快更簡潔。

          7. 服務(wù)器發(fā)回一個HTML響應(yīng)

          當(dāng)你輸入一個網(wǎng)址的時候,實際會發(fā)生什么?

          圖中為服務(wù)器生成并返回的響應(yīng):

          HTTP/1.1 200 OK

          Cache-Control: private, no-store, no-cache, must-revalidate, post-check=0,

          pre-check=0

          Expires: Sat, 01 Jan 2000 00:00:00 GMT

          P3P: CP="DSP LAW"

          Pragma: no-cache

          Content-Encoding: gzip

          Content-Type: text/html; charset=utf-8

          X-Cnection: close

          Transfer-Encoding: chunked

          Date: Fri, 12 Feb 2010 09:05:55 GMT

          2b3Tn@[...]

          整個響應(yīng)大小為35kB,其中大部分在整理后以blob類型傳輸。

          內(nèi)容編碼頭告訴瀏覽器整個響應(yīng)體用gzip算法進(jìn)行壓縮。解壓blob塊后,你可以看到如下期望的HTML:

          "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">

          lang="en" id="facebook">

          ...

          關(guān)于壓縮,頭信息說明了是否緩存這個頁面,如果緩存的話如何去做,有什么cookies要去設(shè)置(前面這個響應(yīng)里沒有這點(diǎn))和隱私信息等等。

          請注意報頭中把Content-type設(shè)置為“text/html”。報頭讓瀏覽器將該響應(yīng)內(nèi)容以HTML形式呈現(xiàn),而不是以文件形式下載它。瀏覽器會根據(jù)報頭信息決定如何解釋該響應(yīng),不過同時也會考慮像URL擴(kuò)展內(nèi)容等其他因素。

          8. 瀏覽器開始顯示HTML

          在瀏覽器沒有完整接受全部HTML文檔時,它就已經(jīng)開始顯示這個頁面了:


          9. 瀏覽器發(fā)送獲取嵌入在HTML中的對象

          在瀏覽器顯示HTML時,它會注意到需要獲取其他地址內(nèi)容的標(biāo)簽。這時,瀏覽器會發(fā)送一個獲取請求來重新獲得這些文件。

          下面是幾個我們訪問facebook.com時需要重獲取的幾個URL:

          圖片

          http://static.ak.fbcdn.net/rsrc.php/z12E0/hash/8q2anwu7.gif

          http://static.ak.fbcdn.net/rsrc.php/zBS5C/hash/7hwy7at6.gif

          CSS 式樣表

          http://static.ak.fbcdn.net/rsrc.php/z448Z/hash/2plh8s4n.css

          http://static.ak.fbcdn.net/rsrc.php/zANE1/hash/cvtutcee.css

          JavaScript 文件

          http://static.ak.fbcdn.net/rsrc.php/zEMOA/hash/c8yzb6ub.js

          http://static.ak.fbcdn.net/rsrc.php/z6R9L/hash/cq2lgbs8.js

          這些地址都要經(jīng)歷一個和HTML讀取類似的過程。所以瀏覽器會在DNS中查找這些域名,發(fā)送請求,重定向等等…

          但 不像動態(tài)頁面那樣,靜態(tài)文件會允許瀏覽器對其進(jìn)行緩存。有的文件可能會不需要與服務(wù)器通訊,而從緩存中直接讀取。服務(wù)器的響應(yīng)中包含了靜態(tài)文件保存的期限 信息,所以瀏覽器知道要把它們緩存多長時間。還有,每個響應(yīng)都可能包含像版本號一樣工作的ETag頭(被請求變量的實體值),如果瀏覽器觀察到文件的版本 ETag信息已經(jīng)存在,就馬上停止這個文件的傳輸。

          試著猜猜看“fbcdn.net”在地址中代表什么?聰明的答案是”Facebook內(nèi)容分發(fā)網(wǎng)絡(luò)”。Facebook利用內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)分發(fā)像圖片,CSS表和JavaScript文件這些靜態(tài)文件。所以,這些文件會在全球很多CDN的數(shù)據(jù)中心中留下備份。

          靜態(tài)內(nèi)容往往代表站點(diǎn)的帶寬大小,也能通過CDN輕松的復(fù)制。通常網(wǎng)站會使用第三方的CDN。例如,F(xiàn)acebook的靜態(tài)文件由最大的CDN提供商Akamai來托管。

          舉例來講,當(dāng)你試著ping static.ak.fbcdn.net的時候,可能會從某個akamai.net服務(wù)器上獲得響應(yīng)。有意思的是,當(dāng)你同樣再ping一次的時候,響應(yīng)的服務(wù)器可能就不一樣,這說明幕后的負(fù)載平衡開始起作用了。

          10. 瀏覽器發(fā)送異步(AJAX)請求

          在Web 2.0偉大精神的指引下,頁面顯示完成后客戶端仍與服務(wù)器端保持著聯(lián)系。

          以 Facebook聊天功能為例,它會持續(xù)與服務(wù)器保持聯(lián)系來及時更新你那些亮亮灰灰的好友狀態(tài)。為了更新這些頭像亮著的好友狀態(tài),在瀏覽器中執(zhí)行的 JavaScript代碼會給服務(wù)器發(fā)送異步請求。這個異步請求發(fā)送給特定的地址,它是一個按照程式構(gòu)造的獲取或發(fā)送請求。還是在Facebook這個例 子中,客戶端發(fā)送給http://www.facebook.com/ajax/chat/buddy_list.php一個發(fā)布請求來獲取你好友里哪個 在線的狀態(tài)信息。

          提起這個模式,就必須要講講”AJAX”– “異步JavaScript 和 XML”,雖然服務(wù)器為什么用XML格式來進(jìn)行響應(yīng)也沒有個一清二白的原因。再舉個例子吧,對于異步請求,F(xiàn)acebook會返回一些JavaScript的代碼片段。

          除了其他,fiddler這個工具能夠讓你看到瀏覽器發(fā)送的異步請求。事實上,你不僅可以被動的做為這些請求的看客,還能主動出擊修改和重新發(fā)送它們。AJAX請求這么容易被蒙,可著實讓那些計分的在線游戲開發(fā)者們郁悶的了。(當(dāng)然,可別那樣騙人家~)

          Facebook聊天功能提供了關(guān)于AJAX一個有意思的問題案例:把數(shù)據(jù)從服務(wù)器端推送到客戶端。因為HTTP是一個請求-響應(yīng)協(xié)議,所以聊天服務(wù)器不能把新消息發(fā)給客戶。取而代之的是客戶端不得不隔幾秒就輪詢下服務(wù)器端看自己有沒有新消息。

          這些情況發(fā)生時長輪詢是個減輕服務(wù)器負(fù)載挺有趣的技術(shù)。如果當(dāng)被輪詢時服務(wù)器沒有新消息,它就不理這個客戶端。而當(dāng)尚未超時的情況下收到了該客戶的新消息,服務(wù)器就會找到未完成的請求,把新消息做為響應(yīng)返回給客戶端。

          IM作為騰訊旗下的通信辦公軟件,相比QQ更加簡潔,省去了大量的娛樂功能,更加專注移動在線辦公。但同時TIM也精簡了一些我們需要的功能,這讓我始終覺得缺了什么。

          經(jīng)過一段時間的使用,我發(fā)現(xiàn)好多被精簡掉的功能就是H5頁面,可以從原版QQ中復(fù)制鏈接,加入TIM收藏,在TIM打開,徹底擺脫QQ。

          具體怎么實現(xiàn)呢?我以運(yùn)動為例講解具體的方法,現(xiàn)在隨我一起做吧!

          1.打開動態(tài)頁面中的運(yùn)動。

          2.長按頁面中空白的區(qū)域,點(diǎn)擊在瀏覽器打開。

          3.關(guān)閉一些無用的對話框,點(diǎn)擊上方網(wǎng)址欄,復(fù)制鏈接。

          4.打開TIM,粘貼鏈接并打開。

          但我們可以發(fā)現(xiàn)并沒有正確打開我們所需的網(wǎng)址。

          原因很簡單,這個網(wǎng)頁對瀏覽器做了跳轉(zhuǎn)處理,我們復(fù)制的鏈接是跳轉(zhuǎn)后的網(wǎng)址。并且從圖中可以看出復(fù)制鏈接時的網(wǎng)頁與原來的并不同。

          5.返回QQ,重新打開運(yùn)動頁面,我們需要找找其他的方法。

          6.通過探索我們可以發(fā)現(xiàn)通過下拉運(yùn)動紅包頁面可以顯示鏈接:yundong.qq.com。

          7.打開TIM,粘貼鏈接并打開,發(fā)現(xiàn)成功了。

          以上就是尋找運(yùn)動功能鏈接的過程了。畢竟在TIM中領(lǐng)個運(yùn)動紅包也是不錯的。

          尋找鏈接的方法有很多,關(guān)鍵在于細(xì)心。這里為之家網(wǎng)友總結(jié)了其他一些隱藏的功能鏈接:

          QQ運(yùn)動:yundong.qq.com

          游戲:http://m.gamecenter.qq.com(點(diǎn)擊進(jìn)入手Q游戲中心,需要再次點(diǎn)擊下方的“我”)

          興趣部落:https://buluo.qq.com/mobile/buluoindex.html

          打卡頁面:https://ti.qq.com/signin/public/index.html

          TIM換聊天背景:zb.vip.qq.com/sonic/index

          如果常用這些功能可以加入TIM收藏,以備下次使用。


          主站蜘蛛池模板: 国产欧美一区二区精品仙草咪 | 99精品国产一区二区三区不卡| 国产AV国片精品一区二区| 国产精品无码一区二区三级| 最新中文字幕一区| 中文人妻无码一区二区三区| 无码视频免费一区二三区| 亚洲日韩一区二区一无码| 国产亚洲一区二区三区在线| 成人精品视频一区二区三区| 精品一区二区AV天堂| 国产乱子伦一区二区三区| 日韩一区在线视频| 国产91精品一区| 无码少妇一区二区浪潮av| 无码8090精品久久一区| 免费精品一区二区三区在线观看| 中文精品一区二区三区四区 | 波多野结衣AV无码久久一区| 一区二区三区免费视频观看| 午夜福利国产一区二区| 一区二区三区在线视频播放| 亚洲一区二区三区乱码A| 亚洲一区二区视频在线观看| 国产精品免费一区二区三区| 精品一区二区三区免费观看| 亚洲日韩精品无码一区二区三区| 亚洲爆乳无码一区二区三区| 麻豆aⅴ精品无码一区二区| 99久久综合狠狠综合久久一区| 亚洲一区在线观看视频| 精品欧洲av无码一区二区| 欧美日韩国产免费一区二区三区| 欧亚精品一区三区免费| 国产一区高清视频| 国产一区三区二区中文在线| 亚洲制服中文字幕第一区| 无码人妻精品一区二区三区久久久| 欧美日韩一区二区成人午夜电影 | 最新中文字幕一区| 日韩精品一区二区午夜成人版|