享 | 劉博（又拍云多媒體開發(fā)工程師）

又小拍：

如何實現(xiàn)HTML5直播技術(shù)是直播創(chuàng)業(yè)團隊一直想要攻克的難題。12月1日20:00，深度參與“又拍直播云”開發(fā)的工程師劉博就如何利用WebSocket+MSE實現(xiàn)HTML5直播在微信群里進(jìn)行了分享。小拍馬不停蹄將劉博的分享內(nèi)容整理成了文字，并插入一些PPT便于大家了解。全文整理如下：

下面就是分享內(nèi)容啦~

當(dāng)前為了滿足比較火熱的移動Web端直播需求，一系列的HTML5直播技術(shù)迅速的發(fā)展起來。

常見的可用于HTML5的直播技術(shù)有HLS、WebSocket與WebRTC。今天我向大家介紹WebSocket與MSE相關(guān)的技術(shù)要點，并在最后通過一個實例來展示具體用法。

分享大綱

⊙WebSocket協(xié)議介紹

⊙WebSocket Client/Server API介紹

⊙MSE介紹

⊙fMP4介紹

⊙Demo展示

WebSocket

通常的Web應(yīng)用都是圍繞著HTTP的請求/響應(yīng)模型構(gòu)建的。所有的HTTP通信都通過客戶端來控制，由客戶端向服務(wù)器發(fā)出一個請求，服務(wù)器接收和處理完畢后再返回結(jié)果給客戶端，客戶端將數(shù)據(jù)展現(xiàn)出來。由于這種模式不能滿足實時應(yīng)用需求，于是出現(xiàn)了SSE、Comet等 "服務(wù)器推" 的長連接技術(shù)。

WebSocket是基于TCP連接之上的通信協(xié)議，可以在單個TCP連接上進(jìn)行全雙工的通信。WebSocket在2011年被IETF定為標(biāo)準(zhǔn)RFC 6455，并被RFC 7936補充規(guī)范，WebSocket API被W3C定為標(biāo)準(zhǔn)。

WebSocket是獨立地創(chuàng)建在TCP上的協(xié)議，HTTP協(xié)議中的那些概念都和WebSocket沒有關(guān)聯(lián)，唯一關(guān)聯(lián)的是使用HTTP協(xié)議的101狀態(tài)碼進(jìn)行協(xié)議切換時，使用的TCP端口是80，可以繞過大多數(shù)防火墻的限制。

WebSocket握手

為了更方便地部署新協(xié)議，HTTP/1.1引入了Upgrade機制，使得客戶端和服務(wù)端之間可以借助已有的HTTP語法升級到其它協(xié)議。這個機制在RFC7230的6.7 Upgrade一節(jié)中有詳細(xì)描述。

要發(fā)起HTTP/1.1協(xié)議升級，客戶端必須在請求頭部中指定這兩個字段 ▽

Connection: Upgrade

Upgrade: protocol-name[/protocol-version]

如果服務(wù)端同意升級，那么需要這樣響應(yīng) ▽

HTTP/1.1 101 Switching Protocols

Connection: upgrade

Upgrade: protocol-name[/protocol-version]

[... data defined by new protocol ...]

可以看到，HTTP Upgrade響應(yīng)的狀態(tài)碼是101，并且響應(yīng)正文可以使用新協(xié)議定義的數(shù)據(jù)格式。

WebSocket握手就利用了這種HTTP Upgrade機制。一旦握手完成，后續(xù)數(shù)據(jù)傳輸直接在TCP上完成。

WebSocket JavaScript API

目前主流的瀏覽器提供了WebSocket的API接口，可以發(fā)送消息（文本或者二進(jìn)制）給服務(wù)器，并且接收事件驅(qū)動的響應(yīng)數(shù)據(jù)。

Step1. 檢查瀏覽器是否支持WebSocket

if(window.WebSocket) {

// WebSocket代碼

}

Step2. 建立連接

var ws = new WebSocket('ws://localhost:8327');

Step3. 注冊回調(diào)函數(shù)以及收發(fā)數(shù)據(jù)

分別注冊WebSocket對象的onopen、onclose、onerror以及onmessage回調(diào)函數(shù)。

通過ws.send()來進(jìn)行發(fā)送數(shù)據(jù)，這里不僅可以發(fā)送字符串，也可以發(fā)送Blob或ArrayBuffer類型的數(shù)據(jù)。

如果接收的是二進(jìn)制數(shù)據(jù)，需要將連接對象的格式設(shè)為blob或arraybuffer。

ws.binaryType = 'arraybuffer';

WebSocket Golang API

服務(wù)器端WebSocket庫我推薦使用Google自己的golang.org/x/net/websocket，可以非常方便的與net/http一起使用。也可以將WebSocket的handler function通過websocket.Handler轉(zhuǎn)換成http.Handler，這樣就可以跟net/http庫一起使用了。

然后通過websocket.Message.Receive來接收數(shù)據(jù)，通過websocket.Message.Send來發(fā)送數(shù)據(jù)。

具體代碼可以看下面的Demo部分。

MSE

在介紹MSE之前，我們先看看HTML5<audio>和<video>有哪些限制。

HTML5<audio>和<video>標(biāo)簽的限制

• 不支持流

• 不支持DRM和加密

• 很難自定義控制, 以及保持跨瀏覽器的一致性

• 編解碼和封裝在不同瀏覽器支持不同

MSE是解決HTML5的流問題。

Media Source Extensions（MSE）是Chrome、Safari、Edge等主流瀏覽器支持的一個新的Web API。MSE是一個W3C標(biāo)準(zhǔn)，允許JavaScript動態(tài)構(gòu)建<video>和<audio>的媒體流。它定義了對象，允許JavaScript傳輸媒體流片段到一個 HTMLMediaElement。

通過使用MSE，你可以動態(tài)地修改媒體流而不需要任何插件。這讓前端JavaScript可以做更多的事情—— 在JavaScript進(jìn)行轉(zhuǎn)封裝、處理，甚至轉(zhuǎn)碼。

雖然MSE不能讓流直接傳輸?shù)絤edia tags上，但是MSE提供了構(gòu)建跨瀏覽器播放器的核心技術(shù)，讓瀏覽器通過JavaScript API來推音視頻到media tags上。

Browser Support

通過caniuse來檢查是否瀏覽器支持情況。

通過MediaSource.isTypeSupported()可以進(jìn)一步地檢查codec MIME類型是否支持。

fMP4

比較常用的視頻封裝格式有WebM和fMP4。

WebM和WebP是兩個姊妹項目，都是由Google贊助的。由于WebM是基于Matroska的容器格式，天生是流式的，很適合用在流媒體領(lǐng)域里。

下面著重介紹一下fMP4格式。

我們都知道MP4是由一系列的Boxes組成的。普通的MP4的是嵌套結(jié)構(gòu)的，客戶端必須要從頭加載一個MP4文件，才能夠完整播放，不能從中間一段開始播放。

而fMP4由一系列的片段組成，如果服務(wù)器支持byte-range請求，那么，這些片段可以獨立的進(jìn)行請求到客戶端進(jìn)行播放，而不需要加載整個文件。

為了更加形象的說明這一點，下面我介紹幾個常用的分析MP4文件的工具。

• gpac，原名mp4box，是一個媒體開發(fā)框架，在其源碼下有大量的媒體分析工具，可以使用testapps；

• mp4box.js，是mp4box的Javascript版本；

• bento4，一個專門用于MP4的分析工具；

• mp4parser，在線MP4文件分析工具。

fragment mp4 VS non-fragment mp4

下面是一個fragment mp4文件通過mp4parser（http://mp4parser.com）分析后的截圖 ▽

下面是一個non-fragment mp4文件通過mp4parser分析后的截圖 ▽

我們可以看到non-fragment mp4的最頂層box類型非常少，而fragment mp4是由一段一段的moof+mdat組成的，它們已經(jīng)包含了足夠的metadata信息與數(shù)據(jù), 可以直接seek到這個位置開始播放。也就是說fMP4是一個流式的封裝格式，這樣更適合在網(wǎng)絡(luò)中進(jìn)行流式傳輸，而不需要依賴文件頭的metadata。

Apple在WWDC 2016大會上宣布會在iOS 10、tvOS、macOS的HLS中支持fMP4，可見fMP4的前景非常的好。

值得一提的是，fMP4、CMAF、ISOBMFF其實都是類似的東西。

MSE JavaScript API

從高層次上看，MSE提供了

• 一套 JavaScript API 來構(gòu)建 media streams

• 一個拼接和緩存模型

• 識別一些 byte 流類型：

• WebM

• ISO Base Media File Format

• MPEG-2 Transport Streams

MSE內(nèi)部結(jié)構(gòu)

MSE本身的設(shè)計是不依賴任務(wù)特定的編解碼和容器格式的，但是不同的瀏覽器支持程度是不一樣的。

可以通過傳遞一個MIME類型的字符串到靜態(tài)方法：MediaSource.isTypeSupported來檢查。比如 ▽

MediaSource.isTypeSupported('audio/mp3'); // false

MediaSource.isTypeSupported('video/mp4'); // true

MediaSource.isTypeSupported('video/mp4; codecs="avc1.4D4028, mp4a.40.2"'); // true

獲取Codec MIME string的方法可以通過在線的mp4info（http://nickdesaulniers.github.io/mp4info），或者使用命令行mp4info test.mp4 | grep Codecs，可以得到類似如下結(jié)果 ▽

mp4info fmp4.mp4| grep Codec

Codecs String: mp4a.40.2

Codecs String: avc1.42E01E

當(dāng)前，H.264 + AAC的MP4容器在所有的瀏覽器都支持。

普通的MP4文件是不能和MSE一起使用的, 需要將MP4進(jìn)行fragment化。

檢查一個MP4是否已經(jīng)fragment的方法 ▽

mp4dump test.mp4 | grep "\[m"

如果是non-fragment會顯示如下信息 ▽

mp4dump nfmp4.mp4 | grep "\[m"

[mdat] size=8+50873

[moov] size=8+7804

[mvhd] size=12+96

[mdia] size=8+3335

[mdhd] size=12+20

[minf] size=8+3250

[mdia] size=8+3975

[mdhd] size=12+20

[minf] size=8+3890

[mp4a] size=8+82

[meta] size=12+78

如果已經(jīng)fragment，會顯示如下的類似信息 ▽

mp4dump fmp4.mp4 | grep "\[m" | head -n 30

[moov] size=8+1871

[mvhd] size=12+96

[mdia] size=8+312

[mdhd] size=12+20

[minf] size=8+219

[mp4a] size=8+67

[mdia] size=8+371

[mdhd] size=12+20

[minf] size=8+278

[mdia] size=8+248

[mdhd] size=12+20

[minf] size=8+156

[mdia] size=8+248

[mdhd] size=12+20

[minf] size=8+156

[mvex] size=8+144

[mehd] size=12+4

[moof] size=8+600

[mfhd] size=12+4

[mdat] size=8+138679

[moof] size=8+536

[mfhd] size=12+4

[mdat] size=8+24490

[moof] size=8+592

[mfhd] size=12+4

[mdat] size=8+14444

[moof] size=8+312

[mfhd] size=12+4

[mdat] size=8+1840

[moof] size=8+600

把一個non-fragment MP4轉(zhuǎn)換成fragment MP4。

可以使用FFmpeg的 -movflags來轉(zhuǎn)換。

對于原始文件為非MP4文件 ▽

ffmpeg -i trailer_1080p.mov -c:v copy -c:a copy -movflags frag_keyframe+empty_moov bunny_fragmented.mp4

對于原始文件已經(jīng)是MP4文件 ▽

ffmpeg -i non_fragmented.mp4 -movflags frag_keyframe+empty_moov fragmented.mp4

或者使用mp4fragment ▽

mp4fragment input.mp4 output.mp4

DEMO TIME

劉博在分享的最后階段，展示了兩個demo，分別是MSE Vod Demo、MSE Live Demo

MSE Vod Demo

• 展示利用MSE和WebSocket實現(xiàn)一個點播服務(wù)

• 后端讀取一個fMP4文件，通過WebSocket發(fā)送給MSE，進(jìn)行播放

MSE Live Demo

• 展示利用MSE和WebSocket實現(xiàn)一個直播服務(wù)

• 后端代理一條HTTP-FLV直播流，通過WebSocket發(fā)送給MSE，進(jìn)行播放

• 前端MSE部分做了很多工作, 包括將flv實時轉(zhuǎn)封裝成了fMP4，這里引用了videojs-flow的實現(xiàn)

Q & A

Q1：對于沒有公網(wǎng)iIP的客戶如何通過RTMP協(xié)議推流？

A1：用戶客戶端進(jìn)行RTMP推流，不需要公網(wǎng)IP，推到直播系統(tǒng)分配給你的地址就可以了。

Q2：MSE客戶端做很多東西，可以轉(zhuǎn)碼、解碼， 這個會有性能問題嗎？ 還有這個技術(shù)，目前有公司在大批量用嗎？

A2：目前該技術(shù)在實驗階段，轉(zhuǎn)封裝的話，對性能要求不高，我們在各自型號的手機上測試都沒有問題。目前除了微信內(nèi)置瀏覽器對MSE支持不好，大部分瀏覽器對MSE支持都比較好。

Q3：沒做過相關(guān)內(nèi)容，能簡單介紹一下HTTP-FLV么？

A3：HTTP-FLV就是將FLV流以HTTP長連接的形式分發(fā)出去，目前在各大直播平臺都用的比較多。大家可以關(guān)注下又拍云微信公眾賬號，之前專門有一篇文章介紹HTTP-FLV。

Q4：不大了解HTTP-FLV，既然是長時間的狀態(tài)性連接，為什么不用tcp／socket呢？

A5: FLV不能在<video>標(biāo)簽直接播放，所以需要通過MSE轉(zhuǎn)封裝成MP4，再吐到<video>標(biāo)簽進(jìn)行播放。

Q5：嗶哩嗶哩H5播放器是基于WebSocket與MSE技術(shù)實現(xiàn)的嘛？

A5：B站開源的flv.js是一個非常好的項目，是基于 MSE 實現(xiàn)的，實時性做的也比較好，B 站自己已經(jīng)在網(wǎng)站播放器上使用了。

Q6：VLC器播放和網(wǎng)頁播放，哪個快啊？

A6：播放器端延時，一個重要指標(biāo)是播放器的緩存區(qū)大小。VLC的默認(rèn)緩存區(qū)比較大，所以，VLC通常延時會大一些。

Q7：可以介紹下秒開技術(shù)么，以及秒開的原理？

A7：秒開可以在服務(wù)器端多緩存一個GoP來實現(xiàn)，這樣播放器請求的第一幀能保證是I幀，可以立即播放，以此達(dá)到秒開的效果.

Refs

WebSocket

• rfc6455

• HTTP Upgrade

• WebSocket API

• MDN WebSocket

• videojs-flow

MSE

• W3C

• MDN MSE

• HTML5 Codec MIME