TML 中的預(yù)留字符必須被替換為字符實(shí)體。

一些在鍵盤上找不到的字符也可以使用字符實(shí)體來替換。

HTML 實(shí)體

在 HTML 中，某些字符是預(yù)留的。

在 HTML 中不能使用小于號(hào)（<）和大于號(hào)（>），這是因?yàn)闉g覽器會(huì)誤認(rèn)為它們是標(biāo)簽。

如果希望正確地顯示預(yù)留字符，我們必須在 HTML 源代碼中使用字符實(shí)體（character entities）。 字符實(shí)體類似這樣：

&entity_name;

或

&#entity_number;

如需顯示小于號(hào)，我們必須這樣寫：&lt; 或 &#60; 或 &#060;

提示： 使用實(shí)體名而不是數(shù)字的好處是，名稱易于記憶。不過壞處是，瀏覽器也許并不支持所有實(shí)體名稱（對(duì)實(shí)體數(shù)字的支持卻很好）。

不間斷空格(Non-breaking Space)

HTML 中的常用字符實(shí)體是不間斷空格(&nbsp;)。

瀏覽器總是會(huì)截短 HTML 頁面中的空格。如果您在文本中寫 10 個(gè)空格，在顯示該頁面之前，瀏覽器會(huì)刪除它們中的 9 個(gè)。如需在頁面中增加空格的數(shù)量，您需要使用 &nbsp; 字符實(shí)體。

結(jié)合音標(biāo)符

發(fā)音符號(hào)是加到字母上的一個(gè)"glyph(字形)"。

一些變音符號(hào), 如 尖音符 ( ?) 和 抑音符 ( ?) 。

變音符號(hào)可以出現(xiàn)字母的上面和下面，或者字母里面，或者兩個(gè)字母間。

變音符號(hào)可以與字母、數(shù)字字符的組合來使用。

以下是一些實(shí)例:

HTML字符實(shí)體

如您還有不明白的可以在下面與我留言或是與我探討QQ群308855039，我們一起飛！

妮 栗子 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

沒想到吧，有一天你會(huì)被鍵盤出賣。

對(duì)，就是你每日敲擊的鍵盤。當(dāng)指尖在鍵盤上跳躍，清脆的噼啪聲此起彼落時(shí)，你輸入的所有信息，包括那些情真意切的詞句，那些不欲人知的心事，還有你的網(wǎng)絡(luò)賬戶、銀行密碼……全都被它泄露了。

鍵盤，還能被黑？？？

今天，一個(gè)叫做Keytap的“黑科技”在國外火了。Keytap通過監(jiān)聽你敲擊鍵盤的聲音，就能還原出你輸入的內(nèi)容。

而且，只需要通過你電腦里的麥克風(fēng)，就能完成聲波采集的任務(wù)。

在一段發(fā)布于網(wǎng)上的Demo里，Keytap作者展示了在iMac+Filco機(jī)械鍵盤環(huán)境中，這個(gè)算法的優(yōu)秀程度，請(qǐng)看：

四步偷窺大法

搭建這樣一個(gè)“偷窺”打字的模型并不難，Keytap算法也已經(jīng)開源了。跟著做，只要如下四步：

一是，收集訓(xùn)練數(shù)據(jù)；二是，搭建預(yù)測(cè)模型，學(xué)習(xí)一下數(shù)據(jù)；三是，檢測(cè)出有人在敲鍵盤；四是，檢測(cè)出ta在打什么字。

收集訓(xùn)練數(shù)據(jù)

Keytap收集數(shù)據(jù)時(shí)，只保留每次敲擊前后75-100毫秒的音頻。

這就是說，并非連續(xù)取樣，兩次敲擊之間有一部分是忽略的。

這種做法是會(huì)犧牲一些信息量的。

從敲下按鍵，到程序受到指令，這之間有隨機(jī)延時(shí)，與硬件和軟件都有關(guān)系。

比如，按下g鍵的完整波形長這樣：

看圖像可以發(fā)現(xiàn)，敲擊時(shí)出現(xiàn)了一個(gè)峰值，而再過大約150毫秒，又有一個(gè)按鍵被抬起的小峰值。

這樣說來，100毫秒之外的信息也可能有用，不過這里為了簡便就忽略了。

最終，收集到的數(shù)據(jù)長這樣：

除此之外，局限性還在于，如果兩次按鍵之間相隔不久，后者落在前者的后75毫秒之內(nèi)，那數(shù)據(jù)可能就有些混雜了。

搭個(gè)預(yù)測(cè)模型

這個(gè)部分是最能發(fā)揮創(chuàng)造力的部分。Keytap用了一個(gè)非常簡單的方法，分為三步：

1. 把收集到的波形的峰值對(duì)齊。這樣可以避免延時(shí)帶來的影響。

2. 基于相似度指標(biāo) (Similarity Metric) ，更精細(xì)地對(duì)齊波形。

需要更精確的對(duì)齊方法，是因?yàn)橛袝r(shí)候峰值未必是最好的判斷依據(jù)。

那么，可不可以跳過峰值對(duì)齊呢？

之所以第2步之前要先做第1步，是因?yàn)橄嗨贫戎笜?biāo)的計(jì)算很占CPU。而第1步可以有效縮小對(duì)齊窗口 (Alignment Window) ，減少計(jì)算量。

3. 對(duì)齊后，做簡單加權(quán)平均。權(quán)重也是用相似度指標(biāo)來定義的。

完成第3步之后，每一個(gè)按鍵都會(huì)得出一個(gè)平均波形 (a Single Averaged Waveform) ，用來和實(shí)時(shí)捕捉的數(shù)據(jù)做比對(duì)。

Keytap用的相似度指標(biāo)是互相關(guān) (Cross Correlation, CC) ，長這樣：

這里，Ai和Bi都是某個(gè)按鍵的波形樣本，比對(duì)就在它們之間進(jìn)行。CC值越高，表示兩者越相似。

當(dāng)然，也可以用其他相似度指標(biāo)來做。

順便一說，兩次按鍵之間的間隔時(shí)長，其實(shí)也可以用來預(yù)測(cè)的，但開發(fā)者怕麻煩就省略了，勇敢的少年可以去源代碼基礎(chǔ)上自行實(shí)驗(yàn)。

檢測(cè)出在敲鍵盤

平均波形和比對(duì)標(biāo)準(zhǔn)都有了，可是麥克風(fēng)實(shí)時(shí)收錄的聲音連綿不絕，該和哪一段來比對(duì)呢？

這就需要從連續(xù)的音頻里，找到敲擊鍵盤的聲音。

Keytap用了一個(gè)非常簡單的閾值方法，在原始音頻里監(jiān)測(cè)敲擊動(dòng)作：

按下去的時(shí)候，會(huì)有一個(gè)大大的峰值，這就是偵測(cè)目標(biāo)。

不過，這個(gè)閾值不是固定的，是自適應(yīng) (Adaptive) 的：根據(jù)過去數(shù)百毫秒之內(nèi)的平均樣本強(qiáng)度來調(diào)整的。

檢測(cè)打了什么字

當(dāng)系統(tǒng)發(fā)現(xiàn)有人在敲鍵盤，就用相似度指標(biāo)來測(cè)到底按了哪個(gè)鍵，CC值最高的就是答案。方法就像上文說的那樣。

現(xiàn)在，代碼實(shí)現(xiàn)已經(jīng)開源了，傳送門見文底。

不過，作者在博客中說，這個(gè)方法目前只有機(jī)械鍵盤適用。

“薯片間諜”

聽音識(shí)字的研究不止這一個(gè)，去年一篇Don’t Skype & Type!Acoustic Eavesdropping in Voice-Over-IP的論文，也提出了Skype & Type（S&T）鍵盤聲音識(shí)別算法。

和這個(gè)研究類似，根據(jù)網(wǎng)絡(luò)電話Skepe中傳出的打字按鍵聲音，在了解了被測(cè)者的打字風(fēng)格和設(shè)備類型后，系統(tǒng)能復(fù)原敲下了什么。

整個(gè)算法搭建過程只有三步：收集信息、數(shù)據(jù)處理與數(shù)據(jù)分類。

研究人員事先收集語音電話中鍵盤敲擊聲，將這些聲音分為兩類，即按下聲與松開回彈聲，隨后提取它們的特征。

當(dāng)聽到鍵盤聲時(shí)，算法先識(shí)別設(shè)備類型，再去識(shí)別為鍵盤中的哪個(gè)鍵。和Keytap不同的是，S&T也能適用于非機(jī)械鍵盤了。

研究人員表示，在預(yù)測(cè)的最可能的前5個(gè)字母中，包含正確字母的準(zhǔn)確率達(dá)到了91.7%。

這篇論文發(fā)表在ACM亞洲計(jì)算機(jī)和通訊安全大會(huì)（ASIACCS 2017）上，地址：

https://www.math.unipd.it/~dlain/papers/2017-skype.pdf

推測(cè)人類講了什么，AI需要甚至只是一包薯片。

什么，覺得太離譜了？Naive。

MIT、微軟和Adobe開發(fā)的這種看似天方夜譚的算法，只需高速相機(jī)透過隔音玻璃，拍攝出薯片袋的振動(dòng)，算法就會(huì)判斷說話人是男是女，甚至還原出說了什么。

研究人員表示，聲音傳播時(shí)觸碰到周圍的物體，會(huì)震動(dòng)形成一股微妙的視覺信號(hào)，肉眼無法識(shí)別，但高速相機(jī)（每秒幀數(shù)2000~6000 FPS）可以敏銳捕捉。

除了薯片袋子，研究人員還用鋁箔、水杯甚至植物盆栽進(jìn)行了試驗(yàn)，效果“一如既往的好”。

這不是野生研究，相關(guān)論文The Visual Microphone：Passive Recovery of Sound from Video還登上了2014年的Siggraph計(jì)算機(jī)圖形學(xué)大會(huì)。

論文地址（注意科學(xué)前往）：

http://t.cn/EyZEZYI

傳送門

方法雖多，如果想自己動(dòng)手搞一個(gè)，這些Keytap相關(guān)資源還是要收好：

博客地址：

https://ggerganov.github.io/jekyll/update/2018/11/30/keytap-description-and-thoughts.html

代碼地址：

https://github.com/ggerganov/kbd-audio

Demo：

https://ggerganov.github.io/jekyll/update/2018/11/24/keytap.html

噓，掩好口鼻，輕聲撤退。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)