整合營銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
T之家 9 月 3 日消息，華為 Mate60 系列已經(jīng)開售了一段時間，在京東搜索“遙遙領(lǐng)先”可以直達(dá)華為 Mate60 系列商品頁面，但大家知道在淘寶搜索會發(fā)生什么嗎？IT之家在淘寶搜索“遙遙領(lǐng)先”時，飄出了幾條彈幕“遙遙領(lǐng)先！”“領(lǐng)先超過 50%”，點(diǎn)擊彈幕區(qū)域即可跳轉(zhuǎn)至華為 Mate60 系列商品頁面。
值得一提的是，京東此前開啟了 Mate 60 Pro 預(yù)售，支付了 1000 元定金用戶的尾款支付時間提前 7 天，來到今晚 18:08，屆時開放全款搶購。
華為商城頁面也顯示，華為 Mate60 Pro 于今日 10:08 和 18:08 兩個時間段開放全款搶購。
截至昨日，華為 Mate 60 Pro 和華為 Mate 60 均只有 12GB+512GB 一個內(nèi)存版本，首發(fā)售價分別為 6999 元和 5999 元。
華為 Mate 60 Pro 采用 6.82 英寸的 OLED 曲面屏，屏幕分辨率為 2720 × 1260 像素，支持 1-120Hz LTPO 自適應(yīng)刷新率；內(nèi)置 5000mAh 電池，支持 88W 有線超級快充；后置攝像頭為 5000 萬像素超光變攝像頭（F1.4~F4.0 光圈，OIS 光學(xué)防抖）+ 1200 萬像素超廣角攝像頭（F2.2 光圈）+ 4800 萬像素超微距長焦攝像頭（F3.0 光圈，OIS 光學(xué)防抖），前置攝像頭為 1300 萬像素超廣角攝像頭（F2.4 光圈）+ 3D 深感攝像頭。此外，Pro 版機(jī)型還首發(fā)第二代昆侖玻璃，支持衛(wèi)星通話功能等。
華為 Mate 60 標(biāo)準(zhǔn)版正面配備 6.69 英寸單孔直屏，分辨率為 2688 × 1216 像素，支持 1-120Hz LTPO 自適應(yīng)刷新率。該產(chǎn)品后置 5000 萬像素超光變攝像頭（F1.4~F4.0 光圈，OIS 光學(xué)防抖），機(jī)身內(nèi)置 4750mAh（典型值）電池，支持 66W 有線超級快充。此外，標(biāo)準(zhǔn)版機(jī)型還支持雙向北斗衛(wèi)星消息功能、第二代昆侖玻璃、4 米 IP68 級防塵抗水等。
華為 Mate 60 標(biāo)準(zhǔn)版機(jī)型與 Pro 版機(jī)型相比，主要由曲面屏變?yōu)橹逼粒∠?3D 深感攝像頭，衛(wèi)星通話降級為北斗衛(wèi)星消息，防水等級由 6 米變?yōu)?4 米，長焦鏡頭由 4800 萬像素超微距鏡頭變?yōu)?5 倍潛望式光學(xué)變焦鏡頭。
文節(jié)選自中國計算機(jī)學(xué)會(CCF)會員刊物《中國計算機(jī)學(xué)會通訊》(CCCF)所刊登內(nèi)容，如想獲取完整版，請關(guān)注CCF頭條號，或者于CCCF查看原文。
千人千面幫助手淘從大的超市升級成為每個消費(fèi)者擁有個性化的貨架，但是對于消費(fèi)者未來的需求推理還是有欠缺的。認(rèn)知圖譜的出現(xiàn)就是為了解決這個難題，希望每位消費(fèi)者個性化的貨架旁邊有一個“AI導(dǎo)購員”，可以推理認(rèn)知并且與消費(fèi)者交互未來的需求。
關(guān)鍵詞：認(rèn)知圖譜推薦系統(tǒng)
2020年1月2日，阿里巴巴達(dá)摩院發(fā)布《2020十大科技趨勢》[1]，第一條就是“人工智能從感知智能向認(rèn)知智能演進(jìn)”。人工智能已經(jīng)在“聽、說、看”等感知智能領(lǐng)域達(dá)到或超越了人類水準(zhǔn)，但在需要外部知識、邏輯推理或者領(lǐng)域遷移的認(rèn)知智能領(lǐng)域還處于初級階段。認(rèn)知智能將從認(rèn)知心理學(xué)、腦科學(xué)及人類社會歷史中汲取靈感，并結(jié)合跨領(lǐng)域知識圖譜、因果推理、持續(xù)學(xué)習(xí)等技術(shù)，建立穩(wěn)定獲取和表達(dá)知識的有效機(jī)制，讓知識能夠被機(jī)器理解和運(yùn)用，實現(xiàn)從感知智能到認(rèn)知智能的關(guān)鍵突破。
認(rèn)知圖譜簡介
認(rèn)知圖譜是計算機(jī)科學(xué)的一個研究分支，旨在結(jié)合認(rèn)知心理學(xué)、腦科學(xué)和人類知識等，研發(fā)知識圖譜、認(rèn)知推理、邏輯表達(dá)的新一代認(rèn)知引擎，企圖了解智能的實質(zhì)，實現(xiàn)人工智能從感知智能向認(rèn)知智能的演進(jìn)和重大技術(shù)突破。
讓機(jī)器具備認(rèn)知智能，其核心就是讓機(jī)器具備理解和解釋能力。這種能力的實現(xiàn)與大規(guī)模、結(jié)構(gòu)化的背景知識密不可分。認(rèn)知圖譜是實現(xiàn)機(jī)器認(rèn)知智能的使能器，一方面通過建立從數(shù)據(jù)到知識圖譜中實體、概念、關(guān)系的映射，讓機(jī)器理解數(shù)據(jù)的本質(zhì)；另一方面利用知識圖譜中實體、概念和關(guān)系來解釋現(xiàn)實世界中的事物和現(xiàn)象，讓機(jī)器解釋現(xiàn)象的本質(zhì)。機(jī)器認(rèn)知智能的發(fā)展過程本質(zhì)上是人類腦力不斷解放的過程，是人工智能的最高階段。認(rèn)知圖譜是實現(xiàn)機(jī)器認(rèn)知智能的底層支撐手段，它不是束之高閣、高高在上的前沿技術(shù)，而是一類能夠?qū)崒嵲谠诼涞氐摹⒂兄鴱V泛且多樣的應(yīng)用需求的、能夠產(chǎn)生巨大社會經(jīng)濟(jì)價值的技術(shù)，應(yīng)用場景主要體現(xiàn)在電商平臺、智慧城市、司法行業(yè)、銀行、安防行業(yè)、精準(zhǔn)分析、智慧搜索、智能推薦、智能解釋、更自然的人機(jī)交互和深層關(guān)系推理等各個方面。
電商認(rèn)知圖譜
全球知名市場研究機(jī)構(gòu)eMarketer預(yù)計 2019年全球零售電子商務(wù)銷售額達(dá)3.563萬億美元，電子零售收入預(yù)計到2022年將增長至6.54萬億美元1。如此快速的增長為全球電子商務(wù)行業(yè)帶來了廣闊的前景，這標(biāo)志著一個強(qiáng)勁的市場和廣闊的客戶需求。電商平臺面臨的最大挑戰(zhàn)是從日益增長的海量物料（數(shù)十億）中挑選出一個小的子集（幾十或上百）展示給用戶，以滿足用戶的個性化購物需求。建設(shè)大規(guī)模電商認(rèn)知圖譜可以有效解決重復(fù)推薦、缺少新意等問題。通過構(gòu)建電商認(rèn)知圖譜，將用戶、場景、物料進(jìn)行有效地關(guān)聯(lián)，可以挖掘出更多的用戶標(biāo)簽，精準(zhǔn)感知用戶場景，從而使電商搜索和推薦更加準(zhǔn)確，有效提高貨品轉(zhuǎn)化率。
電商相關(guān)的文本語料稀缺，給抽取帶來了極大的困難。針對這些難點(diǎn)，阿里巴巴正在著手設(shè)計一套人工+算法不斷迭代優(yōu)化的主動學(xué)習(xí)(active learning)流程，希望為后續(xù)的概念理解和推理應(yīng)用提供可靠的支持。阿里巴巴集團(tuán)旨在打造全球最大的中文電商知識圖譜，支持包括淘寶、天貓、優(yōu)酷以及海外電商在內(nèi)的整個阿里集團(tuán)的推薦與搜索業(yè)務(wù)，每天服務(wù)上億用戶。電商認(rèn)知圖譜從電商場景下的用戶需求出發(fā)，不局限于傳統(tǒng)的商品圖譜，而是一個連接商品、用戶、購物需求以及各類開放領(lǐng)域知識、常識的大規(guī)模語義網(wǎng)絡(luò)。
基于此，阿里巴巴智能引擎事業(yè)群和清華大學(xué)計算機(jī)系知識工程實驗室在全球月活躍用戶人數(shù)和流量最大的電子商務(wù)平臺手機(jī)淘寶（手淘）的推薦系統(tǒng)上，不斷對第二代AI系統(tǒng)認(rèn)知智能計算平臺進(jìn)行打磨和落地。該認(rèn)知智能計算平臺主要包括基礎(chǔ)數(shù)據(jù)層、推理引擎層和用戶交互層。其中基礎(chǔ)數(shù)據(jù)層主要專注于（1）跨領(lǐng)域知識圖譜的構(gòu)建；（2）拉通跨域跨場景各類行為數(shù)據(jù)，例如瀏覽、點(diǎn)擊、收藏、加購、轉(zhuǎn)發(fā)等，全方位建模經(jīng)濟(jì)體內(nèi)行為，差異化理解多模態(tài)行為數(shù)據(jù)背后的含義；（3）在意圖感知的實時性與認(rèn)知深度間做平衡，層次化地強(qiáng)化消費(fèi)者理解。推理引擎層，依托多模態(tài)預(yù)訓(xùn)練進(jìn)行全域召回，緩解馬太效應(yīng)，加強(qiáng)手淘生態(tài)建設(shè)；依托超大規(guī)模圖神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行消費(fèi)者意圖推理。用戶交互層，基于用戶交互的視覺智能和文本智能，通過短視頻改變和引導(dǎo)購后消費(fèi)者心智，理解消費(fèi)者意圖，助力消費(fèi)者決策，同時填補(bǔ)目前學(xué)術(shù)界和企業(yè)界基于用戶交互的弱監(jiān)督內(nèi)容理解方向的空白。
基礎(chǔ)數(shù)據(jù)層
阿里巴巴生態(tài)里積累了海量的跨領(lǐng)域多模態(tài)物料（商品、短視頻、直播等）數(shù)據(jù)（見圖1），同時各品牌商、行業(yè)運(yùn)營、治理運(yùn)營、消費(fèi)者、國家機(jī)構(gòu)、物流商等多種角色參與其中，共同為這樣一個龐大的多模態(tài)數(shù)據(jù)庫做貢獻(xiàn)。無論從知識產(chǎn)權(quán)保護(hù)角度，還是從提升消費(fèi)者購物體驗的角度，實現(xiàn)跨領(lǐng)域多模態(tài)數(shù)據(jù)的標(biāo)準(zhǔn)化（跨領(lǐng)域多模態(tài)規(guī)范的統(tǒng)一和跨領(lǐng)域多模態(tài)信息的確定性），以及內(nèi)外部數(shù)據(jù)之間的深度互聯(lián)，意義都非常重大。
知識圖譜推理顯性和隱性的代表方法分別是路徑排序算法(Path Ranking Algorithm，PRA)和轉(zhuǎn)移表示(Trans Embedding系列)。文獻(xiàn)[2]提出了PRA算法，將路徑作為特征，預(yù)測實體間是否存在指定關(guān)系。文獻(xiàn)[3]提出了知識圖譜關(guān)聯(lián)規(guī)則挖掘算法(Association rule Mining under Incomplete Evidence，AMIE)，挖掘傳遞性規(guī)則。
基于距離模型的表示推理方法是根據(jù)轉(zhuǎn)移假設(shè)（將關(guān)系看成實體間的轉(zhuǎn)移）設(shè)計得分函數(shù)，度量事實三元組的有效性分值。TransE是第一個基于距離的表示模型，主要思想是：如果三元組（頭實體，關(guān)系，尾實體）成立，則頭實體向量h與關(guān)系向量r之和與尾實體向量t相近，否則遠(yuǎn)離。TransE模型可以很好地處理一對一關(guān)系，但是在處理一對多、多對一和多對多等復(fù)雜關(guān)系時存在一些不足和缺陷。針對以上問題，研究者做出了一系列改進(jìn)工作。文獻(xiàn)[4]提出了TransR模型，在單獨(dú)的實體空間和關(guān)系空間建立實體和關(guān)系的表示，每個關(guān)系對應(yīng)一個空間，有一個映射矩陣，實體通過對應(yīng)的映射矩陣映射到關(guān)系空間后，將關(guān)系向量看成實體向量間的轉(zhuǎn)移，在一定程度上緩解了不能很好地處理多映射屬性關(guān)系的問題。文獻(xiàn)[5]提出的TransG模型是一種基于貝葉斯非參的高斯混合模型，第一次從產(chǎn)生式的角度看待知識圖譜嵌入表示問題，解決了如何刻畫三元組知識中關(guān)系的多語義表達(dá)問題。文獻(xiàn)[6]提出了TKRL(Type-embodied Knowledge Representation Learning)學(xué)習(xí)知識圖譜實體和關(guān)系的表示，將層級類型的信息用于映射矩陣、訓(xùn)練時選擇負(fù)例和評估時過濾候選。文獻(xiàn)[7]提出了TransE-NMM(TransE-Neighborhood Mixture Modeling)，在TransE的基礎(chǔ)上定義基于鄰居的實體表示，引入鄰居實體信息進(jìn)行實體和關(guān)系的表示學(xué)習(xí)。文獻(xiàn)[8]提出了TEKE(Text-Enhanced Knowledge Embedding)，引入文本語料中豐富的上下文信息擴(kuò)展知識圖譜的語義結(jié)構(gòu)，學(xué)習(xí)知識圖譜中實體和關(guān)系的表示。文獻(xiàn)[9]提出了新穎的時間感知知識圖譜補(bǔ)全模型(Time-Aware Embedding，TAE)，用三元組和時間信息預(yù)測知識圖譜中的連接，即給定三元組中的兩個元素與時間區(qū)間，預(yù)測另一個元素。
推理引擎層
推薦系統(tǒng)需要通過用戶在系統(tǒng)中留下的“足跡”，對用戶當(dāng)下的認(rèn)知狀態(tài)進(jìn)行猜測，從而提供合適的內(nèi)容。用戶的“足跡”是由人類的認(rèn)知所驅(qū)動的。可以想象每一個用戶背后都有一個符合認(rèn)知理論的大腦，驅(qū)動著他/她在系統(tǒng)中的行為，例如接受信號和給予反饋。推薦系統(tǒng)能否通過用戶的反饋來揣測甚至還原用戶對于系統(tǒng)的認(rèn)知狀態(tài)，是非常有意思的問題。
傳統(tǒng)表征學(xué)習(xí)算法得到的用戶商品表征本身并不具備可解釋性，往往只能提供用戶-物料之間的注意力分?jǐn)?shù)作為物料粒度的用戶興趣。學(xué)習(xí)解離化表征的原因和人類認(rèn)知的捆綁問題(Binding Problem，BP)有關(guān)。我們關(guān)注這樣的兩個和認(rèn)知相關(guān)的子任務(wù)：（1）商品在人的認(rèn)知空間中是如何表征的，這樣的表征是否具有可解釋性，人在這個空間下的表征是否也具有這樣的語義；（2）基于這樣的表征，我們能否提出新型應(yīng)用，并至少給出一種原型方案。
針對電商平臺上用戶行為的特點(diǎn)，我們的模型采用了層次化的設(shè)計：它在推理一個用戶的表征時將依次進(jìn)行宏觀解離化(macro disentanglement)和微觀解離化(micro disentanglement)。宏觀解離化的啟發(fā)一方面來自用戶在綜合類電商場景下較為分散的興趣，另一方面來自人類的傳統(tǒng)認(rèn)知難題BP。首先，用戶的興趣通常是非常廣泛的，一個用戶的點(diǎn)擊記錄往往會涉及到多個獨(dú)立的消費(fèi)意圖（比如點(diǎn)擊不同大類下的商品）。另外，宏觀解離化也是微觀解離化的必要前提。因此，我們將用戶的表征拆分成K個d維分量。我們希望能把用戶在執(zhí)行某個意圖時的偏好進(jìn)一步分解到更細(xì)的粒度。
宏觀級別的用戶偏好向量挖掘可以用任何帶“聚類”功能的前向網(wǎng)絡(luò)實現(xiàn)。為了優(yōu)化這個深度概率模型，我們采納了變分自動編碼器(VAE)的框架。為了實現(xiàn)微觀解離化，借鑒了beta-VAE[10]的方法，對KL懲罰項進(jìn)行了加強(qiáng)（令beta遠(yuǎn)大于1）。這種做法將迫使表征的各個維度去捕捉比較獨(dú)立的信息。
解離化表征在帶來一定的可解釋性的同時，也帶來了一定的可控制性。這種可控制性有望給推薦系統(tǒng)引入一種全新的用戶體驗。比如說，既然表征的各個維度關(guān)聯(lián)的是不同的商品屬性，那么我們完全可以把用戶的表征向量提供給用戶，允許用戶自行固定絕大部分維度（比如對應(yīng)的是衣服的風(fēng)格、價格、尺寸等），然后單獨(dú)調(diào)整某個維度的取值（比如顏色對應(yīng)的維度），系統(tǒng)再根據(jù)這個反饋調(diào)整推薦結(jié)果。這將幫助用戶更加精準(zhǔn)地表達(dá)并檢索得到自己想要的商品。圖2是我們在調(diào)控某個維度后檢索得到的兩批商品，可以看出這個被調(diào)控的維度和背包的顏色屬性比較相關(guān)，并有較為明顯的漸變性質(zhì)。
用戶交互層
基于用戶交互的自然語言生成
自然語言處理中很多任務(wù)依然面臨巨大的挑戰(zhàn)，其中之一是如何實現(xiàn)基于用戶交互的自然語言生成。用戶交互信息繁多復(fù)雜，如何有效利用這類信息生成更加符合用戶興趣的文案是一個具有重大技術(shù)價值和業(yè)務(wù)價值的問題。
在阿里巴巴淘寶的推薦場景中，云主題便是一個需要自動化實現(xiàn)推薦理由生成的應(yīng)用。云主題是由一系列商品所形成的主題場景。我們利用現(xiàn)有推薦系統(tǒng)中的召回（指從全量信息集合中觸發(fā)盡可能多的正確結(jié)果）技術(shù)實現(xiàn)基于場景的商品聚合。然而面對繁多的主題，利用人工生成標(biāo)題和推薦理由將消耗非常大量的人力物力。為此，我們利用自然語言生成技術(shù)實現(xiàn)了自動生成標(biāo)題和推薦理由。這項工作主要有以下幾個難點(diǎn)：（1）生成的文案需要符合語法，表達(dá)流暢通順；（2）推薦理由的內(nèi)容需要與商品屬性相關(guān)，同時要符合商品相關(guān)的知識；（3）推薦場景下的文本生成要盡可能做到個性化。
為了提升生成質(zhì)量和用戶體驗，我們引入了外部知識和個性化信息。針對每一個商品，當(dāng)前的輸入除了商品標(biāo)題以外，還有與它對應(yīng)的特征屬性（如外觀、質(zhì)量等）。此外，算法使用了外部知識庫CN-DBpedia，使得輸入的商品和相關(guān)知識聯(lián)系起來。我們設(shè)計了相應(yīng)的KOBE模型(KnOwledge-Based pErsonalized text generation system，基于知識的個性化文本生成系統(tǒng))。該模型建立在基于自注意力機(jī)制的transformer模型之上，圖3展示了KOBE模型的基本框架。編碼器由多層的自注意力層疊而成（一般為6層，如果要實現(xiàn)大模型的話可以增加層數(shù)）。
在Attribute Fusion模塊中，算法引入個性化推薦相關(guān)特征屬性，主要集中在兩個方面：第一個是aspect，指的是產(chǎn)品的特定方面，比如外觀、質(zhì)量等；第二個是user category，即該產(chǎn)品匹配的用戶群體，比如機(jī)械鍵盤對應(yīng)的用戶群體是科技愛好者等，算法利用Attribute Fusion模塊將它們有機(jī)融合。
文本生成的另一個常見問題是缺乏信息量，算法設(shè)計了knowledge incorporation這一模塊。模塊中的知識編碼器同樣是一個基于自注意力機(jī)制的編碼器，具體模型構(gòu)造和上文所述編碼器一致。為了實現(xiàn)商品標(biāo)題表示和相關(guān)知識表示的有效結(jié)合，算法實現(xiàn)雙向注意力機(jī)制，分為“標(biāo)題到知識的注意力”和“知識到標(biāo)題的注意力”。標(biāo)題到知識的注意力能夠獲取和標(biāo)題相關(guān)的知識，而知識到標(biāo)題的注意力則獲取和知識相關(guān)的標(biāo)題內(nèi)容。我們在春節(jié)云主題的項目中上線了KOBE模型，為每個類目提供相應(yīng)的個性化推薦理由。可以看到生成的推薦理由表達(dá)流暢，能夠根據(jù)類目和產(chǎn)品特點(diǎn)選擇符合產(chǎn)品相關(guān)知識的描述，并且能夠攜帶一些具有趣味性的表達(dá)（見圖4）。[11]
多模態(tài)預(yù)訓(xùn)練實踐
隨著全球零售電商銷售規(guī)模的快速增長，以及電商系統(tǒng)與用戶交互形式日益多元化，電商系統(tǒng)理解和檢索圖片、視頻等多模態(tài)內(nèi)容的需求日益增強(qiáng)。面對深度多模態(tài)表征學(xué)習(xí)的需求，我們跟進(jìn)多模態(tài)預(yù)訓(xùn)練的相關(guān)工作，設(shè)計了一套新的多模態(tài)預(yù)訓(xùn)練方法，學(xué)習(xí)更加高質(zhì)量的多模態(tài)表征，并將其應(yīng)用到電商推薦場景中，實現(xiàn)搜索query召回相關(guān)商品圖片以及多模態(tài)商品召回等相關(guān)任務(wù)。尤其是在商品召回場景中，如何充分結(jié)合多模態(tài)特征和用戶交互信息實現(xiàn)效果更優(yōu)的推薦，是非常值得探索的課題。算法自研設(shè)計了一套多模態(tài)表征學(xué)習(xí)的框架InterBERT，見圖5。
輸入查詢序列和商品圖片物體序列，經(jīng)過InterBERT模型的交互模塊(interaction module)和獨(dú)立模塊(independence module)編碼，最后預(yù)測查詢與商品圖是否匹配。多模態(tài)預(yù)訓(xùn)練主要從2019年開始有了比較大的進(jìn)展，幾項比較有代表性的工作都是參考了自然語言處理的預(yù)訓(xùn)練，將Transformer架構(gòu)遷移到多模態(tài)預(yù)訓(xùn)練中，并做了相應(yīng)的修改。多模態(tài)預(yù)訓(xùn)練的數(shù)據(jù)主要是圖文對，如圖片和它對應(yīng)的描述(caption)。文本以詞序列的形式作為輸入，而圖像則通過物體檢測得到物體表示序列。在訓(xùn)練中，文本側(cè)采用掩碼語言模型(masked language modeling)，而圖像側(cè)則借助檢測得到的物體類別，采用掩碼物體模型(masked object modeling)，讓模型觀察上下文預(yù)測被掩蓋的物體所屬類別，并增加圖文匹配(image-text pairing)的任務(wù)。
在模型架構(gòu)方面，主要是單流(single-stream)模型和雙流(two-stream)模型。單流模型直接將兩種模態(tài)融合在一個模型中，交互更加充分，但每個模態(tài)的表示缺少自身獨(dú)立性；雙流模型每個模態(tài)具有良好的獨(dú)立性，但是交互過程采用互注意力機(jī)制，每次只能看到另一個模態(tài)的信息而不能采集自身模態(tài)的上下文信息。參考了兩類模型的優(yōu)缺點(diǎn)，我們設(shè)計了一套結(jié)合兩者優(yōu)勢的模型結(jié)構(gòu)InterBERT，其中包括單流交互模塊(single-stream interaction module)，用于更好地跨模態(tài)交互，以及雙流獨(dú)立模塊(two-stream independence module)來保持模態(tài)的獨(dú)立性。具體實現(xiàn)如圖5所示，輸入的表征首先經(jīng)過單流模型實現(xiàn)交互。在訓(xùn)練方法方面，我們也對訓(xùn)練任務(wù)做了一些改進(jìn)，讓模型建模圖像物體和文本序列的能力更強(qiáng)，主要是提升圖像區(qū)域建模和文本短語的建模。
在使用上述模型產(chǎn)出了多模態(tài)的特征之后，大模型可以遷移到具體的下游任務(wù)，如文本召回圖片。相對于基線模型，多模態(tài)預(yù)訓(xùn)練模型在淘寶電商場景中的文本召回圖片的任務(wù)在召回指標(biāo)R@1、R@5和R@10上均能獲得顯著提升。而利用預(yù)訓(xùn)練模型產(chǎn)出的多模態(tài)特征也可以應(yīng)用到推薦系統(tǒng)的商品召回任務(wù)中。我們使用豐富的電商商品文本和圖片進(jìn)行預(yù)訓(xùn)練，并對商品池中的每個商品產(chǎn)出多模態(tài)特征。這些高質(zhì)量的多模態(tài)特征可以加入到推薦系統(tǒng)中的召回模型中，讓召回模型通過多模態(tài)特征對用戶行為建模。目前預(yù)訓(xùn)練產(chǎn)出特征做的召回在線上也取得了喜人的表現(xiàn)，在點(diǎn)擊率沒有顯著下降的情況下，曝光和點(diǎn)擊的商品熱度能夠大幅降低，讓更多位于商品分布中腰部的商品得到曝光。[12]
基于用戶交互的視覺智能
隨著網(wǎng)絡(luò)技術(shù)和大眾傳媒的發(fā)展，短視頻和網(wǎng)絡(luò)直播邁入了發(fā)展的快車道。在電子商務(wù)領(lǐng)域，買家秀視頻具有數(shù)量大和個性化強(qiáng)的優(yōu)勢，因此，將買家秀視頻推薦給潛在感興趣的消費(fèi)者可以增強(qiáng)電子商務(wù)場景下視頻推薦的有效性。
買家秀視頻在視頻推薦過程中缺少高質(zhì)量的視頻標(biāo)題。通常，視頻推薦會給視頻配上一個精煉的標(biāo)題，該標(biāo)題可以讓目標(biāo)用戶在觀看視頻前對視頻的主要亮點(diǎn)、特色有一個初步把握，從而產(chǎn)生觀看興趣。在這種應(yīng)用需求下，我們設(shè)計了買家秀視頻標(biāo)題自動生成模型，該模型從買家秀視頻、買家撰寫的評論和關(guān)聯(lián)商品的屬性信息等數(shù)據(jù)中抽取、關(guān)聯(lián)和聚合有用的信息。圖6展示了一個實際的數(shù)據(jù)樣例。
買家秀視頻標(biāo)題生成任務(wù)的描述涉及商品細(xì)節(jié)特點(diǎn)識別、商品整體外觀識別、商品與背景交互作用的識別（如“夏日海灘風(fēng)情度假必備連衣裙”）和視頻故事線主題識別（如“這樣穿顯瘦、美麗”）。買家秀視頻標(biāo)題生成在任務(wù)層面提出了更多和實際應(yīng)用緊密相關(guān)的挑戰(zhàn)；在現(xiàn)有模型層面，大部分視頻描述模型將該任務(wù)看作序列到序列的建模任務(wù)，典型的是采用帶有或不帶有注意力機(jī)制(attention)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，同時對視頻幀序列和輸出的詞序列建模。然而，這樣的建模方式具有局限性：其一，他們只在視頻幀級別建模了視頻信息，這不利于商品部位及商品整體級別的特點(diǎn)識別，基于序列建模的RNN模型本身也較難對具有特殊依賴關(guān)系的商品不同部位建模；其二，序列建模的RNN模型無法系統(tǒng)、有效地關(guān)聯(lián)和聚合三種異構(gòu)信息，即視頻、視頻評論和關(guān)聯(lián)商品的屬性信息。
為了解決這些問題，我們提出了一個新的建模框架——基于圖結(jié)構(gòu)建模的視頻標(biāo)題生成器(Graph based Video Title Generator，Gavotte)。具體而言，Gavotte由兩個子過程組成，即細(xì)粒度交互建模和故事線摘要建模。
Gavotte模型結(jié)構(gòu)圖
商品視頻信息 我們首先使用了特征點(diǎn)檢測(landmark detection)技術(shù)[13]檢測衣服類商品的商品部位特征，每一幀的每一個部位都視為圖節(jié)點(diǎn)。為了增強(qiáng)空間-時序視覺商品部位圖的時序性和部位特點(diǎn)，我們給每一個節(jié)點(diǎn)都加上了位置嵌入(position embedding)[14]和類型嵌入(type embedding)。
視頻評論信息?將評論中的每一個詞作為圖節(jié)點(diǎn)，并將有語法依賴關(guān)系的節(jié)點(diǎn)進(jìn)行連接，發(fā)現(xiàn)相比于時序關(guān)系，捕捉評論中和商品有關(guān)的語義信息對生成標(biāo)題更有價值。
關(guān)聯(lián)商品的屬性信息?將每一個屬性值作為圖節(jié)點(diǎn)，并對所有節(jié)點(diǎn)進(jìn)行全連接，屬性間本身沒有時序關(guān)系，使用圖建模可以更好地探索屬性間的特殊交互作用。
如圖7所示，細(xì)粒度交互建模對三個異構(gòu)圖的圖內(nèi)關(guān)系(intra-actions in graph)和圖間關(guān)系(inter-actions across graphs)進(jìn)行了建模。
圖內(nèi)關(guān)系建模注重和商品有關(guān)的細(xì)粒度特征的識別，我們采用了圖神經(jīng)網(wǎng)絡(luò)作為圖內(nèi)關(guān)系建模的可訓(xùn)練框架結(jié)構(gòu)。圖間關(guān)系建模注重異構(gòu)圖之間商品有關(guān)細(xì)粒度特征的關(guān)聯(lián)和聚合，為全局-局部聚合模塊(Global-Local Aggregation，GLA)。GLA包含全局門控訪問(global gated access)和局部注意(local attention)兩個子模塊（見圖8）。GLA的輸入為查詢圖(query graph)和上下文圖(context graph)，輸出的聚合圖(aggregated graph)的結(jié)構(gòu)與查詢圖一致。
GLA模型結(jié)構(gòu)圖
故事線摘要建模關(guān)注幀級別和視頻級別的信息，因此可以采用幀特征和RNN來進(jìn)行序列建模。我們先利用全局-局部模塊將細(xì)粒度信息和幀信息進(jìn)行信息融合，再采用RNN對視頻幀進(jìn)行序列建模。在解碼器部分，我們采用常用的注意力增強(qiáng)的RNN結(jié)構(gòu)[15]，在每一步解碼階段都會關(guān)注細(xì)粒度圖信息和幀信息。
部分實驗結(jié)果示例圖
由表1可見，Gavotte模型在兩個淘寶商品數(shù)據(jù)集(T-VTD服飾類商品數(shù)據(jù)和其他類別商品數(shù)據(jù))上得到了最佳的效果。Gavotte模型在T-VTD上性能提升顯著，在其他商品類別數(shù)據(jù)上提升會相對弱一些，但這是合理的結(jié)果，因為服飾類商品有良好的商品部位定義，我們在其他類別上采用了近似的方法。
圖9展示了Gavotte生成了網(wǎng)絡(luò)熱詞（如出街、搶鏡），而且生成的句子更流暢，更有吸引力。同時，Gavotte可以識別商品細(xì)節(jié)級別信息（如破洞）、商品級別信息（如牛仔褲）、商品與背景交互信息（如出街搶鏡）和視頻級別故事情節(jié)信息（如這樣穿）。[16]
結(jié)語和展望
人工智能1.0已經(jīng)在感知計算方面取得了長足的進(jìn)步，甚至在很多領(lǐng)域已經(jīng)達(dá)到或超過了人類水準(zhǔn)。對于需要外部知識、邏輯推理、領(lǐng)域遷移等與認(rèn)知相關(guān)的任務(wù)，將成為人工智能2.0需要突破的核心問題。相比依賴數(shù)據(jù)規(guī)模和質(zhì)量的感知智能，認(rèn)知智能更需要的是機(jī)制設(shè)計，包括如何建立有效的機(jī)制來穩(wěn)定獲取和表達(dá)知識，如何讓知識能夠被所有模型理解和運(yùn)用。認(rèn)知智能將會從認(rèn)知心理學(xué)、腦科學(xué)以及人類社會的發(fā)展歷史中汲取更多的靈感，并結(jié)合擴(kuò)領(lǐng)域知識圖譜、因果推理、持續(xù)學(xué)習(xí)等研究領(lǐng)域的發(fā)展進(jìn)行突破。
現(xiàn)代的推薦系統(tǒng)相比于傳統(tǒng)的物貨匹配復(fù)雜度、承載功能和需求等已得到全面升級，是大規(guī)模檢測認(rèn)知推理結(jié)果的理想場所。繼深度學(xué)習(xí)的興起，“千人千面”幫助手淘從大的超市升級成為每個消費(fèi)者擁有自己的個性化的貨架，但是對于消費(fèi)者未來的需求推理還有欠缺。認(rèn)知圖譜有助于解決這個難題，希望為每位消費(fèi)者個性化的貨架旁邊提供一個“AI導(dǎo)購員”，可以推理認(rèn)知并且與消費(fèi)者交互未來的需求。我們在全球月活用戶和流量最大的電子商務(wù)平臺手機(jī)淘寶的推薦系統(tǒng)上，不斷打磨和落地第二代AI系統(tǒng)認(rèn)知智能計算平臺，抽象出基礎(chǔ)數(shù)據(jù)層、推理引擎層和用戶交互層，進(jìn)行了初步嘗試并獲得了一定結(jié)果。我們相信，未來在認(rèn)知推理技術(shù)的不斷發(fā)展下，推薦系統(tǒng)最終會真正做到認(rèn)知推薦。
腳注
1 參閱http://www.199it.com/archives/856125.html
參考文獻(xiàn)
[1] 阿里巴巴達(dá)摩院. 達(dá)摩院2020十大科技趨勢[OL].(2020-01-20). https://damo.alibaba.com/events/57.
[2] Lao N, Cohen W W. Relational Retrieval Using a Combination of Path-Constrained Random Walks[J]. Machine Learning, 2010, 81(1):53-67.
[3] Galárraga L, Teflioudi C, Hose K, et al. AMIE: Association rule mining under incomplete evidence in ontological knowledge bases[C]// International Conference on World Wide Web. ACM, 2013:413-422.
[4] Lin Y, Liu Z, Sun M, et al. Learning entity and relation embeddings for knowledge graph completion[C]//National Conference on Artificial Intelligence, 2015: 2181-2187.
[5] Xiao H, Huang M, Hao Y, et al. TransG: A Generative Mixture Model for Knowledge Graph Embedding[OL]. arXiv: Computation and Language, 2015.
[6] Xie R, Liu Z, Sun M. Representation learning of knowledge graphs with hierarchical types[C]// IJCAI’16: Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. AAAI Press, 2016: 2965-2971.
[7] Nguyen D Q, Sirts K, Qu L, et al. Neighborhood Mixture Model for Knowledge Base Completion[C]//Conference on Computational Natural Language Learning. ACL, 2016: 40-50.
[8] Wang Z, Li J. Text-enhanced representation learning for knowledge graph[C]// IJCAI'16: Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. AAAI Press, 2016: 1293-1299.
[9] Jiang T, Liu T, Ge T, et al. Towards Time-Aware Knowledge Graph Completion[C]// Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics. 2016: 1715-1724.
[10] Higgins I, Matthey L, et al. beta-VAE: Learning basic visual concepts with a constrained variational framework cite[C]//ICLR 2017.
[11] Chen Q, Lin J, Zhang Y, et al. Towards knowledge-based personalized product description generation in E-commerce[C]// KDD’19: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2019.
[12] Lin J, Yang A, Zhang Y, et al. InterBERT: An effective multi-modal pretraining approach via vision-and-language interaction[OL].(2020-05-30). https://arxiv.org/abs/2003.13198
[13] Liu Z, Yan S, Luo P, et al. Fashion Landmark Detection in the Wild[C]// Computer Vision – ECCV 2016. ECCV 2016. Lecture Notes in Computer Science, vol. 9906.Springer, 2016:229-245
[14] Gehring J, Auli M, Grangier D, et al. 2017. Convolutional sequence to sequence learning[C]// ICML’17: Proceedings of the 34th International Conference on Machine Learning. 2017:1243-1252.
[15] Yao L, Torabi A, Cho K, et al. Describing Videos by Exploiting Temporal Structure[C]// ICCV '15: Proceedings of the 2015 IEEE International Conference on Computer Vision. IEEE CS, 2015: 4507-4515.
[16] Zhang S, Tan Z, Yu J, et al. Comprehensive Information Integration Modeling Framework for Video Titling[C]// Proceedings of the 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2020.
作者簡介
楊紅霞
CCF專業(yè)會員。阿里巴巴大數(shù)據(jù)資深算法專家，帶領(lǐng)團(tuán)隊開發(fā)基于計算平臺和搜索推薦的智能算法。2019世界人工智能大會最高獎項卓越人工智能引領(lǐng)者（SAIL獎）獲得者，2020年杭州市領(lǐng)軍型創(chuàng)新團(tuán)隊獲得者。yang.yhx@alibaba-inc.com
周靖人
CCF專業(yè)會員。阿里巴巴集團(tuán)資深副總裁，阿里達(dá)摩院智能計算實驗室負(fù)責(zé)人，浙江大學(xué)兼職教授。負(fù)責(zé)阿里巴巴集團(tuán)新零售智能引擎的產(chǎn)品技術(shù)研發(fā)。主要研究方向為人工智能、大規(guī)模分布式系統(tǒng)等。jingren.zhou@alibaba-inc.com。
特別聲明：中國計算機(jī)學(xué)會(CCF)擁有《中國計算機(jī)學(xué)會通訊》(CCCF)所刊登內(nèi)容的所有版權(quán)，未經(jīng)CCF允許，不得轉(zhuǎn)載本刊文字及照片，否則被視為侵權(quán)。對于侵權(quán)行為，CCF將追究其法律責(zé)任。
費(fèi)電商資料已經(jīng)整理好了，需要的朋友留言學(xué)習(xí)
一、免費(fèi)流量的匹配核心原理
想要得到免費(fèi)流量，就要清楚明白為什么系統(tǒng)要給予我們免費(fèi)流量？我們應(yīng)當(dāng)規(guī)避什么錯誤，搜索流量的核心究竟是什么？
1、系統(tǒng)是如何匹配搜索流量給我們的？
2022年的淘寶變化確實很大，導(dǎo)致很多店鋪流量都下滑了，這是為什么？競爭大是其原因之一，但我覺得最重要的應(yīng)該是搜索行為發(fā)生了變化，而店鋪下滑的商家沒跟上改版的趨勢。因為個性化流量越來越重要，人群標(biāo)簽也令我們產(chǎn)品展現(xiàn)的次數(shù)、展現(xiàn)的排名發(fā)生了改變，流量進(jìn)行細(xì)分化了，這使我們的店鋪寶貝流量變少一點(diǎn)，但轉(zhuǎn)化就很精準(zhǔn)了。這也是我平常分享的人群標(biāo)簽運(yùn)營，做好標(biāo)簽才能獲取更多的精準(zhǔn)流量及轉(zhuǎn)化，系統(tǒng)才會給到更多的免費(fèi)搜索流量給我們。
2、免費(fèi)流量最大的來源是哪里：
1）搜索流量：有手機(jī)端、電腦端入口，這兩個入口手機(jī)端為核心，目前PC端已經(jīng)很少人用了。
2）手淘推薦：手淘推薦是不需要進(jìn)行搜索，首頁猜你喜歡直接展現(xiàn)消費(fèi)者喜歡或瀏覽過的產(chǎn)品進(jìn)行展現(xiàn)。
3）個性化流量：根據(jù)買家的人群自身標(biāo)簽匹配和分配，千人千面影響。
這三個點(diǎn)是我們作為運(yùn)營免費(fèi)流量來得最多的地方，當(dāng)然除去內(nèi)容營銷的微淘私域流量、直播的公域流量了。
3、獲取免費(fèi)搜索流量的核心是什么？
當(dāng)消費(fèi)者進(jìn)行關(guān)鍵詞搜索的時候，你的寶貝能夠快速地出現(xiàn)在買家面前，這也是我們要優(yōu)化搜索流量的原因。搜索流量離不開關(guān)鍵詞[只要搜索存在，關(guān)鍵詞就一定能有非常大的作用]，這句話要牢記。做好關(guān)鍵詞的排名、權(quán)重、卡位，我們首先要注重的就是標(biāo)題，（對于標(biāo)題優(yōu)化我前幾天分享過一篇文章全面解析的，大家可以回看我的歷史文章即可）。一般來說關(guān)鍵詞要有權(quán)重、關(guān)鍵詞要有曝光、關(guān)鍵詞的競爭小、關(guān)鍵詞的人群精準(zhǔn)，這幾個點(diǎn)是我們得到搜索流量的核心，而這幾個點(diǎn)，說起來簡單，但實際操作中需要點(diǎn)擊率、收藏、轉(zhuǎn)化，三個指標(biāo)打標(biāo)才行。
二、新手賣家優(yōu)化常見誤區(qū)
搜索優(yōu)化中，新手經(jīng)常會碰到一些優(yōu)化的誤區(qū)，優(yōu)化時容易出現(xiàn)錯誤，導(dǎo)致后期的搜索流量少之又少，也非常難做起來。所以在優(yōu)化過程，我們需要細(xì)心認(rèn)真地規(guī)避錯誤。以下分享新手賣家容易犯的錯誤。
1）優(yōu)化標(biāo)題時候，切勿改動太多字眼：一般來說標(biāo)題形成了，只要有了搜索流量或?qū)氊愑辛嘶A(chǔ)銷量，一般不輕易修改標(biāo)題。因為標(biāo)題已經(jīng)有了權(quán)重，如果輕易修改的話可能導(dǎo)致系統(tǒng)重新收錄，從而降低你的搜索流量。改動不超3個字一般影響不大。
2）不要復(fù)制標(biāo)題：要做出自己的標(biāo)題，因為你看到別人的寶貝如果流量大，就去復(fù)制粘貼到自己的寶貝上使用，那系統(tǒng)是不會給予很好的搜索排名的，可以參考，但必須要進(jìn)行刪減、增加、改動。
3）剛開始，第三方流量不適宜過多：前期優(yōu)化搜索流量，不適宜找第三方活動網(wǎng)站及淘客進(jìn)行推廣，因為此類的銷量是不計入權(quán)重，而且人群標(biāo)簽容易錯亂，導(dǎo)致你的搜索排名無法提高，雖說現(xiàn)在更新的淘寶客流量會記入搜索權(quán)重，但是那樣的搜索權(quán)重可以忽略不計，最重要的一點(diǎn)就是淘寶客渠道流量是最容易打亂店鋪流量標(biāo)簽的，如果被打亂標(biāo)簽后面再重新拉回標(biāo)簽又是費(fèi)時費(fèi)力，還不一定能拉的回來，所以建議剛開始不要過多通過第三方流量進(jìn)店進(jìn)行操作我們的茶品。
新品期如何獲得更多的機(jī)會
淘寶一定會給新品機(jī)會的，這根本不用去質(zhì)疑！只不過是機(jī)會有多有少而已，想獲得更多的機(jī)會，那么就需要在以下幾點(diǎn)做好（不是全部，但都是很關(guān)鍵的點(diǎn)）：
（1）一定要做好全店動銷，提升店鋪的綜合質(zhì)量得分，給你自己定一個90%的標(biāo)準(zhǔn)；
（2）全店轉(zhuǎn)化率、退款、店鋪活躍程度、上新程度，都要做好；
（3）新品一定要有動銷，最好在24小時之內(nèi)就有銷量；
（4）新品上架后，一口價的信息不能動，動了就會影響權(quán)重，如果調(diào)整價格，通過促銷工具調(diào)整就可以；
（5）新品上架后，標(biāo)題不要隨便亂動，所以要求我們在上架商品的時候就應(yīng)該把標(biāo)題、下架時間等考慮周全，如果非要動，不要超過4個字，并且在凌晨的時候修改，因為這時候是最容易被收錄的；
（6）標(biāo)題確保全網(wǎng)獨(dú)一無二，首圖自己做，哪怕是分銷，也要自己拍回來一件商品，自己拍圖；
新品期的自然搜索優(yōu)化重點(diǎn)考核哪些指標(biāo)
這個沒有明確的準(zhǔn)確無誤的答案，完全是憑經(jīng)驗來的，但是非常的符合邏輯，新品期一般是28天，也就是四個下架周期，在這四個下架周期，搜索引擎重點(diǎn)考核的指標(biāo)分別似乎：
（1）第一個下架周期重點(diǎn)考核：點(diǎn)擊率
（2）第二個下架周期重點(diǎn)考核：店鋪停留時間（包括頁面停留時間和跳失率）
（3）第三個下架周期重點(diǎn)考核：轉(zhuǎn)化率
（4）第四個下架周期重點(diǎn)考核：帶字好評率、分享
需要更多電商資料的可以留言學(xué)習(xí)
*請認(rèn)真填寫需求信息，我們會在24小時內(nèi)與您取得聯(lián)系。
