據悉，內容風(fēng)控大腦是對全網(wǎng)海量?jì)热葸M(jìn)行高通量感知、機器理解、智能檢索并自主進(jìn)化的計算平臺，“白澤”則是該計算平臺的核心組件。內容風(fēng)控大腦全部技術(shù)組件均實(shí)現國產(chǎn)化部署，提供視頻搜索、內容風(fēng)控、開(kāi)源情報、反詐反恐、內容溯源、版權保護、實(shí)訓靶場(chǎng)等多功能。鑒于跨平臺、跨模態(tài)的視頻搜索引擎是探索數字世界的重要工具，有巨大社會(huì )價(jià)值和商業(yè)前景，該引擎擬獨立運營(yíng)，以“白澤”作為商品名對外提供服務(wù)。
葉蓁蓁表示，當前，各大主流媒體已進(jìn)入多模態(tài)階段，可實(shí)現文字、圖片、視頻搜索，但相互間的壁壘依然存在，人民網(wǎng)進(jìn)入跨模態(tài)搜索領(lǐng)域，實(shí)現文字、圖片、音視頻互聯(lián)互通。
“白澤”搜索界面。
當前，基于單個(gè)模態(tài)的內容提取及簡(jiǎn)單規則匹配的內容分析策略，已無(wú)法滿(mǎn)足實(shí)際工作需要。對此，各廠(chǎng)商紛紛推出基于多模態(tài)融合和復合規則判斷的多模態(tài)策略，但仍面臨依賴(lài)大規模算力、模態(tài)之間信息相互隔離、運行和維護成本高、資源復用率低等問(wèn)題。此次發(fā)布的“白澤”引擎，基于跨模態(tài)視頻檢索的策略，其跨模態(tài)引擎可實(shí)現單模態(tài)語(yǔ)義理解、多模態(tài)信息融合、跨模態(tài)語(yǔ)義關(guān)聯(lián)，補全單一模態(tài)信息不足的現狀，打破模態(tài)間信息孤島。
據介紹，“白澤”引擎將文字、圖片、語(yǔ)音和視頻等不同模態(tài)信息映射到一個(gè)統一特征表示空間，以視頻為核心，學(xué)習多個(gè)模態(tài)間統一的距離度量，跨越文字、語(yǔ)音、視頻等多模態(tài)內容的語(yǔ)義鴻溝，自動(dòng)關(guān)聯(lián)多模態(tài)間關(guān)鍵要素。
在此背景下，“白澤”引擎無(wú)需配置傳統內容搜索所需的復雜匹配規則，通過(guò)自然語(yǔ)言描述即可快速檢索出相同語(yǔ)義的視頻，在不需要依賴(lài)大規模算力的情況下，有效應對新事件和突發(fā)事件，資源復用率高。
此外，面向內容安全，“白澤”結合對境內外多平臺內容的檢索，可跨平臺實(shí)現文本搜圖片、文本搜視頻、圖片搜視頻、視頻搜視頻、圖片搜文字、視頻搜文字等功能。在論壇現場(chǎng)，葉蓁蓁展示了“白澤”在視頻搜索、溯源和辟謠、版權監測、視頻生產(chǎn)等商業(yè)化應用場(chǎng)景的功能。
同時(shí)，為提升“白澤”引擎的安全和效率，人民中科基于華為昇騰芯片研發(fā)了面向內容理解的“雨燕”智能計算加速卡，并采用全自主研發(fā)的模型壓縮和加速算法，同等條件下能夠實(shí)現4倍效率的提升。
編輯：薛姣
