,,

聲網鳳鳴AI引擎正式發布涉及AI降噪等功能

2023-03-24 09:21:41 來源：TechWeb

今日，聲網正式發布了囊括 AI降噪、AI回聲消除、空間音頻、最佳音效在內的聲網新一代音頻技術智能引擎。目前，該技術已經廣泛應用在語聊社交、在線K歌、線上會議、游戲競技、虛擬活動等諸多場景。

據介紹，通過AI驅動的方式，聲網打通了音頻采集、前后處理、云端傳輸、編解碼等鏈路。

AI降噪

聲網方面介紹稱，相比于傳統的降噪算法，鳳鳴·AI降噪的效果有顯著提升，可以一次性解決100+種突發性噪聲，比如辦公場景經常遇到的敲鍵盤、鼠標點擊、電話鈴聲;家庭環境中遇到的小孩哭叫、裝修、廚房做飯聲;戶外環境中的風聲、雨聲、汽車噪聲等。

鳳鳴·AI降噪在強降噪的同時還能兼顧高保真，即使在人聲密集場景下，也能實現純凈通話體驗，甚至還實現了在不增加額外運算量的前提下，對遠場語音具有明顯的混響抑制能力。如果用戶在一個房間中距離麥克風較遠，這時候對方聽到的聲音是模糊的，若使用了聲網的AI降噪算法，對端也能清晰地聽到該用戶的聲音。

此外，聲網自研的AI推理引擎還可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平臺以低精度損傷、高性能、低功耗方式運行，使用戶的設備不卡不燙。聲網表示，經數據測算，僅開啟鳳鳴·AI降噪功能，相應設備CPU消耗增幅平均值<1%。

AI回聲消除

回聲是影響音視頻通話質量的主要因素之一，尤其在線上會議、在線K歌、多人連麥等場景中，不僅損害通話質量，影響用戶體驗，還可能導致帶寬增加。聲網方面稱，鳳鳴·AI回聲消除利用算法對環境中產生的回聲混響進行有效抑制，智能適應各類環境，實現精準音源分離，從混合的近端信號中消除不必要的遠端信號，保留近端人聲發送到遠端，全面消除回聲，實現高保真音頻體驗。比如，在雙人合唱等在線音樂場景下，AI回聲消除可以使得人聲自然流暢，增益效果顯著。

空間音頻

據介紹，鳳鳴·空間音頻通過純軟件算法方案，模擬頭部球面區域立體聲場，利用范圍音頻、人聲模糊、空氣衰減模擬等能力，模擬現實聽覺感受。當用戶操作相應角色在虛擬場景里移動，可以實現根據虛擬人物的面部朝向、音源朝向、遠近距離與上下高度，呈現不同聲音效果。

空間音頻是元宇宙和游戲這類具備3D場景玩法的最佳搭檔，如狼人殺、虛擬演唱會、虛擬活動等場景，可以有效的增強用戶在線上的互動、聽覺體驗，重構用戶在虛擬世界的沉浸感與臨場感。同時，開發者不必擔心空間音頻功能對于用戶設備的影響。

聲網方面披露的數據顯示，開啟鳳鳴·空間音頻功能后，相應設備CPU消耗增幅平均值<0.7%，內存消耗增幅平均值<2M。

最佳音效

據悉，聲網目前已上線的最佳音效包括語聊社交、K歌、游戲陪玩、專業主播等場景。

據聲網音頻娛樂產品負責人楊帆介紹，鳳鳴AI引擎目前正在開發變聲這一功能，用戶將可以體驗20+變聲風格，多樣角色扮演花式玩轉語聊場景。

聲網算法專家許冉指出，鳳鳴AI引擎代表聲網在 RTC音頻領域針對核心技術的長期投入和產出，以及聲網基于音頻核心能力衍生出各種復雜功能和高端效果的決心，未來聲網將基于鳳鳴AI引擎形成新一代RTC音頻解決方案，比如探索更個性化的語音方案、語音超分、co-experiencing場景等。

音頻社交的下一站在哪兒?

在圓桌討論環節，仙巴科技創始人兼CEO薛達、揚帆出海創始人兼CEO劉武華、科大訊飛海外解決方案產品部產品總監吳浩亮、聲網產品市場負責人朱超華及聲網音頻娛樂產品負責人楊帆，共同談及了音頻社交行業未來的發展趨勢。

楊帆指出，音頻社交近幾年的市場規模仍在持續增長，依舊有廣闊的發展空間，總體來說，音頻社交的主要玩法集中在多人語聊房、1V1語聊、語音播客、游戲開黑等場景。薛達認為，作為用戶之間情感的遞進紐帶，語音結合虛擬人以及類似ChatGPT這樣的大模型，可能未來會帶來一波新的社交熱潮。

在市場火熱的前景下，音頻技術的提升對行業來說可謂如虎添翼。正如薛達提到，降噪技術是實現元宇宙空間中用戶體驗的一個必不可少因素，因為一般娛樂場景中都會播放背景音樂，加上人聲和互動音效，如果沒有空間音頻和降噪，那用戶體驗會非常差。吳浩亮認為，聲音是打造差異化社交玩法的一個重要能力，在社交音頻這個賽道上，大致分為音視頻直播、音頻內容生態，以及泛娛樂音頻三個類型，音頻技術能力的提升可以有效助力業務端提升用戶體驗。

不僅國內市場火熱，大量出海企業也押注音頻社交這一賽道且扎堆中東、東南亞市場，劉武華認為中東市場這種大R市場天然契合音頻社交的商業變現形態，而東南亞市場年輕用戶多，社交需求旺盛又熱衷于嘗試新鮮事物，且這兩個市場已有成熟的產品形態和產業鏈。此外，吳浩亮提到，東南亞和中東市場目前還處在快速發展階段，市場機遇大、用戶基數大，但還沒有絕對的寡頭形成，較之前傳統社交類型來講，音頻社交的留存能力也較高，企業需要在用戶感興趣的窗口期盡快實現轉化。

談到音頻社交的未來趨勢，劉武華表示，社交+游戲、社交+元宇宙、社交+ AIGC 這幾種玩法有不錯的發展空間和前景。楊帆也認為，元宇宙方向的場景會更受年輕人青睞，另外 AIGC 配合語音轉文字等應用，應該也會帶來一波新AI音頻社交熱潮。

關鍵詞：聲網鳳鳴 AI引擎音頻社交 AI降噪 AI回聲消除