晶片AI能力暴漲,能否讓手機「比你更懂你」成為現實?
“AI將無處不在”的預言正在成為現實。 從智能手機到智慧家居,再到工作、出行,我們的生活正在被AI全面滲透。
但是,今天的智慧手機真的足夠「智慧」了嗎?
一部普通的智慧手機,已經可以識別你的表情、聲音甚至是手勢,但卻很難真正成為即時陪伴你、為你”主動”提供很多個性化服務的得力助手。
這背後,越豐富、複雜的功能,就需要越強大的AI算力和演算法做支撐,而移動端的AI性能仍然有很大提升空間。
僅僅在智慧手機領域,AI技術已經深入移動遊戲、視覺識別、音訊交互、通信優化、智慧充電等各個角落。 為了滿足日益增長的AI算力需求,高通、蘋果、三星、聯發科等主流廠商都在SoC中集成了專門的AI模組,提升晶元的AI性能。
前不久,高通旗艦驍龍8移動平台搭載的第7代AI引擎,其4倍的AI性能提升,以及1.7倍的能效比提升,無疑再次拓展了智能手機AI體驗的想像邊界。
晶元AI能力的提升到底能給我們的生活帶來怎樣的實際改變,手機AI性能提升背後又有哪些值得挖掘的硬核技術? 移動領域AI的應用和體驗或將被抬升至新的階段。
01.”軟硬協同”實現4倍性能提升,通用平台兼顧更多場景
越來越複雜的功能,意味著AI演算法模型也對算力提出了更高的要求,算力是實現AI能力的基礎。 這次從硬體規格上來看,驍龍8的第7代AI引擎可以說是”堆料豪華”。
如今,在AI模型運行要進行大量的張量運算,在驍龍8第7代AI引擎中,計算主力Hexagon處理器中的Tensor模組性能提升了2倍,張量加速器計算性能得以翻倍。
於此同時,Hexagon處理器中的共用記憶體容量也進行了翻倍,以應對當下日益提高的AI模型深度和規模。 基於此,Hexagon處理器能夠完整載入一個深度神經網路,而無需將神經網路分塊運行並來回傳輸數據。 這不僅提升了性能,同時也節省了功耗。
根據實際表現來看,驍龍8在運行在業內常見VDSR、Resnet50、Inceptionv3等AI模型時,相比上代驍龍888提升比較明顯,最高性能提升幅度達到了4倍左右。
當然,想烹飪好一道佳餚,有了硬體高品質”炊具”還不夠,軟體層面的”烹飪技巧”也必不可少,軟體部分的優化對於晶元AI能力的提升至關重要。
據高通官方數據顯示,驍龍8單從軟體升級中獲得的AI性能提升就達到了2倍左右,結合Hexagon處理器的硬體提升,才有前文提到的綜合4倍AI性能提升。
值得一提的是,在AI性能提升的同時,驍龍8還兼顧了AI能效比,相比上代驍龍888,提升幅度達到了1.7倍。
在移動領域,目前算力和能效比的提升其實是制約智能手機AI能力發展的主要瓶頸,而為了提升手機晶元的AI算力,業內也有不少廠商在積極探索新的方法和思路。
甚至近來有的廠商還採用了獨立外掛NPU晶元的方式提升AI算力,但是這樣做也是一把雙刃劍,對於功耗的挑戰、對於異構計算的挑戰以及外置NPU如何與SoC良好協同,都是需要解決的問題。
高通作為移動SoC頭部玩家,也洞察了手機對於AI算力的高需求。 正如前文我們看到的,高通選擇內置AI計算模組的方式來提升SoC的AI算力,同時可以更好地兼顧功耗。
由於這是一種通用性解決方案,其實用性也更廣,能夠滿足更多安卓生態廠商的需求,同時相容性更好。 這種通用AI模組相比專用AI晶元,也可以應對更多實際應用場景。
02.影像、遊戲、通信、交互,AI已經融入手機的方方面面
曾經,智能手機的”智慧”更多來自於使用者可以借助手機拓展資訊交互的渠道,手機變得”什麼都可以知道”。
但今天,手機的智慧更多是AI的深度介入,AI已經在移動影像、遊戲、通信、健康監測、交互連接等各個領域發揮著關鍵作用。
在影像領域,相比上代Spectra ISP採用預先訓練的神經網路實現自動曝光和自動對焦,驍龍8直接利用AI實現了即時的人臉識別,這就意味著,即使我們的臉被部分遮擋、甚至是帶著面具,驍龍8也可以更準確地進行識別。
同時,得益於更好的自動曝光、自動對焦和自動白平衡,在暗光環境下,驍龍8也可以實現更好的拍照對比度表現和膚色表現。
這次驍龍8的人臉特徵引擎可以檢測300個左右的面部特徵點,是上代驍龍888的2.6倍,檢測速度也提升300%,並且所用到的神經網路可以針對更多人臉特徵進行訓練,從而判斷使用者眼睛的睜開狀態以及是否在微笑,實現更準確的情緒理解。
當下,各家手機廠商都越來越重視超廣角的拍照效果,而驍龍8可以很好地解決超廣角人像拍攝中人臉尺寸變小的問題,因為驍龍8實現準確人臉檢測所需要的最小人臉尺寸相比上代要小很多。
同時驍龍8對於使用者肢體動作的檢測也更加準確,支援手勢檢測拍照等便捷功能,提升使用者日常的使用體驗。
在變焦拍照方面,通過「視頻超級解析度」AI技術,驍龍8能讓數位變焦更清晰並保留更多細節。 根據實際拍照對比,在變焦高2倍的情況下,驍龍8呈現的細節仍然多12%。
在全球新冠疫情沒有得到徹底緩解的當下,視頻會議需求仍然高漲,驍龍8在ISP中內置了支援實時視頻背景虛化的專用AI引擎,實現實時的會議背景虛化,要注意的是,這是在移動端實現這樣的即時AI視頻處理技術。 Continue reading