智能手機(jī)已逐漸進(jìn)入產(chǎn)品成熟期,手機(jī)廠商在硬件規(guī)格的競爭也越趨激烈,使得軟件應(yīng)用逐漸成為實(shí)現(xiàn)差異化的新途徑,廠商除了將觸角延伸至 IoT 領(lǐng)域之外,若能開發(fā)自家獨(dú)特的 AI 軟件應(yīng)用,也有助于加強(qiáng)消費(fèi)者黏著度。
例如,Apple 近來強(qiáng)調(diào)轉(zhuǎn)型軟件與生態(tài)系廠商,Google 也持續(xù)開發(fā)更多 AI 軟件應(yīng)用服務(wù),并優(yōu)先搭載于自家 Pixel 手機(jī)。 智能手機(jī)已進(jìn)入產(chǎn)品成熟期,廠商積極強(qiáng)化 AI 應(yīng)用 2019 年全球智能手機(jī)生產(chǎn)數(shù)量呈現(xiàn)年衰退,主要是因?yàn)槭謾C(jī)滲透率逐漸達(dá)到飽和且進(jìn)入產(chǎn)品成熟期,雖仍有曲面屏、多鏡頭與屏下指紋等硬件創(chuàng)新,但并未明顯提升消費(fèi)者體驗(yàn),故無法有效帶動(dòng)換機(jī)潮產(chǎn)生。 因此 Apple 已宣布積極轉(zhuǎn)型為軟件與生態(tài)系廠商,持續(xù)擴(kuò)展「生態(tài)系服務(wù)」,推出 iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+(新聞?dòng)嗛啠?、TV+(串流影音)、Apple Arcade(游戲訂閱)與 Apple Card(信用卡)等服務(wù)。
▲Apple Music,source:Apple
在手機(jī)軟件應(yīng)用服務(wù)明顯發(fā)力的還有 Google,于 2019 年 12 月 9 日宣布推出全新策略「Feature Drop」,將藉由 AI 功能優(yōu)化應(yīng)用服務(wù),以持續(xù)提升新舊款 Pixel 手機(jī)消費(fèi)者使用體驗(yàn),象是自動(dòng)過濾騷擾電話、照片與視訊通話時(shí)背景虛化等,且這些更新不侷限于最新款 Pixel 手機(jī),而將視硬件需求開放給不同機(jī)型使用。 觀察現(xiàn)有手機(jī)廠商進(jìn)展,歸納出以下幾項(xiàng)目前較為主流的 AI 手機(jī)應(yīng)用:
(一) 圖像識別
隨著 AI 算法提升,相機(jī)功能變得更為強(qiáng)大,衍生出更多臉部識別應(yīng)用,使得圖像識別在目前 AI 手機(jī)應(yīng)用中最為廣泛。
健康管理
Johnson & Johnson 旗下 Neutrogena 于 2020 年初發(fā)布新版 Neutrogena Skin360,借由 AI 算法的增強(qiáng),達(dá)到不需外掛硬件即可檢測黑眼圈、皺紋、細(xì)紋、光滑度與黑斑等。除了膚質(zhì)檢測外,借由與實(shí)時(shí)天氣數(shù)據(jù)結(jié)合,提供 8 周個(gè)性化相關(guān)護(hù)膚方案,并提供 Johnson & Johnson 相關(guān)保養(yǎng)品建議,建構(gòu)整個(gè)膚質(zhì)管理生態(tài)圈。 目前搭載 Kirin 990 機(jī)型的華為 Mate 30 和榮耀 V30 也推出芯心兼容 App,透過手機(jī)鏡頭捕捉心臟收縮和舒張引起的面部吸收光照差異之微弱信號,并利用 AI 技術(shù)估算出人體的心率和呼吸率等數(shù)據(jù)。 整體來說,智能手機(jī)受惠于 AI 相機(jī)算法改善,因而有機(jī)會打入健康管理市場,改變過去須配合智能手環(huán)和智能手表等其他穿戴裝置才能使用的模式。若未來手機(jī)能提供更精準(zhǔn)的檢測結(jié)果,再配合大數(shù)據(jù)分析提供進(jìn)階健康照護(hù)建議,將可進(jìn)一步擴(kuò)展商機(jī)。
視訊強(qiáng)化與拍照
Google 推出「語義圖像分割(Semantic Image Segmentation)」技術(shù),將語義標(biāo)簽(如道路、天空、人與狗等)分配給輸入圖像的每個(gè)畫素,更精確定位物體輪廓,并開源其語義圖像分割模型 DeepLab-v3+。 隨著語義圖像分割發(fā)展持續(xù)進(jìn)步,Google 也推出舊照片和視訊通話皆可背景虛化的功能,以做出景深效果,讓視訊通話時(shí)人像更清晰。此外,榮耀 V30 手機(jī)已實(shí)裝 AI 視頻全景替換功能,在視訊通話時(shí)可以隨時(shí)替換背景且背景可動(dòng)。而 Qualcomm 也于 Qualcomm Snapdragon Summit 2019 年展示視訊通話時(shí)將頭像卡通化的功能,增添個(gè)人特色。 此外,Google 充分運(yùn)用 Pixel 4 前鏡頭廣角功能,搭配 AI 算法加強(qiáng)人臉識別,因此視訊通話時(shí)不論人物如何移動(dòng),人臉將永遠(yuǎn)置于熒幕中央,或當(dāng)視訊同時(shí)存在兩個(gè)人時(shí),可確保同時(shí)入鏡。 在拍照功能上,CIS 芯片大廠 Sony 主打?qū)崟r(shí)人眼對焦(Eye AF),強(qiáng)調(diào)雙眼是構(gòu)成一幅絕佳肖像不可或缺的元素,且此實(shí)時(shí)眼部偵測自動(dòng)對焦功能已拓展到動(dòng)物世界,可自動(dòng)偵測并追蹤動(dòng)物雙眼,而人眼追焦功能目前已在 vivo X30 Pro 上實(shí)裝,預(yù)期有機(jī)會獲得更多手機(jī)品牌采用。
隔空操作
2019 年陸續(xù)有 3 支智能手機(jī)以隔空手勢操作為主要賣點(diǎn):LG G8 ThinQ 手勢操作名為「Air Motion」,借由前鏡頭搭載 ToF 鏡頭,實(shí)現(xiàn)更精準(zhǔn)臉部識別與手勢識別操作功能,例如想要截圖可透過在屏幕幕前做出五指并攏和抓取動(dòng)作;若在手機(jī)屏幕前左右揮舞,可呼叫音樂和簡訊等功能;若要調(diào)節(jié)音量則進(jìn)行扭轉(zhuǎn)旋鈕動(dòng)作。 華為 Mate 30 Pro 同樣以前鏡頭搭載 ToF 鏡頭,操作時(shí)只要在前鏡頭前方張開手掌,接著做出捏合姿勢就可屏幕截圖,上下?lián)]動(dòng)手掌就能滑動(dòng)頁面。
▲Google Pixel 4 手勢功能「Motion Sense」,source:Google
Google Pixel 4 手勢功能則稱作「Motion Sense」,采用 Project Soli 技術(shù)(運(yùn)用微型雷達(dá)監(jiān)測空中手勢動(dòng)作的感測技術(shù)),在 Pixel 4 前置鏡頭模塊中搭載 1 塊雷達(dá)芯片,其會先發(fā)射電磁波,波束會在用戶產(chǎn)生動(dòng)作后反射回手機(jī)的傳感器,再根據(jù)波束變化偵測用戶雙手動(dòng)作,從而實(shí)現(xiàn)手勢操作。 此外,Samsung 旗下 C-Lab 也于 CES 2020 展示隔空打字新技術(shù) SelfieType,不同于前幾年的雷射鍵盤需另外搭載投影紅外線的硬件,三星僅透過手機(jī)前置鏡頭和 AI 人工智能追蹤用戶雙手,即可在桌面上出現(xiàn)隱形鍵盤。 不過,整體來說手勢操作現(xiàn)階段仍以手機(jī)廠商展示自身技術(shù)為主,實(shí)際上的應(yīng)用有限,某些功能在設(shè)定或操作上也略為復(fù)雜,使得手勢操作目前仍不普及。
智能防偷窺
華為 Mate 30 Pro 推出防偷窺功能,借由前鏡頭支援 3D 人臉識別,可保護(hù)使用者隱私。當(dāng)前鏡頭識別有其他人出現(xiàn)在偵測范圍內(nèi),此時(shí)屏幕的訊息和行事歷等將自動(dòng)上鎖,主要仍是借由前鏡頭與 AI 搭配人臉識別完成隱私保護(hù)。
(二)實(shí)時(shí)語音識別與自然語言處理
語音識別和自然語言處理的最新 AI 應(yīng)用,主要為實(shí)時(shí)語音轉(zhuǎn)字幕與實(shí)時(shí)翻譯,隨著 AI 運(yùn)算功能加強(qiáng),可實(shí)時(shí)在終端裝置完成,不需將信息先傳到云端再回傳終端裝置。 語音轉(zhuǎn)字幕與翻譯雖然實(shí)務(wù)上早就能做到,但過往受限于 AI 運(yùn)算能力不足,需先回傳云端處理后再傳給終端裝置。例如 Google 云端硬盤早已提供語音轉(zhuǎn)字幕功能,但需先登入,再播放音檔讓 Google 云端進(jìn)行處理,也就是需要透過 Google 強(qiáng)大的云計(jì)算能力才得以完成,不僅需使用網(wǎng)絡(luò)流量造成不便,且容易造成隱私困擾。
▲Google Pixel 4 Live Caption 功能,source:Google
不過,Google Pixel 4 已率先實(shí)裝 Live Caption 功能(目前僅支援英文語音轉(zhuǎn)英文字幕),強(qiáng)調(diào)實(shí)時(shí)語音轉(zhuǎn)字幕不需使用任何連網(wǎng)數(shù)據(jù),所有音頻和字幕都在終端裝置處理,也不會儲存或發(fā)送給 Google;小米集團(tuán)旗下的 Redmi K30 5G 版也實(shí)裝中文語音轉(zhuǎn)中文字幕功能。實(shí)時(shí)翻譯功能方面,Qualcomm 在 Qualcomm Snapdragon Summit 2019 中,已展示如何只透過手機(jī)、不需經(jīng)過云端回傳即可完成實(shí)時(shí)翻譯(離線亦能實(shí)時(shí)翻譯)。 整體來說,不用透過云端就可達(dá)成實(shí)時(shí)語音轉(zhuǎn)字幕與實(shí)時(shí)翻譯,主要因手機(jī)芯片的 AI 運(yùn)算能力加強(qiáng),例如 Google 的 Live Caption 功能剛推出時(shí)僅能于 Pixel 4 使用,目前也僅下放至 Pixel 3 機(jī)型,而 Qualcomm 展示 Snapdragon 865 實(shí)時(shí)翻譯功能,主要也是為了強(qiáng)調(diào)其 AI 運(yùn)算能力的強(qiáng)大。實(shí)時(shí)語音轉(zhuǎn)字幕與實(shí)時(shí)翻譯由于不用透過云端,可降低延遲、減少頻寬需求并提高 App 使用方便性,同時(shí)安全性也更高,避免隱私外流風(fēng)險(xiǎn)。
(三) 其他應(yīng)用
Google Pixel 4 也藉由 Google Assistant 進(jìn)行語音識別以自動(dòng)過濾騷擾電話(Call Screen),過程中不需使用任何網(wǎng)絡(luò)流量,但會計(jì)入電話費(fèi)(此功能目前只支援英文,限美加地區(qū)使用。)若是未知電話,Google Assistant 可以在電話響起前就自動(dòng)屏蔽;若是一般電話,則透過 Google Assistant 接聽并詢問來電者身分和來電原因,只要判定是語音自動(dòng)電話或騷擾電話,就會掛斷;若判定不是,手機(jī)就會響鈴并顯示來電者的回覆。 此功能也會根據(jù)手機(jī)的聯(lián)絡(luò)人決定是否過濾來電,若不想過濾特定號碼,就要將號碼儲存為聯(lián)絡(luò)人。手機(jī)還可根據(jù) Google 騷擾電話數(shù)據(jù)庫中的號碼偵測語音自動(dòng)電話和騷擾電話,因此在初次設(shè)定時(shí)仍需網(wǎng)絡(luò)連線,設(shè)定完畢才可關(guān)閉連線。 AI 應(yīng)用將持續(xù)帶動(dòng)手機(jī)硬件提升 總結(jié)來看,近期市場出現(xiàn)越來越多前鏡頭結(jié)合 AI 的應(yīng)用,尤以提供手勢或臉部識別為主的機(jī)型,基本上都需搭 ToF 感測模塊或雷達(dá)以提供更好識別能力。
此外,Google 提供視訊人臉置中和同時(shí) 2 人入鏡功能,也都依賴前鏡頭廣角功能,一般主攝鏡頭在視野受限下無法足夠取景。預(yù)期未來前鏡頭的規(guī)格會持續(xù)升級,象是畫素提升或引入微距鏡頭等,以實(shí)現(xiàn)更多 AI 應(yīng)用。 不過,AI 運(yùn)用最主要還是仰賴處理器的 AI 運(yùn)算能力,隨著 AI 引擎持續(xù)改善,可以改善原本需回傳云端處理再傳回終端裝置的狀況,終端裝置于離線時(shí)即可提供許多 AI 運(yùn)用,不僅降低延遲也減少頻寬需求,使 App 在應(yīng)用上更方便,更不須使用網(wǎng)絡(luò)或依賴云資源,進(jìn)而提高安全性。