人臉的特征有一定的不變性和唯一性，人臉識別是在進(jìn)行身份確認(rèn)時的一種方式，可以提供一個人的性別、年齡、民族等等相關(guān)信息。在人臉識別中展現(xiàn)出來的技術(shù)是令人驚異的，但通過計算去識別人臉，卻是非常難實現(xiàn)的問題，面臨諸多挑戰(zhàn)。

　　這些往往都由于人臉表情復(fù)雜，具有多樣變化能力，造成人臉特征的顯著改變。隨年齡改變，人臉皺紋的出現(xiàn)和面部肌肉的松弛使得人臉的結(jié)構(gòu)和紋理都將發(fā)生改變。還有人臉特征遮掩，人臉全部、部分遮掩將會造成錯誤識別。同時，人臉圖像畸變，由于光照、視角、攝取角度不同，可能會造成圖像的灰度畸變、角度旋轉(zhuǎn)等，這些極大地增大了識別難度。

　　人臉識別屬于3D生物識別，是生物模式識別的研究領(lǐng)域，生物識別驗證未來極有可能取代現(xiàn)在的密碼驗證，所需要的技術(shù)，充滿挑戰(zhàn)性。

　　越客科技：新科技——刷臉支付逐漸“融入”融生活，刷臉支付代理加盟迎來歷史新機(jī)遇！

　　人臉識別 抓取面部 幾百個特征點(diǎn)  識別率 達(dá)到99.99% 基本不會出錯 估計最大的挑戰(zhàn)是整容  和老化吧

　　人臉識別技術(shù)應(yīng)用在提升身份認(rèn)證便捷度和效率的同時，也給個人隱私和數(shù)據(jù)保護(hù)帶來了巨大的挑戰(zhàn)。僅在2019年，媒體就報道了多起人臉識別技術(shù)使用不當(dāng)?shù)南嚓P(guān)事件：

　　問題場景一——數(shù)據(jù)泄露隱患：6月6日，微軟公司疑似因隱私保護(hù)和授權(quán)瑕疵方面的原因刪除了曾為全球最大的人臉識別數(shù)據(jù)庫MS Celeb。據(jù)悉，MS Celeb數(shù)據(jù)庫于2016年發(fā)布，擁有超過1000萬張圖像以及將近10萬人的面部信息，用于培訓(xùn)全球科技公司和軍事研究人員的面部識別系統(tǒng)。而在微軟刪除該數(shù)據(jù)庫前，IBM、松下電氣、阿里巴巴、輝達(dá)、日立、商湯科技、曠視科技等多個商業(yè)組織都曾使用過MS Celeb數(shù)據(jù)庫。

　　問題場景二——使用必要性存疑：8月21日，瑞典北斯部蓋樂夫提市的一所高中因使用面部識別技術(shù)來監(jiān)控學(xué)生的出勤情況，被瑞典數(shù)據(jù)監(jiān)管機(jī)構(gòu)（The Swedish Data Inspection Authority，DPA）處以20萬瑞典克朗（人民幣14.8萬元）的罰款。這是歐盟的《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，簡稱GDPR）生效以來，瑞典數(shù)據(jù)監(jiān)管機(jī)構(gòu)公布的首張罰單。瑞典數(shù)據(jù)監(jiān)管機(jī)構(gòu)認(rèn)為，該學(xué)校使用面部識別技術(shù)來監(jiān)控學(xué)生的出勤情況，事先未向瑞典DPA尋求咨詢，在日常環(huán)境中對學(xué)生進(jìn)行攝像監(jiān)控等行為侵犯了學(xué)生的隱私，違反了GDPR關(guān)于處理敏感生物特征數(shù)據(jù)的規(guī)定。

　　問題場景三——濫用數(shù)據(jù)風(fēng)險：此前，伊利諾伊州的一起集體訴訟案指控臉書公司濫用面部識別數(shù)據(jù)，并要求賠償350億美元，臉書要求美國一家法院駁回此案。10月18日，舊金山第九巡回法院的三名法官組成的小組駁回了臉書的請求。此案涉及700萬用戶，臉書可能會面臨向每個用戶賠償1000至5000美元的罰款，總罰款金額最高可能達(dá)到350億美元。法庭文件說：“臉書的面部識別技術(shù)違反了伊利諾伊州的生物特征信息隱私法（BIPA）。違反BIPA的規(guī)定實際上損害了用戶的隱私，或會對他們的隱私構(gòu)成實質(zhì)性的威脅。”

　　問題場景四——安全隱憂：12月12日，美國人工智能公司Kneron測試團(tuán)隊在荷蘭最大的機(jī)場史基浦機(jī)場用手機(jī)屏幕上的一張照片騙過了自助登機(jī)終端，再次引起了人們對人臉識別準(zhǔn)確性和安全性的關(guān)注。此外，該團(tuán)隊還用一個特制的3D面具成功蒙騙了微信和支付寶等人臉識別支付系統(tǒng)。同樣引起了人們對人臉識別支付安全性的擔(dān)憂。

　　上述事件報道不僅引起了公眾的對人臉識別技術(shù)應(yīng)用邊界與個人隱私保護(hù)的高度關(guān)注，也促使業(yè)界和監(jiān)管者對一路高歌猛進(jìn)的人臉識別應(yīng)用進(jìn)行深刻反思。

　　第一，嚴(yán)重侵犯個人隱私。首先，大部分公共場所在采集人臉信息時并未明確告知，使得被動采集成為常態(tài)；其次，在機(jī)場、火車站、公園、銀行、學(xué)校、公司（小區(qū)）門禁或考勤等人臉識別的應(yīng)用中用戶幾乎完全沒有選擇權(quán)利，只能被動接受；再次，人臉識別技術(shù)濫用，隱私安全風(fēng)險高筑，面相分析、換臉、換裝、試妝、測膚質(zhì)等娛樂小程序，以及刷臉支付售貨機(jī)等隨處可見，毫無邊界的人臉識別技術(shù)應(yīng)用，正肆無忌憚地收集著用戶的人臉數(shù)據(jù)及個人隱私。

　　第二，數(shù)據(jù)安全保障機(jī)制缺失。數(shù)據(jù)采集、存儲與使用等規(guī)范缺失，導(dǎo)致數(shù)據(jù)泄漏風(fēng)險極高。首先，當(dāng)前關(guān)于人臉識別技術(shù)產(chǎn)品生產(chǎn)企業(yè)資質(zhì)、產(chǎn)品的安全標(biāo)準(zhǔn)和市場準(zhǔn)入標(biāo)準(zhǔn)，數(shù)據(jù)的存儲資質(zhì)和時限，以及對已獲取數(shù)據(jù)的使用權(quán)限等缺少明確規(guī)定。其次，生產(chǎn)企業(yè)和提供應(yīng)用服務(wù)的企業(yè)在數(shù)據(jù)存儲和使用中缺乏透明度。再次，網(wǎng)絡(luò)安全生態(tài)環(huán)境持續(xù)惡化，人臉數(shù)據(jù)庫泄漏事件也時有發(fā)生。

　　第三，識別技術(shù)有待進(jìn)一步完善。目前，人臉識別應(yīng)用還達(dá)不到百分之百的準(zhǔn)確。尤其是針對不同種族和民族群體識別的錯誤率差異比較大。例如，麻省理工媒體實驗室和微軟的一項合作研究曾顯示，人臉識別的準(zhǔn)確率與膚色高度相關(guān)。當(dāng)被識別的圖像中為白人時，正確率超過90%；而對于膚色較深的女性，準(zhǔn)確率僅為65%。因此，用于比對的基礎(chǔ)數(shù)據(jù)庫不僅需要考慮種族和民族樣本平衡性，也需要盡可能確保樣本數(shù)量的有效性。此外，姿勢、裝飾（帽子、眼鏡、口罩等）和光線等變量均會對識別結(jié)果產(chǎn)生影響。

　　第四，部分不當(dāng)應(yīng)用可能導(dǎo)致歧視。現(xiàn)今，人臉識別技術(shù)在招聘、交友、婚戀、教育等領(lǐng)域也屢見不鮮。通過對人臉數(shù)據(jù)的分析，對個體的性格、心理、能力、情商等進(jìn)行評定，給出相應(yīng)建議。然而，限于技術(shù)水平、原始數(shù)據(jù)精準(zhǔn)度、算法隱含的價值判斷，以及數(shù)據(jù)庫樣本量的有效性等諸多因素，使得這類應(yīng)用可能擴(kuò)大某種偏見，引發(fā)歧視。

　　此外，作為身份驗證手段，人臉識別技術(shù)存在先天缺陷。相對于指紋、虹膜、聲音、聲紋、基因等其他用于身份識別的生物信息，人臉暴露度較高，更容易實現(xiàn)被動采集。這也同時意味著人臉信息的數(shù)據(jù)更容易被竊取，不僅可能侵犯個人隱私，還會帶來財產(chǎn)損失，甚至大規(guī)模的數(shù)據(jù)庫泄露還會對一個族群或國家?guī)戆踩L(fēng)險。

　　針對上述問題，有必要對人臉識別技術(shù)的無限制推廣和擴(kuò)張及時“剎車”，并盡快采取相應(yīng)措施防范和規(guī)制人臉識別技術(shù)的應(yīng)用。

　　在回答題主的問題的時候，我覺得應(yīng)該注意做『科研』和做『產(chǎn)品』之間的區(qū)別。論文中匯報的人臉識別技術(shù)是屬于科研的行列。比如在 LFW 上 99.7%，這種數(shù)字的意義更多是讓搞研究的那個圈子里面的人更加直觀的了解到一些情況，你也知道，通常來說這個準(zhǔn)確率是非常高的了，所以我們可以說『人臉識別技術(shù)在 上已經(jīng)很成熟了』，但是一模一樣的技術(shù)，拿到真實環(huán)境下得到的準(zhǔn)確率可能只有75%……也許會有些人覺得這是很可笑的，不，請不要笑，這是科研圈里朋友的普遍做法，不是沒有苦衷的。

　　搗騰過 LFW 的朋友其實心里都清楚，這并不是一個很好的數(shù)據(jù)庫。圖片都是從網(wǎng)上下載的，人臉的質(zhì)量也是千差萬別，有人說這樣才接近真實情況……但實際上距離大部分的實際應(yīng)用場景還是太遠(yuǎn)了。

　　目前評價科研中算法的優(yōu)劣的唯一方法就是找一個數(shù)據(jù)集，然后大家一起對比，數(shù)據(jù)集的不同算法得到的結(jié)果也會不同，然而……論文上通常是有報喜不報憂的惡習(xí)的，所以常常會有不公平的對比存在，隨著越來越多更大的人臉數(shù)據(jù)集的慢慢增加，對于算法的評價會可能會變得稍微公平一些……即便是這樣，論文里所謂的人臉識別技術(shù)，跟可用的『產(chǎn)品』之間的差距仍然很大。

　　這并不是說論文的算法不好，而是『產(chǎn)品』的天性。大部分產(chǎn)品都是針對性的解決一類或幾類問題，產(chǎn)品講究是速度，穩(wěn)定性，成本，等等，不同的產(chǎn)品通常可以加入不同的先驗甚至額外的硬件來提升產(chǎn)品的可用性。這是做『產(chǎn)品』和做『科研』的區(qū)別。

　　舉兩個容易理解的例子：

　　某著名手機(jī)廠商想開發(fā)一個自己的人臉解鎖功能，在第一次使用手機(jī)的時候，經(jīng)過一個人臉注冊的過程，記錄下手機(jī)主人的樣子，在之后的使用中如果被觸發(fā)，就進(jìn)行人臉驗證，解鎖。這里你如果上來一個幾十層網(wǎng)絡(luò)的卷積網(wǎng)絡(luò)，這個是不行的……因為速度很重要，內(nèi)存也重要，如果你一個網(wǎng)絡(luò)模型一上來就已經(jīng)幾十兆幾百兆了，產(chǎn)品經(jīng)理會瘋的。做產(chǎn)品的往往是想在保證用戶體驗的情況下，使用最少的資源。所以最后的產(chǎn)品可能是……下面是我瞎掰的……檢測到人臉，檢測五官的基本 landmark，然后通過幾何關(guān)系約束來縮小識別范圍，再用簡單的特征比如 LBP，在一個一千張主人人臉的數(shù)據(jù)庫進(jìn)行驗證，驗證里可能有各種 trick，并且這個一千張人臉的數(shù)據(jù)庫也是實時更新的，比如當(dāng)前識別正確了，那么就加入進(jìn)去，如果識別錯了，就把這個數(shù)據(jù)提取特征作為反例存起來……一個可用的產(chǎn)品總是包含了很多看似沒有道理的 trick 的，但是就是這些構(gòu)成了產(chǎn)品的核心技術(shù)。

　　另外一個例子，做人臉識別，但是是做煤礦工的……請自行腦補(bǔ)一臉煤的辛苦礦工。在這個場景下面，你連人臉檢測都沒法弄啊……加上光照和臉上煤的干擾，論文上的算法基本上是沒辦法用的。如果是你，你怎么去做識別？

　　做一個產(chǎn)品的時候，思路是需要很開闊的。比如人臉的檢測實際上是可以通過雙目視覺來做的，兩個廉價攝像頭，簡單的算法通過三角化得到一個稀疏的深度圖，利用深度信息來做人臉的檢測，然后基于眼睛和嘴唇來做識別，眼睛和嘴的識別可以用卷積網(wǎng)絡(luò)來做，但是真是的產(chǎn)品里面可能還會考慮身高信息，當(dāng)然，在洞里還需要考慮補(bǔ)光的問題……

　　說完了這兩個例子之后，再回到題主的問題上來吧：

　　『請問目前業(yè)內(nèi)人臉識別技術(shù)的挑戰(zhàn)和難點(diǎn)是什么。為什么沒有成熟可靠的商業(yè)應(yīng)用。但是論文中已經(jīng)接近 99.7%了。實踐和論文的差距是什么。是不是人臉識別的研究沒得搞了。』如果題主這里說的『業(yè)內(nèi)』指的是科研行業(yè)，挑戰(zhàn)和難點(diǎn)其實都不好說……有些問題是可解決的，有些問題是不可解決的，比如化妝和雙胞胎的問題，其實長得像也是很普遍的例子。人臉識別這個行業(yè)存在一個由大佬們吹出來的硬傷，就是它在真實環(huán)境下總是無法達(dá)到 100%的可靠，但是總被吹成是極其可靠……以至于領(lǐng)域外的人瞪大眼睛激動地要往里砸錢要項目上線……所以人臉識別在產(chǎn)業(yè)界總會給土老板們帶去失望。

　　稍微有點(diǎn)偏，別回來。

　　我假設(shè)這里的業(yè)內(nèi)并不是『科研界』，而是工業(yè)界，產(chǎn)業(yè)界，『產(chǎn)品』界，那么有很多地方其實都有成熟應(yīng)用了，比如海關(guān)的過關(guān)人臉識別系統(tǒng)，當(dāng)然人家會加上身份證或者指紋來雙重驗證，比如人臉識別的門禁系統(tǒng)，這個作為產(chǎn)品已經(jīng)有了，雖然發(fā)生了『司機(jī)賣掉趙薇豪宅那個事』，但我還是相信在這個應(yīng)用場景下，這個產(chǎn)品是可以達(dá)到可用的程度的。人臉識別技術(shù)最大的一個客戶可能就是政府了，這個是讓我有些傷感的事情，同時我也覺得這個東西在公安系統(tǒng)里面也是『采購了，但是極少用到，領(lǐng)導(dǎo)來了，我們就演示一下 Demo，真辦案了，還是要靠人來篩選一下以防疏漏』。

　　另外最近那些銀行推出一些自動服務(wù)機(jī)器，里面有人臉識別功能，道理其實跟過海關(guān)一樣，你需要的是身份證，人臉，密碼甚至指紋……即便是把人臉識別關(guān)掉了……也是可以正常運(yùn)作的……我常常好奇，為什么有些公司，不遺余力地去集中做一個產(chǎn)品落地很難的人臉識別技術(shù)……并且其做法仍然是按照學(xué)術(shù)那樣，收集大量的數(shù)據(jù)集，然后交給科研人員，然后搞幾個算法，提高準(zhǔn)確率，然后把代碼交給碼農(nóng)去優(yōu)化，碼農(nóng)優(yōu)化完，產(chǎn)品經(jīng)理覺得仍然沒法上線，但是上線壓力太大，于是給科研和碼農(nóng)施壓，科研人員也煩躁，只能過來給碼農(nóng)施壓，碼農(nóng)無處訴苦，開始自我懷疑，失去自信，變得煩躁，更年期早到……

　　這可能是做科研出身的人，突然跑去做產(chǎn)品的通病。

　　論文和實踐的差別在于數(shù)據(jù)和方法。針對數(shù)據(jù)選擇方法，是用很多種方法融合，針對不同的情況調(diào)試不同的參數(shù)，使用不同的 trick，甚至使用外圍的硬件輔助，最終的目的是提升產(chǎn)品的綜合體驗。人臉識別，實際的產(chǎn)品里面，最深奧的算法復(fù)雜程度也不會超過那些開源出來的已有算法，理解那些通用的算法，再去一線做產(chǎn)品應(yīng)該足夠了。但是注意，這些算法也許根本不會構(gòu)成你產(chǎn)品的核心技術(shù)，真正的核心技術(shù)是你做產(chǎn)品的時候處理各種情況，各種數(shù)據(jù)的經(jīng)驗公式和方法。

　　在科研里，人臉識別技術(shù)還是有很多可以去研究的東西的，比如怎么用更小的數(shù)據(jù)更小的模型得到更好的準(zhǔn)確率。比如怎么克服光照的影響，比如怎么通過局部特征來完成準(zhǔn)確識別……。

　　但是如果是去做產(chǎn)品的話，我認(rèn)為不需要遲疑，不要仰望科研成果。貼近一線的數(shù)據(jù)和場景，花時間分析數(shù)據(jù)鉆研工程方法，也許就做出來了。

　　人臉識別目前面臨的挑戰(zhàn)主要分成兩個部分：

　　第一是國內(nèi)法律法規(guī)不完善。

　　實際上，目前國內(nèi)針對個人信息的法規(guī)并不少。

　　1. 《民法總則》第111條規(guī)定，任何組織和個人需要獲取他人個人信息的，應(yīng)當(dāng)依法取得并確保信息安全，不得非法收集、使用、加工、傳輸他人個人信息，不得非法買賣、提供或者公開他人個人信息。2. 《網(wǎng)絡(luò)安全法》第41條規(guī)定，網(wǎng)絡(luò)運(yùn)營者收集、使用個人信息，應(yīng)當(dāng)遵循合法、正當(dāng)、必要的原則；第76條規(guī)定，個人信息包括但不限于自然人的姓名、出生日期、身份證件號碼、個人生物識別信息、住址、電話號碼等。3. 于今年10月1日實施的《信息安全技術(shù)個人信息安全規(guī)范》則規(guī)定，在收集個人生物識別信息前，應(yīng)單獨(dú)向個人信息主體告知并征得個人信息主體的明示同意；該《規(guī)范》同時還對收集人臉識別信息的收集、存儲、使用等方面作出了明確的規(guī)定。但這個《規(guī)范》只是推薦性的標(biāo)準(zhǔn)，沒有法律強(qiáng)制約束力。這意味著，現(xiàn)有的法律法規(guī)只規(guī)范到“個人信息”，但對更細(xì)分的“人臉”信息誰能用、如何用沒有明確的規(guī)定。

　　備注為“浙江京衡律師事務(wù)所高級合伙人李迎春博士律師”的知乎作者對“人臉識別第一案”的結(jié)果進(jìn)行解讀時也稱，該案的宣判，也是從“合同法”的角度認(rèn)定“動物世界”違背合同約定的。

　　第二是市場的逐利性。這不是人臉識別技術(shù)本身的問題，而是經(jīng)濟(jì)規(guī)律使然——變的是武器，不變的是逐利。

　　在法律不完善的情況下，一旦有商業(yè)利益的驅(qū)使，人臉識別就很容易滑過隱私侵犯的邊界。

　　比如今年9月人臉識別頭部企業(yè)曠視科技就曾身陷“交易用戶隱私數(shù)據(jù)”的漩渦。起因是創(chuàng)新工場李開復(fù)在一次演講中稱，創(chuàng)新工場曾經(jīng)幫助曠視從美圖、螞蟻金服（現(xiàn)改為“螞蟻集團(tuán)”）拿到大量人臉數(shù)據(jù)。事后，三方也對這一提法進(jìn)行回應(yīng)和澄清，但大眾對人臉識別公司為了完善產(chǎn)品或技術(shù)而購買、使用隱私數(shù)據(jù)的關(guān)注和擔(dān)憂卻并未停止。

　　包括前文提到的“人臉識別進(jìn)課堂”事件中，該人臉識別系統(tǒng)的開發(fā)者正是曠視科技。在事件引起大眾關(guān)注后，曠視發(fā)布聲明回應(yīng)稱，這是技術(shù)場景化概念演示，曠視在教育領(lǐng)域的產(chǎn)品專注于校園安全。

　　此舉背后，不排除有商業(yè)壓力的推動。彼時曠視已成立7年，落地場景主要集中在安防、金融、物聯(lián)、零售等行業(yè)，但其在商業(yè)化上仍面臨壓力，從財報中仍可見一斑——2019年8月其在港交所提交的招股書中列出過去三年半的經(jīng)營數(shù)據(jù)：2016年、2017年、2018年及2019上半年的凈虧損分別是3.42億、7.59億、33.52億、52億[1]。

　　更進(jìn)一步，在沒有法律約束和商業(yè)壓力下，如果人臉識別被不法商業(yè)機(jī)構(gòu)隨意使用、買賣，其后果將是個人安全受到極大威脅，隨之帶來一連串的社會隱患。

　　實際上，這種情況是新技術(shù)出現(xiàn)時的普遍現(xiàn)象，因為法律很難對新技術(shù)的應(yīng)用做事前的規(guī)定。而在不加規(guī)范、沒有監(jiān)管的情況下，新技術(shù)越自由競爭，越容易被濫用。