3D視覺技術的發展

近年來，隨著芯片技術的發展以及相關軟硬件系統的深入，視覺傳感器得到了極為廣泛的應用。社會越來越智能，可以使用人工智能和大數據技術將人們記錄下來的圖像智能地利用起來，而不是用一個個柜子將圖像、視頻束之高閣。

從膠卷，到CCD 再到現在特別成熟、隨處可見的CMOS，我們對圖像傳感器的性能追求也逐漸發生了改變。手機上開始出現前攝、后攝，后攝也出現了俗稱的“浴霸”、“加特林”。在算法的加持下，每顆攝像頭的用處都不一樣。

而18、19年將是3D圖像傳感器起飛與騰飛的兩年。有了3D傳感器，我們就更容易做基于事件的分析并直接指導我們身邊圖像的優化做出體感游戲、人臉支付、機器人自動避障、工業自動分揀等應用。

2016年，AlphaGo成為個不借助讓子而擊敗圍棋職業九段棋手李世石的計算機圍棋程序，這件事引起了人類的轟動，也展開了各種討論。隨之而來的是人工智能鋪天蓋地的宣傳，這給了無數人信心，機器智能化的大浪潮撲面而來。

現在AI是一個很火的詞。很多人都想做AI，也有很多人想往AI上面靠，AI的出現就相當于我們有了一個聰明的大腦。以前的處理器，只能處理一個特定場景的問題，AI給這個世界帶來了可以自我學習、自我改進的功能，特別是對復雜場景的處理，AI更“聰明”。

可是只有AI，自動駕駛也做不起來，它還需要攝像頭、激光雷達、毫米波雷達等各類傳感器。

人臉識別也是非常好的一項技術，可以用來做人臉識別閘機、人臉無感支付，但是現在很多時候人臉識別還是容易受到環境干擾、hei客攻擊。
所以，想把AI做好，傳感器對我們進入智能時代至關重要。有了3D傳感器，掃地機不會跌跌撞撞，僅憑一張照片一個視頻也騙不開手機解鎖，自動駕駛也能檢測到來往行人、車輛，變得更安全。

3D傳感器在AI幾乎所有的領域都有廣泛的應用，比如新零售，自動駕駛，個性化教育，智慧醫療，智能安防，智能監護，智能機器人等等。 2019年，我們也將迎來3D視覺技術在各個領域的廣泛應用。

1、 雙目視覺
談到3D視覺，主要就是指圖像不僅僅是二維的XY坐標，還要感受被拍照物體的距離遠近，大小尺寸，也就是空間坐標Z。
我們人靠著左右兩只眼可以估計出前方的門在3m處，桌子上的茶杯在1.5m處，遠處的樹大概在10m。仿生學是被應用得非常好的，通過兩只攝像頭，無人機可以分辨前方障礙物一根電線桿的距離。因為在它的左眼中，物體坐標為A，相應的視場角度α， 右眼坐標為B，相應的視場角度β，而基線距離x是早先就在機械結構上確定的。這樣通過下面的公式，我們就可以得到空間點的z軸距離。

這個方法已經沿用了很多年，從技術上來說，視野里面所有的點都不可靠了，不能確定左右眼中的兩個點是不是同一個點。它的優點就是觀測距離遠，精度高，成本相對較低。缺點就是面對單一場景，例如一面白墻，波動的水面，皚皚的白雪，綠油油的草地，我們人都會失去參考點，這時候無人機或處理器就無法計算出深度。

這也就是為什么雙目攝像頭鮮少應用在手機、人臉識別、人臉解鎖等方面。

另外一個問題是，如果我們要將物體表面做一個高分辨率深度探測，那么處理器先要做多點的圖像數據匹配，這個匹配算法的算力要求就超乎一般人想象，然后再執行圖中公式的計算，而這個運算是三角函數級別，比較復雜?？梢韵胂笕绻枰獙⑷四槺砻孀?000個點的深度信息建模，那么所需要的運算量是多么的復雜。

2、結構光
2017年iPhone X面世，它采用3D結構光的方式，將我們人臉的3D數據測算出來，又一次了技術潮流。

對于結構光，其實也是一個很古老的技術，只不過蘋果可以把它做到手機里面，還是比較讓大家吃驚的。

左圖是一個3d結構光的簡單實驗版。通過右邊的投影儀可以投影出黑白相間的條紋狀圖案，打在一個狐貍面具上面這些條紋狀的圖案就會產生一定的畸變。通過CCD相機將這個畸變的形狀拍下來之后，便可以通過這個畸變的狀態，去計算出這個面具相應的凹凸不平的3D信息。比如條紋向左彎曲，就代表凸起，向右彎曲代表凹陷。

單點結構光的三角測距法基本原理如右圖，激光光源打出一個很小很亮的紅點，傳感器接收到之后，就可以在sensor表面找到這個特別亮的點的坐標（x’，y’）。結合光源的投影角，基線距離b，鏡頭焦距f，就可以通過上面的公式解析出三軸坐標（x,y,z）了。

而IPHONE X使用了3萬個點的投射器，然后通過一百四十萬像素的紅外攝像頭，將這些投射點的信息全部都采集回來，這中間一個復雜的問題，就是要將這3萬個點每一個點匹配。這里面難的就是要找到打在臉上的點的ID，也就是得知道打出點的投射角，基線距離。這個匹配算法是需要非常大量的計算的。而且為了降低計算量，這3萬個點的排布在我們看來是隨機的，實際是符合某種數學幾何規律的。

可以看到這個計算公式里面包含了各項幾何參數，所以對組裝工藝要求很高，而且后期客戶將手機摔倒了或者震動，都可能會影響3D測量精度。

另外這塊由于專li的保護，別人很難進入。所以業內對于蘋果能推出這個方案，還是很佩服的，蘋果還是具備相當強大的工程能力。因為IPHONE X的利潤率不錯，蘋果可以做這塊的事情。而別的廠商做這個就挺痛苦的，受限于成本和技術難度。

來源：光電微課堂