一文快速了解“工業(yè)相機”

典型的機器視覺系統(tǒng)主要由光源、鏡頭、工業(yè)相機、圖像采集卡或圖像處理器，以及控制輸出單元等硬件構(gòu)成。其中，工業(yè)相機是機器視覺系統(tǒng)最核心的組件，其本質(zhì)的功能就是將光信號轉(zhuǎn)變成為有序的電信號，再將該信號模數(shù)轉(zhuǎn)換并送到處理器后以完成圖像的處理、分析和識別。選擇合適的工業(yè)相機是機器視覺系統(tǒng)設(shè)計的重要環(huán)節(jié)，工業(yè)相機類型不僅直接決定所采集到的圖像分辨率、圖像質(zhì)量，同時也與整個系統(tǒng)的運行模式直接相關(guān)。

工業(yè)相機有多種分類方法，比較常見有：按感光芯片的類型分CCD（電荷耦合器件）和CMOS（互補金屬氧化物半導(dǎo)體），根據(jù)輸出色彩分為黑白和彩色，按像元的排列方式可分為線陣和面陣，按成像維度可為二維（2D）和三維（3D）等。本文將針對這四類分法，研究和討論工業(yè)相機的基本原理及技術(shù)發(fā)展。

1. 工業(yè)相機與普通數(shù)碼相機的差異

圖1 工業(yè)相機與普通數(shù)碼相機

機器視覺的主要目的是代替人眼來做測量和判斷，所以工業(yè)相機通常被安裝在工廠快速運轉(zhuǎn)的流水線上，在一些不適于人工作業(yè)的危險環(huán)境或者人眼視覺難以滿足要求的場合。雖然在成像原理方面，工業(yè)相機與普通數(shù)碼相機相差無幾，但為滿足工業(yè)檢測特殊需要，工業(yè)相機具有較高的圖像穩(wěn)定性、高傳輸能力和高抗干擾能力等特點，在拍攝速度、精度和可重復(fù)性等方面，都遠勝于普通數(shù)碼相機，而且價格也高很多，堪稱相機中的“高富帥”。

表1 工業(yè)相機和普通數(shù)碼相機的比較

2. CCD相機和CMOS相機

圖像傳感器是工業(yè)相機的核心感光元件，當前圖像傳感器主要分為電荷耦合器件（Charge Coupled Device，CCD）和互補金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductors，CMOS）兩種。

CCD和CMOS圖像傳感器感光原理類似，基本上都是利用感光二極管（photodiode）進行光與電的轉(zhuǎn)換，將圖像轉(zhuǎn)換為數(shù)字信息，它們的主要差異在數(shù)字信號傳送方式的不同。如圖2所示，CCD圖像傳感器每一行中每一個像素（pixel）電荷信號都會依序傳送到下一個像素中，由最底端的部分輸出，再經(jīng)由傳感器邊緣的放大器進行放大輸出；而在CMOS圖像傳感器中，每個像素都會連接一個放大器及模數(shù)轉(zhuǎn)換電路，用類似內(nèi)存電路的方式將信號輸出。正是因為結(jié)構(gòu)和工作原理的差異，導(dǎo)致CCD和CMOS圖像傳感器具有不同的特性。CCD圖像傳感器在靈敏度、分辨率，以及噪聲控制等方面均優(yōu)于CMOS圖像傳感器，CMOS圖像傳感器則具有低成本、低耗電以及高整合度的特性。

圖2 CCD和CMOS圖像傳感器芯片結(jié)構(gòu)

隨著CCD與CMOS圖像傳感器制造技術(shù)的不斷進步，兩者的差異正在逐漸縮小，例如CCD圖像傳感器不斷降低耗電量，以期應(yīng)用于移動通訊市場，例如近年來基于CCD的ToF圖像傳感器進入市場；CMOS圖像傳感器則持續(xù)提升分辨率與靈敏度，以期應(yīng)用于更高級的影像產(chǎn)品市場。雖然業(yè)界普遍認為CMOS取代CCD是必然趨勢，在2015年CCD圖像傳感器的主要制造商索尼公司（Sony）甚至發(fā)布了其終止量產(chǎn)CCD的時間表。不過目前來看，很多工業(yè)或?qū)I(yè)應(yīng)用領(lǐng)域基于CCD圖像傳感器技術(shù)仍占據(jù)重要地位，在相當長的一段時間內(nèi)，兩者應(yīng)該是共存的關(guān)系。其實，CMOS圖像傳感器的最大的優(yōu)勢是能夠與圖像采集和信號處理等功能集成實現(xiàn)片上系統(tǒng)（SoC），隨著機器視覺系統(tǒng)從基于PC的板級式視覺系統(tǒng)向能嵌入更多功能、更小型的智能相機系統(tǒng)發(fā)展，CMOS圖像傳感器必將成為最后的贏家。

3. 黑白相機與彩色相機

無論是CCD還是CMOS圖像傳感器，其原理都是將光子轉(zhuǎn)換為電子，其中光子數(shù)目與電子數(shù)目成比例。對每個像素，統(tǒng)計其電子數(shù)目就形成反映光線強弱的灰度圖像，也就是說CCD和CMOS圖像傳感器是“色盲”，不具備辨色的能力，只能形成黑白圖像，如圖3（左）。

左：黑白模式；中：三棱鏡模式；右：拜爾濾波片模式

圖3 不同色彩模式的工業(yè)相機

為了獲得彩色圖像，通常使用三棱鏡或濾光片的方法采集顏色信息。三棱鏡模式：采用三棱鏡將射入的光分成三束，每束光都由不同的內(nèi)置光柵來過濾出某一種三原色，然后使用三塊CCD分別感光，如圖3（中）。然后再將這三張圖像合成一張高分辨率、色彩精確的圖像。由于該方法需要三塊感光芯片，造價比較昂貴。

如果考慮到價格因素，柯達的拜爾（Bayer）提出了一種廉價的折中方案：只用一塊圖像傳感器，就解決了顏色的識別。他的做法是在圖像傳感器前面，設(shè)置一個濾光片，上面布滿了濾光點，與下層的像素一一對應(yīng)。如圖3（右），Bayer濾光片上的濾光點的排列是有規(guī)律的：每個綠點的四周，分布著2個紅點、2個藍點、4個綠點。由于人眼對綠色最為敏感，所以綠色是紅、藍的兩倍。由于每個濾光點只能通過紅、綠、藍之中的一種顏色，但是在輸出時，所有像素都應(yīng)該有這三種顏色的信息，被濾除的兩種顏色分量值在后期的算法處理中通過插值法來補回。

Bayer濾光片的方法顯著優(yōu)點在于它能節(jié)省成本，當前絕大多數(shù)彩色相機都采用此項技術(shù)。不過，黑白相機采集的是所有波長的光子，而Bayer彩色相機僅接受RGB三個波段的光子，并且會做一個去馬賽克的鄰域平均操作，因此無論是光通量還是細節(jié)表現(xiàn)均弱于灰度相機，如圖4，對比了彩色相機與黑白相機在相同環(huán)境下的成像。所以，如果不需要顏色作為檢驗需求時，工業(yè)相機一般選擇黑白相機，因為在擁有相同的分辨率前提下，黑白相機精度更高。

圖4 彩色相機成像細節(jié)（左）；黑白相機成像細節(jié)（右）

4. 線陣相機和面陣相機

工業(yè)相機根據(jù)像元的排列方式可分為線陣相機和面陣相機，線陣、面陣相機都有各自的優(yōu)點和缺點，適用于不同應(yīng)用環(huán)境。

圖5 面陣相機（左）與線陣相機（右）

線陣相機，顧名思義是被測視野呈“線”狀，它的傳感器通常只有一行感光元素，以“線”掃描的方式連續(xù)拍照，再合成一張巨大的二維圖像。在某些應(yīng)用中，如高頻掃描和高分辨率的場合，相比面陣相機，線陣相機具有特定的優(yōu)勢。舉例來說，如圖6，檢測圓形或柱形物品時，可能需要使用多臺面陣相機，才能覆蓋到物品的整個表面。但如果我們將物品置于一臺線陣相機前面，然后旋轉(zhuǎn)物品，通過這種方式將圖像展開，我們可以采集到整個表面的圖像。而且，線陣相機也更容易安裝到狹小的應(yīng)用空間，比如在相機必須通過輸送帶上的滾軸來查看物品底部的情況。另外，相比傳統(tǒng)面陣相機，線陣相機通常也能夠提供更高的分辨率。由于線陣相機需要物品進行運動來創(chuàng)建圖像，它們通常非常適合用于檢測處于連續(xù)運動狀態(tài)的產(chǎn)品。

圖6 線陣相機能夠：（a）展開柱形物品以進行檢測；（b）將視覺系統(tǒng)安裝到空間狹小的應(yīng)用環(huán)境中；（c）滿足高分辨率檢測要求；（d）檢測處于連續(xù)運動狀態(tài)的物品

相比線陣相機，面陣相機是以“面”為單位來進行圖像采集，面陣相機的傳感器擁有更多的感光像素，以矩陣排列。面陣相機可以一次性獲取完整的目標圖像，比線陣相機具有更快的檢測速度。大多數(shù)常見的檢測相機都基于面陣掃描，包括測量面積、形狀、尺寸、位置，甚至溫度，不過面陣相機每行的信息沒有線陣多，幀幅率有限。相機像素通常用萬為單位表示，以矩陣排列，比如1百萬像素相機的像素矩陣為W x H（寬 x 高）=1000 x 1000。相機的分辨率是指一個像素表示實際物體的大小，用um x um表示，數(shù)值越小，分辨率越高。分辨率是由選擇的鏡頭焦距決定的，同一種相機，選用不同焦距的鏡頭，分辨率就不同，如圖7。在表現(xiàn)圖像細節(jié)方面，不是由相機的像素多少來決定的，而是由分辨率決定的。同等分辨率條件下，像素越多，可以成像的區(qū)域面積越大。雖然清晰度并不是由像素決定，但是像素大的相機，可以減少拍照次數(shù)，從而提高了速度。

圖7 同一種相機，選用不同焦距的鏡頭，分辨率就不同

5. 從平面（2D）走向立體（3D）

無論線陣相機還是面陣相機都只能實現(xiàn)2D成像，缺乏深度的信息，隨著檢測精度和應(yīng)用場景復(fù)雜度的增加，2D相機越來越難堪重任，可以測量距離和進行三維建模的3D相機應(yīng)運而生。隨著3D視覺技術(shù)不斷突破，3D相機在精度、速度和靈活度方面遠超2D相機，在許多傳統(tǒng)視覺“痛點性應(yīng)用場景”中大顯身手。

圖8 2D檢測和3D檢測的差異比較：2D檢測根據(jù)灰度信息進行外觀尺寸的檢測和識別，而3D檢測則利用包含高度信息在內(nèi)的（XYZ坐標）條件進行檢測辨別

根據(jù)測量原理不同，主流的3D相機一般有三種方案：飛行時間法、結(jié)構(gòu)光法、雙目立體視覺法，簡單介紹如下：

（1）飛行時間是從Time of Flight直譯過來的，簡稱ToF。其測距原理是通過連續(xù)發(fā)射經(jīng)過調(diào)制的特定頻率的光脈沖（一般為不可見光）到被觀測物體上，然后接收從物體反射回去的光脈沖，通過探測光脈沖的飛行（往返）時間來計算被測物體離相機的距離，見圖9。

圖9 飛行時間測距原理

（2）結(jié)構(gòu)光法就是使用提前設(shè)計好的具有特殊結(jié)構(gòu)的圖案（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等），將圖案投影到三維空間物體表面上，使用另外一個相機觀察在三維物理表面成像的畸變情況。如果結(jié)構(gòu)光圖案投影在該物體表面是一個平面，那么觀察到的成像中結(jié)構(gòu)光的圖案就和投影的圖案類似，沒有變形，只是根據(jù)距離遠近產(chǎn)生一定的尺度變化。但是，如果物體表面不是平面，那么觀察到的結(jié)構(gòu)光圖案就會因為物體表面不同的幾何形狀而產(chǎn)生不同的扭曲變形，而且根據(jù)距離的不同而不同，根據(jù)已知的結(jié)構(gòu)光圖案及觀察到的變形，就能根據(jù)算法計算被測物的三維形狀及深度信息，見圖10。

圖10 結(jié)構(gòu)光測距原理

（3）雙目立體視覺法仿人眼成像原理，通過計算空間中同一個物體在兩個相機成像的視差得到物體離相機的距離，其算法也是根據(jù)三角關(guān)系計算，見圖11。

圖11 雙目視覺測距原理

這三種3D視覺方案在檢測距離上、精度、檢測速度各有優(yōu)缺點，適用于不同的應(yīng)用場景，目前處于三國鼎立之勢，如表2。結(jié)構(gòu)光方案優(yōu)勢在于技術(shù)成熟，深度圖像分辨率可以做得比較高，但容易受光照影響，室外環(huán)境不適宜使用；ToF方案抗干擾性能好，視角更寬，不足是深度圖像分辨率較低，主要用于簡單避障和視覺導(dǎo)航，不適合高精度場合。雙目方案，成本相對前兩種方案最低，但是深度信息依賴純軟件算法得出，此算法復(fù)雜度高，難度很大，處理芯片需要很高的計算性能，同時它也繼承了普通RGB攝像頭的缺點：在昏暗環(huán)境下以及特征不明顯的情況下并不適用。當然這三種方案在發(fā)展過程中也有一些互相融合趨勢，如主動雙目+結(jié)構(gòu)光，取長補短，使3D相機能適應(yīng)更多的場景。也有一些場合可同時使用，如智能手機前置基本確認會采用結(jié)構(gòu)光來做人臉識別，但是后置用來做增強現(xiàn)實（AR）應(yīng)用，結(jié)構(gòu)光和ToF方案都有應(yīng)用機會。

表2 3D視覺方案優(yōu)缺點比較

縱觀機器視覺的發(fā)展，主要經(jīng)歷了從黑白到彩色、從低分辨率到高分辨率、從靜態(tài)到動態(tài)、從2D走向3D演變過程，工業(yè)相機作為核心硬件，其技術(shù)的迭代變化也是遵循相應(yīng)的發(fā)展。隨著工業(yè)自動化以及機器視覺應(yīng)用領(lǐng)域多元化發(fā)展，工業(yè)相機市場也隨著機器市場的火熱而水漲船高。雖然目前高分辨率、高速等高端工業(yè)相機技術(shù)還主要掌握在國外大廠手中，包括基恩士、康耐視、Basler、AVT相機、Teledyne DALSA等，不過隨著國內(nèi)相機廠商技術(shù)的不斷積累和突破，國產(chǎn)工業(yè)相機品牌也開始從低端市場開始逐步取代進口，如大恒圖像、華睿科技等。我們相信隨著全球制造中心從歐美向亞洲轉(zhuǎn)移，中國從制造大國向制造強國的升級和轉(zhuǎn)型過程，在市場和政策利好的背景下，這對中國的工業(yè)相機廠商而言，正是突破和迎頭趕超的好時機。