從材料等9大方面全新認(rèn)識(shí)圖像傳感器
發(fā)布時(shí)間:2019-02-19 責(zé)任編輯:wenwei
【導(dǎo)讀】典型圖像傳感器的核心是CCD單元(charge-coupled device,電荷耦合器件)或標(biāo)準(zhǔn)CMOS單元(complementary meta-oxide semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)。CCD和CMOS傳感器具有類(lèi)似的特性,它們被廣泛應(yīng)用于商業(yè)攝像機(jī)上。
不過(guò),現(xiàn)代多數(shù)傳感器均使用CMOS單元,這主要是出于制造方面的考慮。傳感器和光學(xué)器件常常整合在一起用于制造晶片級(jí)攝像機(jī),這種攝像機(jī)被用在類(lèi)似于生物學(xué)或顯微鏡學(xué)等領(lǐng)域,如圖1所示。
圖1:整合了光學(xué)器件和顏色過(guò)濾器的圖像傳感器的常用排列
圖像傳感器是為滿(mǎn)足不同應(yīng)用的特殊目標(biāo)而設(shè)計(jì)的,它提供了不同級(jí)別的靈敏度和質(zhì)量。想要熟悉各種傳感器,可查閱其廠(chǎng)商信息。例如,為了在硅基模和動(dòng)態(tài)響應(yīng)(用于實(shí)現(xiàn)光強(qiáng)度和顏色檢測(cè))之間有一個(gè)最好的折中,對(duì)一個(gè)特定的半導(dǎo)體制造過(guò)程,需優(yōu)化每個(gè)光電二極管傳感器單位的大小和組成成分。
對(duì)計(jì)算機(jī)視覺(jué)而言,采樣理論的效果具有重要意義,如目標(biāo)場(chǎng)景的像素范圍就會(huì)用到Nyquist頻率。傳感器分辨率和光學(xué)器件能一起為每個(gè)像素提供足夠的分辨率,以便對(duì)感興趣特征進(jìn)行成像,因此有這樣的結(jié)論:興趣特征的采樣(或成像)頻率應(yīng)該是重要像素(對(duì)感興趣的特征而言)中最小像素大小的兩倍。當(dāng)然,對(duì)成像精度而言,兩倍的過(guò)采樣僅僅是一個(gè)最低目標(biāo),在實(shí)際應(yīng)用中,并不容易決定單像素寬度的特征。
對(duì)于給定的應(yīng)用,要取得最好的結(jié)果,需校準(zhǔn)攝像機(jī)系統(tǒng),以便在不同光照和距離條件下確定像素位深度(bit depth)的傳感器噪聲以及動(dòng)態(tài)范圍。為了能處理傳感器對(duì)任何顏色通道所產(chǎn)生的噪聲和非線(xiàn)性響應(yīng),并且檢測(cè)和校正像素壞點(diǎn)、處理幾何失真的建模,需發(fā)展合適的傳感器處理方法。如果使用測(cè)試模式來(lái)設(shè)計(jì)一個(gè)簡(jiǎn)單標(biāo)定方法,這種方法在灰度、顏色、特征像素大小等方面具有由細(xì)到粗的漸變,就會(huì)看到結(jié)果。
1、傳感器材料
硅制圖像傳感器應(yīng)用最廣,當(dāng)然也會(huì)使用其他材料,比如在工業(yè)和軍事應(yīng)用中會(huì)用鎵(Ga)來(lái)覆蓋比硅更長(zhǎng)的紅外波長(zhǎng)。不同的攝像機(jī),其圖像傳感器的分辨率會(huì)有所不同。從單像素光電晶體管攝像機(jī)(它通過(guò)一維直線(xiàn)掃描陣列用于工業(yè)應(yīng)用),到普通攝像機(jī)上的二維長(zhǎng)方形陣列(所有到球形整列的路徑均用于高分辨率成像),都有可能用到。(本章最后會(huì)介紹傳感器配置和攝像機(jī)配置)。
普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進(jìn)行制造。硅制圖像傳感器具有一個(gè)非線(xiàn)性的光譜響應(yīng)曲線(xiàn),這會(huì)很好地感知光譜的近紅外部分,但對(duì)藍(lán)色、紫色和近紫外部分就感知得不好(如圖2所示)。
圖2:幾種硅光電二極管的典型光譜響應(yīng)??梢宰⒁獾?,光電二極管在900納米附近的近紅外范圍內(nèi) 具有高的敏感度,而在橫跨400納米~700納米的可見(jiàn)光范圍內(nèi)具有非線(xiàn)性的敏感度。 由于標(biāo)準(zhǔn)的硅響應(yīng)的緣故,從攝像機(jī)中去掉IR濾波器會(huì)增加近紅外的靈敏度。(光譜數(shù)據(jù)圖像的使用已獲得OSI光電股份有限公司的許可)
注意,當(dāng)讀入原始數(shù)據(jù),并將該數(shù)據(jù)離散化成數(shù)字像素時(shí),會(huì)導(dǎo)致硅光譜響應(yīng)。傳感器制造商在這個(gè)區(qū)域做了設(shè)計(jì)補(bǔ)償,然而,當(dāng)根據(jù)應(yīng)用標(biāo)定攝像機(jī)系統(tǒng)并設(shè)計(jì)傳感器處理方法時(shí),應(yīng)該考慮傳感器的顏色響應(yīng)。
2、傳感器光電二極管元件
圖像傳感器的關(guān)鍵在于光電二極管的大小或元件的大小。使用小光電二極管的傳感器元件所捕獲的光子數(shù)量沒(méi)有使用大的光電二極管多。如果元件尺寸小于可捕獲的可見(jiàn)光波長(zhǎng)(如長(zhǎng)度為400納米的藍(lán)光),那么為了校正圖像顏色,在傳感器設(shè)計(jì)中必須克服其他問(wèn)題。傳感器廠(chǎng)商花費(fèi)大量精力來(lái)設(shè)計(jì)優(yōu)化元件大小,以確保所有的顏色能同等成像(如圖3所示)。在極端的情況下,由于缺乏累積的光子和傳感器讀出噪聲,小的傳感器可能對(duì)噪聲更加敏感。如果二極發(fā)光管傳感器元件太大,那么硅材料的顆粒大小和費(fèi)用會(huì)增加,這沒(méi)有任何優(yōu)勢(shì)可言。一般商業(yè)傳感器設(shè)備具有的傳感器元件大小至少為1平方微米,每個(gè)生產(chǎn)廠(chǎng)商會(huì)不同,但為了滿(mǎn)足某些特殊的需求會(huì)有一些折中。
圖3:基本顏色的波長(zhǎng)分配。注意,基本顏色區(qū)域相互重疊, 對(duì)所有的顏色而言,綠色是一個(gè)很好的單色替代品
3、傳感器配置:馬賽克、Faveon和BSI
圖4顯示了多光譜傳感器設(shè)計(jì)的不同片內(nèi)配置,包括馬賽克和堆疊方法。在馬賽克方法中,顏色過(guò)濾器被裝在每個(gè)元件的馬賽克模式上。Faveon傳感器堆疊方法依賴(lài)于顏色波長(zhǎng)深度滲透到半導(dǎo)體材料的物理成分,其中每種顏色對(duì)硅材料進(jìn)行不同程度的滲透,從而對(duì)各自的顏色進(jìn)行成像。整個(gè)元件大小可適用于所有顏色,所以不需要為每種顏色分別配置元件。
圖4:(左圖)堆疊RGB元件的Foveon方法:在每個(gè)元件位置都有RGB顏色, 并在不同的深度吸收不同的波長(zhǎng);(右圖)標(biāo)準(zhǔn)的馬賽克元件:在每個(gè)光電二極管上面放置一個(gè)RGB濾波器,每個(gè)濾波器只允許特定的波長(zhǎng)穿過(guò)每個(gè)光電二極管
反向照明(back-side illuminated,BSI)傳感器結(jié)構(gòu)具有更大的元件區(qū)域,并且每個(gè)元件要聚集更多的光子,因而在晶粒上重新布置了傳感器接線(xiàn)。
傳感器元件的布置也影響到顏色響應(yīng)。例如,圖5顯示了基本顏色(R、G、B)傳感器以及白色傳感器的不同排列,其中白色傳感器(W)有一個(gè)非常清晰或非彩色的顏色濾波器。傳感器的排列考慮到了一定范圍的像素處理,如在傳感器對(duì)一個(gè)像素信息的處理過(guò)程中,會(huì)組合在鄰近元件的不同配置中所選取的像素,這些像素信息會(huì)優(yōu)化顏色響應(yīng)或空間顏色分辨率。實(shí)際上,某些應(yīng)用僅僅使用原始的傳感器數(shù)據(jù)并執(zhí)行普通的處理過(guò)程來(lái)增強(qiáng)分辨率或者構(gòu)造其他顏色混合物。
圖5:元件顏色的幾個(gè)不同馬賽克配置,包括白色、基本RGB顏色和次要CYM元件。 每種配置為傳感器處理過(guò)程優(yōu)化顏色或空間分辨率提供了不同的方法(圖像來(lái)自于《Building Intelligent Systems》一書(shū),并得到Intel出版社的使用許可)。
整個(gè)傳感器的大小也決定了鏡頭的大小。一般來(lái)說(shuō),鏡頭越大通過(guò)的光越多,因此,對(duì)攝影應(yīng)用而言,較大的傳感器能更好地適用于數(shù)字?jǐn)z像機(jī)。另外,元件在顆粒上排列的縱橫比(aspect ratio)決定了像素的幾何形狀,如,4:3和3:2的縱橫比分別用于數(shù)字?jǐn)z像機(jī)和35毫米的膠片。傳感器配置的細(xì)節(jié)值得讀者去理解,這樣才能夠設(shè)計(jì)出最好的傳感器處理過(guò)程和圖像預(yù)處理程序。
4、動(dòng)態(tài)范圍和噪聲
當(dāng)前,最先進(jìn)的傳感器每個(gè)顏色單元能提供至少8個(gè)比特位,通常是12~14個(gè)比特位。傳感器元件需要花費(fèi)空間和時(shí)間來(lái)聚集光子,所以較小的元件必須經(jīng)過(guò)精心設(shè)計(jì),以避免產(chǎn)生一些問(wèn)題。噪聲可能來(lái)自于所用的光學(xué)元件、顏色濾波器、傳感器元件、增益和A/D轉(zhuǎn)換器、后期處理過(guò)程或者壓縮方法等。傳感器的讀出噪聲也會(huì)影響到實(shí)際的分辨率,因?yàn)槊總€(gè)像素單元從傳感器中讀出再傳到A/D轉(zhuǎn)換器中,從而組成數(shù)字形式的行和列,以便用于像素轉(zhuǎn)換。越好的傳感器會(huì)產(chǎn)生越少的噪聲,同時(shí)會(huì)得到更高效的比特分辨率。Ibenthal 的工作是降噪方面的好文獻(xiàn)。
另外,傳感器光子吸收對(duì)每種顏色會(huì)有所不同,對(duì)藍(lán)色有可能有些問(wèn)題,即對(duì)于較小的傳感器成像而言這是最難的一種顏色。在某些情況下,生產(chǎn)商會(huì)試圖在傳感器中為每種顏色內(nèi)建一個(gè)簡(jiǎn)單的伽馬曲線(xiàn)修正方法,但這種方法并不值得提倡。在對(duì)彩色有需求的應(yīng)用中,可以考慮色度設(shè)備模型和顏色管理,甚至讓傳感器的每種顏色通道具有非線(xiàn)性特征并建立一系列簡(jiǎn)單的校正查找表(Lookup Table, LUT)轉(zhuǎn)換。
5、傳感器處理
傳感器處理用于從傳感器陣列中去馬賽克并聚集像素,也用于校正感知瑕疵。在這一節(jié)我們會(huì)討論傳感器處理基礎(chǔ)。
通常在每個(gè)成像系統(tǒng)中都有一個(gè)專(zhuān)有的傳感器處理器,包括一個(gè)快速HW傳感器接口、優(yōu)化的超長(zhǎng)指令集(very long instruction word,VLIW)、單指令多數(shù)據(jù)流(single instruction multiple data, SIMD)指令以及具有固定功能的硬件模塊,這些功能是為了解決大規(guī)模并行像素處理所造成的工作負(fù)載。通常,傳感器處理過(guò)程透明且自動(dòng)化,并由成像系統(tǒng)的生產(chǎn)廠(chǎng)商設(shè)置,來(lái)自傳感器的所有圖像均以同樣的方式處理。也存在用于提供原始數(shù)據(jù)的其他方式,這些數(shù)據(jù)允許針對(duì)應(yīng)用來(lái)定制傳感器處理過(guò)程,就像數(shù)字?jǐn)z影那樣。
6、去馬賽克
根據(jù)不同的傳感器元件配置(如圖5所示),可利用各種去馬賽克算法將原始傳感器數(shù)據(jù)生成最終的RGB像素。Losson &Yang還有Li等人分別給出了兩篇非常好的綜述文獻(xiàn),這些文獻(xiàn)介紹了各種方法以及所面臨的挑戰(zhàn)等。
去馬賽克的一個(gè)主要挑戰(zhàn)之一是像素插值,其作用是將鄰近單元的顏色通道組合成單個(gè)像素。在給定傳感器元件排列的幾何形狀以及單元排列的縱橫比的條件下,這是一個(gè)重要的問(wèn)題。一個(gè)與之相關(guān)的問(wèn)題是顏色單元的加權(quán)問(wèn)題,如在每個(gè)RGB像素中每種顏色應(yīng)該占多少比例。因?yàn)樵隈R賽克傳感器中,空間元件分辨率大于最終組合的RGB像素分辨率,某些應(yīng)用需要原始傳感器數(shù)據(jù),以便盡可能利用所有的精度和分辨率,或者有些處理要么需要增強(qiáng)有效的像素分辨率,要么需要更好地實(shí)現(xiàn)空間精確的顏色處理和去馬賽克處理。
7、壞像素的校正
像LCD顯示器一樣,傳感器也可能會(huì)有壞像素。通過(guò)在攝像機(jī)模塊或驅(qū)動(dòng)程序中提供需要校正的壞像素坐標(biāo),供應(yīng)商可以在工廠(chǎng)校正傳感器,并為已知的缺陷提供一個(gè)傳感器缺陷圖。在某些情況下,自適應(yīng)的缺陷校正方法會(huì)用在傳感器上,以便監(jiān)控鄰近像素點(diǎn)來(lái)發(fā)現(xiàn)缺陷,然后校正一定范圍內(nèi)的缺陷類(lèi)型,比如單像素缺陷、列或行缺陷以及類(lèi)似2×2或3×3的塊狀缺陷。為了實(shí)時(shí)尋找瑕疵,攝像機(jī)驅(qū)動(dòng)也可提供自適應(yīng)的缺陷分析,在攝像機(jī)的啟動(dòng)菜單中可能會(huì)提供一個(gè)特殊的補(bǔ)償控制。
8、顏色和照明校正
有必要進(jìn)行顏色校正以便平衡總的顏色精確度和白平衡。如圖1-2所示,硅傳感器上對(duì)紅色和綠色這兩種顏色通常很敏感,但是對(duì)藍(lán)色卻不敏感,因此,理解和標(biāo)定傳感器是得到最精確顏色的基本工作。
大多數(shù)圖像傳感器的處理器包含了用于光暈校正的幾何處理器,這在圖像的邊緣表現(xiàn)為光照更暗。校正基于幾何扭曲函數(shù),可考慮可編程的光照功能來(lái)增加朝向邊緣的光照,這需要在出廠(chǎng)前進(jìn)行標(biāo)定,以便與光學(xué)的光暈?zāi)J较嗥ヅ洹?/div>
9、幾何校正
鏡頭可能會(huì)有幾何相差或朝邊緣發(fā)生扭曲,產(chǎn)生徑向失真的圖像。為了解決鏡頭畸變,大多數(shù)成像系統(tǒng)具有專(zhuān)用的傳感器處理器,它有一個(gè)硬件加速的數(shù)字扭曲元件,類(lèi)似于GPU上的紋理采樣器。在工廠(chǎng)就會(huì)針對(duì)光學(xué)器件的幾何校正進(jìn)行校準(zhǔn)并編程。
推薦閱讀:
特別推薦
- 授權(quán)代理商貿(mào)澤電子供應(yīng)Same Sky多樣化電子元器件
- 使用合適的窗口電壓監(jiān)控器優(yōu)化系統(tǒng)設(shè)計(jì)
- ADI電機(jī)運(yùn)動(dòng)控制解決方案 驅(qū)動(dòng)智能運(yùn)動(dòng)新時(shí)代
- 倍福推出采用 TwinSAFE SC 技術(shù)的 EtherCAT 端子模塊 EL3453-0090
- TDK推出新的X系列環(huán)保型SMD壓敏電阻
- Vishay 推出新款采用0102、0204和 0207封裝的精密薄膜MELF電阻
- Microchip推出新款交鑰匙電容式觸摸控制器產(chǎn)品 MTCH2120
技術(shù)文章更多>>
- 更高精度、更低噪音 GMCC美芝電子膨脹閥以創(chuàng)新?lián)屨夹袠I(yè)“制高點(diǎn)”
- 本立租完成近億元估值Pre-A輪融資,打造AI賦能的租賃服務(wù)平臺(tái)
- 中微公司成功從美國(guó)國(guó)防部中國(guó)軍事企業(yè)清單中移除
- 華邦電子白皮書(shū):滿(mǎn)足歐盟無(wú)線(xiàn)電設(shè)備指令(RED)信息安全標(biāo)準(zhǔn)
- 功率器件熱設(shè)計(jì)基礎(chǔ)(九)——功率半導(dǎo)體模塊的熱擴(kuò)散
技術(shù)白皮書(shū)下載更多>>
- 車(chē)規(guī)與基于V2X的車(chē)輛協(xié)同主動(dòng)避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車(chē)安全隔離的新挑戰(zhàn)
- 汽車(chē)模塊拋負(fù)載的解決方案
- 車(chē)用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門(mén)搜索
友情鏈接(QQ:317243736)
我愛(ài)方案網(wǎng) ICGOO元器件商城 創(chuàng)芯在線(xiàn)檢測(cè) 芯片查詢(xún) 天天IC網(wǎng) 電子產(chǎn)品世界 無(wú)線(xiàn)通信模塊 控制工程網(wǎng) 電子開(kāi)發(fā)網(wǎng) 電子技術(shù)應(yīng)用 與非網(wǎng) 世紀(jì)電源網(wǎng) 21ic電子技術(shù)資料下載 電源網(wǎng) 電子發(fā)燒友網(wǎng) 中電網(wǎng) 中國(guó)工業(yè)電器網(wǎng) 連接器 礦山設(shè)備網(wǎng) 工博士 智慧農(nóng)業(yè) 工業(yè)路由器 天工網(wǎng) 乾坤芯 電子元器件采購(gòu)網(wǎng) 亞馬遜KOL 聚合物鋰電池 工業(yè)自動(dòng)化設(shè)備 企業(yè)查詢(xún) 工業(yè)路由器 元器件商城 連接器 USB中文網(wǎng) 今日招標(biāo)網(wǎng) 塑料機(jī)械網(wǎng) 農(nóng)業(yè)機(jī)械 中國(guó)IT產(chǎn)經(jīng)新聞網(wǎng) 高低溫試驗(yàn)箱
?
關(guān)閉
?
關(guān)閉