奕目科技聯(lián)合點昀技術、Google、Snap、同濟大學、阿卜杜勒國王科技大學和香港中文大學研究團隊在最新論文著作《最新綜述：計算成像前沿進展》
一、引言
不可否認的是，當前主流的端到端光學算法聯(lián)合設計多出自國外研究團隊，國內(nèi)在相關領域仍需加強。但國內(nèi)相關成像產(chǎn)業(yè)發(fā)達，尤其是手機、工業(yè)、車載等領域，新技術的發(fā)展往往容易得到快速的產(chǎn)業(yè)化應用，并反向推進學術進展，形成良性循環(huán)。
基于此，奕目科技聯(lián)合點昀技術、Google、Snap、同濟大學、阿卜杜勒國王科技大學和香港中文大學研究團隊在最新論文著作《最新綜述：計算成像前沿進展》中，以計算成像的新設計方法、新算法和應用場景為主線，通過綜合國內(nèi)外文獻和相關報道來梳理該領域的主要進展，從端到端光學算法聯(lián)合設計、高動態(tài)范圍成像、光場成像、光譜成像、無透鏡成像、低照度成像、三維成像、計算攝影等研究方向，重點論述計算成像領域的發(fā)展現(xiàn)狀、前沿動態(tài)、熱點問題和趨勢。
二、內(nèi)容介紹
本文圍繞端到端光學算法聯(lián)合設計、高動態(tài)范圍成像、光場成像、光譜成像、無透鏡成像、偏振成像、低照度成像、主動三維成像、計算攝影等具體實例全面闡述當前計算成像發(fā)展現(xiàn)狀、前沿動態(tài)，熱點問題、發(fā)展趨勢和應用指導。
1.高動態(tài)范圍成像
高動態(tài)范圍成像（high dynamic range imaging，HDR）在計算圖形學與攝影中，是用來實現(xiàn)比普通數(shù)位圖像技術更大曝光動態(tài)范圍（最亮和最暗細節(jié)的比率）的技術。高動態(tài)范圍成像旨在獲取更亮和更暗處細節(jié)，從而帶來更豐富的信息，更震撼的視覺沖擊力，不僅是目前手機相機核心競爭力之一，也是工業(yè)、車載相機的基本要求。
2.光場成像
光場成像（light field imaging，LFI）能夠同時記錄光線的空間位置和角度信息，是三維測量的一種新方法。經(jīng)過近些年的發(fā)展，逐漸成為一種新興的非接觸式測量技術，自從攝影被發(fā)明以來，圖像捕捉就涉及在場景的二維投影中獲取信息。然而，光場不僅提供二維投影，還增加了另一個維度，即到達該投影的光線的角度。光場擁有關于光陣列方向和場景二維投影的信息，并且可以實現(xiàn)不同的功能。例如，可以將投影移動到不同的焦距，這使用戶能夠在采集后自由地重新聚焦圖像。此外，還可以更改捕獲場景的視角。目前已逐漸應用于工業(yè)、虛擬現(xiàn)實、生命科學和三維流動測試等領域，幫助快速獲得真實的光場信息和復雜三維空間信息。
3.光譜成像
光譜成像（spectrum imaging）。光譜成像通常分為掃描式和快照式，其中快照式因其只需單次曝光就可以獲取整個數(shù)據(jù)立方體信息，在應用上更具潛力和前景，因此當前計算機視覺和圖形學關于光譜成像的研究也主要集中在快照式光譜成像技術上。快照式光譜成像按照實現(xiàn)方式不同，可以分為分孔徑光譜成像，分像面光譜成像，孔徑/像面編碼光譜成像等。光譜成像可作為科學研究、工程應用的強有力工具，已經(jīng)廣泛應用于軍事、工業(yè)、民用等諸多領域，對促進社會經(jīng)濟發(fā)展和保障國家安全具有重要作用。例如，光譜成像對河流、沙土、植被、巖礦等地物都具有很好的識別效果，因此在精準農(nóng)業(yè)、環(huán)境監(jiān)控、資源勘查、食品安全等諸多方面都具有重要應用。特別地，光譜成像還有望用于手機、自動駕駛汽車等終端。當前，光譜成像已成為計算機視覺和圖形學研究的熱點方向之一。
4.無透鏡成像
無透鏡成像（lensless imaging）技術為進一步壓縮成像系統(tǒng)的尺寸提供了一種全新的思路（Boominathan等，2022)。無透鏡成像摒棄了傳統(tǒng)透鏡中點對點的映射模式，而是將物空間的點投影為像空間的一種特殊的點擴散函數(shù)，不同物點在像面疊加，形成了一種人眼無法識別，但計算算法可以復原的原始數(shù)據(jù)。這種無透鏡成像方式在光學硬件上對圖像信息進行編碼，并在計算算法中解碼，因此形成了光學和算法的聯(lián)合設計。因此，在可穿戴相機、便攜式顯微鏡、內(nèi)窺鏡、物聯(lián)網(wǎng)等應用領域極具發(fā)展?jié)摿Α?/span>另外，其獨特的光學加密功能，能夠?qū)δ繕酥忻舾械纳镒R別特征進行有效保護，在隱私保護的人工智能成像方面也具有重要意義。
5.低光照成像
低光照成像（low light imaging）也是計算攝影里的研究熱點一。手機攝影已經(jīng)成為了人們用來記錄生活的最常用的方式之一，手機的攝像功能也是每次發(fā)布會的看點，夜景模式也成了各大手機廠商爭奪的技術制高點。不同手機的相機在白天的強光環(huán)境下拍照差異并不明顯，然而在夜晚弱光情況下則差距明顯。其原因是，成像依賴于鏡頭收集物體發(fā)出的光子，且傳感器由光電轉(zhuǎn)換、增益、模數(shù)轉(zhuǎn)換一系列過程會有不可避免的噪聲；白天光線充足，信號的信噪比高，成像質(zhì)量很高；晚上光線微弱，信號的信噪比下降數(shù)個數(shù)量級，成像質(zhì)量低；部分手機搭載使用計算攝影算法的夜景模式，比如基于單幀、多幀、RYYB陣列等的去噪，有效地提高了照片的質(zhì)量。但目前依舊有很大的提升空間。低光照成像按照輸入分類可以分為單幀輸入、多幀輸入( burst imaging)、 閃光燈輔助拍攝和傳感器技術。
6.主動三維成像
主動三維成像（active 3D imaging）以獲取物體或場景的點云為目的，被動方法以雙目立體匹配為代表，但難以解決無紋理區(qū)域和有重復紋理區(qū)域的深度。主動光方法一般更為魯棒，能夠在暗處工作，且能夠得到稠密的、精確的點云。主動光方法根據(jù)使用的光的性質(zhì)可分為基于光的直線傳播如結構光，基于光速如Time-of-fligt（TOF），包括連續(xù)波TOF（iTOF）和直接TOF（dTOF），和基于光的波的性質(zhì)如干涉儀，其中前兩種方法的主動三維成像已廣泛使用在人們的日常生活中。
三、總結
端到端光學算法聯(lián)合設計旨在打破傳統(tǒng)的成像系統(tǒng)中，光學、傳感器、圖像后處理算法以及顯示處理等環(huán)節(jié)之間的壁壘，降低每個環(huán)節(jié)對人經(jīng)驗的依賴，為諸多場景提供傻瓜化的全新解決方案。
展望未來，雖然端到端成像技術仍處于早期階段，但已成為各大相關產(chǎn)業(yè)競爭焦點，短期看來，未來三年便可得到相關產(chǎn)業(yè)應用。長期看來，整體的趨勢不僅是光學、傳感器、算法和處理器的聯(lián)合設計優(yōu)化，而且朝著集成化發(fā)展，尤其是傳感器自身對ISP的集成和光學配合，會大幅降低整個光學、攝像模組行業(yè)的生產(chǎn)成本和降低下游廠商對高性能處理器的依賴和提高自由度，有望對整體成像產(chǎn)業(yè)鏈進行重新洗牌，突破成本、功能瓶頸。
關于論文更多細節(jié)，點擊：最新綜述：計算成像前沿進展
關于奕目科技
奕目(上海)科技有限公司成立于2019年，通過長期研發(fā)積累，發(fā)展了全新一代光場三維檢測技術。通過仿生昆蟲復眼成像，將幾萬至幾千萬個微小復眼傳感器精密封裝成一臺相機，實現(xiàn)了“單相機、單次拍攝，三維成像”，解決了“透、薄、微”三維尺寸、缺陷快速精密檢測的難題。
奕目科技是國內(nèi)率先全面掌握光場相機光學設計、微納加工、封裝制造、算法軟件等全鏈路核心技術的高新技術企業(yè)，具備工業(yè)級光場相機規(guī)?；?、標準化量產(chǎn)能力，并且光場系統(tǒng)精度、速度位于國際前列。主要產(chǎn)品用于泛半導體、鋰電、智能穿戴、3C、微納三維檢測，是國際領先的光場相機供應商。
返回頂部
聯(lián)系方式
產(chǎn)品選型
