動手操作K-Lens,這是一種光場鏡頭,可捕獲3D數據以進行捕獲後重新對焦

王浩說 2022-11-25 23:40:20
動手操作 K-Lens,這是一種光場鏡頭,可捕獲 3D 數據以進行捕獲後重新對焦

我們以前見過光場相機,例如Lytro相機,但K-Lens是第一個可用于現有數碼相機和攝像機的光場可互換鏡頭。鏡頭能夠記錄圖像網格,其中包含有關場景中不同物體相對距離的信息。然後,可以在後期處理中使用此信息來調整場景中的焦點,以及輕松遮罩不同區域以更改場景中不同圖層的亮度和顔色。這些圖像還可用于創建適度的3D效果,使我們能夠“看到周圍”物體,因爲3x3網格中的圖片都是從略有不同的角度記錄的。

使用K-Lens拍攝的每張圖像都附有深度圖,顯示場景中不同元素與相機的相對距離。較淺的色調表示較近的物體,較暗的物體更遠

這種技術的應用包括視頻中的焦點調整、創建 3D 內容、解剖動畫場景以及創建淺景深效果和更容易的基于距離的編輯的能力,例如遮罩背景以將其與圖像的其余部分分開編輯。

它是什麽

K-Lens由三個不同的部分組成,從外面可以清楚地看到。鏡頭的起始部分是常規的80mm光學結構,但是當光線通過它時,它會進入鏡頭的第二部分 - 鏡面通道,這是正常陣列中的傳感器。然而,聚焦的光不是擊中傳感器,而是與隧道中的一系列鏡子相遇,這些鏡子以不同的角度定位,使每個鏡子對主體的視圖略有不同。鏡子與直接穿過隧道的光線一起産生九個單獨的圖像,這些圖像繼續通過鏡頭的後部到達相機的傳感器。結果是一個由各種方向的九張圖片組成的網格,所有圖片都記錄在一幀上。這種效果類似于透過萬花筒看,因此得名“K-Lens”。

顯示光線從鏡頭前部穿過鏡面通道時的路徑的圖表

鏡頭的關鍵部分是鏡面通道,而前端控制系統的焦距,後端控制圖像的大小如何與使用的傳感器尺寸相匹配。我被告知,改變焦距只是更換前向部分的問題,至少在理論上,可以將其縮放。

鏡頭底部有一個螺紋,可以直接安裝在三腳架上。在鏡頭和相機之間,您可以看到尼康F到尼康Z卡口適配器,因此我可以使用尼康Z7上的鏡頭。

K-Lens的想法最初是一個鏡面通道適配器,可以安裝在常規鏡頭的後部,以安裝在主鏡頭和相機之間,並且可以將任何鏡頭放入光場系統中。不過,這個想法的主要問題是灰塵進入鏡子隧道會導致數據丟失的嚴重問題。由于每個圖像只是傳感器整個區域的9分之一,即使是一小塊灰塵也可以占據圖像區域的很大一部分。另一個問題是,爲了提供高質量的深度數據,鏡頭需要在整個畫面上保持清晰,因爲系統嚴重依賴聚集在成像圈邊緣的光線,而成像圈的質量通常會下降。

K-Lens中使用的光學元件必須具有卓越的質量,並且圖像需要比普通鏡頭産生的更清晰,這在某種程度上解釋了爲什麽它如此之大。該公司試圖使用較小的鏡頭,但發現無法達到所需的質量。當用于較小的傳感器時,該系統可以做得更小,該公司目前正在開發工業應用中的1in傳感器版本。

透過鏡頭的前部,您可以看到圖像是如何分割的。在這裏,後開口在鏡子通道中多次反射

大多數光場相機使用一系列微型鏡頭將圖像分成組成部分,但這種鏡面通道設計的優點是它不與捕獲設備綁定 - 因此可以直接集成到可用于常規相機的鏡頭中。該團隊還考慮在主鏡頭內部使用一系列鏡頭而不是鏡子通道,但在設計主鏡頭時,這需要一個全新的概念。使用鏡面通道可以使用現有的鏡頭設計,因此該公司不必從頭開始鏡頭設計。K-Lens中的光學元件由德國的Carl Zeiss Jena GmbH設計,一旦生産開始,他將制造整個鏡頭。

它産生什麽?

K-Lens呈現的萬花筒視圖記錄了不同方向和略有不同的視角的九個圖像的網格,所有這些都記錄在單個幀上

當這個鏡頭連接到相機上時,通過取景器看,你會看到一個由九張不同方向的圖像組成的網格——這可能有點令人驚訝。錄制的照片在相機背面和普通軟件中也會以這種方式顯示。當圖像被輸入公司的SeeDeep軟件應用程序時,它會被分析,九張圖像被用來創建一個深度圖,使用一系列色調值繪制場景中表示的不同距離。完成此操作後,可以將“正常”圖像及其深度圖加載到 Photoshop 或任何允許深度通道的程序中,我們可以使用深度圖單獨編輯場景中不同深度的對象。

生成的樹的深度圖。它的葉子在它後面,所以用更深的色調表示。背景中的牆壁再次變暗,以表明它離得更遠

SeeDeep應用程序還結合了來自九張圖像的信息,以創建該公司所謂的超分辨率圖像,該圖像是總傳感器輸出分辨率的一半。如果沒有此選項,最終圖像將僅爲傳感器分辨率的 1/9,這顯然會使整個練習變得不那麽值得。

同樣有趣的是,即使九個單獨的幀不是全部完整,該軟件仍然可以創建深度圖。這一點至關重要,因爲大多數攝像機會錄制傳感器 16:9 裁剪的視頻。SeeDeep軟件仍然可以使用下部圖像的上部和上部圖像的下部生成足夠的深度信息。一些相機,如Lumix S1H,可以提供整個幀的視頻,這顯然提供了更多的數據和更准確的深度圖。同樣值得注意的是,當在5.9K模式下與S1H一起使用時,創建的九個單獨的圖像將具有高清分辨率。

它可以用于什麽?

沒有人會購買這款K-Lens並將其用作常規鏡頭,因此客戶將是那些能夠充分利用其創建的深度信息的人。最明顯的用途是在基于深度的編輯領域,用戶希望調整焦點位置或在特定距離處爲對象添加模糊以創建淺景深效果。

Photoshop 中的“鏡頭模糊”功能可以在深度貼圖作爲通道加載時拾取深度貼圖。然後,該功能允許我們單擊要對焦的對象,並允許我們模糊場景的其余部分。左側是原始圖像,中間焦點轉移到背景,右側焦點位于前景

使用深度貼圖添加模糊時,模糊程度將與深度貼圖該區域的色調值成正比,因此更遠的對象將自動比較近的對象更模糊,就像實際光學模糊顯示一樣。可以在軟件中調整深度圖以誇大或減少“深度”,並且可以通過更改對象在深度圖中的色調值來添加或消除任何距離。

在這裏,我使用深度圖來識別主體後面的區域,這樣我就可以在不改變主體顔色的情況下對其進行預熱。

深度信息還可用于隔離特定距離以進行亮度或顔色編輯,因此可以加熱主體,並使後面的任何東西變冷 - 例如。當然,當我們創建選擇時,這可以通過軟件中的普通圖像來完成,但這裏的想法是圖層蒙版是由深度圖中的深度數據自動形成的。這在視頻編輯中獨樹一幟,因爲創建蒙版來跟隨移動的主題和背景要困難得多。在視頻中,對焦調整的能力也非常有用,如果第一次錯過對焦,可以再次保存拍攝場景。在後期制作中也可以實現焦點拉動,如果沒有鏡頭提供的深度信息,這是不可能做到的。

在上面的視頻中,每幀到另一幀的顔色變化將不會出現在最終産品中。

鏡頭記錄的不同視角也可用于創建3D內容,其中視角的適度差異足以達到所需的效果。由于3D的虛擬基線僅爲1.5厘米,因此鏡頭在3D中效果最佳,具有非常近的主體和微距攝影,因爲基線將能夠比較遠的主體更好地“看到周圍”物體。鏡頭最近的對焦距離爲80cm,但也可以與微距擴展管一起使用。不過,一般來說,深度數據在接近10米的物體中是最准確和可靠的。3D的程度也足以在Facebook上創建“3D”圖像,一些智能手機也可以通過多個鏡頭排列産生這種圖像。

虛擬基線(在九張圖像網格邊緣記錄的圖像之間的透視偏移)取決于鏡頭的光圈、鏡子尺寸和拾取鏡頭的放大倍率。因此,對于不同的焦距,它會有所不同。在較長的鏡頭中,只要光圈開口的物理尺寸保持不變,效果就會更加誇張。

該公司表示,Lume Pad和Looking Glass顯示器等設備也可以很好地處理使用K-Lens記錄的圖像,並且可以使用Google的Cardboard查看3D效果。浮雕打印,其中圖像以3D打印,也是一種應用,光柵打印也是如此。

使用中

鏡筒的擠壓區域很明顯,這個鏡頭有一些不同之處,這就是鏡面通道的所在地。這裏顯示的鏡頭是一個非常預生産的版本,光圈比例是相反的。較長的線條表示公司建議我們設置光圈的位置 - 在75%的關閉位置

當然,鏡頭比普通的80mm鏡頭更大更重,最好在三腳架上使用 - 盡管它不是那麽笨拙,無法手持。雖然尺寸和重量是單獨使用三腳架的充分理由,但另一個原因是充分利用鏡頭所需的小光圈。虹膜上有一個刻度,但沒有標有f /數字,因爲該公司表示傳統的光圈標記無關緊要。有一個更大的標記,該公司說鏡頭處于最佳狀態,這是光圈接近75%。這提供了廣泛的景深,使焦點之後更容易在軟件中轉移,並提供最佳的深度數據。

我們被告知,光圈只是讓光線進入的一種手段,而不是控制景深或失焦的高光,增加相機的ISO比多開光圈要好。沒有關于最大或最小光圈設置的信息,但我知道光圈使用15個葉片來實現真正圓形的光圈。

作爲可選的附加功能,K-Lens 監視器僅自動顯示鏡頭創建的九張圖像中的一張。這使得構圖和對焦變得更加容易,盡管它也增加了系統的大部分。

通過取景器,我們可以看到鏡頭前場景的萬花筒視圖。這使得對焦和構圖變得非常困難,因此我們需要放大視圖,直到九張圖像中的一張填滿取景器——左上角的圖像方向正確。另一種方法是使用K-Lens提供的可選HDMI監視器,默認情況下顯示圖像的這一部分。

使用深度圖作爲圖層蒙版可以快速輕松地編輯距相機不同距離的區域。在這裏,爲了演示,我使用蒙版使背景更暗。

當圖像被輸入公司的SeeDeep軟件時,我們會得到一個常規的彩色圖像和一個返回的深度圖。我使用了傳感器分辨率爲45MP的尼康Z7。九張圖像中的每一張都是5MP,但該軟件可以創建大約是傳感器分辨率一半的超分辨率圖像,因此在這種情況下,超分辨率圖像和深度圖爲17.6MP。超分辨率圖像看起來非常好,因爲它們不是通過標准插值創建的,而是通過使用九個較小圖像中的所有信息來填充需要添加的細節以提高分辨率。相同的超分辨率技術可以應用于視頻片段,使SeeDeep能夠産生高達4K的分辨率。

結論

鏡頭遮光罩非常不尋常,前端有一個沉重的唇。這是預生産和3D打印的,但生産設計將保持不變。我無法很好地解釋它的形狀,但被告知該設計是由卡爾蔡司耶拿指定的,作爲光學設計的一部分。

這顯然是一個非常專業的鏡頭,在比普通鏡頭更有限的應用中很有用,但它確實提供了一些新的東西。全世界都對Lytro相機感到非常興奮,但這個想法最終被推翻的不是技術的缺點,而是依靠專用相機和它産生的圖像的低分辨率。這個概念允許用戶使用他們已經擁有的相機和他們提供的所有功能,以及更實用的工作分辨率。任何全畫幅相機都可以使用,這一事實爲更廣泛的受衆打開了市場,增加了它的使用頻率並減少了所需的學習量。

我使用的鏡頭是非常前期制作的,我自己無法使用SeeDeep,但即使有這些限制,我也能夠了解可以創建的效果,以及實現效果的相對容易程度。K-Lens當然有希望,我期待看到該領域的攝影師可以用它創作什麽。一旦這個開始,看看公司將提供哪些其他焦距,以及該技術將如何發展將是一件有趣的事情。有人告訴我,K-Lens希望能夠將ND濾鏡集成到鏡子通道中,通過在單次拍攝中記錄各種曝光來實現一次性HDR成像 - 這將是另一個有用的功能。

這款鏡頭不會批量生産,因此買家可以要求他們想要的卡口。最初的樣品是尼康F和佳能EF卡口,但K-lens表示,大多數其他卡口都很容易容納。
0 阅读:7