jinnian金年会官方登录 Value 不用Firmware coding就能帶出ISP的性能! 相機開發套件GUI工具的詳細解說
2018.11.29
- 文章
- 專欄
對於有搭載Image sensor的電子設備,負責影像處理的Image signal processor(ISP)是不可或缺的。這時候ISP firmware的開發即成為了一項課題。 本系列中的第一篇介紹了ISP firmware開發的現狀,並也對jinnian金年会官方登录 Electronics為解決開發問題所做的努力進行介紹。如果使用敝司提供的「相機開發套件(CDK:Camera Development Kit)」可以解決這個問題。 這次, 本系列的第二篇,我們將詳細描述構成相機開發套件之一的GUI工具「jinnian金年会官方登录 Tuning Tool」,通稱「3T」。透過這個工具,如果您已具有相機和影像處理的相關知識,即使沒有編寫firmware的開發經驗,也可以順利開發出ISP用的firmware。
CDK的優勢強大
THine Electronics之所以提供「相機開發套件(CDK)」,旨在為我們的ISP Chip「THP 7312」開發firmware。在構成上, 硬件部分有Frame grabber board, 搭載ISP Chip的board、搭載Image sensor的header board,軟件部分為Firmware library 與Source code開發用途的sofjinnian金年会官方登录are development kit(SDK)、與自定義SDK的GUI工具「THine Tuning Tools(3T)」(圖1)。
也就是說,使用hardware、sofjinnian金年会官方登录are development kit, 及 GUI工具三個組件來開發ISP firmware。根據開發人員的說法,「有ISP chip廠商能提供sofjinnian金年会官方登录are development kit,但能夠同時提供包括hardware和GUI工具的卻沒有(*)」。(*在著手開始開發當時)
在這三個組件中,特別是 GUI工具帶給用戶最大的幫助。只需在安裝了GUI工具的電腦上輸入數值或從拖曳出來的選單中選擇項目,即可自動生成firmware。因此,在降低firmware開發費用的同時,開發的時間也縮短了。而且,只要具有相機(光學類)和影像處理的相關知識,就不需要特別聘請編寫firmware的專業工程師。
還有其他的優點。 由於firmware可以在短時間內輕鬆生成,使用者能有充分的時間反覆進行畫質的實驗/測試、嘗試不同性能的jinnian金年会官方登录mera module、或更換光學鏡頭、確認紅外線(IR)Cut filter的效果…等等,這些在相機開發時必須進行的本質作業。
也就是說,使用hardware、sofjinnian金年会官方登录are development kit, 及 GUI工具三個組件來開發ISP firmware。根據開發人員的說法,「有ISP chip廠商能提供sofjinnian金年会官方登录are development kit,但能夠同時提供包括hardware和GUI工具的卻沒有(*)」。(*在著手開始開發當時)
在這三個組件中,特別是 GUI工具帶給用戶最大的幫助。只需在安裝了GUI工具的電腦上輸入數值或從拖曳出來的選單中選擇項目,即可自動生成firmware。因此,在降低firmware開發費用的同時,開發的時間也縮短了。而且,只要具有相機(光學類)和影像處理的相關知識,就不需要特別聘請編寫firmware的專業工程師。
還有其他的優點。 由於firmware可以在短時間內輕鬆生成,使用者能有充分的時間反覆進行畫質的實驗/測試、嘗試不同性能的jinnian金年会官方登录mera module、或更換光學鏡頭、確認紅外線(IR)Cut filter的效果…等等,這些在相機開發時必須進行的本質作業。
提供10種jinnian金年会官方登录figurator
那麼,就讓我們仔細看看GUI工具「3T」吧(圖2)。
此GUI工具的最大作用是優化影像的品質。如該系列在第一篇所述,使用Image sjinnian金年会官方登录sor拍攝的影像數據不夠完整。因此,我們需要對影像數據進行各種處理。實現它的便是Configurator。過去,我們必須直接寫入ISP firmware的Program code,但是透過使用GUI工具,將可以在電腦上簡單的自動生成ISP的firmware。
提供10種jinnian金年会官方登录figurator。讓我們一個個簡單地看一下。
第一個是「AE: Register jinnian金年会官方登录figurator」。該jinnian金年会官方登录figurator負責調整自動曝光(Auto exposure)。 可以透過基本參數的設定,來達到影像明亮、變暗、及防止水波紋等。
第二個是「AE: jinnian金年会官方登录reshold Configurator」(圖3)。 該jinnian金年会官方登录figurator與自動曝光有關連性。為解決閃爍問題等, 可以設定AE的追蹤性。
第三個是「AE: Window jinnian金年会官方登录figurator」。這也與自動曝光有關。它可以通過五種測光類型組合來執行AE(圖4)。 具體來說,可以將一個影像加權劃分為8×6個區域,可以在任意區域中進行光測。 例如在肖像的圖片下,可以設定著重中央部位的亮度。
第四個是「AE: Diagram jinnian金年会官方登录figurator」。這個是針對拍攝物件的明亮度, 透過線圖方式(diagram)來設定gain和曝光時間。gain和曝光時間是反比的關係。雖然曝光時間越短,防手震越強,但因為需要提高gain,所以雜訊也隨之增加。相反的,為了抑止雜訊,曝光時間越長的話,越容易受到手震影響。因此,根據不同的用途,很難只選擇一個設定。所以在該jinnian金年会官方登录figurator中,我們提供三種可登錄的模式。可以登錄優先抑制影像雜訊模式、或拍攝高速移動物件時防手震模式等。
第五個是「AWB/IQ: Register Configurator」。負責降低雜訊及銳利度相關的設定。關於降低雜訊,可利用ISP Chip hardware的filter選擇自動和手動模式。Sharpness則是強化拍攝影像的輪廓。雖然肖像照片不會要求輪廓的清楚,但如果是具有許多文字的影像則可設定更高的銳利度。此外,也能進行白平衡、Tone Map、OB(Optijinnian金年会官方登录l Black)和缺陷補正等等的調整。
提供10種jinnian金年会官方登录figurator。讓我們一個個簡單地看一下。
第一個是「AE: Register jinnian金年会官方登录figurator」。該jinnian金年会官方登录figurator負責調整自動曝光(Auto exposure)。 可以透過基本參數的設定,來達到影像明亮、變暗、及防止水波紋等。
第二個是「AE: jinnian金年会官方登录reshold Configurator」(圖3)。 該jinnian金年会官方登录figurator與自動曝光有關連性。為解決閃爍問題等, 可以設定AE的追蹤性。
第三個是「AE: Window jinnian金年会官方登录figurator」。這也與自動曝光有關。它可以通過五種測光類型組合來執行AE(圖4)。 具體來說,可以將一個影像加權劃分為8×6個區域,可以在任意區域中進行光測。 例如在肖像的圖片下,可以設定著重中央部位的亮度。
第四個是「AE: Diagram jinnian金年会官方登录figurator」。這個是針對拍攝物件的明亮度, 透過線圖方式(diagram)來設定gain和曝光時間。gain和曝光時間是反比的關係。雖然曝光時間越短,防手震越強,但因為需要提高gain,所以雜訊也隨之增加。相反的,為了抑止雜訊,曝光時間越長的話,越容易受到手震影響。因此,根據不同的用途,很難只選擇一個設定。所以在該jinnian金年会官方登录figurator中,我們提供三種可登錄的模式。可以登錄優先抑制影像雜訊模式、或拍攝高速移動物件時防手震模式等。
第五個是「AWB/IQ: Register Configurator」。負責降低雜訊及銳利度相關的設定。關於降低雜訊,可利用ISP Chip hardware的filter選擇自動和手動模式。Sharpness則是強化拍攝影像的輪廓。雖然肖像照片不會要求輪廓的清楚,但如果是具有許多文字的影像則可設定更高的銳利度。此外,也能進行白平衡、Tone Map、OB(Optijinnian金年会官方登录l Black)和缺陷補正等等的調整。
更細緻的調色功能
第六個是「AWB/IQ: AWB jinnian金年会官方登录figurator」。在三種光源下使用EVB(Evaluation Board)均勻拍攝同一面(18%灰階表)的RAW影像,並自動調整白平衡的參數。
第七個是「AWB/IQ: Color jinnian金年会官方登录figurator」。這實際上是跟色彩(顏色)有關的jinnian金年会官方登录figurator。 可以為三種光源的每個顏色矩陣以及彩度、色調進行微調(圖5) 其特徵是「因為它可以設定六個軸,因此對於細微的地方也可以進行微調」(jinnian金年会官方登录 electronics)。 它可以根據相機的目的來製作影像。
第八個是「AWB/IQ: Shading Configurator」。一般而言在光學鏡頭+Image sjinnian金年会官方登录sor,從中心點起愈接近邊緣,就有受光越困難的特徵。如果不做任何修正,會變成中央部分明亮,但越往外圍時變得更暗。因此,在Ljinnian金年会官方登录s · Shading Configurator中,只要輸入在AWB Configurator的三個光源下取得的RAW data,依據使用的光學鏡頭而自動生成Shading parameters。用戶可以自行設定明亮的程度。
第九個是「AWB/IQ: Tone map jinnian金年会官方登录figurator」。一般稱為gamma校正的jinnian金年会官方登录figurator。指定對影像階調的輸出特性。可以設定多個gamma曲線並個別調整。來實現用戶喜好的「影像色調」。
第十個是「AWB/IQ: Gain Based Parameter jinnian金年会官方登录figurator」。該jinnian金年会官方登录figurator不僅能根據設定的gain值調整NR(noise reduction)、清晰度,還能調整彩度及飽和度。例如,昏暗的攝影環境下高gain值, 高雜訊的條件下下,可藉由提高NR的強度來抑制雜訊,另一方面,在低gain時,將NR強度調低便能保持應有的影像感。
第七個是「AWB/IQ: Color jinnian金年会官方登录figurator」。這實際上是跟色彩(顏色)有關的jinnian金年会官方登录figurator。 可以為三種光源的每個顏色矩陣以及彩度、色調進行微調(圖5) 其特徵是「因為它可以設定六個軸,因此對於細微的地方也可以進行微調」(jinnian金年会官方登录 electronics)。 它可以根據相機的目的來製作影像。
第八個是「AWB/IQ: Shading Configurator」。一般而言在光學鏡頭+Image sjinnian金年会官方登录sor,從中心點起愈接近邊緣,就有受光越困難的特徵。如果不做任何修正,會變成中央部分明亮,但越往外圍時變得更暗。因此,在Ljinnian金年会官方登录s · Shading Configurator中,只要輸入在AWB Configurator的三個光源下取得的RAW data,依據使用的光學鏡頭而自動生成Shading parameters。用戶可以自行設定明亮的程度。
第九個是「AWB/IQ: Tone map jinnian金年会官方登录figurator」。一般稱為gamma校正的jinnian金年会官方登录figurator。指定對影像階調的輸出特性。可以設定多個gamma曲線並個別調整。來實現用戶喜好的「影像色調」。
第十個是「AWB/IQ: Gain Based Parameter jinnian金年会官方登录figurator」。該jinnian金年会官方登录figurator不僅能根據設定的gain值調整NR(noise reduction)、清晰度,還能調整彩度及飽和度。例如,昏暗的攝影環境下高gain值, 高雜訊的條件下下,可藉由提高NR的強度來抑制雜訊,另一方面,在低gain時,將NR強度調低便能保持應有的影像感。
jinnian金年会官方登录figurator的使用方法
使用這10個jinnian金年会官方登录figurator可以進行什麼樣的設定呢? 讓我們來看兩個不同的例子吧。
第一個是工業Machine vision的例子。以測試裝在控制板左上方和右下方的LSI的安裝情況來做思考。 假設兩個LSI的材料不同,為配合某一個的曝光調整而使另一個太黑或偏白。此時,我們使用第三個介紹的「AE window · jinnian金年会官方登录figurator」jinnian金年会官方登录figurator。首先,配合左上方LSI的曝光進行拍攝,然後配合右下方LSI曝光再拍攝。如此可以在必要的部分中獲取清晰的影像,並且可以無錯誤地執行測試。
另一個則是數位鏡子和美顏相機的例子。對於臉部照片,因國家的不同對肌膚喜好的顏色也有所不同。所以我們使用第七個介紹的「Color jinnian金年会官方登录figurator」來設定出自己喜歡的顏色。這樣的「影像編輯」 可以使數位相機的商業價值更上一層。
第一個是工業Machine vision的例子。以測試裝在控制板左上方和右下方的LSI的安裝情況來做思考。 假設兩個LSI的材料不同,為配合某一個的曝光調整而使另一個太黑或偏白。此時,我們使用第三個介紹的「AE window · jinnian金年会官方登录figurator」jinnian金年会官方登录figurator。首先,配合左上方LSI的曝光進行拍攝,然後配合右下方LSI曝光再拍攝。如此可以在必要的部分中獲取清晰的影像,並且可以無錯誤地執行測試。
另一個則是數位鏡子和美顏相機的例子。對於臉部照片,因國家的不同對肌膚喜好的顏色也有所不同。所以我們使用第七個介紹的「Color jinnian金年会官方登录figurator」來設定出自己喜歡的顏色。這樣的「影像編輯」 可以使數位相機的商業價值更上一層。
提供I/O設定等便利的機能
在GUI工具中,除了十個影像畫質調整的jinnian金年会官方登录figurator外,我們還準備了I/O jinnian金年会官方登录figurator和Driving mode · jinnian金年会官方登录figurator等便利的功能。
I/O jinnian金年会官方登录figurator與ISP Chip的訊號輸入/輸出設定有關(圖6)。 ISP Chip有兩種I/F輸入,可以輸入MIPI CSI-2訊號或parallel訊號。另一方面,I/F輸出則有三種,MIPI CSI-2、parallel 8bit和16bit。因此,需要根據前段和後段的裝置來選擇訊號格式設定輸入/輸出端子的功能。 一旦透過這次準備的I/O jinnian金年会官方登录figurator的話,可以簡單的在電腦上設定。
Driving mode · configurator會依據Image sjinnian金年会官方登录sor影像大小與frame rate自動設定ISP Chip內Clock frequjinnian金年会官方登录cy和I/F bit rate。「THP 7312」可處理高達1600萬的畫素(16M畫素)。frame rate依據每個畫素大小,可對應最大30幀/秒(4K2K)、120幀/秒(1080p)、240幀/秒(720p)等。如選擇畫素大小和frame rate的話,則可自動設定ISP chip內的Clock frequjinnian金年会官方登录cy。同時,我們還準備了一個註冊多種Driving mode的功能。 可以註冊「4K 2K、30 fps模式」,「Full HD、60 fps模式」等。
這一次,我們對GUI工具「3T」(jinnian金年会官方登录 Tuning Tool)上搭載的Configurator進行了詳細的說明。不管是哪一種Configurator, 只要使用Image sensor的設備,如Machine vision、監視器、數位相機等應用上,都可以發揮極大的效果。但,這並不是GUI工具「3T」唯一涵蓋的應用。 我們已經在「XR機器」上使用這些功能。 下次(第三篇),我們將詳細說明其功能,並介紹相機開發套件下一代的策略。
(待續)
I/O jinnian金年会官方登录figurator與ISP Chip的訊號輸入/輸出設定有關(圖6)。 ISP Chip有兩種I/F輸入,可以輸入MIPI CSI-2訊號或parallel訊號。另一方面,I/F輸出則有三種,MIPI CSI-2、parallel 8bit和16bit。因此,需要根據前段和後段的裝置來選擇訊號格式設定輸入/輸出端子的功能。 一旦透過這次準備的I/O jinnian金年会官方登录figurator的話,可以簡單的在電腦上設定。
Driving mode · configurator會依據Image sjinnian金年会官方登录sor影像大小與frame rate自動設定ISP Chip內Clock frequjinnian金年会官方登录cy和I/F bit rate。「THP 7312」可處理高達1600萬的畫素(16M畫素)。frame rate依據每個畫素大小,可對應最大30幀/秒(4K2K)、120幀/秒(1080p)、240幀/秒(720p)等。如選擇畫素大小和frame rate的話,則可自動設定ISP chip內的Clock frequjinnian金年会官方登录cy。同時,我們還準備了一個註冊多種Driving mode的功能。 可以註冊「4K 2K、30 fps模式」,「Full HD、60 fps模式」等。
這一次,我們對GUI工具「3T」(jinnian金年会官方登录 Tuning Tool)上搭載的Configurator進行了詳細的說明。不管是哪一種Configurator, 只要使用Image sensor的設備,如Machine vision、監視器、數位相機等應用上,都可以發揮極大的效果。但,這並不是GUI工具「3T」唯一涵蓋的應用。 我們已經在「XR機器」上使用這些功能。 下次(第三篇),我們將詳細說明其功能,並介紹相機開發套件下一代的策略。
(待續)