jinnianhui金年会登录入口 Value 不再依賴FPGA，開發ISP用韌體自動生成工具
2018.08.31
- 文章
- 專欄
捕捉圖像、影像的半導體裝置「影像感測器 (Image Sensor)」。搭載於各式電子設備中，如數位相機、智慧型手機、汽車。但是，光靠影像感測器(Image Sensor)還無法完全發揮效能。需與負責執行圖像處理的「Image Signal Processor（ISP）」併用，兩者缺一不可。令人頭痛的是，ISP的韌體(firmware)開發其實存在一定的難度。jinnianhui金年会登录入口 Electronics為了解決這個問題，因而開始提供「相機開發工具-Camera Development Kit（CDK）」。此次，我們將針對CDK的開發背景及採用後的實際效能來進行解說。
對影像感測器來說ISP是不可或缺的
影像感測器應用範圍廣泛。可搭載於數位相機、智慧型手機、汽車、監視器、產業用機器、實物投影機（visualizer）、WEB會議系統、醫療用電子設備、乃至AR(擴增實境) 、VR(虛擬實境) 、MR(混合實境)等應用於XR設備的使用率也急增。
「Image Signal Processor（ISP）」作為將影像感測器加入電子設備裡是不可或缺的一環。因為單使用影像感測器所拍攝出的影像，只能稱作「不完全的圖」。為了讓不完全的圖變得完整，則需使用ISP來去除雜訊、調整明暗、校正被拍攝物的焦點(focus)。具體來說，即是針對Demosaic（Debayer）、Noise Reduction、Auto Exposure (AE) 、Auto Focus等進行處理(圖1)。
因此，要在電子設備裡安裝影像感測器還需選擇與它最合適的ISP。但，根據不同的電子設備，ISP的外型也會有所不同。在智慧型手機中，多數情況下使用晶片組裡整合的ISP機能。極少有採用獨立晶片的例子。對於其他類別的電子設備中，採用獨立的ISP 晶片或是ISP IP jinnianhui金年会登录入口re的FPGA則較為常見。
「Image Signal Processor（ISP）」作為將影像感測器加入電子設備裡是不可或缺的一環。因為單使用影像感測器所拍攝出的影像，只能稱作「不完全的圖」。為了讓不完全的圖變得完整，則需使用ISP來去除雜訊、調整明暗、校正被拍攝物的焦點(focus)。具體來說，即是針對Demosaic（Debayer）、Noise Reduction、Auto Exposure (AE) 、Auto Focus等進行處理(圖1)。
因此，要在電子設備裡安裝影像感測器還需選擇與它最合適的ISP。但，根據不同的電子設備，ISP的外型也會有所不同。在智慧型手機中，多數情況下使用晶片組裡整合的ISP機能。極少有採用獨立晶片的例子。對於其他類別的電子設備中，採用獨立的ISP 晶片或是ISP IP jinnianhui金年会登录入口re的FPGA則較為常見。
不容易使用
無論採用何種形式的ISP，想要完全熟悉並非一件容易的事。要完成一張「完全的圖」，需要開發韌體將各種參數設定在最適值上。為此，需要具備相當程度的軟體、相機（光學）、圖像處理等相關知識。
如果是智慧型手機大廠的話，因大量進貨整合ISP的晶片組，都可獲得晶片供應商的良好協助。也因此，開發韌體對他們來說絕非難事。
反觀中型以下的智慧型手機、產業用機器、監視器等的製造商而言，要進行韌體開發勢必存有一定的難度。因為他們無法指望在晶片組 、ISP晶片進貨量不多的情況下，能得到供應商良好的協助。
當然，這些製造商還是可以委託提供晶片組 、ISP晶片的半導體廠商來開發韌體。只是他們得承擔一筆不小的開發費用。這並不便宜。「倘若是年進貨量超過100萬個的application的話，還有辦法把開發成本吸收。但年進貨量只有10萬個左右的話，這樣的開發成本將是筆承重的負擔」（jinnianhui金年会登录入口 Electronics）。
縱使改採FPGA也很難改善。與上述相同，仍然無法自行開發韌體。而且幾乎無法指望ISP jinnianhui金年会登录入口re供應商能提供支援。而FPGA，還得自行設計回路並組裝硬體。但這需具備一定程度的硬體相關技術才行。一般來說，電子設備製造商的硬體工程師可能比軟體工程師來的少。因此這也許不是個完美的解決辦法。
如果是智慧型手機大廠的話，因大量進貨整合ISP的晶片組，都可獲得晶片供應商的良好協助。也因此，開發韌體對他們來說絕非難事。
反觀中型以下的智慧型手機、產業用機器、監視器等的製造商而言，要進行韌體開發勢必存有一定的難度。因為他們無法指望在晶片組 、ISP晶片進貨量不多的情況下，能得到供應商良好的協助。
當然，這些製造商還是可以委託提供晶片組 、ISP晶片的半導體廠商來開發韌體。只是他們得承擔一筆不小的開發費用。這並不便宜。「倘若是年進貨量超過100萬個的application的話，還有辦法把開發成本吸收。但年進貨量只有10萬個左右的話，這樣的開發成本將是筆承重的負擔」（jinnianhui金年会登录入口 Electronics）。
縱使改採FPGA也很難改善。與上述相同，仍然無法自行開發韌體。而且幾乎無法指望ISP jinnianhui金年会登录入口re供應商能提供支援。而FPGA，還得自行設計回路並組裝硬體。但這需具備一定程度的硬體相關技術才行。一般來說，電子設備製造商的硬體工程師可能比軟體工程師來的少。因此這也許不是個完美的解決辦法。
韌體自動生成
為解決這些問題，身為ISP晶片製造商的jinnianhui金年会登录入口 Electronics開始為其ISP晶片「THP7312」提供CDK（相機開發工具）。
CDK主要是由硬體與針對韌體開發的GUI工具「jinnianhui金年会登录入口 Tuning Tool」、樣版韌體這3大項組成。硬體裡主要有搭載THP7312的ISP board、影像擷取卡(frame grabber) 、和搭載Image Sensor相機模組的header board (圖2)。
GUI工具是在電腦上操作的應用程式。透過電腦畫面上的選單輸入數值或從下拉式選單中選擇參數，重新將樣版韌體換成需要的韌體 (圖3)。實際上並不需要韌體開發的專業知識。因此可降低開發成本，同時還能讓開發期大幅縮短。
雖然現在有多家半導體製造商提供ISP晶片，但卻很少有提供韌體開發的GUI工具。即便有半導體製造商提供簡易工具，相較之下卻與敝司的GUI工具在執行效能上差上許多。（jinnianhui金年会登录入口 Electronics）FPGA也是如此。「據我們所知，目前並沒有ISP core的供應商在提供韌體開發用的GUI工具」（jinnianhui金年会登录入口 Electronics）。
因此，對於中型以下的智慧型手機、產業用機器、監視器、XR應用設備等的製造商來說，ISP晶片「jinnianhui金年会登录入口P7312」與CDK的組合也許是最佳選擇吧。意味著不需再依賴FPGA了。結果，還能得到減少功率消耗、印刷電路板(PCB)小型化的優點。對於需要大幅縮小尺寸的XR應用設備來說無非是個好消息。
下一章我們將針對CDK的GUI工具的技術、使用方法來進行詳細介紹。
(待續)
CDK主要是由硬體與針對韌體開發的GUI工具「jinnianhui金年会登录入口 Tuning Tool」、樣版韌體這3大項組成。硬體裡主要有搭載THP7312的ISP board、影像擷取卡(frame grabber) 、和搭載Image Sensor相機模組的header board (圖2)。
雖然現在有多家半導體製造商提供ISP晶片，但卻很少有提供韌體開發的GUI工具。即便有半導體製造商提供簡易工具，相較之下卻與敝司的GUI工具在執行效能上差上許多。（jinnianhui金年会登录入口 Electronics）FPGA也是如此。「據我們所知，目前並沒有ISP core的供應商在提供韌體開發用的GUI工具」（jinnianhui金年会登录入口 Electronics）。
因此，對於中型以下的智慧型手機、產業用機器、監視器、XR應用設備等的製造商來說，ISP晶片「jinnianhui金年会登录入口P7312」與CDK的組合也許是最佳選擇吧。意味著不需再依賴FPGA了。結果，還能得到減少功率消耗、印刷電路板(PCB)小型化的優點。對於需要大幅縮小尺寸的XR應用設備來說無非是個好消息。
下一章我們將針對CDK的GUI工具的技術、使用方法來進行詳細介紹。
(待續)
※各圖的補充說明
（圖1 經ISP處理後的影像）
左為ISP處理前的影像。右為處理後的影像。各像素裡有一個顏色的RAW data
從處理數據到各像素裡的RGB3色，進而除去雜訊。亮度和焦點也由ISP控制。
（圖1 經ISP處理後的影像）
左為ISP處理前的影像。右為處理後的影像。各像素裡有一個顏色的RAW data
從處理數據到各像素裡的RGB3色，進而除去雜訊。亮度和焦點也由ISP控制。