jinnianhui金年会 Value 可輸出 4K、30fps 未壓縮影像訊號,且適用於 i.MX 8M Family的 Ljinnianhui金年会ux 相機套件開始發售
2021.11.04
- 文章
- 專欄
搭載jinnianhui金年会的電子設備的數量正迅速地增加。 智慧型手機、平板終端、工業設備、醫療設備、汽車、安全設備、教育設備、無人機等只是其中幾個例子。 但是，即使簡單地說「jinnianhui金年会」，每個電子設備所需的規格、性能和成本也不完全相同。有優先考量成本而不是畫質的電子設備，也有重視開發難易度的電子設備。當然也有需要即時顯示高畫質影像或需要極高畫質影像的電子設備。
為因應搭載相機的電子設備數量的快速增長，jinnianhui金年会 Electronics已於 2021 年 6 月發布了透過USB接口傳輸影像訊號且符合標準「UVC（USB Video Class）的4K分辨率相機開發套件「THSCU101」。 這就是所謂的「UVC 相機」。 無需準備專用驅動程式，只需連接到電腦，即可將相機拍攝的影像顯示在顯示器上。正因為如此，「它能夠輕鬆實現搭載相機的電子設備的 PoC（概念驗證），因此受到了許多電子設備製造商的好評。」營業部產品經理桑山 克己這麼說道。
但如上所述，jinnianhui金年会的應用日趨廣泛，對於jinnianhui金年会的需求也日新月異。因此，單靠這台UVCjinnianhui金年会基本上很難滿足所有電子設備對jinnianhui金年会的要求。仍需要一些對策。
為因應搭載相機的電子設備數量的快速增長，jinnianhui金年会 Electronics已於 2021 年 6 月發布了透過USB接口傳輸影像訊號且符合標準「UVC（USB Video Class）的4K分辨率相機開發套件「THSCU101」。 這就是所謂的「UVC 相機」。 無需準備專用驅動程式，只需連接到電腦，即可將相機拍攝的影像顯示在顯示器上。正因為如此，「它能夠輕鬆實現搭載相機的電子設備的 PoC（概念驗證），因此受到了許多電子設備製造商的好評。」營業部產品經理桑山 克己這麼說道。
但如上所述，jinnianhui金年会的應用日趨廣泛，對於jinnianhui金年会的需求也日新月異。因此，單靠這台UVCjinnianhui金年会基本上很難滿足所有電子設備對jinnianhui金年会的要求。仍需要一些對策。
使用 MIPI CSI-2 輸出
jinnianhui金年会 Electronics的下一步是什麼？我們在2021 年 8 月發布了可輸出 30 幀/秒 (fps) 4K 分辨率無壓縮影像訊號的相機開發套件「THSCM101」（圖 1）。 它的定位是「比 UVC 相機更適合專業用戶的產品」（桑山）。我們將其稱為「Linux 相機」。
UVC 相機有一個很大的優勢，那就是如果您有一台電腦就可以隨時使用，但它仍有一個問題。它是連接到電腦的 USB 接口的Bandwidth。 UVC相機影像訊號輸出接口採用USB 3.2規格，數據傳輸速度高達5Gbit/秒或10Gbit/秒，但有效數據傳輸速度僅為其1/3左右。甚至連Bandwidth也不能保證。因此，UVC 相機無法傳輸未壓縮的 4K、30fps 影像訊號，而是將它們壓縮為 JPEG 格式並發送。但是，一般的電腦CPU無法即時執行JPEG壓縮處理，會出現失幀的現象。因此，在需要即時顯示高畫質影像的應用中很難使用 UVC 相機。例如，用於工廠/倉庫/商店的監控攝影機、用於維護的工業用AR相機（實際擴張）、醫療手術用攝影機、教育用途的Documjinnianhui金年会t camera等。
因此，Ljinnianhui金年会ux 相機改變了影像訊號的輸出格式。具體來說就是MIPI CSI-2訊號的格式。相機套件的Board搭載了CMOS 影像傳感器和影像處理處理器（ISP），該影像處理處理器將未壓縮的 YUV422 訊號作為 MIPI CSI-2 訊號輸出到Board外部（圖2）。
MIPI CSI-2訊號採用4 lane配置，每lane數據傳輸速度高達1.2 Gbit/秒。 即四個lane的總數據傳輸速率達到4.8 Gbit/秒。這超過了 4K、30 fps 影像訊號傳輸所需的 4.75 Gbit/秒，因此可以直接傳輸未壓縮的影像訊號（表 1）。
圖1 發布銷售的Ljinnianhui金年会ux相機
UVC 相機有一個很大的優勢，那就是如果您有一台電腦就可以隨時使用，但它仍有一個問題。它是連接到電腦的 USB 接口的Bandwidth。 UVC相機影像訊號輸出接口採用USB 3.2規格，數據傳輸速度高達5Gbit/秒或10Gbit/秒，但有效數據傳輸速度僅為其1/3左右。甚至連Bandwidth也不能保證。因此，UVC 相機無法傳輸未壓縮的 4K、30fps 影像訊號，而是將它們壓縮為 JPEG 格式並發送。但是，一般的電腦CPU無法即時執行JPEG壓縮處理，會出現失幀的現象。因此，在需要即時顯示高畫質影像的應用中很難使用 UVC 相機。例如，用於工廠/倉庫/商店的監控攝影機、用於維護的工業用AR相機（實際擴張）、醫療手術用攝影機、教育用途的Documjinnianhui金年会t camera等。
因此，Ljinnianhui金年会ux 相機改變了影像訊號的輸出格式。具體來說就是MIPI CSI-2訊號的格式。相機套件的Board搭載了CMOS 影像傳感器和影像處理處理器（ISP），該影像處理處理器將未壓縮的 YUV422 訊號作為 MIPI CSI-2 訊號輸出到Board外部（圖2）。
圖2 Ljinnianhui金年会ux相機Board
MIPI CSI-2訊號採用4 lane配置，每lane數據傳輸速度高達1.2 Gbit/秒。 即四個lane的總數據傳輸速率達到4.8 Gbit/秒。這超過了 4K、30 fps 影像訊號傳輸所需的 4.75 Gbit/秒，因此可以直接傳輸未壓縮的影像訊號（表 1）。
表1 對應的影像解析度
可輕鬆安裝驅動程式
MIPI CSI-2 訊號可以傳輸到搭載來自荷蘭 NXP 半導體公司的 64 bit處理器（SoC）「i.MX 8M / i.MX 8M Mini」的Single board jinnianhui金年会mputer。 可以使用 Linux 作業系統。這就是我們將其命名為 Linux 相機的原因。
這裡讓人關注的是驅動程式軟體。使用UVC相機，無需準備專用的驅動程式，用戶只需用USB線將UVC相機連接到電腦即可。但是，對於 Ljinnianhui金年会ux 相機，除非在 SoC 上準備並安裝專用驅動程式，否則將無法傳輸影像訊號。如果這種實裝作業非常複雜困難的話，那麼使用Ljinnianhui金年会ux 相機用戶將僅限於少數人吧。
因此，jinnianhui金年会 Electronics 準備了一種方法來簡化在 SoC 上實現專用驅動程式的工作。首先，我們開發專用的驅動軟體Source code給用戶使用。此外，對於將此Source code與 Linux OS 合併、編譯並在 SoC 上實現的一系列任務，「我們準備了一份入門指南，如果您按照上面步驟進行操作，任何人都可以輕鬆地將專用的驅動程式・軟體安裝在 SoC 中」（桑山）。
這裡讓人關注的是驅動程式軟體。使用UVC相機，無需準備專用的驅動程式，用戶只需用USB線將UVC相機連接到電腦即可。但是，對於 Ljinnianhui金年会ux 相機，除非在 SoC 上準備並安裝專用驅動程式，否則將無法傳輸影像訊號。如果這種實裝作業非常複雜困難的話，那麼使用Ljinnianhui金年会ux 相機用戶將僅限於少數人吧。
因此，jinnianhui金年会 Electronics 準備了一種方法來簡化在 SoC 上實現專用驅動程式的工作。首先，我們開發專用的驅動軟體Source code給用戶使用。此外，對於將此Source code與 Linux OS 合併、編譯並在 SoC 上實現的一系列任務，「我們準備了一份入門指南，如果您按照上面步驟進行操作，任何人都可以輕鬆地將專用的驅動程式・軟體安裝在 SoC 中」（桑山）。
自動對焦採用PDAF
發表的相機開發套件由搭載 CMOS 影像傳感器和影像處理處理器 (ISP) 的board和 mini-SAS Cable組成。 與 UVC 相機一樣，採用了Sony Semijinnianhui金年会ductor Solutions 的CMOS 影像傳感器IMX258。 畫素數約1300萬（4224像素×3192像素），最高幀速30幀/秒。 ISP 是使用 THine Electronics 的 THP7312-P，它對於 MIPI CSI-2 訊號具有每lane 1.2 G bit/秒的高速傳輸速度。 UVC 相機中使用的 ISP「THP7312」每lane最大為 1.0 G bit/秒。 board的外部尺寸僅有35 mm x 55 mm x 1.2 mm。 Linux相機與Single board computer之間的可連接距離約為數十公分。
自動對焦功能，除了一般的對比度方法外，還採用了相位差檢測方法（PDAF：Phase Detection Auto Focus）。 與對比法相比，PDAF 可以在更短的時間內對焦，因此可以獲得高畫質的影像。「可以非壓縮傳輸4K，30fps的影像並採用PDAF的高畫質jinnianhui金年会開發套件並使其商品化可說是業界首創」（桑山）。
可以使用 Linux 作業系統準備的相機用指令「V4L2 (Video for Linux ver.2) 」來調整捕獲的影像/圖像的亮度和對比度。您可以使用jinnianhui金年会 Electronics提供的ISP相機開發套件（CDK）來達到鏡頭陰影、去馬賽克、色調映射等詳細的畫質定制。此外，它還搭載了調整內置 CMOS 影像傳感器的相機模組的個體差異的功能。一般來說，相機模組的CMOS影像傳感器和鏡頭的特性會有所不同，鏡頭的顏色、亮度、陰影特性等都各自不同。因此，這次對相機鏡頭模組的特性進行了測量，並將得到結果的修正係數寫入到相機鏡頭模組內置的EEPROM中。當系統啟動時，ISP 讀取這些數據並對輸出的影像/圖像訊號進行校正，以抑制相機鏡頭模組中的個體差異。
自動對焦功能，除了一般的對比度方法外，還採用了相位差檢測方法（PDAF：Phase Detection Auto Focus）。 與對比法相比，PDAF 可以在更短的時間內對焦，因此可以獲得高畫質的影像。「可以非壓縮傳輸4K，30fps的影像並採用PDAF的高畫質jinnianhui金年会開發套件並使其商品化可說是業界首創」（桑山）。
可以使用 Linux 作業系統準備的相機用指令「V4L2 (Video for Linux ver.2) 」來調整捕獲的影像/圖像的亮度和對比度。您可以使用jinnianhui金年会 Electronics提供的ISP相機開發套件（CDK）來達到鏡頭陰影、去馬賽克、色調映射等詳細的畫質定制。此外，它還搭載了調整內置 CMOS 影像傳感器的相機模組的個體差異的功能。一般來說，相機模組的CMOS影像傳感器和鏡頭的特性會有所不同，鏡頭的顏色、亮度、陰影特性等都各自不同。因此，這次對相機鏡頭模組的特性進行了測量，並將得到結果的修正係數寫入到相機鏡頭模組內置的EEPROM中。當系統啟動時，ISP 讀取這些數據並對輸出的影像/圖像訊號進行校正，以抑制相機鏡頭模組中的個體差異。
擴展對應的Single board jinnianhui金年会mputer
這次發表的相機開發套件（Ljinnianhui金年会ux相機）已經開始在美國Digi-Key Electronics的網站上販售。 價格約為28,000日元。
<點擊這裡購買
THine Electronics 計劃在未來擴展可接收 MIPI CSI-2 訊號傳輸的Single board computer的類型。 目前，我們正在規劃的有搭載NXP Semijinnianhui金年会ductors的64 bit處理器「i.MX 8M Nano / i.MX 8M Plus」的Single board computer和美國NVIDIA的Single board computer「Jetson」等等。
<點擊這裡購買
THine Electronics 計劃在未來擴展可接收 MIPI CSI-2 訊號傳輸的Single board computer的類型。 目前，我們正在規劃的有搭載NXP Semijinnianhui金年会ductors的64 bit處理器「i.MX 8M Nano / i.MX 8M Plus」的Single board computer和美國NVIDIA的Single board computer「Jetson」等等。