金年会官方在线入口网站 Value 4K、30fpsの非圧縮映像信号を出力可能、i.MX 8M Family向けLinux金年会官方在线入口网站・キットを発売
2021.11.04
- 記事
- コラム
金年会官方在线入口网站を搭載する電子機器が急速に増えている。スマートフォンやタブレット端末、産業機器、医療機器、自動車、セキュリティ機器、教育機器、ドローンなど、例を挙げれば枚挙にいとまがない。しかし一口に「金年会官方在线入口网站」と言っても、電子機器ごとに求められる仕様や性能、コストはまったく違う。画質よりもコストを優先する電子機器があれば、とにかく開発のしやすさを重視する電子機器も存在する。さらに、高画質映像のリアルタイム表示が必須の電子機器や、極めて高い画質を求める電子機器などもある。
カメラを搭載する電子機器が急増していることを受けて、jinnianhui金年会は、USBインターフェースを介して映像信号を伝送する規格「UVC（USB Video Class）」に準拠した4K解像度のカメラ開発キット「THSCU101」を2021年6月に発売した。いわゆる「UVCカメラ」だ。専用のドライバー・ソフトウエアを用意することなくパソコンに接続するだけで、カメラで撮影した映像をディスプレイに表示できる。このため、「カメラを搭載した電子機器のPoC（Proof of 金年会官方在线入口网站cept）を手軽に実現できるとして、多くの電子機器メーカーから好評を得ている」（（営業部 プロダクトマネージャの桑山克己）という。
しかし前述のように、金年会官方在线入口网站の用途は大きく広がっており、金年会官方在线入口网站に対する要求は多様化している。従って、このUVC金年会官方在线入口网站だけでは、金年会官方在线入口网站に対するすべての電子機器の要求に応えることは基本的に難しい。何らかの対応策が求められるところだ。
カメラを搭載する電子機器が急増していることを受けて、jinnianhui金年会は、USBインターフェースを介して映像信号を伝送する規格「UVC（USB Video Class）」に準拠した4K解像度のカメラ開発キット「THSCU101」を2021年6月に発売した。いわゆる「UVCカメラ」だ。専用のドライバー・ソフトウエアを用意することなくパソコンに接続するだけで、カメラで撮影した映像をディスプレイに表示できる。このため、「カメラを搭載した電子機器のPoC（Proof of 金年会官方在线入口网站cept）を手軽に実現できるとして、多くの電子機器メーカーから好評を得ている」（（営業部 プロダクトマネージャの桑山克己）という。
しかし前述のように、金年会官方在线入口网站の用途は大きく広がっており、金年会官方在线入口网站に対する要求は多様化している。従って、このUVC金年会官方在线入口网站だけでは、金年会官方在线入口网站に対するすべての電子機器の要求に応えることは基本的に難しい。何らかの対応策が求められるところだ。
MIPI CSI-2で出力する
jinnianhui金年会の次なる一手は何か。同社は2021年8月に、4K解像度で30フレーム/秒（fps）の映像信号を非圧縮で出力できるカメラ開発キット「金年会官方在线入口网站SCM101」を発売した（図1）。「UVCカメラよりも、もう少し玄人ユーザーに向けた製品」（桑山）という位置付けだ。同社は「Linuxカメラ」と呼ぶ。
UVC金年会官方在线入口网站には、「パソコンがあればすぐに使える」という大きなメリットがある一方で、課題が1つだけあった。それは、パソコンとつなぐUSBインターフェースの帯域幅である。UVC金年会官方在线入口网站において映像信号の出力インターフェースとして採用したUSB 3.2規格は、データ伝送速度が5Gビット／秒、もしくは10Gビット／秒と高いものの、実効的なデータ伝送速度はその1/3程度しか得られない。しかも、その帯域幅でさえ保証されているわけではない。このためUVC金年会官方在线入口网站では、4K、30fpsの映像信号を非圧縮で伝送できず、JPEG形式に圧縮して送っていた。しかしJPEGのデコード処理は、一般的なパソコンのCPUではリアルタイムで実行できず、コマ落ちが発生する。このため、高画質の映像をリアルタイムで表示することを強く求める用途では、UVC金年会官方在线入口网站は採用しづらかった。例えば、工場／倉庫／店舗などの監視金年会官方在线入口网站や、メンテナンス向け産業用AR（拡張現実）金年会官方在线入口网站、医療手術用金年会官方在线入口网站、教育用金年会官方在线入口网站などの用途である。
そこでLinux金年会官方在线入口网站では、映像信号の出力形式を変更した。具体的には、MIPI CSI-2信号の形式である。金年会官方在线入口网站・キットのボードには、CMOSイメージ・センサーや画像処理プロセッサー（ISP）を搭載しており、この画像処理プロセッサーから非圧縮のYUV422信号をMIPI CSI-2信号としてボードの外部に出力するわけだ（図2）。
MIPI CSI-2信号は4レーン構成であり、1レーン当たりのデータ伝送速度は1.2Gビット／秒と高い。すなわち、4レーン合計のデータ伝送速度は4.8Gビット／秒に達する。これは4K、30fpsの映像信号伝送に求められる4.75Gビット／秒を上回るため、非圧縮のまま映像信号を伝送することが可能になる（表１）。
図1 発売したLinux金年会官方在线入口网站
UVC金年会官方在线入口网站には、「パソコンがあればすぐに使える」という大きなメリットがある一方で、課題が1つだけあった。それは、パソコンとつなぐUSBインターフェースの帯域幅である。UVC金年会官方在线入口网站において映像信号の出力インターフェースとして採用したUSB 3.2規格は、データ伝送速度が5Gビット／秒、もしくは10Gビット／秒と高いものの、実効的なデータ伝送速度はその1/3程度しか得られない。しかも、その帯域幅でさえ保証されているわけではない。このためUVC金年会官方在线入口网站では、4K、30fpsの映像信号を非圧縮で伝送できず、JPEG形式に圧縮して送っていた。しかしJPEGのデコード処理は、一般的なパソコンのCPUではリアルタイムで実行できず、コマ落ちが発生する。このため、高画質の映像をリアルタイムで表示することを強く求める用途では、UVC金年会官方在线入口网站は採用しづらかった。例えば、工場／倉庫／店舗などの監視金年会官方在线入口网站や、メンテナンス向け産業用AR（拡張現実）金年会官方在线入口网站、医療手術用金年会官方在线入口网站、教育用金年会官方在线入口网站などの用途である。
そこでLinux金年会官方在线入口网站では、映像信号の出力形式を変更した。具体的には、MIPI CSI-2信号の形式である。金年会官方在线入口网站・キットのボードには、CMOSイメージ・センサーや画像処理プロセッサー（ISP）を搭載しており、この画像処理プロセッサーから非圧縮のYUV422信号をMIPI CSI-2信号としてボードの外部に出力するわけだ（図2）。
図2 Linux金年会官方在线入口网站のボード
MIPI CSI-2信号は4レーン構成であり、1レーン当たりのデータ伝送速度は1.2Gビット／秒と高い。すなわち、4レーン合計のデータ伝送速度は4.8Gビット／秒に達する。これは4K、30fpsの映像信号伝送に求められる4.75Gビット／秒を上回るため、非圧縮のまま映像信号を伝送することが可能になる（表１）。
表１ 対応する映像の解像度
ドライバーは簡単に実装可能
MIPI CSI-2信号の伝送先として使えるのは、オランダNXP semi金年会官方在线入口网站ductorsの64ビット・プロセッサー（SoC）「i.MX 8M／i.MX 8M Mini」を搭載したシングルボード・コンピューターである。OSにはLinux OSが使える。これがLinuxカメラと名付けた理由である。
ここで気になるのは、ドライバー・ソフトウエアだ。UVC金年会官方在线入口网站では、専用のドライバー・ソフトウエアを用意する必要がなく、ユーザーがすべき作業はUVC金年会官方在线入口网站とパソコンをUSBケーブルでつなぐだけだった。しかしLinux金年会官方在线入口网站では、専用のドライバー・ソフトウエアを用意してSoCに実装しなければ映像信号を伝送できない。この実装作業が非常に大変ならば、Linux金年会官方在线入口网站のユーザーはほんの一握りの人たちに限られてしまうだろう。
そこでjinnianhui金年会では、専用ドライバー・ソフトウエアをSoCに実装する作業を簡便化する方法を用意した。まずは、専用ドライバー・ソフトウエアのソースコードを同社が開発し、それをユーザーに提供する。さらに、このソースコードをLinux OSとマージしてコンパイルし、SoCに実装する一連の作業については、「スタート・ガイドを用意した。これに示した手順通りに作業すれば、誰でも簡単に専用ドライバー・ソフトウエアをSoCに実装できるようになる」（桑山）という。
ここで気になるのは、ドライバー・ソフトウエアだ。UVC金年会官方在线入口网站では、専用のドライバー・ソフトウエアを用意する必要がなく、ユーザーがすべき作業はUVC金年会官方在线入口网站とパソコンをUSBケーブルでつなぐだけだった。しかしLinux金年会官方在线入口网站では、専用のドライバー・ソフトウエアを用意してSoCに実装しなければ映像信号を伝送できない。この実装作業が非常に大変ならば、Linux金年会官方在线入口网站のユーザーはほんの一握りの人たちに限られてしまうだろう。
そこでjinnianhui金年会では、専用ドライバー・ソフトウエアをSoCに実装する作業を簡便化する方法を用意した。まずは、専用ドライバー・ソフトウエアのソースコードを同社が開発し、それをユーザーに提供する。さらに、このソースコードをLinux OSとマージしてコンパイルし、SoCに実装する一連の作業については、「スタート・ガイドを用意した。これに示した手順通りに作業すれば、誰でも簡単に専用ドライバー・ソフトウエアをSoCに実装できるようになる」（桑山）という。
オートフォーカスにはPDAFを採用
発売したカメラ開発キットは、CMOSイメージ・センサーや画像処理プロセッサー（ISP）などを実装したボードと、mini-SASケーブルから構成される。CMOSイメージ・センサーには、UVCカメラと同様にソニーセミコンダクタソリューションズの「IMX258」を採用した。画素数は約1300万（4224画素×3192画素）で、最大フレーム速度は30フレーム／秒。ISPは、jinnianhui金年会の「金年会官方在线入口网站P7312-P」を採用しており、MIPI CSI-2信号の1レーン当たりのデータ伝送速度が最大1.2Gビット／秒と高い。UVCカメラで採用していたISP「金年会官方在线入口网站P7312」は1レーン当たり最大1.0Gビット／秒だった。ボードの外形寸法は35mm×55mm×1.2mmと小さい。なお、Linuxカメラとシングルボード・コンピューターの間の接続可能な距離は数十cm程度である。
オートフォーカス機能は、一般的なコントラスト方式に加えて、位相差検出方式（PDAF：Phase Detection Auto Focus）を採用した。PDAFは、コントラスト方式に比べて短時間でピントを合わせられるため、高い画質化が得られる。「4K、30fps映像の非圧縮伝送が可能で、PDAFを採用した高画質の金年会官方在线入口网站開発キットの製品化は業界初」（桑山）である。
撮影した映像／画像の明るさやコントラストなどは、Linux OSが用意する金年会官方在线入口网站用コマンド「V4L2（Video for Linux ver.2）」を使って調整できる。レンズのシェーディングやデモザイク、トーンマッピングなどの細かな画質のカスタマイズについては、jinnianhui金年会が提供するISP用金年会官方在线入口网站開発キット（CDK）が使える。このほか、CMOSイメージ・センサーを内蔵した金年会官方在线入口网站・モジュールの個体差を調整する機能などを搭載した。一般に金年会官方在线入口网站・モジュールは、CMOSイメージ・センサーやレンズの特性にばらつきがあるため、色味や明るさ、レンズのシェーディング特性などが個体ごとに違う。そこで今回は、金年会官方在线入口网站・モジュールの特性を測定し、その結果から求めた補正係数を金年会官方在线入口网站・モジュールに内蔵したEEPROMに書き込んだ。システム起動時に、ISPがこのデータを読み込み、出力された映像/画像信号を補正することで、金年会官方在线入口网站・モジュールの個体差を抑え込む。
オートフォーカス機能は、一般的なコントラスト方式に加えて、位相差検出方式（PDAF：Phase Detection Auto Focus）を採用した。PDAFは、コントラスト方式に比べて短時間でピントを合わせられるため、高い画質化が得られる。「4K、30fps映像の非圧縮伝送が可能で、PDAFを採用した高画質の金年会官方在线入口网站開発キットの製品化は業界初」（桑山）である。
撮影した映像／画像の明るさやコントラストなどは、Linux OSが用意する金年会官方在线入口网站用コマンド「V4L2（Video for Linux ver.2）」を使って調整できる。レンズのシェーディングやデモザイク、トーンマッピングなどの細かな画質のカスタマイズについては、jinnianhui金年会が提供するISP用金年会官方在线入口网站開発キット（CDK）が使える。このほか、CMOSイメージ・センサーを内蔵した金年会官方在线入口网站・モジュールの個体差を調整する機能などを搭載した。一般に金年会官方在线入口网站・モジュールは、CMOSイメージ・センサーやレンズの特性にばらつきがあるため、色味や明るさ、レンズのシェーディング特性などが個体ごとに違う。そこで今回は、金年会官方在线入口网站・モジュールの特性を測定し、その結果から求めた補正係数を金年会官方在线入口网站・モジュールに内蔵したEEPROMに書き込んだ。システム起動時に、ISPがこのデータを読み込み、出力された映像/画像信号を補正することで、金年会官方在线入口网站・モジュールの個体差を抑え込む。
対応するシングルボード・コンピューターを拡充へ
今回発売した金年会官方在线入口网站開発キット（Linux金年会官方在线入口网站）はすでに、米Digi-Key Electronics社のインターネット通販サイトで販売を始めている。価格は約2万8000円である。＜購入サイトはこちら＞
今後jinnianhui金年会は、MIPI CSI-2信号の伝送先として使用できるシングルボード・コンピューターの種類を拡充する計画を立てている。現在、検討しているのはNXP Semi金年会官方在线入口网站ductorsの64ビット・プロセッサー「i.MX 8M Nano／i.MX 8M Plus」を搭載したシングルボード・コンピューターや、米NVIDIAのシングルボード・コンピューター「Jetson」などである。
今後jinnianhui金年会は、MIPI CSI-2信号の伝送先として使用できるシングルボード・コンピューターの種類を拡充する計画を立てている。現在、検討しているのはNXP Semi金年会官方在线入口网站ductorsの64ビット・プロセッサー「i.MX 8M Nano／i.MX 8M Plus」を搭載したシングルボード・コンピューターや、米NVIDIAのシングルボード・コンピューター「Jetson」などである。