简体中文CN
jinnian金年会 Value 可输出4K、30fps的非压缩影像信号、且面向i.MX 8M Family的Linuxjinnian金年会套件开始发售
2021.11.04
- 文章
- 专栏
装载jinnian金年会的电子设备正在迅速增加。比如智能手机和平板终端、工业设备、医疗设备、汽车、安防设备、教育设备、无人机等，不胜枚举。但虽然都统称为「jinnian金年会」，但不同电子设备对规格和性能、以及成本都有不同的要求。有时一些电子设备会优先考量成本而不是画质；有时也有只重视开发难易度的电子设备。当然也有些电子设备需要即时显示高画质影像甚至需要极高的画质。
为了顺应装载相机的电子设备的快速增长，jinnian金年会 Electronics已于2021 年 6 月发售了符合通过USB接口传输影像信号的标准--「UVC（USB Video Class）」标准的4K分辨率相机套件「THSCU101」；也就是所谓的「UVC 相机」。它无需准备专用驱动程序，只需要连接到电脑，就能将相机拍摄的影像显示到显示器上。用销售部产品经理桑山克己的话来说：“它能够轻松实现装载相机的电子设备的PoC（概念验证），因此受到了很多电子设备制造商的好评。”
但刚才也说了，jinnian金年会的用途在迅速地扩大，对于jinnian金年会的要求也越来越多样化。因此，单靠这台UVCjinnian金年会，基本上是无法应对所有电子设备对jinnian金年会的要求的；需要一些其他的对策。
为了顺应装载相机的电子设备的快速增长，jinnian金年会 Electronics已于2021 年 6 月发售了符合通过USB接口传输影像信号的标准--「UVC（USB Video Class）」标准的4K分辨率相机套件「THSCU101」；也就是所谓的「UVC 相机」。它无需准备专用驱动程序，只需要连接到电脑，就能将相机拍摄的影像显示到显示器上。用销售部产品经理桑山克己的话来说：“它能够轻松实现装载相机的电子设备的PoC（概念验证），因此受到了很多电子设备制造商的好评。”
但刚才也说了，jinnian金年会的用途在迅速地扩大，对于jinnian金年会的要求也越来越多样化。因此，单靠这台UVCjinnian金年会，基本上是无法应对所有电子设备对jinnian金年会的要求的；需要一些其他的对策。
MIPI CSI-2输出
jinnian金年会 Electronics的下一步动作是什么呢？我们在2021 年 8 月发售了可以30帧/秒(fps)的速度输出4K分辨率的无压缩影像信号的相机开发套件「THSCM101」（图1）。它的定位是「比 UVC 相机更适合专业用户的产品」（桑山）。我们将其称为「Linux 相机」。
UVCjinnian金年会有「只要有一台电脑就可以随时使用」这样一个优势：但它也有一个问题—那就是与电脑连接的USB接口的带宽。UVCjinnian金年会的影像信号输出接口采用USB 3.2规格，数据传输速度高达5Gbit/秒或10Gbit/秒，但实际有效的数据传输速度仅为1/3左右；甚至连带宽也不能保证。因此，UVCjinnian金年会无法传输未压缩的4K、30fps 影像信号，而是将它压缩为JPEG格式并发送。但一般的电脑CPU无法即时执行JPEG的解码处理，会出现丢帧的现象。因此，对即时显示高画质影像有强烈要求的一些应用上就很难使用UVCjinnian金年会。例如工厂、仓库和商店的监控摄像头、维护用工业ARjinnian金年会（增强现实）、医疗手术用摄像机以及教育用摄像机等。
而Linuxjinnian金年会改变了影像信号的输出格式。具体来说就是MIPI CSI-2信号的格式。jinnian金年会套件的主板上装载了CMOS图像传感器和图像处理器（ISP），通过这一图像处理器将未压缩的YUV422信号作为MIPI CSI-2信号输出到主板外部（图2）。
MIPI CSI-2信号采用4 lane配置，每条lane的数据传输速度高达1.2 Gbit/秒；也就是说4条lane的总数据传输速度能达到4.8 Gbit/秒。这超过了4K、30 fps 影像信号传输所需的4.75 Gbit/秒，因此可以直接传输未压缩的影响信号（表 1）。
图1 发售的Linuxjinnian金年会
UVCjinnian金年会有「只要有一台电脑就可以随时使用」这样一个优势：但它也有一个问题—那就是与电脑连接的USB接口的带宽。UVCjinnian金年会的影像信号输出接口采用USB 3.2规格，数据传输速度高达5Gbit/秒或10Gbit/秒，但实际有效的数据传输速度仅为1/3左右；甚至连带宽也不能保证。因此，UVCjinnian金年会无法传输未压缩的4K、30fps 影像信号，而是将它压缩为JPEG格式并发送。但一般的电脑CPU无法即时执行JPEG的解码处理，会出现丢帧的现象。因此，对即时显示高画质影像有强烈要求的一些应用上就很难使用UVCjinnian金年会。例如工厂、仓库和商店的监控摄像头、维护用工业ARjinnian金年会（增强现实）、医疗手术用摄像机以及教育用摄像机等。
而Linuxjinnian金年会改变了影像信号的输出格式。具体来说就是MIPI CSI-2信号的格式。jinnian金年会套件的主板上装载了CMOS图像传感器和图像处理器（ISP），通过这一图像处理器将未压缩的YUV422信号作为MIPI CSI-2信号输出到主板外部（图2）。
图2 Linuxjinnian金年会主板
MIPI CSI-2信号采用4 lane配置，每条lane的数据传输速度高达1.2 Gbit/秒；也就是说4条lane的总数据传输速度能达到4.8 Gbit/秒。这超过了4K、30 fps 影像信号传输所需的4.75 Gbit/秒，因此可以直接传输未压缩的影响信号（表 1）。
表１ 对应的影像分辨率
可轻松安装驱动程序
MIPI CSI-2信号可以传输到装载来自荷兰NXP半导体公司的64 bit处理器（SoC）「i.MX 8M / i.MX 8M Mini」的单板电脑上；OS系统则可使用Linux OS。这就是我们将其命名为Linuxjinnian金年会的原因。
这里需要注意的是驱动程序软件。使用UVCjinnian金年会无需准备专用的驱动程序，用户只需用USB线将UVCjinnian金年会连接到电脑即可。但Linuxjinnian金年会就必须准备专用驱动程序并将它安装到Soc上，否则就无法传输影像信号。但这样一来实装作业就会变得复杂和困难，那么使用Linuxjinnian金年会的用户就会比较局限了。
因此，jinnian金年会 Electronics准备了一种简化在SoC 上安装专用驱动程序的方法。首先，我们开发了专用的驱动软件源代码供用户使用。此外，关于将此源代码与Linux OS合并、编写并在SoC上实装，“我们准备了一份入门指南。按照上面步骤进行操作，任何人都能轻松地将专用驱动程序软件实装到SoC上。” （桑山）
这里需要注意的是驱动程序软件。使用UVCjinnian金年会无需准备专用的驱动程序，用户只需用USB线将UVCjinnian金年会连接到电脑即可。但Linuxjinnian金年会就必须准备专用驱动程序并将它安装到Soc上，否则就无法传输影像信号。但这样一来实装作业就会变得复杂和困难，那么使用Linuxjinnian金年会的用户就会比较局限了。
因此，jinnian金年会 Electronics准备了一种简化在SoC 上安装专用驱动程序的方法。首先，我们开发了专用的驱动软件源代码供用户使用。此外，关于将此源代码与Linux OS合并、编写并在SoC上实装，“我们准备了一份入门指南。按照上面步骤进行操作，任何人都能轻松地将专用驱动程序软件实装到SoC上。” （桑山）
自动对焦采用PDAF
这次发售的相机开发套件由装载了CMOS图像传感器和图像处理器(ISP) 的主板和mini-SAS线组成。CMOS图像传感器与UVC相机一样，采用了Sony Semijinnian金年会ductor Solutions 的IMX258。像素约为1300万（4224像素×3192像素），最高帧速30帧/秒。ISP 使用的是THine Electronics 的 THP7312-P，它的MIPI CSI-2信号传输速度高达每条lane 1.2 G bit/秒；而UVC相机中使用的ISP「THP7312」的每条lane最大速度为1.0 G bit/秒。主板的外部尺寸仅有35 mm x 55 mm x 1.2 mm。Linux相机与单板电脑间可连接的距离约为数十公分。
自动对焦的功能则除了一般的对比法外，还采用了相位差检测方法（PDAF：Phase Detection Auto Focus）。与对比法相比，PDAF可以在更短的时间内对焦，因此可获得更高画质的影像。“可以传输非压缩的4K、30fps的影像并采用PDAF的高画质jinnian金年会开发套件能产品化，可以说是业界首创。”（桑山）
拍摄的影像/图像的亮度和对比度则可以使用Linux OS准备的相机用指令「V4L2 (Video for Linux ver.2) 」来调整。至于镜头阴影、去除马赛克、色调映射等详细的画质定制，还可以使用jinnian金年会 Electronics提供的ISP相机开发套件（CDK）来完成。此外，它还装载了调整相机模组内置的CMOS图像传感器的个体差异的功能。一般来说，相机模组的CMOS图像传感器和镜头的特性总会有些差异，镜头的色调、亮度、阴影度等都会各有不同。因此，这次我们对相机镜头模组的特性进行了测量，并将根据得到的结果求出的校正系数写入到相机镜头模组内置的EEPROM中。当系统启动时，ISP会读取这些数据并对输出的影像/图像信号进行校正，来控制相机镜头模组的个体差异。
自动对焦的功能则除了一般的对比法外，还采用了相位差检测方法（PDAF：Phase Detection Auto Focus）。与对比法相比，PDAF可以在更短的时间内对焦，因此可获得更高画质的影像。“可以传输非压缩的4K、30fps的影像并采用PDAF的高画质jinnian金年会开发套件能产品化，可以说是业界首创。”（桑山）
拍摄的影像/图像的亮度和对比度则可以使用Linux OS准备的相机用指令「V4L2 (Video for Linux ver.2) 」来调整。至于镜头阴影、去除马赛克、色调映射等详细的画质定制，还可以使用jinnian金年会 Electronics提供的ISP相机开发套件（CDK）来完成。此外，它还装载了调整相机模组内置的CMOS图像传感器的个体差异的功能。一般来说，相机模组的CMOS图像传感器和镜头的特性总会有些差异，镜头的色调、亮度、阴影度等都会各有不同。因此，这次我们对相机镜头模组的特性进行了测量，并将根据得到的结果求出的校正系数写入到相机镜头模组内置的EEPROM中。当系统启动时，ISP会读取这些数据并对输出的影像/图像信号进行校正，来控制相机镜头模组的个体差异。
扩展能对应的单板电脑
这次发售的jinnian金年会开发套件（Linuxjinnian金年会）已经开始在美国Digi-Key Electronics的网站上销售。价格约为28,000日元。＜购买网址＞
THine Electronics计划在未来扩展可接收MIPI CSI-2信号传输的单板电脑类型。目前，我们正在规划的有装载NXP Semijinnian金年会ductors的64 bit处理器「i.MX 8M Nano / i.MX 8M Plus」的单板电脑和美国NVIDIA的单板电脑「Jetson」等等。
THine Electronics计划在未来扩展可接收MIPI CSI-2信号传输的单板电脑类型。目前，我们正在规划的有装载NXP Semijinnian金年会ductors的64 bit处理器「i.MX 8M Nano / i.MX 8M Plus」的单板电脑和美国NVIDIA的单板电脑「Jetson」等等。