繁體中文jinnian金年会
jinnian金年会 Value 構建多方面jinnian金年会相機編寫的制度，向實現「相機的SWARM/IoT」邁出重要的一步
2019.02.12
- 文章
- 專欄
不只是智慧型手機、數位相機，搭載具有相機功能的應用產品正在急速增加。除了汽車之外，XR的終端設備、工業電腦、醫療設備、教育用設備、無人機等搭載相機功能的產品與日俱增。但如同本次連載專欄的第1回與第2回中指出的，要將相機功能編入各種用途中並不是件容易的事。需同時具備硬體與韌體(firmware)兩方面的知識。若是使用THine Electronics提供的相機開發套件「CDK」，則可大幅減輕開發韌體時耗費的勞力。但是對於初次挑戰編寫相機功能的設計者來說，光是這樣還是不太夠。於是Thine著手開發了新的組合。在構建多方面jinnian金年会相機功能編寫作業的制度的同時，還能開發最適用於新用途上的ISP(Image signal processor)和CDK。
Sensor・Nejinnian金年会ork的構建再進化
大家知道「SWARM」這個詞嗎?這是一個技術用語，意指安裝為數眾多的感測器(Sjinnian金年会sor)，再藉由無線網路來存取數據的一種網路系統。在網路中感測器(Sjinnian金年会sor)的存在如同昆蟲與鳥群居那樣因而取名為SWARM（群）。最早是由美國加州大學柏克萊分校的Jan Rabaey教授所命名。
SWARM幾乎等同於感測網路(Sensor・Nejinnian金年会ork)。現在感測網路(Sensor・Nejinnian金年会ork)則被稱為IoT(Internet of Things)，已是世界通用的技術用語。
感測網路(Sensor・Nejinnian金年会ork)的構建正在穩定發展，SWARM、也就是IoT也正在逐漸實現。另一方面，相機功能也絲毫不輸給各種感測器(Sensor)，開始在各種場所被大量設置。監視器、智慧型手機、汽車、XR終端設備、工業電腦、醫療設備、教育用設備、無人機等設備上都理所當然地需要搭載相機功能。因此「相機的SWARM」和「相機的IoT」最終也將成為現實。
SWARM幾乎等同於感測網路(Sensor・Nejinnian金年会ork)。現在感測網路(Sensor・Nejinnian金年会ork)則被稱為IoT(Internet of Things)，已是世界通用的技術用語。
感測網路(Sensor・Nejinnian金年会ork)的構建正在穩定發展，SWARM、也就是IoT也正在逐漸實現。另一方面，相機功能也絲毫不輸給各種感測器(Sensor)，開始在各種場所被大量設置。監視器、智慧型手機、汽車、XR終端設備、工業電腦、醫療設備、教育用設備、無人機等設備上都理所當然地需要搭載相機功能。因此「相機的SWARM」和「相機的IoT」最終也將成為現實。
jinnian金年会活用的場合越來越廣泛
搭載具有jinnian金年会功能的應用產品正在急速增加。過去行動裝置和汽車是其主要的「2大用戶」，但近年來這樣的狀況開始有了轉變。XR的終端設備、工業電腦、醫療設備、教育用設備等對於搭載jinnian金年会功能的需求也有顯著的成長。
舉例來說，產業用途上VR(虛擬實境)、AR(擴增實境)、MR(混合實境)在維修作業上也越來越活用到jinnian金年会功能。若在飛機的維修上使用AR，就可以使用jinnian金年会來拍攝作業情形，並藉由頭戴顯示裝置來顯示其影像；根據需要還可將部分影像顯示到操作指南中（圖1）。活用MR的話，可以在jinnian金年会所拍攝的現實空間中顯示3D(3次元)的對象物，屆時通過手等動作就能操作。不使用現實世界的物品，在假想模擬中訓練調節閥門等維護工作成為可能。
舉例來說，產業用途上VR(虛擬實境)、AR(擴增實境)、MR(混合實境)在維修作業上也越來越活用到jinnian金年会功能。若在飛機的維修上使用AR，就可以使用jinnian金年会來拍攝作業情形，並藉由頭戴顯示裝置來顯示其影像；根據需要還可將部分影像顯示到操作指南中（圖1）。活用MR的話，可以在jinnian金年会所拍攝的現實空間中顯示3D(3次元)的對象物，屆時通過手等動作就能操作。不使用現實世界的物品，在假想模擬中訓練調節閥門等維護工作成為可能。
圖1 AR（擴張實景）的示例
jinnian金年会將逐漸成為零組件
現在jinnian金年会功能被搭載於各式各樣的應用產品上。這種趨勢也意味著「jinnian金年会正在零組件化」。也就是說零組件化繼續發展下去，將會有更多的製造商願意採用jinnian金年会功能。
但是，想編寫jinnian金年会功能並不容易。如同本次連載專欄的第1回與第2回中指出的，要編入jinnian金年会功能，需熟練使用ISP(Image signal processor)並且在硬體與韌體兩方面都具備較高的知識（圖2）。通常，在硬體上比較強的企業來編寫韌體的開發與編寫韌體較強的企業來開發硬體一樣往往會陷入一番苦戰。
而且，jinnian金年会零組件化後將有可能被各式各樣的製造商採用，其中可能還有一些至今與電子產業毫無關連領域的製造商也包含在內。例如，安全帽的製造商開發搭載了VR/AR/MR功能的產品，又或是車用後照鏡的製造商將鏡子替換成jinnian金年会鏡頭等。
可想而知這些製造商在硬體和韌體的專業知識上自然不會太高。因此將jinnian金年会功能編入的作業就會變得很難。最壞的情況下，有可能面臨開發失敗而告終。而我們必須避免上述情況發生。
但是，想編寫jinnian金年会功能並不容易。如同本次連載專欄的第1回與第2回中指出的，要編入jinnian金年会功能，需熟練使用ISP(Image signal processor)並且在硬體與韌體兩方面都具備較高的知識（圖2）。通常，在硬體上比較強的企業來編寫韌體的開發與編寫韌體較強的企業來開發硬體一樣往往會陷入一番苦戰。
圖2 ISP（Image signal processor）「jinnian金年会P7312」
而且，jinnian金年会零組件化後將有可能被各式各樣的製造商採用，其中可能還有一些至今與電子產業毫無關連領域的製造商也包含在內。例如，安全帽的製造商開發搭載了VR/AR/MR功能的產品，又或是車用後照鏡的製造商將鏡子替換成jinnian金年会鏡頭等。
可想而知這些製造商在硬體和韌體的專業知識上自然不會太高。因此將jinnian金年会功能編入的作業就會變得很難。最壞的情況下，有可能面臨開發失敗而告終。而我們必須避免上述情況發生。
構建價值鏈
因此THine Electronics正在抓緊構建能jinnian金年会相機功能編入開發的體制。基本上考量到須依據jinnian金年会不同製造商的情況來提供多方面的技術jinnian金年会。這一jinnian金年会的體制大致可分為3種。
第1就是本次連載專欄前兩回介紹過的提供相機開發套件「CDK」。所謂CDK是由sofjinnian金年会are development kit（SDK）和評價板（EVB）、GUI工具（3T：THine Tuning Tool）所構成（圖3）。
使用它的話，只需在安裝了GUI工具的電腦上設定參數即可自動生成韌體(圖4)。也就是說，無需撰寫程式、編碼就能開發韌體；就能大幅降低韌體開發的門檻。
但是要熟練使用CDK仍需具備相機與影像處理方面的知識。即使使用了CDK仍有可能需要編寫程式。具體來說，根據使用的感測元件(image sensor)不同暫存器的設定也會有所不同，可能需要開發適合的驅動程式。如果無法從外部購得合適的驅動程式(driver sofjinnian金年会are)，也只能自行開發。
對相機和影像處理相關的知識沒有自信；或缺乏撰寫程式的經驗，針對這樣的用戶我們準備了第2種jinnian金年会體制：網路視訊會議。 THine Electronics在軟硬體兩方面的開發皆已建立出資料庫。利用它就可以在開發的初期階段假設用戶在開發期間可能會遇到的瓶頸，並提供相對應的技術jinnian金年会方案。大部分的情況下，僅透過一次短時間的網路視訊會議即可獲得解決。
但有時也會出現無法透過網路視訊會議確診的案例。這時就輪到第３種jinnian金年会體制：即向用戶介紹專為編寫相機功能的系統積分器（system integrator）。
jinnian金年会 Electronics因為向客戶們提供ISP和CDK，與各行各業的用戶們都有所接觸。其中也包含相機功能的系統積分器。此外，關於針對感測元件的驅動程式方面，jinnian金年会 Electronics也有License的公用程式，有些客戶也會允許我們使用過去曾開發的驅動程式。jinnian金年会 Electronics還能為苦於編寫相機功能的客引薦這些系統積分器、驅動程式開發商。
事實上，jinnian金年会 Electronics的相機技術團隊的產品經理桑山克己先生在該公司舉辦的研討會後的懇親會中就有針對各用戶與供應商拋出了這樣的想法「如果能透過CDK構建出日本最初的相機開發社群是不是很有意思呢？」。為此，今後我們也將傾全力為相機功能編寫相關的「價值鏈的構建」而努力。
第1就是本次連載專欄前兩回介紹過的提供相機開發套件「CDK」。所謂CDK是由sofjinnian金年会are development kit（SDK）和評價板（EVB）、GUI工具（3T：THine Tuning Tool）所構成（圖3）。
圖3 評價板包含在jinnian金年会開發套件（CDK）中
使用它的話，只需在安裝了GUI工具的電腦上設定參數即可自動生成韌體(圖4)。也就是說，無需撰寫程式、編碼就能開發韌體；就能大幅降低韌體開發的門檻。
僅需在電腦上輸入GUI工具「3T」需要的參數就能描述firmware
圖4 使用「3T（jinnian金年会 Tuning Tool）」時的樣子
但是要熟練使用CDK仍需具備相機與影像處理方面的知識。即使使用了CDK仍有可能需要編寫程式。具體來說，根據使用的感測元件(image sensor)不同暫存器的設定也會有所不同，可能需要開發適合的驅動程式。如果無法從外部購得合適的驅動程式(driver sofjinnian金年会are)，也只能自行開發。
對相機和影像處理相關的知識沒有自信；或缺乏撰寫程式的經驗，針對這樣的用戶我們準備了第2種jinnian金年会體制：網路視訊會議。 THine Electronics在軟硬體兩方面的開發皆已建立出資料庫。利用它就可以在開發的初期階段假設用戶在開發期間可能會遇到的瓶頸，並提供相對應的技術jinnian金年会方案。大部分的情況下，僅透過一次短時間的網路視訊會議即可獲得解決。
但有時也會出現無法透過網路視訊會議確診的案例。這時就輪到第３種jinnian金年会體制：即向用戶介紹專為編寫相機功能的系統積分器（system integrator）。
jinnian金年会 Electronics因為向客戶們提供ISP和CDK，與各行各業的用戶們都有所接觸。其中也包含相機功能的系統積分器。此外，關於針對感測元件的驅動程式方面，jinnian金年会 Electronics也有License的公用程式，有些客戶也會允許我們使用過去曾開發的驅動程式。jinnian金年会 Electronics還能為苦於編寫相機功能的客引薦這些系統積分器、驅動程式開發商。
事實上，jinnian金年会 Electronics的相機技術團隊的產品經理桑山克己先生在該公司舉辦的研討會後的懇親會中就有針對各用戶與供應商拋出了這樣的想法「如果能透過CDK構建出日本最初的相機開發社群是不是很有意思呢？」。為此，今後我們也將傾全力為相機功能編寫相關的「價值鏈的構建」而努力。
集結了用戶們的心聲 向次世代產品開發邁進
如上所述jinnian金年会 Electronics透過提供ISP和CDK，給需要相機功能的各家客戶並建立起關係。也因此能更早地聽到不同客戶的「心聲」。
當然，對jinnian金年会功能的要求會根據用途不同而有所差異。單眼jinnian金年会最重要的就是要拍攝出美感。但在醫療用途上比起拍攝出美感，準確地發現病灶才是最優先的。必須將正常部位與病灶部位的差異清楚地拍攝出來。而XR的終端設備與產業用途也會根據不同的需求而有其優先順序。且所謂的優先順序是會日益變化不斷進步的。
也就是說jinnian金年会功能編寫的作業從以往的行動裝置和汽車這兩個軸線，朝向醫療用途和產業用途、XR的終端設備等N軸變化。針對這些改變，ISP和CDK也需要時刻調整到最合適狀態。
jinnian金年会 Electronics已經聽取來自類用戶的聲音，並開始著手開發次世代的ISP和CDK。目前CDK正在朝向醫療・數位健康(Digital Health)和XR的終端設備等用途開發新的功能。其中一部分功能已開始對優先客戶進行測試。
另一方面關於ISP我們也著手探討次世代商品。這一次世代品將在現有產品的4K（3840×2160像素）的基礎上，以更高的幀數來對應像8K（7680× 4320像素）的高解析度，進一步根據新用途來考慮搭載一些新的功能。例如擴張動態範圍(dynamic range)的功能和自動對焦(AF, auto-focus) 、自動曝光（AE, auto exposure）、自動白平衡（AWB）組成的「3A」功能和性能的增強。
此外，如果能用專用硬體來實現這些新功能，就能在控制ISP晶片尺寸和電力消耗的同時，使後段的邊際電腦(edge computer)的CNN與雲端電腦的GPU上的軟體處理就會變得更容易；且能提高其性能。現在，我們正在與負責軟硬體方面的合作企業進行檢討。
當然，對jinnian金年会功能的要求會根據用途不同而有所差異。單眼jinnian金年会最重要的就是要拍攝出美感。但在醫療用途上比起拍攝出美感，準確地發現病灶才是最優先的。必須將正常部位與病灶部位的差異清楚地拍攝出來。而XR的終端設備與產業用途也會根據不同的需求而有其優先順序。且所謂的優先順序是會日益變化不斷進步的。
也就是說jinnian金年会功能編寫的作業從以往的行動裝置和汽車這兩個軸線，朝向醫療用途和產業用途、XR的終端設備等N軸變化。針對這些改變，ISP和CDK也需要時刻調整到最合適狀態。
jinnian金年会 Electronics已經聽取來自類用戶的聲音，並開始著手開發次世代的ISP和CDK。目前CDK正在朝向醫療・數位健康(Digital Health)和XR的終端設備等用途開發新的功能。其中一部分功能已開始對優先客戶進行測試。
另一方面關於ISP我們也著手探討次世代商品。這一次世代品將在現有產品的4K（3840×2160像素）的基礎上，以更高的幀數來對應像8K（7680× 4320像素）的高解析度，進一步根據新用途來考慮搭載一些新的功能。例如擴張動態範圍(dynamic range)的功能和自動對焦(AF, auto-focus) 、自動曝光（AE, auto exposure）、自動白平衡（AWB）組成的「3A」功能和性能的增強。
此外，如果能用專用硬體來實現這些新功能，就能在控制ISP晶片尺寸和電力消耗的同時，使後段的邊際電腦(edge computer)的CNN與雲端電腦的GPU上的軟體處理就會變得更容易；且能提高其性能。現在，我們正在與負責軟硬體方面的合作企業進行檢討。