近年、組み込み向けのCMOSセンサ入力は2Mpix(FullHD)から8Mpix(4K)と言った高解像度のものが主流になってきました。 しかしこのような高解像度のセンサを用いる場合、CMOSセンサのデータを画像に変換する“イメージシグナルプロセッサ(ISP)”をサポートしたセンサモジュールが少ないというのが実情です。 そこで現在はISP内蔵のMPUによって、画像の変換や高精細化などの処理を行うケースが主流です。
これによって外付けISPが不要になり、製品原価の低減にも繋がります。
一方ISPそのものも、馴染みのない方には敷居が高いことも事実です。たとえば、以下のような課題が容易に想像できます。
- 多機能化
画像変換処理だけでなく、画質向上のための機能が追加。
例) 複数の画像を合成するWDR、2D/3Dノイズリダクション、超解像での縮小処理など、 - 複雑化
多機能になるにつれ、レジスタの数も膨大に (数千を超えるケースも！)。
これを調整して、期待値に最も近いレジスタ設定を探す必要がある。 - センサ展開の難しさ
レジスタ設定はセンサの特性を考慮して設定するため、色の特性などはセンサごとに最適値が異なる。
シェーディングや歪み補正など、レンズとの組み合わせにも影響する。
このように馴染みのある方にとっても、MPU内蔵のISP調整は一朝一夕で実現できるものではありません。さてルネサスでは、この問題を解決するためにRZ/V2MのISP機能を“Tuned ISP”と名付け、提案を行っています。 このTuned ISPでは、ISPの機能を抽象化し簡単に使えるAPIとして整備しています。
しかし画質やISPの機能に妥協をしていません。
- 様々なISPの機能をAPIとして提供します。
AEやAWBなどソフトウェアによる追加処理が必要な機能も、API内部でその処理を実行します。そのため複雑な機能も、APIを呼ぶだけで実行可能です。 - 画質は最適値となるベース値を設定済み。ここからの微調整をパラメータで指定できます。
- 製品設置時などに設定を調整できるツールを準備しています。
これをお客様のツールに組み込むことで、露出やレンズの歪み補正などのパラメータ設定をプログラムFix後でも変更可能です
これらによって、お客様は自社の製品の画像調整をプリセットされた設定とAPIで“簡単に”、かつ“すぐに”実現することができます。
図：API、ツールでサポートする機能の一覧
またISPだけでなく、動画圧縮などのマルチメディアに関する機能もAPIとして準備しています。 これによって入力を動画として圧縮するなど、センサを起点とする一連の動作をAPIで実現することが可能です。
本特長は、ルネサスが選定した幾つかの標準センサで対応します。 ルネサスではこれからも対応するセンサやAPIを拡充し、更に使いやすい環境を継続してご提供いたします。
RZ/V2Mでは複雑な設定からお客様を解放し、アプリケーションに注力できる環境づくりの支援を継続します。 ぜひ以下のリンクから、APIの機能や関係ソフトウェアについても参照ください。
Related information:
- RZ/V2M: 4KサポートするISPと電力効率の良いAI推論エンジンを搭載した製品
- RZ/V2M ISP Support Package: ISPとマルチメディア用APIをサポートするソフトウェアパッケージ
- RZ/V2M Linux Package: RZ/V2Mの基本ソフトウェアパッケージ
- RZ/V2M DRP-AI Support Package: AI推論をサポートするソフトウェアパッケージ