近年、自律走行(AD)においては、レベル3まではドライバーの運転責任が残るため、ドライバー・モニタリング・システム(DMS)やオキュパント・モニタリング・システム(OMS)の重要性が認識されています。さらに、DMSは、ロードマップ2025に記されたユーロNCAPで、自動車メーカーが安全性の5つ星を獲得するために重要な役割を果たしており、すでに2020年の評価でも採用されています。欧州連合は、2022年までに新型車にDMSを義務付けることになっており、他の地域も追随することが予想されます。同様に、北米や欧州では、車から降りる際のチャイルド・プレゼンスなどのOMS機能の義務化が迫っています(例:2022年のEuro-NCAPで5つ星)。
DMS&OMSの重要な市場動向の1つは、RGB-IRセンサーです。これは、RGBセンサーとIRセンサーで構成されており、カラー画像とIR画像を出力することができます。夜間の車内は照明が少ないため、IRは非常に重要です。IR画像は、RGBセンサーの条件が悪い時にドライバーの状態を検出することができます。そのため、RGB-IRは、RGBとIRの両方の利点を活かすことができるのです。
このような市場動向に対応するため、ルネサスはパートナーを活用してDMS&OMSに取り組んでいます。R-Carシリーズは、スタンドアローンのDMS&OMSとしても、他のADASアプリケーション(フロントカメラやサラウンドビューシステム)との統合としても、革新的なスケーラブルソリューションを提供します。特にR-Car V3M&V3Hには、最先端のコンピュータビジョンとディープラーニング処理が搭載されており、顔検出・識別、ジェスチャー検出、分類に使用でき、DMS/OMSのすべての機能を実現しています。
機能面では、R-Car V3M&V3Hは、顔検出と特徴(目、視線、認識、頭部の3D位置)、手の検出(手の位置、ジェスチャー検出)、状態、注意散漫と変化(眠気、感情、電話の使用、アルコールや物質の影響)、乗員の検出(乗員数と位置、シートベルトの状態)、乗員の分類(年齢、性別、取り残された子供)をサポートします。