近年の画像AIはダイナミックかつ複雑な環境に対応する必要があり、ロボットなどの高いリアルタイム性が必要なアプリケーションにおいて、より電力効率と性能・レスポンスが求められるようになっています。
ルネサスはこのような市場のニーズに応えるため、次世代DRP-AIアクセラレータを開発しました。この新しいDRP-AIアクセラレータは、従来技術の最大10倍となる10TOPS/Wの高い電力効率を実現し、従来はGPUを必要としていた複雑な画像AIモデルを、従来の組み込みMPUと同程度の消費電力で動作させることができます。
また、このAIアクセラレータに加えて、動的再構成プロセッサDRP を使った画像処理アクセラレータと、最大1.8GHzのクアッドコアLinuxプロセッサArm® Cortex®-A55、800MHz動作のデュアルコア高速リアルタイムプロセッサArm® Cortex®-R8およびI/O処理用サブコアArm® Cortex®-M33を組み合わせたヘテロジニアス・マルチプロセッサ構成となっています。
これによりAIで画像を認識・判断した結果を即座にメカ制御に反映する事ができ、次世代の自律型ロボットやAMR、ドローンなどに最適なAIプロセッサとなっています。このブログでは、この新製品の特長を紹介させて頂きます。
AIアクセラレータ DRP-AI
従来のRZ/Vシリーズにも搭載していたルネサスオリジナルのAIアクセラレータDRP-AIを進化させた次世代のDRP-AIを搭載しました。
電力効率を飛躍的に高めるため、新たにINT8の量子化を採用すると共に従来のAIアクセラレータでは難しかった非構造化プルーニングにハードウェアで対応した事により、最大80TOPSの推論性能と10TOPS/Wの電力効率を実現しました。非構造化プルーニングについては、ホワイトペーパーをご参照ください。
従来のRZ/VシリーズとのAI推論性能の比較を図1に示します。代表的な分類系CNNであるResnet50の場合、プルーニング無し(Denseモデル)でもRZ/V2Lの14倍、プルーニングを使用すれば45倍という圧倒的な性能を得る事ができます。
動的再構成プロセッサDRPによるOpenCVアクセラレータ)
画像を使って認識や判断をするアプリケーションはディープラーニングが登場する前から様々な手法が使われてきました。その代表がオープンソースのコンピュータビジョン用ライブラリであるOpenCVです。AIによる画像処理が使えるようになった今でもOpenCVは非常に有用な技術であり、画像AIとOpenCVは適材適所で併用されています。
RZ/V2HはAIを高速化するだけでなく、OpenCVのような様々な画像処理アルゴリズムを高速化するため、DRP-AIとは別に動的再構成プロセッサを搭載し、その柔軟性を活かしてOpenCVアクセラレータ用DRPライブラリを提供しています。
RZ/V2HのクアッドコアCPUで実行した場合とDRPによるOpenCVアクセラレータの性能比較を図2に示します。例えば画像のエッジ検出に使われるSobelフィルタであれば7.6fpsから123fpsとDRPにより16倍に高速化できていることがわかります。
AI＋高速リアルタイム制御を実現するヘテロジニアス構成
大規模なメモリリソースを必要とする画像AIには高速なマルチコアLinuxプロセッサが最適ですが、それだけではメカ制御に求められるms以下のリアルタイム性を確保する事は非常に困難です。
この課題に対して、RZ/V2HはクアッドコアのCortex-A55でAI処理を含むLinuxプログラムを実行すると共に、モータ制御など高いリアルタイム性が必要なRTOSでの処理には専用の高速リアルタイムプロセッサを搭載しました。
これらの異種OS間をOpenAMPによるプロセッサ間通信でつなぐことにより、DRP-AIとLinuxプロセッサで判断した結果をRTOS用のプロセッサがリアルタイムにメカ制御に反映させることができるようになりました。
このようはユニークな特長を持つ組込みAIプロセッサRZ/V2Hはすでに量産を開始しており、評価ボードRZ/V2H-EVKも購入可能です。ぜひみなさんのAI機器開発にご検討ください。
RZ/V2H MPUの詳細は、www.renesas.com/rzv2hをご参照ください。さらに、開発の拡張性を実現できるシステム・オン・モジュール (SOM) または、アプリケーション主導のシングル・ボード・コンピューター (SBC) ソリューションとして実装できるビション検出シングル・ボード・コンピューターの詳細をご覧ください。