ルネサスがVision AI市場向け2020年に市場投入したAI-MPU RZ/V2Mは、高性能なISP(Image Signal Processor)やオリジナルAI-accelerator（DRP-AI）を内蔵しており、発売以来、様々なVision AIアプリケーションでご検討いただいております。今回は、その一例として以下の３つの事例をご紹介したいと思います。
①セキュリティカメラ（Object Recognition）
②Fitness Application（Pose estimation）
③AIエッジゲートウェイ（Object Recognition, Pose estimation, etc）
① セキュリティカメラ（Object Recognition）
高性能なISP(Image Signal Processor)を搭載しているRZ/V2Mとして、最も典型的なアプリケーションがセキュリティカメラです。最大４K解像度に対応したISPで入力した映像をH.264、H.265でビデオエンコードしてネットワーク経由でストリームを出力すると同時に、AI-acceleratorであるDRP-AIを使用して、様々なAI処理を並行して実行する事が可能になります。
内蔵のISPは、基本のISP機能に加え、WDRや２D,3Dノイズリダクション機能を搭載しており、セキュリティカメラに要求される画作りを実現できる性能を持っています。このISPの詳細をさらに知りたいお客様は、下記のBlogもご覧ください。
Tuned ISP：RZ/V2Mの "Tuned ISP "で手動でのISPチューニングから決別しませんか？
AI処理としては、人検知、人認識、人数カウント、顔認識、不審者検知など様々なアルゴリズムが使用されています。DRP-AIはハードウェアのアクセラレータですが、動的に処理内容を入れ替えて実行できるタイプのIPなので、カメラの設置後にAIアルゴリズムを入れ替えたり、稼働中に複数のAIアルゴリズムを切り替えながら実行する事も可能で、とてもフレキシビリティの高いシステムを実現する事ができます。
セキュリティカメラにおける重要なポイントは、AI処理性能や高性能なISPもさることながら、ファンレス、ヒートシンクレスで使用可能な世界最高水準の低消費電力にあります。
この低電力の秘密を知りたいお客様は、下記のBlog、ホワイトペーパをご参照ください。
熱対策不要：RZ/V2MでAI搭載製品にイノベーションを
組み込みAIアクセレーター（DRP AI）
② Fitness Application（Pose estimation）
フィットネスやダンスのアプリケーションで人間の姿勢推定の技術を使用して、カメラから入力した画像から対象の人物の姿勢を推定し、そのデータをもとにガイドをするシステムが実用化されています。通常は、USBカメラ等で撮った映像を高性能なAIサーバなどに送信し姿勢などのAI処理を実行しますが、どうしても、映像送信のタイムラグが生じてしまいます。そのUSBカメラ内にRZ/V2Mを内蔵すれば、そのAI処理（姿勢推定）をリアルタイムに実行する事が可能になります。
このアプリケーションにおける重要なポイントは、４K解像度の画像入力が可能な事と、セキュリティカメラと同様にファンレス、ヒートシンクレスで使用可能なRZ/V2Mの低消費電力でした。
③ AIエッジゲートウェイ（Object Recognition, Pose estimation, etc）
これまでご紹介した応用事例は、CMOSセンサを直接接続する用途でしたが、この応用事例は、ネットワーク経由でIPカメラなどから複数の映像ストリームを入力し、AI処理を実行するエッジゲートウェイです。
このような、エッジゲートウェイを使用して、監視カメラシステムを構築し、AI処理をゲートウェイ側で実行する事で、クラウド側に映像を送信する必要がなくなります。この応用事例でのポイントは、４K解像度でのビデオコーデック機能を搭載していることや、従来品でAI処理用LSIでは消費電力が大きく、筐体自体にヒートシンクを装着する必要がありましたが、それが不要になり、筐体の小型軽量化とコストダウンが実現できた事です。小型軽量化により、制約の多い場所でも設置可能になるというメリットも享受できます。
RZ/V2Mは、今回ご紹介した用途以外にも様々なAIアプリケーションにご採用を検討いただいています。AIはやってみたいが、どうすれば良いかわからないというお客様も、一度ルネサスにご相談いただければ、課題解決の提案をさせていただきます。
また、下記ブログにも記載しておりますように、RZ/Vシリーズをサポートいただいている数多くのAIパートナー様と連携してAIソリューションの提供をさせていただいておりますので、ご活用いただきますようお願いいたします。
私たちの暮らしや働き方をサポートしてくれるAI