ルネサスとシンティアント、ビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」を共同開発

　ルネサス エレクトロニクス株式会社（東京、代表取締役兼CEO：柴田 英利、以下ルネサス）と、低消費電力でインテリジェントな音声処理を実現する深層学習チップテクノロジ企業のSyntiant Corp.（米国カリフォルニア州アーバイン、CEO：Kurt Busch、以下シンティアント）は、このたび、ビジョンAIを活用したIoTおよびエッジアプリケーションを、低消費電力な音声認識を使って完全なハンズフリーで操作できる「マルチモーダルAIソリューション」を共同開発し、リファレンスデザインの提供を開始しました。

　本ソリューションは、ルネサスのビジョンAI向けマイクロプロセッサ（MPU）「RZ/Vシリーズ」と、シンティアントの低消費電力でマルチモーダルかつマルチフィーチャーのNeural Decision Processor™ 「NDP120」を組み合わせ、常時オンで待機しながら音声トリガーで高速起動し、ビジョンAIによる物体認識、顔認識などを行うことができます。例えば、任意の音声でシステムを起動／操作しつつ、操作する人のふるまいをAIで画像認識し、不審な動きがあれば操作を停止したり注意を促すなど、音声と画像の双方のAIを組み合わせたマルチモーダルシステムの開発が可能になります。これにより、セルフレジ、顔認証セキュリティカメラ、TV会議システムやロボット掃除機等スマート家電などのビジョンAIシステムを、非接触で安全な音声UIで楽に操作できるようになります。音声認識に低消費電力な専用チップを用いることによりスタンバイ電力が抑えられる上、ビジョンAIと独立したソフトウェア開発が可能なためシステムの早期開発を実現します。

　ルネサスのIoT・インフラ事業本部　SoCビジネス担当の執行役員である新田　啓人は次のように述べています。「使いやすさや安全性の向上を図るために、画像と音声といった複数の入力情報を利用したマルチモーダルシステムへのニーズは今後増大が見込まれます。今回、低電力なビジョンAI技術をリードするルネサスと、低電力な音声AI技術をリードするシンティアントが協業することにより、低電力で極小な音声AIの組み込み機器への活用を加速させ、この新たなソリューションをグローバルに提供していきます。」

　シンティアントのCEOであるKurt Buschは次のように述べています。「音声によるユーザインタフェースによって、次世代の革新的なアイデアを単なるコンセプトから現実のものとし、お客様に新しいユーザエクスペリエンスを提供するでしょう。当社は、すでに1,500万個以上のディープラーニング用NDPをグローバルに出荷しており、さまざまな民生および産業用IoTアプリケーションにおいて、Always Onの音声UIを実現しています。ルネサスとの協業により、パワフルで低消費電力の音声・画像ソリューションが実現し、さまざまなデバイスやユースケースで、グローバルなお客様に普及していくと確信しています。」

　ルネサスのビジョンAI向けRZ/Vシリーズは、ルネサス独自のAIアクセラレータDRP（Dynamically Reconfigurable Processor）-AIを内蔵し、高精度なAI推論と業界トップクラスの低消費電力を両立しています。高い電力性能により、ヒートシンクや冷却ファンなどの放熱対策も不要となるためBOM（部品表）コストの削減にも貢献し、幅広い組み込みアプリケーションにビジョンAI活用の幅を広げます。

　シンティアントのNDP120チップは、高度なAI機能を内蔵しており、話者の識別、キーワード検出、複数のウェイクワード、ローカルコマンドの認識など、多くの高精度なハンズフリーの音声機能を実現します。ニューラルネットワーク推論エンジンSyntiant Core 2™を搭載しており、複数のアプリケーションを同時に動作させることができる一方で、バッテリ消費を1mWに抑えることができます。

　このビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」は、ルネサスの「ウイニングコンビネーション」の一環として、ルネサスの幅広いポートフォリオの中から相互に互換性のあるデバイスを組み合わせることにより、市場投入までの時間を短縮し、リスクを低減します。今回ルネサスは、リファレンスデザインとして回路図や部品表などを提供します。詳しくは「マルチモーダルAIソリューション」をご覧ください。

シンティアントについて

2017年に設立され、カリフォルニア州アーバインに本社を置くシンティアントは、人工知能と機械学習をクラウドからエッジデバイスに移行させるリーダです。シンティアントの先進的なチップソリューションは、深層学習と半導体設計を融合させ、スマートフォン、スマートスピーカ、イヤホン、補聴器、ノートパソコンなどのバッテリ駆動のデバイスでのAlways Onを目的とした、超低消費電力で高性能な深層ニューラルネットワークプロセッサです。シンティアントは、インテル・キャピタル、マイクロソフトのM12、アプライド・ベンチャーズ、ロバート・ボッシュ・ベンチャー・キャピタル、アマゾン・アレクサ・ファンド、アトランティック・ブリッジ・キャピタルなど、世界有数の戦略的金融投資家の支援を受けています。シンティアントは、ガートナ社の「April 2020 Cool Vendors in AI Semiconductors」、Fast Company社の権威ある「World's Most Innovative Companies for 2020」に選出されたほか、CES® 2021 Innovation Awards HonoreeおよびCES® 2020 Best of Innovation Awards Honoreeにも選ばれるなど、業界のリーダとして認められ続けています。シンティアントについての詳細はwww.syntiant.comをご覧ください。SNSのフォローはこちら@Syntiantcorpから。

ルネサスエレクトロニクスについて

ルネサスは、人々が安心・安全に暮らせる社会を実現するために、あらゆるモノとモノをつなぎインテリジェント化することを通して、組み込み機器に進化をもたらしています。そして、無限の未来をカタチづくるために、自動車、産業、インフラ、IoT分野に対して、世界的に高いシェアを誇るマイコンに加え、アナログ&パワーデバイス、SoCなどの各種半導体と幅広いソリューションを提供していきます。ルネサスの詳細は、www.renesas.comをご覧ください。SNSのフォローはこちらからLinkedIn, Facebook, Twitter, YouTube。

以　上

＊本リリース中の製品名やサービス名は全てそれぞれの所有者に属する商標または登録商標です。

ニュースリリースに掲載されている情報（製品価格、仕様等を含む）は、発表日現在の情報です。 その後予告なしに変更されることがございますので、あらかじめご承知ください。