ビルのHVACシステム、産業オートメーション、ヘルスケア、アクセスコントロール、セキュリティシステムなど、私たちの身の回りのありとあらゆるアプリケーション。ここから有意義なデータを収集すべく、センサーの使用がますます増えています。複数のセンサーからデータを取得し、スマートエンドポイントデバイス周辺の環境について全体像を提供するのがセンサーフュージョンネットワークです。個々のセンサー単一では信頼できない場合でも、複数のセンサーデータを結合して正確な正解データを生成する技術があると言えるでしょう。そしてこれこそ、タスク実行に関わる不確実性を減らす一助となります。
このセンサーフュージョンへの深層学習の導入は、幅広い産業分野と消費者分野でのインテリジェンスと信頼性を高めるために重要性が増しています。
データサイエンスの観点から言えば、このパラダイムシフトのおかげで、インテリジェントなモニタリングとセンサーフュージョン戦略の採用、および機械学習と最適化を通じて、監視対象から関連知識を抽出できています。この流れによるデータサイエンスの主たる目標のひとつは、産業機械、ツール、プロセスにおける異常な挙動を予測し、重大な事象や損害を予期して、結果的に経済損失や安全問題を回避することです。
そこでルネサスエレクトロニクスでは、インテリジェントなエンドポイント感知デバイスと、様々なアプリケーションでより正確なセンサフュージョンソリューションを可能にするスマートセンサーのキーとなる、アナログ型リッチなマイクロコントローラを提供しています。一般的なセンサーフュージョンネットワークにおけるセンサーデータの結合は、以下のように実現されます。
- 冗長型センサー: すべてのセンサーが同じ情報を提供する。
- 補完型センサー: 独立した単独の情報を与える。
- 調整型センサー: 順次、情報を集める。
センサーネットワークにおける通信方法は、ソリューション全体の基幹であり、以下のいずれかの手法で行われます。
- 非集中型: センサーノード間での情報通信は発生しない。
- 集中型: すべてのセンサーからひとつの中央ノードに情報が送られる。
- 分散型: センサーノードは決められた頻度で情報を交換する（例：5分の1の頻度にあたる、5スキャンごとなど）。
この中で、集中型手法は、センサー同士がスキャンごとに通信する分散型手法の特別ケースとも言えます。その統合プロセスを表したのが下図です。
インダストリー4.0の観点からは、特に制御アルゴリズムの実装を考えたとき、ひとつのセンサーからのフィードバックは十分ではありません。
深層学習について
効果的なセンサーフュージョンを行う前提条件として、正確に調整され、同期されたセンサーが必要です。ルネサスでは、集中型プラットフォームでエンドポイントにおける高度なセンサーフュージョンを実行し、意思決定を可能にする様々なソリューションを提供しています。
後期フュージョンが相互運用可能なソリューションを可能にする一方で、早期フュージョンはAIが予測に必要な豊富なデータを与えます。異なった戦略による補完的な強みを活用すれば、重大なアドバンテージを享受できるのです。最新アプローチでは、搭載されたすべてのセンサーの時間と空間を同期させてから、その同期データをニューラルネットワークに送信します。さらにこのデータは、AI学習や、限定的な情報しか受信しないリアルタイム・アルゴリズムのSIL（Software-In-the-Loop）テストに使われます。
ここで深層学習は、高度な機械学習技術のためにニューラルネットワークを使用します。ルネサスRA MCUやRZ MPUといった高性能計算機プラットフォームを活用し、強化学習と実行を行うのです。ディープニューラルネットワークは、センサーフュージョンから抽象度の異なるデータを学習するために多数の処理層で構成されており、多層になればなるほど、学習されるデータはより抽象化されます。
より単純な表現を用いて複雑なデータを表現するといった特徴学習のひとつが、深層学習によってできるのです。独自の数学的変換を行う複数層の合成を用いて特徴を理解し、データ中の高度な特徴を区別する抽象的な表現を生成し、真の形の分離と理解を強化していきます。
各データストリームがネットワークによって生成される統合推論に重要なマルチモーダルデータから予測を立てるのには、マルチストリームニューラルネットワークが有用です。このマルチストリームアプローチはマルチモーダルデータフュージョンでの成功が見受けられ、ディープニューラルネットワークはニューラル機械翻訳や時系列センサーデータフュージョンなど複数のアプリケーションに組み込まれています。
これは、ディープニューラルネットワークがMCUベースのエンドポイントアプリケーションで学習・展開可能にする画期的なもので、産業界での普及が加速しています。ルネサスRA MCUプラットフォームとFlexible Software PackageをAIモデリングツールと組み合わせると、ニューラルネットワークの層を多層構造にできます。この層数を増やせば増やすほど、ネットワークが学習する抽象度が高くなっていきます。また、複数種類の層を異種混合で積み重ねると、同種の層を混合した場合よりも性能が向上することが証明されています。ルネサスのセンシングソリューションは、複数のセンサーからのフィードバックを使ってデータの欠損を補います。情報の種類を計算するのに関連する欠陥は、複数センサーからのデータを結合することによって埋め合わせできます。
業界をリードする32ビットMCU、Flexible Renesas Advanced（RA）マイクロコントローラ（MCUs）は、スマートセンサー構築にうってつけの選択肢です。さらにルネサスRAファミリMCUの幅広い製品群から、アプリケーションのニーズに応じて最適なものを選択いただけます。ルネサスRA MCUプラットフォームと強力なサポート＆ソフトウェアエコシステムを組み合わせることで、センサーフュージョンや深層学習モジュールによるインダストリー 4.0アプリケーションの開発を加速させることができます。
ルネサスの広範囲にわたるソリューションと設計サポートの一環として、汎用性の高いモノの人工知能（AIoT）センサーのリファレンスデザインがございます。これは産業用予知保全、ジェスチャー認識によるスマートホーム／IoT家電、ウェアラブルアイテム（アクティビティ・トラッキング）、革新的なヒューマンマシンインターフェース（HMI）、（フィンガーセンス）ソリューション用のモバイルなどのアプリケーション向けです。さらに、IoT仕様のRAマイクロコントローラ、空気品質センサー、光センサー、温湿度センサー、6軸慣性計測ユニット、およびCellularとBluetooth通信サポートを含む、あらゆるデバイスも揃えています。
このようにセンサーの数が増える一方のインダストリー4.0では、大量のデータを理解するためのセンサーフュージョンへの需要が高まっています。これを受けて、サプライヤーたちは統合されたセンサーフュージョンデバイスで対応しています。例えば、振動、音、温度、磁場センサーからのデータを融合し、機械の状態を監視するためのインテリジェントな状態監視装置などがあります。さらに、加速度、回転速度、衝撃や振動を監視するセンサーをオプションでつけることもできます。
このシステムは、AIアルゴリズムによるセンサーフュージョンを実装し、異常な状態をより細かい単位で分類して高確率の意思決定を行います。そしてこのエッジAIアーキテクチャによって、センサーフュージョンによって生成されるビッグデータの処理を簡素化し、最も関連性の高いデータのみをエッジAIプロセッサーまたはクラウドに送信し、さらなる分析や機械学習アルゴリズムのトレーニングに回すことができます。
AIベースの深層学習による利点について：:
- AIアルゴリズムは、あるセンサーからのデータを利用して、他のセンサーからのデータの弱点を補うセンサーフュージョンを使えます。
- AIアルゴリズムは、各センサーと特定タスクの関連性を分類し、重要度が低いと判断されたセンサーのデータを最小化または無視できます。
- エッジやクラウドでの継続的な学習を通し、AI/MLアルゴリズムは、これまで認識できなかったシステム挙動の変化を識別できるようになります。
- AIアルゴリズムにより、起こりうる故障の原因を予測し、予防保全が可能となり、全体の生産性を向上させます。
センサーフュージョンとAI深層学習を組み合わせることで、センサーモダリティ使用時のメリットを最大化するための強力なツールを生み出すのです。AI/MLベースのセンサーフュージョンは、データレベル、統合レベル、意思決定レベルなど、さまざまなレベル段階で使うことができます。センサーデータの平滑化とフィルタリング、センサーとシステムの状態予測などがその基本的機能となります。
高性能MCUとA&Pポートフォリオ、そして深層学習モデルとツールを提供する完全ソフトウェアプラットフォームを組み合わせ、次世代のセンサーフュージョンソリューションを構築することをおすすめします。