Insight Anomaly Detector とは？
Insight Anomaly Detectorは、異常検知エンジンや可視化及び検知結果発報機能を含む、時系列データに特化した異常検知モジュールです。
サイレント故障を発見し問題を未然に防ぐことができます
Insight Anomaly Detectorに含まれる機能・コンポーネント
格納データベース
発報エンジン
可視化アプリケーション
アルゴリズムの特徴
Insight Anomaly Detectorに組み込み済みの機械学習アルゴリズムの中で特に実績のあるものとして、オンライン忘却型変化点検知アルゴリズムがあります。
このアルゴリズムの特徴としては以下のことが挙げられます。
- 教師なし異常検知であり、教師データが無くても使える
- ノイズの多いデータでも本質的な変動（変化点）のみを異常として捉える
- 過去のデータの影響を徐々に忘れつつ学習をし続けることで、データの正常な振る舞いが変わっても適応できる
- 時間帯や曜日、カレンダーを考慮していつものパターンを学習できる
- 動作が軽く、リアルタイムで異常を検知できる
これらはどれも、現実の異常検知の課題において望ましい特徴ばかりです。
Insight Anomaly Detectorで実現できること
Insight Anomaly Detectorは、あらゆるIoT機器に対して適用可能で、例えばマシンリソースやWi-Fiトラフィックの監視に有効であり、実績もあります。
また、多変量の時系列データの異常検知にも対応するなど、日々進化を続けています。
Insight Anomaly Detector 導入事例
膨大なネットワーク機器からサイレント故障を発見
● 課題：日本全国に設置されている膨大な数のネットワーク機器のメンテナンスが難しく、クレームが絶えなかった
多数のネットワーク機器は設置された環境やユーザーによりさまざま。そのため、機器ごとに一律の監視設定を行うことができず、また機器が大量であるため、個別の監視設定も現実的ではありません。そのため、Pingによる死活監視でしか監視ができていませんでした。Pingの返答はあっても実際には障害発生しているサイレント故障の検知ができておらず、完全に壊れるか、ユーザーから指摘されるまでメンテナンスができない問題がありました。
● 解決策：Insight Anomaly Detectorを導入
ネットワーク機器のトラフィックデータの平常時のデータを学習し、
いつもと異なる挙動のみ検知することで障害件数を10分の1に削減
本環境にてInsight Anomaly Detectorを検証した結果、異常と検知した機器は100%の確率で障害を検知できることが判明したため、異常と検知したら自動再起動するプロセスを運用に取り入れることで、誰も気がつかないうちに復旧するケースが増え結果として障害件数が1/10になりました。
● 課題：未知の障害パターンを発見できない
膨大なセンサーデータから障害パターンを発見するために、今まではルールベースによる分析をしてきましたが、ルールの検討や設定に手間がかかる、既知のパターンの障害しか検出できず未知の障害パターンを発見できない、等の課題がありました。
● 解決策：Insight Anomaly Detectorを導入
多変量のセンサーデータから障害パターンを検出する異常検出システムを構築し、
誤検出を減らしながら、未知な障害も検知
大体数の正常データのパターンを学習し、そこから外れた障害候補となるデータを抽出。そして抽出された障害候補のデータを教師ありモデルによって分類し、本当の障害パターンと思われるデータのみをユーザに提示するような、２段階の機械学習モデルによる異常検出システムを構築。
この異常検出システムは提示したデータが障害ではない誤検出であった場合、誤検出であったことを教師ありモデルにフィードバックすることで、本当の障害のみを検出する精度を段階的に高めることができます。
この機械学習による異常検出システムにより、障害検出ルールの検討や設定をする手間を無くすことができただけでなく、障害ではないパターンをAIが覚えていくため、障害パターンを出力する精度を段階的に高めることができ、繰り返すほど正確になるとともに今までに当てはまらない未知なるパターンの発見も達成することができました。