【接触履歴も一目瞭然】画像AIでも使われるアノテーションの技術を、業務システムに活用しています！

目次
　・アノテーションとは
　・当社でのアノテーション活用事例
　・お客様の業務システムへの応用事例
　・ご紹介した技術のポイント
　・他の業務システムへの応用例

アノテーションとは？

　アノテーションとは、あるデータに対して関連する情報タグ（メタデータ）や対象物の座標等を注釈として付与することです。

　転じて、AIの機械学習の代表的な方法である「教師あり学習」では、機械学習で使用する教師データ（正解データ、ラベル）を作成し、付与することを指します。最近はこちらを意味することが多いようですね。

　アノテーションの対象となるデータには、「画像」「動画」「音声」などがありますが、例えば画像へのアノテーションでは、

この写真のように、画像の中に何が写っているのかをタグとして付与します。この場合、右の矩形に「女の子」、左の矩形に「犬」という情報を付与することになります。

　当社では、画像に付与したタグに「映っているものの情報」ではなく、「項目名とデータ」を格納することで、AIとしても使えるアノテーションの技術を、身近な業務アプリケーションシステムとして活用しています。

当社でのアノテーション活用事例

　アノテーション技術をどのように業務アプリケーションとして活用したのか、当社での事例をご紹介いたします。

　新型コロナウィルス感染症対策として、当社もテレワークを実施し、オフィスはフリーアドレスとしました。このため出社した社員がどこに座っているかが一目でわかる仕組み「座席管理」が必要となりました。

システムコンサルタントの座席管理の仕組み

当社の座席管理はこのようになっています。
　①座席や会議室に、それぞれ固有の番号をつけ、NFCタグとバーコードを準備しておく。
　②出社時や会議室入室時に、自分の携帯をかざすことで「ピッ！」と登録する。
　③在席データが、リアルタイムにオフィスレイアウト画面に反映される。

　当社では、この「オフィスレイアウト画面」に、アノテーションの技術を活用しています。

　オフィスレイアウト画面は「画像」であり、アプリケーションとして作りこんだものではありません。
　VISIOやExcelなどを使い、オフィスのレイアウト図を作成して画像化した「画像データ」に、アノテーションツール「labelImg」を使用してタグ付け（アノテーション）しています。

　出社時や会議室入室時の「ピッ！」によって座席管理アプリケーションが起動し、ピッ！と登録した人の名前をタグにセットすることで、誰がどこの座席にいるのか、どの会議室で打ち合わせをしているのかがリアルタイムに「オフィスレイアウト画面」に表示されます。

「labelImg」を使用

　「labelImg」はオープンソースでの提供であり、またアイコンが分かりやすかったため、採用しました。
　座席の画像ひとつひとつや、会議室すべてに対して、labelImgで矩形のタグを設定し、X,Y座標や項目名を定義しました。タグに項目名が付けられることで、Webアプリケーションでの活用が可能となっています。

オススメはCAD

　オフィスのレイアウト図がCADで作成された「CADデータ」も、オフィスレイアウト画面として使用しています。

　CADデータのオフィスレイアウト画面の場合、ズームイン、ズームアウトはもちろん、CADの特徴を活かして3Dの角度を変更したり、画面を回転させたりすることもできます。検索機能も付けているので、お客様からお電話があった場合でも、社内のどこに座っているのか、またはテレワーク中なのかがすぐに分かるので、電話口でお待たせする時間を減らすことができました。

接触履歴も分かります

　この「ピッ！」による登録情報は時系列データとしてデータベースに格納されるので、いつどこにいたのかを遡って確認することができます。

　当社では各人の居場所履歴情報をソーシャルグラフ化しており、いつ誰と誰が接触していたかを、後から調査することができます。もし社員に新型コロナウィルスの陽性者や濃厚接触者が出た場合でも、その影響範囲を即座に知ることができます。

お客様の業務システムへの応用事例

　当社のアノテーション技術を活用して業務システムを構築した事例もあります。構築したシステムは、設備を保守監視するシステムです。

設備の状況の見える化

　設備の主要箇所にセンサーを設置し、センサーからのデータを収集。Webアプリケーションが「アノテーションツール」を使ってタグ付けされた画像に、センサー情報をセットしています。
　これによって、今まで見えていなかった設備の途中の状況も、リアルタイムに正確に見える化することができました。

　表示された数値の色・画像は外部パラメータで設定できるため、お客様でのメンテナンスが可能となっています。これによって、表示される情報のしきい値をお客様自身が設定することで、どの設備でどのような異常値が発生しているか、の検知が容易に可能となり、またより厳しいしきい値に設定しなおすことで、品質の向上にも寄与しています。

Webアプリケーションで開発

　各センサーのデータはMicrosoft AzureのStorageに収集され、一定時間ごとにデータベースに格納されます。Webアプリケーションが最新のセンサーデータを該当のタグにセットすることで、設備状況を監視しています。

ご紹介した技術のポイント

画像の活用

お手持ちの画像を画面として活用するため、これまで画面作成にかかっていたコストを削減することができます。

条件分岐によるアラート表示

基準値を超えた場合に表示・非表示を切り替えたり、色を変更することもできるためアラート表示にも活用できます。

視覚的にわかりやすく表示

これまで活用されていなかったセンサーデータが視覚的に表示されるため業務改善の気づきにつながります。同じ画面をデータを全員でみることができるため、社内の状況共有にも寄与します。

他の業務システムへの応用

当社の事例に近い応用例としては、
　・化学プラントの稼働状況監視の仕組み
　・工場のラインの進捗状況のリアル表示の仕組み
等が考えられます。

今までは結果しか見えていなかった生産ラインの状況が、センサーを取り付けることで見える化することができます。

　ご紹介した当社のお客様事例は設備の画像にアノテーションした事例ですが、設備画像以外の画像でも、アノテーションすることができます。

例えば、屋内地図情報にアノテーションすることで、
　・映画館や劇場の座席管理のシステム
　・大規模ショッピングモールの落とし物管理情報
等への応用が考えられます。