Rokid AI Glass 面白いデバイス！

Rokid AI Glass向けアプリを開発しています

ITクエストでは現在、スマートグラス「Rokid AI Glass」を活用したAndroidアプリの開発を進めています。

スマートグラスのカメラやOCR、画像解析、ローカルLLMを組み合わせ、ネットワーク機器の運用や障害対応を支援するアプリを目指しています。
まだ開発中の段階ですが、スマートグラスならではの使い方を試しながら、機能の検証と改善を行っています。

PC画面のログをOCRで読み取り、内容を解析

PC画面に表示されているネットワーク機器のログやコマンド実行結果を、Rokid AI Glassのカメラで撮影し、OCRでテキスト化します。

読み取ったログはローカルLLMで解析し、発生している事象、考えられる原因、確認すべきポイントなどを整理します。
解析結果は、画面上に「告」という形で要約表示する仕組みを開発しています。

某アニメなどに登場する、状況を解析して必要な情報を端的に伝えてくれる支援機能（大賢者や大天使）をイメージしたものです。

• PC画面に表示されたログをカメラで撮影
• OCRによるログやコマンド結果の文字認識
• ローカルLLMによる内容の解析と要約
• 想定される原因や確認ポイントの表示
• 解析結果を「告」としてスマートグラス上に表示

ネットワーク機器の状態を画像から確認

ログの解析だけでなく、ネットワーク機器をカメラで撮影し、画像から機器の状態を確認する機能も開発しています。

例えば、機器のLED表示、ケーブルの接続状態、ポートの状態、機器周辺の状況などを画像として取得し、画像解析とローカルLLMを利用して、確認結果をまとめます。

画像だけですべての障害原因を特定できるわけではありませんが、現地で最初に確認すべきポイントの整理や、有識者へ状況を伝えるための補助として活用できる可能性があります。

• ネットワーク機器や配線状況を撮影
• LEDやポート、ケーブル接続状態などを画像から確認
• 確認結果や注意点を分かりやすく要約
• 現地担当者が次に確認すべき内容を支援

Slackなどへの自動投稿と情報共有

アプリで処理した内容は、Slackなどのコミュニケーションツールへ自動投稿できる仕組みを想定しています。

OCRで読み取ったログ、ローカルLLMによる解析結果、確認すべきポイントなどを自動的に共有することで、現地担当者だけで判断を完結させず、ほかのメンバーや有識者にも状況を伝えられます。

画像解析を行った場合は、解析結果だけでなく、撮影した機器や配線の写真も一緒に投稿します。
有識者が実際の写真やログを確認し、追加の確認事項や対応方法を返信できるような運用を目指しています。

• 解析したログや要約をSlackなどへ自動投稿
• 画像解析時は撮影した写真もあわせて共有
• 現地担当者と有識者の情報共有を支援
• 有識者から追加確認や対応方法のレスポンスを受けられる構成
• 障害対応や作業内容の記録として活用

新人担当者や現地作業者を支援

ネットワークのログや機器の状態を見て、自分で原因を判断できる経験者にとっては、必ずしも必要な機能ではないかもしれません。

一方で、ネットワーク機器に詳しくない方や、新しく運用業務を担当する方、障害現場で何を確認すればよいか分からない方にとっては、最初の判断を支援するツールとして役立つのではないかと考えています。

AIの解析結果だけで対応を決定するのではなく、必要な情報を整理し、有識者へ正確に状況を共有するための補助として利用することを想定しています。

ローカルLLMを利用

ログや画像の解析には、端末または管理されたローカル環境で動作するLLMの利用を進めています。

業務で扱うネットワーク機器のログや現地写真には、IPアドレス、ホスト名、構成情報などが含まれる場合があります。
そのため、処理する情報の取り扱いを考慮しながら、外部の生成AIサービスへ安易に送信せずに解析できる構成を検討しています。

なお、Slackなどへの投稿を有効にした場合は、設定した投稿先へ解析結果や写真が送信されます。
実際の利用時には、投稿先、保存期間、閲覧権限などを適切に管理する必要があります。

現在はAndroid版を開発中

現時点では、Rokid AI Glassと連携するAndroid版を中心に開発しています。

OCRの認識精度、機器やLEDの画像認識、ローカルLLMの回答精度、スマートグラス上での表示方法など、実際の利用環境で確認しなければならない項目も多くあります。

本アプリはまだ試作・検証段階であり、掲載している機能や仕様は今後変更される場合があります。

AR宝探しやRPGにも活用してみたいデバイス

Rokid AI Glassは、業務支援だけでなく、ゲームや体験型コンテンツにも活用してみたくなるデバイスです。

GPSによる位置情報とAR表示を組み合わせることで、実際の街や施設を歩きながら目的地を探すAR宝探しや、特定の場所でイベントやキャラクターが登場するRPGのようなゲームも開発できそうです。

• GPSを利用したAR宝探し
• 特定の場所で発生するイベントやミッション
• 現実の風景と連動したRPG
• 施設案内や地域周遊型コンテンツ
• IT教育や障害対応訓練への応用

まずはネットワーク運用を支援するアプリの開発を進めていますが、スマートグラスならではの新しい使い方についても、今後試していきたいと考えています。

開発・検証を続けていきます

スマートグラス、OCR、画像解析、ローカルLLMを組み合わせることで、ネットワーク運用や現地作業をどこまで支援できるのか、引き続き検証していきます。

現時点では開発中のアプリですが、実際の利用を想定しながら、認識精度、操作性、情報共有の方法などを改善していく予定です。
開発状況については、今後も随時ご紹介していきます。