執筆者：CFO 永見 和平
今回は、ITベンチャー企業であるインサイトテクノロジーが、カスタムRAGで社内ヘルプデスクを実現した成果とその裏側をご紹介します。
私が統括している管理部には、法務・総務、経理・財務、人事・採用・労務、社内システムおよび経営企画の機能があります。
生成AIに奪われる仕事何選、などという記事をよく見かけますが、定型的なタスクが多い管理部の業務はその典型例です。そのため、管理部でも生成AIをいちはやく活用し、会社にとっての価値を生み出し続けていく必要があるのではと、日頃から危機感を抱いていました。
インサイトテクノロジーは3年ほど前からVCからの資金調達を始めており、内部管理体制をどんどん進化させています。それに伴い社内のルール・規程も進化を続けています。積極採用によって新しい社員も増え、管理部への問い合わせも急激に増加していました。
まずはその対応負荷を減らすことを目的に、2025年2月、管理本部内に推進チームを作り、生成AI活用プロジェクトをスタートさせました。
とは言ったものの、どのように進めていくべきか。幸いなことに、インサイトテクノロジーはAIを搭載したソフトウェア製品を複数自社開発しており、製品開発チームで開発中のもののなかにカスタムRAGがありました。
念のためにカスタムRAGとはどういったものなのか、簡潔に説明しておきます。AIに“自分専用の情報”を学習させて、その情報を元に質問に回答させる仕組みのことです。社内ナレッジを使ったQ&A対応やカスタマーサポートの自動回答などに利用されます。
インサイトテクノロジーでは、すでに製品サポートチームが問い合わせ対応のために導入していました。回答効率の向上に大きな効果があったと聞き、管理本部でも同様に導入してみることにしたのです。
今回のような用途だとどうしても機微情報をインプットする必要があります。汎用的な生成AI製品も非常に便利なのですが、セキュリティの観点からは断念せざるを得ません。やはり社内に閉じた独自のカスタムRAGを使用するのがベストだと判断しました。製品開発チームの協力が得られることも、背中を後押ししてくれました。
プロジェクトは、チーム内での検証からスタートしました。まずは社内の規定だけをRAGに入れ、前年度にあった社内問い合せの内容に回答できるかを試してみたのです。インサイトテクノロジーでは社内コミュニケーションにSlackを活用しており、管理本部への問い合わせ用には「#help-管理本部」というチャンネルを立てています。そのため、過去の問い合わせデータは容易に入手することが可能でした。一般的なRAG導入時の初期の回答精度は55％程度だそうなので、まずはそこを目指すことにしました。
結果は、「解決した・参考になった」と評価できるものは約46％程。解決できなかった質問を精査し、その質問に対するドキュメントを追加して再度検証したところ、回答精度は81％まで上昇しました。それでも解決できなかった残りの19％を仕分けすると、「ドキュメント・ナレッジが存在しない」が17％で、「誤回答」は2%でした。
検証をはじめて2か月が経過したところで、次のステップとして全社員に対するコントロールリリースを行いました。幅広い社員から問い合わせを受け付け、実際に使ってもらうことで、実用化に向けた更なるブラッシュアップを狙ったものです。
Slack上にカスタムRAG専用のチャンネルを用意し、問い合わせが投稿されると生成された回答がスレッドに返信される仕組みです。さらに、質問者が生成された回答を評価する仕組みも構築しました。コントロールリリース期間に受け付けた問い合わせ数は約100件、質問者による一次評価の結果は、「解決した・参考になった」が30％、「解決しなかった」が70％となりました。
解決しなかった問い合わせには想定していなかったような内容も多々あり、200ファイル以上のドキュメントをRAGに追加する必要がありました。大変な作業でしたが、そのおかげもあって、再評価の結果、解決しなかったものは全体の9.4％と、内部検証の時よりも大幅に下げることができたのです。
その結果を受け、コントロールリリースから2か月ほどで正式なリリースを行いました。これが2025年の8月のことです。この記事を書いている2026年1月時点でリリースから5か月が経過していますが、さまざまな課題が見えてきました。
まずは運用を続けるためにはドキュメントのメンテナンスが不可欠だということ。定期的に回答精度をモニタリングし、再評価を行っています。
ただこのカスタムRAGには、問い合わせの傾向や解決しなかった問い合わせを自動分析してくれる機能があります。どんなドキュメントを作成すればいいのか、どの内容を優先すればいいのかが可視化できるため、効率よくドキュメントの追加を行うことができました。
その他の課題としては、積極的に利用してくれる社員が3割程度だということ。全社員がもっと気軽に利用してくれるよう、社内広報活動が欠かせません。これはカスタムRAGや他のAIにも代わってはもらえないところなので、他社のシステム浸透の事例などを参考に進めているところです。
そして、これだけで満足することなく、今後の展開も考えています。まず管理本部での利用では、社内ストレージとして利用しているGoogle Driveから自動でアップデート情報をカスタムRAGに取り込めるようにし、メンテナンスの工数を削減していきたいです。
また、営業業務への横展開も計画しています。営業部門においても、取扱製品が増え、見積もり方法やライセンスルールの頻繁な変更が発生する状況にあります。加えて新入社員も増えているため、ルールの周知徹底は困難です。こうした問題を抱える部署には、カスタムRAGは非常に効果を発揮するでしょう。
ちなみに、冒頭ですでに製品サポート部門で利用されていると書きましたが、参考までにそこでの成果も述べておきます。
最も顕著だったのが、製品仕様や機能問い合せのクローズ日数の短縮です。ある製品ではもともと12.62日かかっていたところが3.11日で、別の製品では10.96日から4.65日でクローズできるようになりました。また、メンバーの抱える業務量の指標である業務ビジー度が「高」と評価される割合が、72.7％から35.7％へと低下しました。
さらに、新しく加わったメンバーの製品についての学習ツールとしても利用されています。
さて、ここまでインサイトテクノロジー 管理本部における生成AI活用の舞台裏をお話してきました。同じような悩みを抱える方のご参考になれば幸いです。
