「人工知能（AI）を使っている」というだけで全ての問題を解決できるといった勘違いが経営者の中で多く発生し、ハルシネーションよりも大きな問題になってきたような気がします。
最近、前職でWindows/Oracleでクライアントサーバーシステムを開発し提供した、中規模企業の社長とお話をする機会がありました。その社長から、旧態依然としたクライアントサーバーシステムを作り直したいとの相談を受けました。
私からも、Windowsの入力画面に数十もある項目を入力するようなシステムよりも、自然言語で問い合わせる方が良いと伝えました。当然、生成AIサービスを活用したシステムにするのであれば、会社独自のデータを活かしたシステムでないと意味がありません。そこで、Oracleに格納されていたデータや営業電話での会話をAIに学習させたり、契約書をチェックさせたりすることで、以前のシステムとは比べものにならない多機能な支援システムを構築できることを説明しました。但し、同時に会社独自のRAGを組み合わせる必要があることも説明しています。
その後、プログラミングもAIでするようになったとお話しすると、このようなシステムもAIの力を借りて自力で構築できるのではないかと質問を受けました。確かに、AIに聞きながらこのようなシステムを構築することも不可能ではないと思います。自分でも確認してみましたが、確かにRAGの構築もできなくはないと思えました。
しかし、「AI実装の80%は泥臭いチューニング」と言われていることもあり、その難しさを伝えましたが、社長には実感がないようでした。AIは、高いレベルで全て解決できるという認識があるようです。
従来のサービス開発とは異なり、LLMや生成AIを用いたアプリケーションでは、ユーザーの入力が無限に存在します。そのため、様々な入力パターンを検証し、プロンプトやAIに渡すコンテキストを調整する泥臭い作業に多大な時間がかかります。ここまでは、まだなかなか世の中の経営者には認識してもらえていないところかと思います。AIシステムの実装にかかる4倍のチューニングが必要であることを納得してもらうのは難しいと感じました。
また、「精度をどこまで求めるか」も重要です。従来のシステムは、100点の正しい回答が当たり前で、誤った回答は許されませんでした。LLMは確率論的に次の単語を予測するモデルで、原理上、全ての問いに対して100点を出し続けることは不可能です。何点の回答で価値があるのかを決めてシステムを考える必要があります。
従来のサーバー・クライアントシステムを作成していた世代から考えると、全く別の作業工程とアウトプットに対する評価基準が必要になってきたと感じました。
