ローカルAIに2ヶ月向き合ってみた話——大変だったけど、こんな発見があった

📅 この記事は2026年9月時点の情報をもとに執筆しています。AIの技術は急速に進化しており、状況が変わっている可能性があります。最新情報は各公式サイトをご確認ください。

以前、「会社のデータをChatGPTに入れるのは不安」という方へ、ローカルAIの7つの課題という記事を書きました。GPUがないと遅い、コマンド操作が必要、AIが嘘をつくことがある——正直に、厳しい現実をお伝えする内容でした。

あれから2026年7月、実際に、お金をかけずに、この課題と向き合ってみようと決めました。土日祝日を除いて、コツコツと手を動かし続けて、気づけば2ヶ月が経っていました。今回は、その記録です。

高いパソコンは、まだ買わなくていい

前回、「専用の高性能なパソコンがないと、AIの返事が異常に遅い」という課題をお伝えしました。真っ先に浮かぶのは「専用のパソコンを買う」という選択肢ですが、いきなり数十万円の買い物をするのは、正直、怖いです。

そこで、パソコンの性能を、必要な時間だけ、インターネット経由で借りられるサービスを使いました。1時間あたり数十円で、業務に十分な性能を借りられます。数時間の検証なら、コーヒー1杯分程度の値段で済みました。

つまずいた点：借りる場所（サーバーがある地域）を「日本」に指定すると、混み合っていて借りられないことが、何度もありました。「空いている場所ならどこでもいい」という設定に変えたら、ようやく借りられました。

「きれいな画面」を、2回、諦めた

前回、「コマンド操作（黒い画面に文字を打ち込む操作）が必要で、専門知識がないと難しい」という課題もお伝えしました。最初は、ChatGPTのような、見やすい対話画面を、便利な既製ツールで用意しようとしました。

でも、借りた環境の制約で、そのツールが、何度試しても、うまく動きませんでした。別の、もっとシンプルなツールでも試しましたが、やはり同じ結果でした。

これで、「ツールが悪いのではなく、借りた環境そのものに、制約がある」ことがはっきりしました。見た目のきれいな画面を用意することは、今回は諦めることにしました。

見た目を諦めたら、意外とシンプルに動いた

きれいな画面の代わりに、もっと基本的な仕組みを、地道に組み立てることにしました。社内の資料を読み込ませて、質問に答えてもらう、という一連の流れです。

専門的な大掛かりな道具を使わなくても、比較的シンプルな方法で、実現できました。実際に「なぜ、その答えなの？」と聞くと、AIは、参考にした文章を、きちんと示した上で、答えてくれました。「なんとなくそれっぽい答え」ではなく、「どの情報をもとにしたか」が、はっきりわかる形にできたのは、大きな収穫でした。ただ、AIに渡す社内のメモや資料が乱雑だと、正しく読み取ってくれません。「AIを使う前に、まず社内資料やExcelの表記を綺麗に整えておくこと」が、実は一番大切だと身をもって実感しました。これは前回の記事でも触れた話題ですが、実際に動かしてみて改めて感じました。

ブラウザだけで使える画面も、後日、追加できた

最初の仕組みが動くようになった数日後、今度は、ブラウザから使える、簡単な画面を追加しました。社員が普段使うブラウザで、質問を入力するだけで使える状態です。

「コマンド操作が必要」という課題は、まだ完全には解決していませんが、少なくとも、使う人（質問する側）は、コマンド操作を知らなくても、使えるようになりました。

情報を守るための対策も、実際に確認した

氏名・住所・購入商品を含む、個人情報を想定したテストデータで、次の3点を確認しました。

ログイン機能：ID・パスワードを知らない人は、中身を見られないことを確認しました
通信の暗号化：やり取りが盗み見られないよう、保護されていることを確認しました
記録の残し方：「誰が・いつ使ったか」は記録されますが、「何を質問したか」という中身は、記録に残らない設計にできることも、確認できました

それでも、残っている課題

コマンド操作は、まだ必要です。専門知識がない方が、この検証を、自力で再現するのは、まだ難しいと思います
「型番」や「日付」のような、正確な情報の検索は、まだ苦手です。「なんとなくのニュアンス」を拾うのは得意ですが、完全に一致する情報を探すのは、精度に課題が残っています
資料を後から追加・更新する仕組みは、設計はしたものの、まだ実際の動作確認はこれからです
実際の会社のサーバーへ移す作業も、まだ試せていません。今回借りた環境で自動化されていた部分（通信の暗号化など）を、自分たちで設定し直す作業が、これから必要です