ローカルLLMとは？無料で使えるAIを初心者が試してみた

スポンサーリンク

スポンサーリンク

Amazon公式サイト

はじめに

こんばんは🌙

みなさんは「ChatGPT」を使ったことがありますか？「仕事でちょっと試してみた」「文章を作るのに便利」という方も増えてきましたよね。しかし、こんな不安を感じたことはありませんか？

実はこの問題、「ローカルLLM」を使うと解決できるかもしれません。そこで今日は、実際に試してみた体験をもとに、初心者の方にもわかるよう説明してみます。

そもそも「LLM」って何？

LLM（Large Language Model）とは、日本語で「大規模言語モデル」のことです。ChatGPTやGeminiなど、テキストで会話してくれるAIの中身がこれです。

つまり、難しそうな名前ですが「大量の文章を学習して、人間のような文章を生成できるAI」と思えばOKです。

「クラウドのAI」と「ローカルLLM」の違い

普通のChatGPTはインターネットの向こう側（クラウド）で動いています。つまり、入力した文章は外部サーバーへ送信されます。一方で、ローカルLLMは自分のパソコンの中で動く仕組みです。

「Embedding（エンベディング）」って何？

今回やったのは Embedding＋RAG という構成です。ただし、難しそうに聞こえますが、噛み砕いて説明するので安心してください。

Embeddingとは？

文書の内容をAIが理解できる形に変換する作業のことです。本の「索引」を作るイメージです。

RAGとは？

質問されたときに、関係する部分をサッと引っ張ってきて答える仕組みです。すなわち、今回やったことを一言でいうと「自分の資料をAIに読み込ませて、その内容について質問できるようにした」ということです。

今回使ったツール3つ

セットアップ自体は思ったより簡単でした！また、各ツールの詳しいインストール手順は別記事でまとめています。

【失敗談】最初はまったく動かなかった理由

実は最初、AIが全然まともに答えてくれなくて困惑しました😅

原因を調べてみると……なんと、Embeddingの言語設定が英語（デフォルト）になっていたのです。

日本語のPDFを読み込ませているのに、AIが「英語として」処理しようとしていたわけです。そのため、内容を正しく理解できなかったのです。

実際に試してみた！結果は？

テストに使ったのは構造解析関連の整備資料（約400ページ）。図面も多く、かなり専門的な資料です。言語設定を日本語に直してから読み込ませ、いろいろ質問してみました。

正直な感想：まだ実務では使えない😅

今の段階では、専門的な実務にそのまま使うのはまだ難しいです。たとえば、ざっくりとした概要は答えられますが、細かい数値や手順は出てきませんでした。

しかし、可能性は十分に感じました。さらに、精度はこれからどんどん上がっていくはずなので、今から仕組みを理解しておくのは損じゃないと思っています。

まとめ

以上、今回の検証レポートでした。次回は、もう少し違うモデルや設定で試してみたいと思います。また明日も頑張ります💪

おやすみなさい🌙

参考リンク・ツール公式サイト

この記事で紹介したツールや、さらに深く学びたい方向けのリンクをまとめています。

• 公式サイト Ollama — ローカルLLMを動かすプラットフォーム
• 公式サイト AnythingLLM — PDFとチャットできるオールインワンAIアプリ
• 公式ドキュメント AnythingLLM ドキュメント（英語）
• 解説記事 Ollamaとは？ローカルLLMの使い方・モデル一覧を完全解説 — DataEngineerLabs
• 解説記事 AnythingLLMとOllamaでRAGを実行する — Qiita