ブログのAIアシスタント

このブログのローカルエディタ（Obsidian）にAIアシスタントを導入してみました。
手順としてはこんな感じです。

• プラグイン「Obsidian Copilot」をインストール。
• PCにローカルLLMを動かすためのフレームワーク「Ollama」をインストール。
• Hugging Face等からLLMのモデルをダウンロード。今回は「ELYZA」「BGE-M3」を導入。
• Ollamaを起動し、localhostの特定ポートで待機。
• Copilotの設定でOllamaのポートを指定して接続し、初回インデックスを作成。

これにより、サイドバーにAIとやりとりするための領域が表示されます。
「Valut QA」モードにすれば、AIが自分の書いた全記事に関する質問に答えてくれるようになります。
これが実現すれば、あたかも自分がAIになったかのような受け答えができるのでは！？
と期待していましたが、現実はなかなかそうもいきません。
現状では、過去記事を取り込むための埋め込みモデル（＝BGE-M3）の精度がさほどではなく、
プロンプトに対して適切な記事を引っ張ってくることができないようです。
そのため、結果として受け答えはすべてちんぷんかんぷんになってしまっている。

埋め込みモデルにはもっと良いものもあり、OpenAIが提供しているトップレベルのものも使うことができます。
しかしこれは有料APIで１文字あたり0.003円ほどかかるそうで、
単純計算でブログ全体を取り扱おうとしたらインデックス作成のたびに４万円近くかかってしまいます。
１回読み込ませれば未来永劫使えるならともかく、これはさすがに厳しい。
しかも読み込ませたところで精度を担保できる保証も無いわけで……。

ローカルAIは「それっぽい」下地はできつつあるものの、理想にはまだまだ遠いというのが現状です。
今回Copilotを導入しようとしたきっかけは、「Windsurf」で似たようなことができると知ったからでした。
こちらはValutの自動取り込み機能もあり、もしかしたらこちらの方が有用なのかもしれない。
ただこのブログのように大容量の場合は無料プランで対応できない公算が高かったので、
代替方法を探っていくうちに上記のObsidian Copilot＋ローカルLLMに行き着いたという感じです。
まぁ、結局のところ完全無料では難しいということなのかもしれない。

AIの領域は日進月歩で来月にはもっと革新的なツールが登場する可能性もあるため、
とりあえず「自分AI」のプロジェクトは技術革新待ちでいいのかなという気がしています。
今年に入ってからそれっぽいツールはどんどん出てきているので、
自分のようなユースケースにピッタリハマったツールが出てくるのも時間の問題のような気はしています。
ただ、ローカルLLMを使う場合、その精度の低さはしばらく目をつぶる感じになりそう……。
ChatGPTのGPT4oがいかに高精度かということを改めて実感させられます。