期待外れのアシスタント

かつて一度諦めた「ブログのAIアシスタント」ですが（#07796 / 2025年04月21日）、
ひょんなことからリベンジしてみたところあっさり実現しました。
ブログのAIアシスタントとは、ChatGPTのカスタムモデルにこのブログの全文を食わせることによって、
ブログの全容を理解している特化型AIのことを言います。
ChatGPTのカスタムモデルであるGPTsは食わせられるデータに上限があり、
前回調べた当時はブログの文字数がその上限をゆうに超えてしまっていたため断念していました。
とはいえブログの全文字数が必ず必要というわけでもないはずで、
各記事の要約を作ればかなり圧縮できるのではと考えました。
そこで、Pythonの機械学習ライブラリを使って要約バージョンの作成を試みたのですが、
作成した要約は日本語として破綻しまくっておりこれも断念。
OllamaでローカルLLMを導入してそこにアシスタントを入れるという逆の方式もLLMの精度がイマイチということで断念。
結局、ブログアシスタントはさらなる技術革新を待たなければならないという結論でした。

が、改めて調べてみるとChatGPTの容量制限がいつの間にか大幅緩和されているではないか。
具体的にはテキストファイルなら１ファイル130万文字（日本語換算）、１ユーザー10GBまでとなっていました。
１つのGPTsに食わせられるファイルは20ファイルまでのようなので、実質上限は2600万文字。
このブログは執筆時点で1269万文字なので余裕で足りる計算になります。
そこで、全記事アーカイブを年ごとにマージする簡単なスクリプトを作成して読み込ませ、
アシスタントAIはあっさり完成しました。

ただ……精度はまだ自分が想像していたほどではないというのが正直なところです。
記事番号、日付、タグといったメタデータは正確に把握しているので、それに基づいた質問の回答は比較的自然。
例えば「記事番号7777の記事の要約をお願い」と入力すると、ちゃんと期待通りの結果が返ってくる。
とはいえ、メタデータ頼みの探索ならそもそも人力でもできるわけで、横断的な分析こそが本領だと思うんですね。
しかし「2012年に起きたことは？」「〇〇というテーマはどのように変遷してきた？」
といった高度な質問に対してはハルシネーションが混じることも多く、精度が良いとはとても言えません。
生データをそのまま読み込ませただけでは限界があるということなのでしょう。

さらなる改善を考えるとすれば、すぐに思いつくのは以前もやったTF-IDF解析で抜き出した重要単語を、
メタデータに追加して記事探索の補助に使ってもらうことですかね。
メタデータはわりと正常に取得できているので、ここに情報を足すのが無難な気はする。
あとはタグ整備を進めていくことか……。

いずれにしろ、遠い将来に実現するものと思っていたブログのアシスタントAIはほんの思いつきで実現してしまい、
そして思っていたより有能ではないそれを実際にいじってみて、
アシスタントがあるからといってすぐに利活用できるものでもないと実感しました。
過去記事というのは黒歴史も多く、それを掘り下げるようなニーズは常にあるわけではないということです。
確かに全文検索ではどうにもならない場合の探索手段としてのニーズがあるのは確かですが、
それはいまのところ言語化できない何かを過去記事に求めている場合に限られるのではないかと。
言語化できるならObsirianの全文検索を使えばいいわけですからね。
こう考えるとブログのアシスタントAIもそこまで大きな需要があるわけでもなかったのかも。

とはいえ、さらなる精度向上が望めれば自分を知り尽くしているAIができるわけで、それはそれで楽しみです。
現状はまだまだ全文検索に勝てそうで勝てないという微妙な感じですが、
GPTsに使えるモデルがあと１〜２段階進化したら受ける印象もだいぶ変わりそう。