Claudeの会話を自己評価する研究を公開｜AIの判定を業務でどう扱うか

編集部の見解・提案

ここからは編集部の見解と提案です。当社が導入・検証した結果ではなく、検討するときの確認点として整理しています。

対象のプラン、顧客が使える新機能やAPI、日本での提供は、この資料からは確定しません。以下の見解と提案は、この研究とは別に業務の進め方を考えたものです。

ここからは編集部の見解です。今回紹介された会話の予備評価と、業務で外部へ出す内容を最終的に承認することは別だと考えます。点検が付いていても、答えの正しさや安全は保証されず、人の確認を省く理由にはなりません。

ここからは編集部の提案です。仮の例として、店舗の問い合わせへの返信案をAIで作り、AIの自己点検を付けた場合でも、注文の変更、個人情報、送信先は担当者が確認してから外部へ送ります。AIの点検で気になる点が出た返信も、出なかった返信も、同じ項目を人が見ます。判断できない返信は送らずに保留し、責任者に回します。これは研究の仕組みを店舗で使う方法ではなく、編集部の業務上の提案です。実際の問い合わせで試した例ではなく、効果を保証しません。

外部の評価団体がAIを評価する話はAnthropicの外部評価のニュースで紹介しました。今回はモデル自身による会話の点検です。

確認の分け方は集客業務のAI活用ガイドや、任せる仕事と確認する仕事を分ける記事、広告レポートで人が確かめる項目の記事も参考にしてください。