TypeSafe AIは9月15日、ソフトウェアの中で判断を返すモデル「Jev」を発表しました。自由な文章を生成するチャット相手というより、決められた選択肢や数値を次の処理へ渡す部品です。発表では、早期アクセスとして提供を始めたと案内されています。
- 出典・開発元の発表typesafe.ai
長い返事を、決まった行き先に変える
たとえば、問い合わせを「請求」「操作方法」「その他」に仮分類する場面を考えます。これは仕組みを説明するための架空の例です。
通常の文章生成AIに頼むと、「これは請求に関する相談と思われます」と返ることがあります。人は読めますが、プログラムで使うには、文から分類名を取り出す処理が必要です。Jevは、このような場面で返す値そのものを絞ります。
公式ドキュメントには、三つの返し方があります。
- Choice： 用意した選択肢から選ぶ。
- Score： 設定した尺度に沿った点数を返す。
- Noul： 0から1の範囲の値を返す。
ChoiceやScoreでは、選択に関する確信度や確率も扱えます。ここでいう「型」は、答えを文字列・選択肢・数値などの決められた形にそろえる約束です。
- 出典・TypeSafeの公式説明docs.typesafe.ai
形式が正しくても、仕分けは間違えうる
区別したいのは、指定した形式で返ることと、その内容が正解であることは別だという点です。「請求」という選択肢を正しい形で返せても、問い合わせを読み違えていれば誤分類です。
確信度が高い値でも、それだけで個別の判断を正解と保証することはできません。入力の書き方や、選択肢同士の境界が変われば、結果も変わりえます。「文章を書かないから間違えない」と読むのは避けたいところです。
また、分類名を返すことと、実際に返金や削除を実行することも別です。問い合わせを「請求」へ振り分ける部品に、そのまま返金まで任せる理由はありません。次の処理が何をしてよいかは、システム側で決めます。
安さや速さを比べる前に、保留を作る
開発元は低価格と短い応答時間を掲げています。ただし、提供元の測定条件と、自分のアプリの待ち時間・正答率は同じではありません。ここでは独自の速度・精度検証は行っていません。
- 出典・価格・評価の説明typesafe.ai
試すなら、過去の問い合わせなど、正解を人が確認できる小さな集合から始めるのがよさそうです。分類に必要のない個人情報は渡さず、利用するサービスのデータの扱いも確認します。
- 間違えやすい分類の組み合わせを調べる。
- 一つに決めにくい入力は「その他」や人の確認へ回す。
- 自動処理する前に、分類結果だけを記録する期間を設ける。
図の「人が確認」は、このための運用上の提案です。Jevを呼ぶだけで自動的に安全な仕分けが完成する、という意味ではありません。
ゆずふかちゃんが注目するのは、大きなAI一つに全部を頼む以外の選び方です。期限を数値で比較するだけなら普通の条件式で足ります。文章の意味を読みながら行き先を選びたい仕事では、こうした部品を検討できます。
長い説明が欲しいときと、次の処理へ一つの値を渡したいとき。欲しい答えの形を先に決めると、新しいAIのニュースも、自分の仕事に関係する範囲で読めるようになります。
人類に、彩りのあるひとときを。