LangChainで専門分野のチャットボットの精度を上げる試み【③エージェント編】

TypeScript版

✅イメージ図

コード

※実際はインデックスを10個使ったが、以下では3個だけ記載している。

※ソフトの名前は「myApp（仮称）」としている。

// .envの読み込み
require("dotenv").config();

// モデル
import { OpenAI } from "langchain/llms/openai";
import { ChatOpenAI } from "langchain/chat_models/openai";
// 埋め込み
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
// ベクトル検索エンジン
import { HNSWLib } from "langchain/vectorstores/hnswlib";
// チェーン
import { VectorDBQAChain } from "langchain/chains";
// エージェント
import { initializeAgentExecutorWithOptions } from "langchain/agents";
// ツール
import { ChainTool } from "langchain/tools";

async function make_chain( indexPath: string ) {
  // 作成済みのインデックスを読み込む
  const vectorStore = await HNSWLib.load(
    indexPath,
    new OpenAIEmbeddings()
  );

  // モデル
  const model = new ChatOpenAI({
		temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // チェーン
  const chain = VectorDBQAChain.fromLLM(model, vectorStore);
  
  return chain;
}

export const runLlm = async () => {
  // ツール
  const chainOpe = await make_chain( "index/ope" );
  const qaToolOpe = new ChainTool({
    name: "操作方法",
    description:
      "myApp 操作方法に関する質疑応答 - myAppというソフトの「操作」について質問する必要がある場合に便利です。",
    chain: chainOpe,
  });
  const chainPay = await make_chain( "index/pay" );
  const qaToolPay = new ChainTool({
    name: "お支払い",
    description:
      "myApp お支払いに関する質疑応答 - myAppというソフトの「お支払い」について質問する必要がある場合に便利です。",
    chain: chainPay,
  });
  const chainOther = await make_chain( "index/other" );
  const qaToolOther = new ChainTool({
    name: "その他",
    description:
      "myApp その他に関する質疑応答 - myAppというソフトの「その他」について質問する必要がある場合に便利です。",
    chain: chainOther,
  });

  const tools = [
    qaToolOpe,
    qaToolPay,
    qaToolOther,
  ];
  
  // モデル
  const model = new OpenAI({
    temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // エージェント
  const executor = await initializeAgentExecutorWithOptions(tools, model, {
    agentType: "zero-shot-react-description",
    returnIntermediateSteps: true,
    verbose: true,  // ツールの選択過程を含めて出力する
  });
  
  // 質問実行
  const input1 = `テーブルにヘッダーを設定する方法を教えてください。`;
  const result1 = await executor.call({ input: input1 });

  // 結果出力
  console.log(`回答1： ${result1.output}`);
  console.log(
    `Got intermediate steps ${JSON.stringify(
      result1.intermediateSteps,
      null,
      2
    )}`
  );
};
runLlm();

✅所感

メリット⭕️	デメリット❌	精度
「質問のカテゴリーを特定 → 正しい回答」を正しく実行し、理想の回答をしてくれることもある。	「質問のカテゴリーを誤って判断 → 誤った回答」が多い。例：「お支払い」の質問なのに「操作方法」のインデックスを使ってしまうなど。回答が出るまで繰り返すのでAPI使用料金が高くなる。	🔺

💡

実用的なレベルではない…💦

✅失敗時のイメージ

✅考察

💡

インデックスを正しく使い分けてもらうにはdescription（説明文）の設定が大事だと感じた💦

例えば「操作方法」のインデックスのdescriptionは以下のようにしている。

"myApp 操作方法に関する質疑応答 - myAppというソフトの「操作」について質問する必要がある場合に便利です。"

→複雑な質問をされると、この説明だけでは「操作」についての質問か判断できない。

💡

しかし専門用語が多く、カテゴリー分けが複雑なので適切なdescription（説明文）を設定するのが難しい💦

案2：chat-zero-shot-react-description

案1「zero-shot-react-description」とほぼ同じエージェント✅

💡

LLMモデルではなく、チャットモデルで使う点が異なる！

公式ドキュメント

Python版

TypeScript版

✅イメージ図

コード

※実際はインデックスを10個使ったが、以下では3個だけ記載している。

※ソフトの名前は「myApp（仮称）」としている。

// .envの読み込み
require("dotenv").config();

// モデル
import { ChatOpenAI } from "langchain/chat_models/openai";
// 埋め込み
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
// ベクトル検索エンジン
import { HNSWLib } from "langchain/vectorstores/hnswlib";
// チェーン
import { VectorDBQAChain } from "langchain/chains";
// エージェント
import { initializeAgentExecutorWithOptions } from "langchain/agents";
// ツール
import { ChainTool } from "langchain/tools";

async function make_chain( indexPath: string ) {
  // 作成済みのインデックスを読み込む
  const vectorStore = await HNSWLib.load(
    indexPath,
    new OpenAIEmbeddings()
  );

  // モデル
  const model = new ChatOpenAI({
		temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // チェーン
  const chain = VectorDBQAChain.fromLLM(model, vectorStore);
  
  return chain;
}

export const runLlm = async () => {
  // ツール
  const chainOpe = await make_chain( "index/ope" );
  const qaToolOpe = new ChainTool({
    name: "操作方法",
    description:
      "myApp 操作方法に関する質疑応答 - myAppというソフトの「操作」について質問する必要がある場合に便利です。",
    chain: chainOpe,
  });
  const chainPay = await make_chain( "index/pay" );
  const qaToolPay = new ChainTool({
    name: "お支払い",
    description:
      "myApp お支払いに関する質疑応答 - myAppというソフトの「お支払い」について質問する必要がある場合に便利です。",
    chain: chainPay,
  });
  const chainOther = await make_chain( "index/other" );
  const qaToolOther = new ChainTool({
    name: "その他",
    description:
      "myApp その他に関する質疑応答 - myAppというソフトの「その他」について質問する必要がある場合に便利です。",
    chain: chainOther,
  });

  const tools = [
    qaToolOpe,
    qaToolPay,
    qaToolOther,
  ];
  
  // モデル
  const model = new ChatOpenAI({
		temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // エージェント
  const executor = await initializeAgentExecutorWithOptions(tools, model, {
    agentType: "chat-zero-shot-react-description",
    returnIntermediateSteps: true,
    verbose: true,  // ツールの選択過程を含めて出力する
  });
  
  // 質問実行
  const input1 = `テーブルにヘッダーを設定する方法を教えてください。`;
  const result1 = await executor.call({ input: input1 });

  // 結果出力
  console.log(`回答1： ${result1.output}`);
  console.log(
    `Got intermediate steps ${JSON.stringify(
      result1.intermediateSteps,
      null,
      2
    )}`
  );
};
runLlm();

✅所感

案1「zero-shot-react-description」と同じような結果だった。

メリット⭕️	デメリット❌	精度
「質問のカテゴリーを特定 → 正しい回答」を正しく実行し、理想の回答をしてくれることもある。	「質問のカテゴリーを誤って判断 → 誤った回答」が多い。例：「お支払い」の質問なのに「操作方法」のインデックスを使ってしまうなど。回答が出るまで繰り返すのでAPI使用料金が高くなる。	🔺

💡

実用的なレベルではない…💦

✅考察

💡

案1「zero-shot-react-description」とほぼ同じなので、精度の向上は見られなかった💦

案3：chat-conversational-react-description

ユーザーと会話することに適したエージェント✅

💡

メモリ機能を使って会話の内容を記憶できる！

公式ドキュメント

Python版

TypeScript版

📄 OpenAIの新機能Function Callingを誰でも分かるようイメージを解説

✅イメージ図

コード

※実際はインデックスを10個使ったが、以下では3個だけ記載している。

※ソフトの名前は「myApp（仮称）」としている。

// .envの読み込み
require("dotenv").config();

// モデル
import { ChatOpenAI } from "langchain/chat_models/openai";
// 埋め込み
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
// ベクトル検索エンジン
import { HNSWLib } from "langchain/vectorstores/hnswlib";
// チェーン
import { VectorDBQAChain } from "langchain/chains";
// エージェント
import { initializeAgentExecutorWithOptions } from "langchain/agents";
// ツール
import { ChainTool } from "langchain/tools";

async function make_chain( indexPath: string ) {
  // 作成済みのインデックスを読み込む
  const vectorStore = await HNSWLib.load(
    indexPath,
    new OpenAIEmbeddings()
  );

  // モデル
  const model = new ChatOpenAI({
		temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // チェーン
  const chain = VectorDBQAChain.fromLLM(model, vectorStore);
  
  return chain;
}

export const runLlm = async () => {
  // ツール
  const chainOpe = await make_chain( "index/ope" );
  const qaToolOpe = new ChainTool({
    name: "操作方法",
    description:
      "myApp 操作方法に関する質疑応答 - myAppというソフトの「操作」について質問する必要がある場合に便利です。",
    chain: chainOpe,
  });
  const chainPay = await make_chain( "index/pay" );
  const qaToolPay = new ChainTool({
    name: "お支払い",
    description:
      "myApp お支払いに関する質疑応答 - myAppというソフトの「お支払い」について質問する必要がある場合に便利です。",
    chain: chainPay,
  });
  const chainOther = await make_chain( "index/other" );
  const qaToolOther = new ChainTool({
    name: "その他",
    description:
      "myApp その他に関する質疑応答 - myAppというソフトの「その他」について質問する必要がある場合に便利です。",
    chain: chainOther,
  });

  const tools = [
    qaToolOpe,
    qaToolPay,
    qaToolOther,
  ];
  
  // モデル
  const model = new ChatOpenAI({
		temperature : 0,
    maxTokens : 500,
    frequencyPenalty : 0.0,
    presencePenalty : 0.0,
  });

  // エージェント
  const executor = await initializeAgentExecutorWithOptions(tools, model, {
    agentType: "chat-conversational-react-description",
    verbose: true,  // ツールの選択過程を含めて出力する
  });
  
  // 質問実行
  const input1 = `テーブルにヘッダーを設定する方法を教えてください。`;
  const result1 = await executor.call({ input: input1 });

  // 結果出力
  console.log(`回答1： ${result1.output}`);
  console.log(
    `Got intermediate steps ${JSON.stringify(
      result1.intermediateSteps,
      null,
      2
    )}`
  );
};
runLlm();

✅所感

メリット⭕️	デメリット❌	精度
会話型のプログラムが作りやすい。	「質問のカテゴリーを誤って判断 → 誤った回答」が多い。例：「お支払い」の質問なのに「操作方法」のインデックスを使ってしまうなど。	❌

💡

カテゴリー判断の誤りは改善されず精度は悪い😫

✅考察

💡

今回は会話機能を使っていないので、このエージェントを活かせていない💦

💡

問題解決するような変更はしていないので精度がよくならないのも当然…？💦

案4：openai-functions

OpenAIのFunction Callingを使うエージェント✅

💡

Function Callingについてはこちらで解説している。

公式ドキュメント

Python版

TypeScript版