データ活用やDXがどんどん解る用語集　　　
Chain-of-Thoughtプロンプティング

Chain-of-Thoughtプロンプティングとは、ChatGPTなどの対話型のAIを活用する際に、入力（プロンプト）を与える際に思考の過程をガイドとして与えることにより、より望んだ出力が得られるようにするプロンプト作成のテクニックです。
Chain-of-Thought はCoTと略されることがあります。また、思考過程を入力として与えずChatGPT自身に考えさせることでも出力の改善がなされることがあり、こちらのテクニックのことをChain-of-Thoughtと呼ぶことがあります。

ChatGPTは、実に様々なことができます。例えば（ちょっとした）計算を行うことができることがあります。

文章が言っていることを理解した上に計算して答えを返しているような動作をしています。恐るべき動作ですが、ChatGPTは難しい問題になると計算を間違えるケースが出てきます。

名前のもとになったGoogleの論文から

Chain-of-Thoughtプロンプティングは元々Googleの論文で提案されたテクニックです。

⇒ [2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 

その論文から「計算に失敗する例」を引用します。対話AIの性能は日々上がっているので、現時点では正しく回答することが多いかもしれません。

コンピュータなのに計算を間違えるのは変に思えるかもしれません。でもChatGPTはGPTという大規模言語モデルにより開発されており、GPTは計算するタスクの学習はなされていません。

⇒ 大規模言語モデル（LLM：Large Language Model）｜用語集 

学習させていないのに「作ってみたらなぜか計算もできる能力があった」ものであり、なぜ計算できるのか解っていませんし、取り組ませる問題によって計算出来たりできなかったりします。このように計算に限らず、ChatGPTには様々なタスクで出来たりできなかったりすることがあります。

補助をすると解けるようになる

このように解くことができない問題を、少しプロンプト（入力）を工夫して補助することで解けるようになる場合があるというのが、Googleの研究者が発見して論文として報告している内容です。まずは見てもらいましょう。

まず、答えが正しくなっています（答えは9です）。そして入力がずいぶんと増えています。

TOPへ

質問をする前に、「質問と答えのやり取り一式」が例として前に追加されています。これは、回答してほしい例を示して教えるテクニックである、「Few-Shotプロンプティング」が活用されています（別に記事を書いていますのでご覧ください）。

⇒ Few-Shotプロンプティング｜用語集 

では、Few-Shotプロンプティングで何を例として教え込んでいるのでしょうか？例になっているのは、同じく計算問題で、ChatGPTは自分で解ける問題です。ただし、自分で説かせた場合には「The answer is 11.（答えは11です）」とだけ答えます。その回答に、以下の下線部を人間が追記したものを例として与えています。

ChatGPTはこれを例として回答するようになり、他の問題についても同じような形式で回答するようになります。

何も補助しないと「答えは27です。」とだけ答えて間違っていましたが、状況を整理してそれに対応する計算式を示して計算結果を示す動作をするようになり、その結果、正しく回答するようになりました。

TOPへ

これはつまり、答えの前に「正しい答えを導き出す思考プロセス」を文字として書き起こしたものを添えてあるのです。このようにすると、ChatGPTはこれを例として、同じような形式の回答をしようとします。

その結果、いきなり答えを生成しなくなります。なぜならその前に別の出力（思考過程）をしなさいと例で指示されているからです。そこでまず、指示された形式の思考過程での出力を生成します。この例では、与えられた条件を順番に整理し、それに対応した計算式を提示、それに引き続いて答えを生成するようになります。つまり「ChatGPTの思考過程を制御するテクニックである」と言えます。

回答が間違っていた場合でも、このようにすればどうして間違ったのか把握できることもあります。さらには、計算のように正解があるわけではないタスク、例えば相手を説得する説明文を作るときに、どういう論理の組み立てで作ってほしいか指定するようなことも可能になります。

TOPへ

効果はありそうだけれどちょっと手間のかかるテクニックに思えたかもしれません。しかし、思考過程もChatGPTに考えさせることで、とても簡単に回答精度の向上を図る方法があります。先ほどのGoogleの論文の「間違える例」を使ったテクニックの利用例です。

こちらでも正しくリンゴは9個だと答えています。しかも、段階的に考えるように具体的に指示をしていないのに、ChatGPTが自分で段階的に考えています。

入力で変更した点は、ただフレーズを一つ足しただけです。

このワンフレーズを足すだけで、ChatGPTは自分で問題を段階的に分割して考えて回答するようになりました。このフレーズ以外にも、様々な思考スタイルを指定すると、それに応じて出力が変化することが知られています。

人間が例を与えていないのに、Chain-of-Thoughtで狙っているような効果が出るテクニックであるため、「Zero-shot CoT（Zero-shot Chain-of-Though）」と呼ばれることがあります。あるいは、このテクニックのことがChain-of-Thoughtプロンプティングだと呼ばれていることもあるように思います。

入力の末尾に決まったワンフレーズ足すだけで非常に簡単に利用でき、それでいて十分に出力を改善できる可能性があるので、覚えておいて損はない利用テクニックだと思います。

TOPへ

• 生成AI
• 大規模言語モデル（LLM：Large Language Model）
• ChatGPT
• プロンプトエンジニアリング
  • -ロールプレイプロンプティング / Role-Play Prompting
  • -プロンプトテンプレート
  • -Few-Shot プロンプティング / Few-shot Learning
  • -CoT：Chain-of-Thought / Zero-shot CoT
  • -Self-translateプロンプティング / 英語で考えて日本語で回答してください
  • -The Flipped Interaction Pattern（解らないことがあったら聞いてください）

•  
•