データ活用やDXがどんどん解る用語集　　　　
Generated Knowledgeプロンプティング（知識生成プロンプティング）

Generated Knowledgeプロンプティング（知識生成プロンプティング）とは、ChatGPTなど大規模言語モデル自身に生成させた知識を用いて、出力を改善するテクニックです。適切な補助情報を与えた方がChatGPTはより適切な出力をすることが多くなりますが、そのような補助情報の生成もChatGPT自身に行わせるテクニックです。
例えば、そのまま質問をした場合には知識がなく間違った回答を返してしまう場合に、質問をする前にChatGPT自身に質問に関連した知識を出力させ、それにより出力を改善するテクニックです。

最近のChatGPTはどんどん賢くなっているので、あからさまな間違いを答えるようなことはかなり減りました。しかし初期には、明らかな間違いを自信満々に答えるような（ハルシネーション）問題はおなじみのものでした。

初期ハルシネーションのイメージ（著者が当時風に創作したもの）：

ここまであからさまに間違っている回答は最近では随分減りましたが、このような挙動は今でもなくなったわけではありません。回答の一部にありもしないことや筋が通らないことが紛れ込んでいたりしないのかは、今でも利用上気をつけなければいけないこととされます。

上記のような例はまだしも愛嬌もあり、ある意味楽しいくらいの感じがありますが、明確に正解のあることを堂々と間違えてしまうこともありました。例えば、こんな感じです。

神奈川の面積の方が広いので間違いですが、このようなことも起こりがちでした。しかも「知らないから間違えてもしょうがない」のではなく、個別に聞くと知っていることだったりします。

つまり、「そもそも知らないから間違えている」とは限らないのですね。実際、上記のような回答をさせてから引き続いて聞いてみると、正しい回答をすることもありました。

TOPへ

ChatGPTに「知っていること」を聞いているのに、なぜ間違えてしまうのでしょうか。理不尽にすら思える挙動ですが、ChatGPT（大規模言語モデル）は「この次に出力されそうな単語は何か」を予測して出力しているだけで、論理的に思考しているわけではないので、このような不思議な挙動が発生してしまうことがどうもあります。

そこで、知識生成プロンプティング（Generated Knowledgeプロンプティング）では、「ChatGPTに知識を生成させる」（あるいは回答に必要だと思われる知識を引き出す）フェーズと、その知識を踏まえて「答えて欲しいことを出力させるフェーズ」に分離することで、「知っていることを踏まえて回答させる」ことを試みます。上記の例なら、

• 入力：埼玉県と神奈川県のどちらが広いですか？
• 間違えた出力をしてしまう

「知っているはずの知識を活用できずに間違えている」わけですが、例えばこのような手順を取ることで対策します。

• 知識を生成させる 　　　
  • ◦回答に際して「生成AIに考慮参照して欲しい各種のこと」を、事前に生成させる段階を踏む
  • ◦例えば：
    埼玉県の面積について教えてください→正しく答える
    神奈川県の面積について教えてください→正しく答える
• 欲しい回答を得る 　　　
  • ◦生成した知識をプロンプトに添える、あるいは知識を生成させた会話をそのまま続けて（会話の文脈に含ませて）、欲しい回答を出力させる
  • ◦例えば：
    上記を踏まえて、埼玉県と神奈川県のどちらの面積が広いですか？→正しく答える

間接的に知識を使うような質問だと間違えやすくても、このように必要な知識を直接聞いてしまえば正しく答えることが多くなります。また、このように段階的に回答をさせると何を根拠にどのように応答しているのか解りやすくなるため、思った通りの回答が得られない場合に何がいけないのかも理解しやすくなることがあります。

TOPへ

世間で日常的に利用できる使い方について考える前に、元になった論文に掲載されている手順について、一度紹介をしておきます（難しすぎるな、と思ったら読み飛ばしてください）。

⇒ Generated Knowledge Prompting for Commonsense Reasoning（Jiacheng Liu）

• 知識生成 　　　
  • ◦「Few-Shot Learning プロンプティング」を用いて、大規模言語モデルに「質問文」に関連した「狙った種類の知識」を多数生成させる
• 回答を生成する 　　　
  • ◦元の質問文に、「生成した多数の知識」をそれぞれ組み合わせたり組み合わせなかったりするプロンプトでの質問を繰り返し、一番多く得られる回答を正解とみなす。

元論文においては、「数値に関連する知識」とか「社会常識」とか「科学的常識」に関連する「正解のある質問」において、そのまま聞くよりも正答率が上がるテクニックとして提案されています。

「知識生成」フェーズでは、元質問を使って「狙った種類の知識」を複数生成させます。人が工夫して知識を引き出すのではなく、「Few-Shot Learning プロンプティング」を用いて、以下の「{question}」のところに自分たちが行いたい質問を入力して知識生成をさせます。元論文で「数値的な知識」を引き出す場合の例として掲載されているものは以下のようなものです（訳は私がつけました）。

これは、与えた質問文から「どのような方向に膨らませて知識生成して欲しいか」をFew-Shot プロンプティングでガイドしているとみなせます。ChatGPTなどの生成AIは確率的に動作するので質問を繰り返し与えると、毎回違った回答（知識の生成）をします。つまり、単にこれに何度も回答させることで、「知識」を多数生成することができます。

さて次は、こうやって生成された「知識」をどう使うかです。

手作業ではしんどいのですが、「元の質問文」に生成させた多数の知識をそれぞれ、組み合わせたり組み合わせなかったりしたプロンプトを多数作って、それらで何回も回答させます。得られた回答のうち、答えとして帰ってきた回数が多いものを得られた回答とみなします。例えば、埼玉県と神奈川県のどちらが広いか聞いた場合、50回のうち42回が「神奈川県」だと言っているなら、神奈川県が回答だとします。

他に、「社会の一般知識」で知識生成をさせる例として論文に載っているものが以下になります。

TOPへ

このような考え方は、普段ChatGPTなどを利用する時にどのように役にたてることができるでしょうか。

まず「関連する知識を生成」させてから「質問をする」段階を踏むテクニックがあること自体が参考になるはずです。あるいは、うまく答えてくれないなと思ったときでも「知らないから」ではなくて「知っているが知識を引き出せていない」状況があるかもしれない、という引き出しがあれば、うまく行かないときに取れる対策を増やすことができるはずです。

• プロンプトを作るテクニックとして：　　　
  • ◦一度知識を生成させる段階を踏んでから、聞きたいことを聞くテクニック
• 思った通りの結果にならないな、の時に考える視点として：　　　
  • ◦「そもそも知らないから/能力を超えているから答えられない」場合以外に、「知っているが知識をうまく使って回答できていない」ことがある。

元論文ではやや大がかりな手順が取られていますが、プロンプトのテクニックとしては、聞きたいことそのものを聞く前に、「関係しそうな事実や数字、考慮すべきことについてあれこれ聞いてみる」ことで、必要な知識を事前に生成させているとみなせると思います。

関連することを聞いて理解を深めてから本当に聞きたいことを答えてもらう質問を作ることになるはずですから、我々自身がより適切な質問文を思いつく手助けになりそうです。

また、自分たちが利用している分野や用途にあわせて、元論文が行っているようなFew-Shot プロンプティングなどを用いた「知識を生成させるテンプレート」を整備することもできるでしょう。質問をするたびに自分たちにあわせて狙った方向で知識生成がなされ、それを踏まえて優れた回答がなされる「プロンプトテンプレート」は自社にとって生成AI活用の資産になるかもしれません。

また、神奈川県の面積のように事実や関係情報を生成させるだけではなく、回答にあたって考慮すべきことを事前検討させることもできるでしょう。例えば、キャッチフレーズを考えてもらっているのなら「良いキャッチフレーズとはどういう性質をもったものか」などを聞いてみたりして事前生成させ、それらを踏まえて、キャッチフレーズ案を提示してもらうようなこともできるでしょう。

RAG（拡張検索生成）との類似性

またこのテクニック、昨今話題の「RAG」と似ているところがあります。RAGでは外部から知識を取ってきて元質問と組み合わせますが、こちらでは「大規模言語モデル内部から」必要な知識を取ってきて元質問を組み合わせているところが違うものの、プロンプトに知識を添えて回答させる考え方は似ています。

RAGと同じ長所もあり、「どんな知識を与えて回答させて、どんな知識を”与えず”に回答させたか」も比較的明確になります。今回のプロンプトのテクニックなら、知識生成で利用する大規模言語モデルと、最終的に質問をする大規模言語モデルを切り分けてしまうと、RAGとかなり似た状況になるはずです。

例えば、キャッチフレーズを考えさせているのだとします。事前知識や、良いキャッチフレーズが満たすべきことについて、一度洗い出しをさせてそれをメモします。そこでいったん会話を終わらせて（つまりChatGPT側で覚えていることを消して）、別途新たに会話を始めます。その上でメモしたことから使いたいものだけを選んで、

「次の『情報』や『良いキャッチフレーズが満たすべき性質』を参照してキャッチフレーズを生成してください」

として考えさせれば、選んだものを使って出力をさせることができます。参照させるもの参照させないものを変えることで出力がどのように変化するか、試行錯誤することもできるはずです。

さらには、「生成させた知識」について「一般的に有用なもの」が見つかったなら、自社にとっての資産になり、以後のChatGPT利用で活用することもできるでしょう。

TOPへ

• 生成AI
• 大規模言語モデル（LLM：Large Language Model）
• ChatGPT
• プロンプトエンジニアリング
  • -ロールプレイプロンプティング / Role-Play Prompting
  • -プロンプトテンプレート
  • -Few-Shot プロンプティング / Few-shot Learning
  • -CoT：Chain-of-Thought / Zero-shot CoT
  • -Self-translateプロンプティング / 英語で考えて日本語で回答してください
  • -The Flipped Interaction Pattern（解らないことがあったら聞いてください）
  • -Generated Knowledgeプロンプティング（知識生成プロンプティング）