【WEBGPT】人間のようにウェブから回答を探してくるGPT-3のファインチューニングモデル！GPT-3をファインチューニングしたら何ができるのか？

2022年2月28日2022年9月9日

今回は、OpenAIが発表した人間的なフィードバックによるブラウザ支援型質問応答システムであるWEBGPTについてお話しします。ウェブから情報を取ってくると聞くとfacebook(meta)が公開したblender bot2.0とLaMDAを思い出しますね。論文はこちらにおいておくので是非読んでみてください。

詳しい学習方法やデータセットなどは論文を読んで頂くとして、WEBGPTの活用方法を私なりに考えてみようと思います。

WEBGPTとは

WEBGPTはテキストベースのWebブラウザーを使って、自由形式の長文の質問により正確に答えられるようにGPT-3をファインチューニングしたモデルです。GPT－３は2020年7月にOpenAIが発表した高性能な事前学習モデルになります。このモデルは、1750億ものパラメータを持ち様々なタスクをこなします。詳しくはGPT-3で検索してみてください。

WEBGPTの活用事例

WEBGPTは、検索エンジンであるBingを用いて回答を生成しています。Bingはすでに非常に強力であり、多数の最新文書をインデックス化しているので、よくあるような古い情報による回答を避けることができます。しかし、それでもネット上には間違った情報やバイアスのかかった情報が散見されます。そこで、WEBGPTの仕組みを利用する上では、検索対象である辞書のようなものを作成するところから始めることでそのような情報を取ってこないようにすることができると考えられます。では、どのような事例がありそうなのか考えてみたので紹介します。

企業におけるQ&A

最近は、ボットなどを利用した質問対応が良く見られるようになりました。おそらくそのようなボットは、これまでの質問内容に近い質問の答えを単に表示していたり、BERTなどのtransformerベースのモデルを活用していたりするのだと思います。そこでより根拠のある回答をするためにWEBGPTの仕組みを利用すれば、より人間に近い質問対応ができるのではないかと考えられます。

医療における病名判定の補助

病名判定の研究はこれまでも多くされていますが、その上でなぜそのような判断をしたのかという根拠が分からないという問題がよく指摘されています。考えられる方法としては、症状を説明変数として予測するといったものがありますが、前述の通りこの症状があるからこの病名だというのは根拠として薄いというしかありません。また、この方法では判別できる病名数をモデルの作成者が決めることになるので実用的であるとは言いにくいと思います。

そこで、WEBGPTの仕組みを転用して、症状などを文章で投げかけることで根拠とともに病名を出力、または、もっと情報が欲しい場合は必要な情報を得られるような質問を出力することで、より人間らしい応答ができるのではないかと考えます。

実際にこれらのシステムを作るとなるといくつか問題点があります。例えば、何を検索のもとにするのかという問題があります。使えそうなので考えるとカルテなどが挙げられます。また、カルテに加えて医療本や論文などを検索対象とすることで診断の幅を増やすことができるのではないかと考えられます。さらに、独自のサイトを作成することで、そのサイトにクエリを飛ばすだけで薬剤をどのくらい提供すればいいのかも判断できればかなり活用の幅が広がるのではないかと思っています。

分析ツールとしての活用

公的なデータ、例えばこちらのようなサイトにあるデータは時に形式がデータ分析に適していなかったり、いちいちデータを取ってくるのがめんどくさかったりします。そこで、WEBGPTではコマンドとしてSearch <query>などを設定して人間の動作を模倣するように学習させているところを、「分析」「取得」「形を整える」「分析」といったコマンドに置き換えて学習することで、２０１９年度と２０２０年度における食糧自給率の差を見たいと送ればグラフを作成してくれるようにできるのではないかと考えました。これが実現できるならば、分析ツール以外にもpowerpointを言葉で指示するだけで作成してくれたり、コマンドにできるものならある程度できたりするのではないでしょうか。