rinna社が大規模な13億ものパラメータを持つGPTを公開！これまでのモデルサイズと性能は違うのか？zero shot, one shotぽいことで検証してみた

rinna株式会社が、日本語に特化した13億パラメータのGPT言語モデルを開発して公開しました。この言語モデルはNLPモデルライブラリHugging Faceに商用利用可能なMITライセンスで公開されています。 

これまでもGPT-2やBERTの事前学習モデルがrinna社より公開されていますが、さらに大規模なモデルが公開されたということで性能が気になります。こちらにGPTに入力するテキストを工夫することで文章生成、分類、翻訳などの出力を得ることができると書かれているので、zero shot, one shotぽいことをして性能を検証してみようと思います。

オープンな1760億パラメータを持つ大規模言語モデル（BLOOM）が公開されました。
このモデルについてもどんなことができるのかを検証してみました。

あわせて読みたい

【BLOOM】1760億パラメータを持つ多言語モデルの性能・使い方を調べてみた！ 「BLOOM」とは、産業規模の計算リソースを使用して大量のテキストデータを用いて学習した多言語モデルです。 人間が書いたテキストとほとんど区別できない46の自然言語と13のプログラミング言語の一貫したテキストを出力することができます。 また、GPT-3でも見られたような明示的に学習していないタスクについてもテキスト生成タスクとして投げかけることで、その実行を指示することができます。

rinna社が公開しているGPT

rinna社は次のように様々なモデルを公開してくれているので、それぞれのマシンスペックにあったモデルサイズを選択できます。今回公開されたjapanese-gpt-1bでは、学習データとしてJapanese C4が追加されています。C4はColosal Clean Crawled Corpusの略称で、Webから取得できるCommon Crawlを元にクリーニングされた大規模データセットです。この日本語の部分を使ったデータセットがJapanese C4になります。

検証方法

すべてのモデルサイズで検証してもいいですが、今回はjapanese-gpt2-smallと比べていきます。

理由としては、一般的なマシンで扱える中で大規模なモデルである点が挙げられます。

Google Colaboratoryでjapanese-gpt-2-mediumをファインチューニングしようとしてもできない場合がありますが、japanese-gpt2-smallなら大体の場合できます。

検証については、ポジネガ判定・Question and Answer・足し算の３つのタスクで行います。例を何も与えずそのまま答えてもらうzero shotと例を１つだけ与えてから答えてもらうone shotで性能が変化するのかも見ていきます。

どのようなプロンプトの設定がいいのかについては、こちらで検証しています。

あわせて読みたい

日本語版GPTにおけるzero shot, one shot, few shotでは、どのようにプロンプトを設定すればよいのか？... 昨今の自然言語処理の分野における進歩は著しく、今後も発展していくと考えられます。それらの流れの中でGPT-3、GLaM、LaMDAなど様々な大規模言語モデルが発表されており、これらのモデルのように大規模なモデルではそのモデルだけでいくつものタスクをこなせることが分かっています。そこで、rinna社が公開した13億のパラメータを持つGPTを用いて、どのようなプロンプトで推論すればいいのかを検証していきたいと思います。

ポジネガ判定

GPTにポジネガ判定をタスクとして認識させるために文は「ポジティブかネガティブか判定してください。」から始まるようにしています。またタスクと問題文の間は改行を入れ、例と問題の間にはタブを入れています。また、回答は=の後にしてもらえるようにしています。このようにすることで、それぞれの役割をGPTに教えています。（確率的に性能が上がるような気がしました。）それっぽくなるなら間に入れる文字はなんでもいいと思います。

では性能を調べていきたいのですが、同じ文章を何度も試して正解した回数を計測するか、違う文章を一回ずつ試して正解した回数を計測するかによって意味合いが違ってきてしまうので、今回は前者の方法で調べていきます。理由としては、同じ入力でも出力が変化するので後者の方法で行うとたまたま上手くいった可能性を否定できないからです。

# zero shot
"ポジティブかネガティブか判定してください。\n今日は良い一日だった=" # 答えはポジティブ
# one shot
"ポジティブかネガティブか判定してください。\n今日は良い一日だった=ポジティブ\t今日は何もできなかった=" # 答えはネガティブ

上記の入力をzero shot, one shotそれぞれで10回行って返ってきた回答がこちらです。

違いが顕著に現れています。japanese-gpt2-smallは、zero shotにおいてタスクを認識できていないように感じます。one shotにおいては、少しだけタスクを理解しているように感じますが、あまり良い結果とは言えません。その一方でjapanese-gpt-1bは、zero shotにおいてほぼほぼタスクを理解しており、かなり精度もよさそうです。one shotにおいては、10回以上試してもすべてネガティブと回答してくれました。これは、13億のパラメータの中にタスクを理解する部分を獲得できているのではないかと考えられます。

Question and Answer

次は、文章が与えられ、その中に答えがある質問をして回答してもらうQuestion and Answerを試してみます。ポジネガ判定と同じように、「質問に答えてください。」から始めます。今回は、タスクと与えた文章の間に改行、与えた文章と質問の間にタブを入れています。

# zero shot
""質問に答えてください。\n山田はカレーを食べている。\t山田は何を食べている？="" # 答えはカレー
# one shot
"質問に答えてください。\n山田はカレーを食べている。\t山田は何を食べている？=カレー\n池崎の今日の夕飯は蕎麦だ。\t池崎の今日の夕飯は？=" # 答えは蕎麦

上記の入力をzero shot, one shotそれぞれで10回行って返ってきた回答がこちらです。

こちらも違いが顕著に現れています。Japanese-gpt2-smallは、zero shot, one shotどちらにおいてもタスクを認識しているというよりは文章として続く言葉を選んでいる印象です。一方でjapanese-gpt-1bは、zero shot, one shotのどちらにおいてもタスクをタスクとして認識している印象です。one shotではその傾向が強く出ていると感じます。簡単な文章だったのでできた可能性はありますが、Japanese-gpt2-smallではできていなかったことができているというのは良い結果だと思います。

足し算

最後は、足し算をさせてみてどれだけ正解するのか見ていきます。例に倣って、「足し算してください。」から文を始めます。改行とタブを入れるところはQuestion and Answerと同じです。

# zero shot
"足し算してください。\n7+2=" # 答えは9
# one shot
"足し算してください。\n7+2=9\t3+4=" # 答えは7

(一桁)＋(一桁)の計算なので、これでできなかったらそれ以上はもっとできないと考えて一番簡単な部類の計算を与えています。上記の入力をzero shot, one shotそれぞれで10回行って返ってきた回答がこちらです。

japanese-gpt2-smallは、zero shot, one shotどちらにおいても足し算をやろうとする感じが見られません。数字ではない×や÷が出てきたので、タスクとしては認識できていない印象です。japanese-gpt-1bは、zero shot, one shotどちらにおいても数字を返してくれており、何かしら足し算をしようとしている印象は感じられます。しかし、精度はzero shot, one shotで違いはあまり感じられません。one shotにおいては一度だけ正解していますが、たまたま当たっただけだと考えられます。この精度の問題は、学習データの中に計算に関するデータが少なかった、もしくはなかったために起こったものだと思われます。

まとめと所感

今回は、rinna社が新たに大規模言語モデルを公開したということでその性能について検証していきました。足し算のタスクは不得意でしたが、ポジネガ判定・Question and Answerにおいて従来のモデルを上回る回答ができることを確認しました。このことからもモデルサイズの増加は、性能を向上させるために有効であることが分かりますが、なかなかそのような大規模モデルは個人には作成できないのが残念なところです。また、日本語の学習データセットは英語の学習データセットと比べてかなり少ないので、そのあたりもモデル作成の障壁になっていると思います。だからこそ今回riina社が大規模モデルを公開したのは大きな意味を持っていると考えます。例えば、このモデルを事前学習モデルとしてファインチューニングすることで少しのデータで分類問題に特化したモデルが作れます。このような活用が多くの分野でできると思うので、私もスペックを満たしたマシンがあればいろいろとやってみたいと思います。