68億パラメータ日本語LLMが登場！サイバーエージェントが公開したモデルを試してみた！和製ChatGPTに成り得るのか？

!pip install transformers
!pip install accelerate

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# Transformerモデルの読み込み
# "cyberagent/open-calm-7b"は日本語のテキスト生成タスクに特化した事前学習済みモデルの名前です。
# device_map="auto"は利用可能なGPUデバイスを自動的に選択するための引数です。
# torch_dtype=torch.float16はモデルのパラメータを16ビットの浮動小数点数型で処理するための引数です。
model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-7b", device_map="auto", torch_dtype=torch.float16)

# トークナイザの読み込み
# "cyberagent/open-calm-7b"モデルと対応したトークナイザを使用します。
tokenizer = AutoTokenizer.from_pretrained("cyberagent/open-calm-7b")

# テキストの入力をトークン化し、PyTorchのテンソルに変換します。
# "AIによって私達の暮らしは、"というテキストをモデルのデバイス上に配置します。
inputs = tokenizer("AIによって私達の暮らしは、", return_tensors="pt").to(model.device)

# テキストの生成を行います。
# **inputsにはトークン化されたテキストとその他の設定が含まれています。
# max_new_tokens=64は生成するトークンの最大数を64に設定することを意味します。
# do_sample=Trueは生成時にランダムサンプリングを行うことを指定します。
# temperature=0.7はランダムサンプリングの確率分布の平滑化を制御するパラメータです。値が高いほどランダム性が高くなります。
# pad_token_id=tokenizer.pad_token_idは生成されたテキスト中に存在する可能性のあるパディングトークンを指定します。
# モデルはtorch.no_grad()のコンテキスト内で実行されます。
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=64,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
    )
    
# 生成されたトークン列を文字列にデコードします。
# tokens[0]は生成された最初のトークン列を表しています。
# skip_special_tokens=Trueは特殊トークン（例：終了トークン、パディングトークン）をスキップすることを指定します。
output = tokenizer.decode(tokens[0], skip_special_tokens=True)

# 生成されたテキストを出力します。
print(output)

text = """
AIは今後どのような進化を遂げていくのか考察してみましょう。
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

text = """
3+5=
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=10,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

text = """
以下はユーザとボットの会話文です。
ユーザ：今日は暑いね。
ボット：
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=64,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

text = """
以下はユーザとボットの会話文です。
ユーザ：「おはようございます。今日の天気は快晴です。」を英語に翻訳してください。
ボット：
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=64,
        do_sample=True,
        temperature=0.8,
        pad_token_id=tokenizer.pad_token_id,
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

text = """
1から10までの数字を合計した値を出力するpythonコードを作成せよ。
"""
inputs = tokenizer(text, return_tensors="pt").to(model.device)
with torch.no_grad():
    tokens = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=True,
        temperature=0.7,
        pad_token_id=tokenizer.pad_token_id,
    )
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)