オープンソース版ChatGPT「Open Assistant」が開発中!Open Assistantの機能向上に直接貢献してみませんか?日本語データセットを作成する方法はこちらをクリック!

【PyTorch】ベクトルを操作する代表的な関数を解説!view, reshape, transpose, unsqueeze, matmul, einsumなどを使えるようになろう!

PyTorchを使っているコードを見ているとベクトルを操作する関数がたくさん出てくると思います。しかし、どんな機能なのかわからないと自分でコードを変更しようとしても難しいです。そこで今回は、実際にベクトルを操作しながらそれぞれの関数を解説していきます。ドキュメントはこちらです。

目次

view

viewは元のTensorと同じデータで違う配列のデータを返してくれます。

第一引数は行数、第二引数は列数を表し、(元の配列の行数)×(元の配列の列数)=(第一引数)×(第二引数)でなくてはいけません。

githubなどでコードを見ているとview(-1)やview(-1, 5)などがよく見られます。

これは、第一引数が-1なら(元の配列の行数)×(元の配列の列数)=(第二引数に合わせた値)×(第二引数)となり自動的に合わせてくれます。

第一引数しかなく第一引数が-1だった場合は、行数1の配列となります。

import torch
x1 = torch.randn(4,5)
x1
"""
tensor([[ 2.0152, -0.4889,  0.6884,  0.0827, -0.0111],
        [-0.2107,  0.4966,  0.5579, -0.3411,  0.2335],
        [-0.4020, -0.5581, -0.7476, -1.5015, -0.4678],
        [-0.0260, -0.1089,  0.5966,  1.9690, -0.2223]])
"""

x2 = x1.view(10, 2)
x2
"""
tensor([[ 2.0152, -0.4889],
        [ 0.6884,  0.0827],
        [-0.0111, -0.2107],
        [ 0.4966,  0.5579],
        [-0.3411,  0.2335],
        [-0.4020, -0.5581],
        [-0.7476, -1.5015],
        [-0.4678, -0.0260],
        [-0.1089,  0.5966],
        [ 1.9690, -0.2223]])
"""

x3 = x1.view(-1)
x3
"""
tensor([ 2.0152, -0.4889,  0.6884,  0.0827, -0.0111, -0.2107,  0.4966,  0.5579,
        -0.3411,  0.2335, -0.4020, -0.5581, -0.7476, -1.5015, -0.4678, -0.0260,
        -0.1089,  0.5966,  1.9690, -0.2223])
"""

x4 = x1.view(-1, 2)
x4
"""
tensor([[ 2.0152, -0.4889],
        [ 0.6884,  0.0827],
        [-0.0111, -0.2107],
        [ 0.4966,  0.5579],
        [-0.3411,  0.2335],
        [-0.4020, -0.5581],
        [-0.7476, -1.5015],
        [-0.4678, -0.0260],
        [-0.1089,  0.5966],
        [ 1.9690, -0.2223]])
"""

また、元の配列はメモリ上においても順番に並んでいなければエラーがでます。次の例では、メモリ上でx1を転置したものをサイズ変更しようとしてエラーが出ています。

x1.T.view(10, 2)
"""
RuntimeError: view size is not compatible with input tensor's size and stride 
(at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
"""

エラーに書いてある通り、この解決策としては次の二つあります。

# viewの前にcontiguous()をつける
x1.T.contiguous().view(10, 2)

# reshapeを使う
x1.T.reshape(10, 2)

reshape

reshapeはviewとほぼ同じ働きをします。違いとして、reshapeの場合はメモリ上の並び順は違って大丈夫という点です。

x1 = torch.randn(4,5)
x1
"""
tensor([[ 2.0152, -0.4889,  0.6884,  0.0827, -0.0111],
        [-0.2107,  0.4966,  0.5579, -0.3411,  0.2335],
        [-0.4020, -0.5581, -0.7476, -1.5015, -0.4678],
        [-0.0260, -0.1089,  0.5966,  1.9690, -0.2223]])
"""

x2 = x1.reshape(10, 2)
x2
"""
tensor([[ 2.0152, -0.4889],
        [ 0.6884,  0.0827],
        [-0.0111, -0.2107],
        [ 0.4966,  0.5579],
        [-0.3411,  0.2335],
        [-0.4020, -0.5581],
        [-0.7476, -1.5015],
        [-0.4678, -0.0260],
        [-0.1089,  0.5966],
        [ 1.9690, -0.2223]])
"""

x3 = x1.T.reshape(10, 2)
x3
"""
tensor([[ 2.0152, -0.2107],
        [-0.4020, -0.0260],
        [-0.4889,  0.4966],
        [-0.5581, -0.1089],
        [ 0.6884,  0.5579],
        [-0.7476,  0.5966],
        [ 0.0827, -0.3411],
        [-1.5015,  1.9690],
        [-0.0111,  0.2335],
        [-0.4678, -0.2223]])

"""

transpose

transposeは元の配列を置換します。

x1 = torch.randn(4,5)
x1.shape
"""
torch.Size([4, 5])
"""

x2 = x1.transpose(0, 1)
x2.shape
"""
torch.Size([5, 4])
"""

unsqueeze

unsqueezeは、新たに軸を追加するために用いられます。どの軸が追加されるのかは実際の出力結果を見るとわかりやすいと思います。

x1 = torch.randn(4,5)
x1.shape
"""
torch.Size([4, 5])
"""

x1.unsqueeze(0).shape
"""
torch.Size([1, 4, 5])
"""

x1.unsqueeze(1).shape
"""
torch.Size([4, 1, 5])
"""

x1.unsqueeze(2).shape
"""
torch.Size([4, 5, 1])
"""

matmul

matmulは、行列などの積を計算します。いろいろなパターンの計算ができます。次の例以外にもいろいろできます。

x1 = torch.randn(5, 3)
y1 = torch.rand(3, 5)
torch.matmul(x1, y1).shape
"""
torch.Size([5, 5])
"""
x1 = torch.randn(9, 2, 5, 3)
y1 = torch.rand(2, 3, 5)
torch.matmul(x1, y1).shape
"""
torch.Size([9, 2, 5, 5])
"""

正直、視覚的に何やっているのか分かりにくいですね。コードを見たときに分かりやすい関数としては次のeinsumが挙げられます。

einsum

einsumは、上記のmatmulと同じように行列などの計算をします。

異なる点は、記述方法でかなり感覚的に分かりやすいです。

例えば、ミニバッチ5、行数3、列数5の行列とミニバッチ5、行数5、列数2の行列があり積を計算したい時は次のようなコードを書きます。

x1 = torch.randn(5, 3, 5)
y1 = torch.rand(5, 5, 2)
torch.einsum("bnm,bkl->bnl", x1, y1).shape
"""
torch.Size([5, 3, 2])
"""

特徴的なのは、第一引数の”bnm,bkl->bnl”ですね。

対応としては、x1のバッチサイズb, 行数n, 列数m、y1のバッチサイズb, 行数k, 列数l、出来上がったもののバッチサイズb, 行数n, 列数lとなっています。

einsumを使うとどのように行列が操作されているのか追いやすいです。他にも次のようにも使えます。

x2 = torch.randn(3)
y2 = torch.rand(4)
torch.einsum("i,j->ij", x1, y1).shape
"""
torch.Size([3, 4])
"""
x3 = torch.randn(3, 6)
y3 = torch.rand(6, 2)
torch.einsum("nm,ij->nj", x1, y1).shape
"""
torch.Size([3, 2])
"""

最後に

今回は、pytorchにおける行列関係の代表的な関数を見ていきました。言語モデルなどを作成する過程で避けては通れないところなので備忘録的にまとめました。他の関数についても順次追加していきたいと思います。

あわせて読みたい
【Pytorch】torch.catの意味や引数を詳しく解説!dim=-1を設定した場合は? torch.catはgithubでモデルの構成を見ていると、かなり登場するので色々と調べてみました。例を使って色々と試しています。 【の意味】 torch.catの役割は、与えられた...
あわせて読みたい
【Pytorch】torch.sumのdim=-1, 0, (1, 1)などの意味とは?実際にコードを動かして検証してみた githubでコードを見ていると、torch.sum(m, dim=-1)のように傍目では意味が分からない部分が出てきたので、torch.sum()について色々と調べてみました。 【の役割】 torc...
あわせて読みたい
【Pytorch】nn.Linearの引数・ソースコードを徹底解説! torch.nn.Linearは基本的な全結合層です。今回は、nn.Linearの引数とソースコードをしっかりと説明していきます。曖昧な理解を直していきましょう。

この記事が気に入ったら
フォローしてね!

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメントする

目次