【PyTorch】ベクトルを操作する代表的な関数を解説！view, reshape, transpose, unsqueeze, matmul, einsumなどを使えるようになろう！
PyTorchを使っているコードを見ているとベクトルを操作する関数がたくさん出てくると思います。しかし、どんな機能なのかわからないと自分でコードを変更しようとしても難しいです。そこで今回は、実際にベクトルを操作しながらそれぞれの関数を解説していきます。ドキュメントはこちらです。
view
viewは元のTensorと同じデータで違う配列のデータを返してくれます。
第一引数は行数、第二引数は列数を表し、（元の配列の行数）×（元の配列の列数）=（第一引数）×（第二引数）でなくてはいけません。
githubなどでコードを見ているとview(-1)やview(-1, 5)などがよく見られます。
これは、第一引数が-1なら（元の配列の行数）×（元の配列の列数）＝（第二引数に合わせた値）×（第二引数）となり自動的に合わせてくれます。
第一引数しかなく第一引数が-1だった場合は、行数１の配列となります。
import torch
x1 = torch.randn(4,5)
x1
"""
tensor([[ 2.0152, -0.4889, 0.6884, 0.0827, -0.0111],
[-0.2107, 0.4966, 0.5579, -0.3411, 0.2335],
[-0.4020, -0.5581, -0.7476, -1.5015, -0.4678],
[-0.0260, -0.1089, 0.5966, 1.9690, -0.2223]])
"""
x2 = x1.view(10, 2)
x2
"""
tensor([[ 2.0152, -0.4889],
[ 0.6884, 0.0827],
[-0.0111, -0.2107],
[ 0.4966, 0.5579],
[-0.3411, 0.2335],
[-0.4020, -0.5581],
[-0.7476, -1.5015],
[-0.4678, -0.0260],
[-0.1089, 0.5966],
[ 1.9690, -0.2223]])
"""
x3 = x1.view(-1)
x3
"""
tensor([ 2.0152, -0.4889, 0.6884, 0.0827, -0.0111, -0.2107, 0.4966, 0.5579,
-0.3411, 0.2335, -0.4020, -0.5581, -0.7476, -1.5015, -0.4678, -0.0260,
-0.1089, 0.5966, 1.9690, -0.2223])
"""
x4 = x1.view(-1, 2)
x4
"""
tensor([[ 2.0152, -0.4889],
[ 0.6884, 0.0827],
[-0.0111, -0.2107],
[ 0.4966, 0.5579],
[-0.3411, 0.2335],
[-0.4020, -0.5581],
[-0.7476, -1.5015],
[-0.4678, -0.0260],
[-0.1089, 0.5966],
[ 1.9690, -0.2223]])
"""また、元の配列はメモリ上においても順番に並んでいなければエラーがでます。次の例では、メモリ上でx1を転置したものをサイズ変更しようとしてエラーが出ています。
x1.T.view(10, 2)
"""
RuntimeError: view size is not compatible with input tensor's size and stride
(at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
"""エラーに書いてある通り、この解決策としては次の二つあります。
# viewの前にcontiguous()をつける
x1.T.contiguous().view(10, 2)
# reshapeを使う
x1.T.reshape(10, 2)reshape
reshapeはviewとほぼ同じ働きをします。違いとして、reshapeの場合はメモリ上の並び順は違って大丈夫という点です。
x1 = torch.randn(4,5)
x1
"""
tensor([[ 2.0152, -0.4889, 0.6884, 0.0827, -0.0111],
[-0.2107, 0.4966, 0.5579, -0.3411, 0.2335],
[-0.4020, -0.5581, -0.7476, -1.5015, -0.4678],
[-0.0260, -0.1089, 0.5966, 1.9690, -0.2223]])
"""
x2 = x1.reshape(10, 2)
x2
"""
tensor([[ 2.0152, -0.4889],
[ 0.6884, 0.0827],
[-0.0111, -0.2107],
[ 0.4966, 0.5579],
[-0.3411, 0.2335],
[-0.4020, -0.5581],
[-0.7476, -1.5015],
[-0.4678, -0.0260],
[-0.1089, 0.5966],
[ 1.9690, -0.2223]])
"""
x3 = x1.T.reshape(10, 2)
x3
"""
tensor([[ 2.0152, -0.2107],
[-0.4020, -0.0260],
[-0.4889, 0.4966],
[-0.5581, -0.1089],
[ 0.6884, 0.5579],
[-0.7476, 0.5966],
[ 0.0827, -0.3411],
[-1.5015, 1.9690],
[-0.0111, 0.2335],
[-0.4678, -0.2223]])
"""transpose
transposeは元の配列を置換します。
x1 = torch.randn(4,5)
x1.shape
"""
torch.Size([4, 5])
"""
x2 = x1.transpose(0, 1)
x2.shape
"""
torch.Size([5, 4])
"""unsqueeze
unsqueezeは、新たに軸を追加するために用いられます。どの軸が追加されるのかは実際の出力結果を見るとわかりやすいと思います。
x1 = torch.randn(4,5)
x1.shape
"""
torch.Size([4, 5])
"""
x1.unsqueeze(0).shape
"""
torch.Size([1, 4, 5])
"""
x1.unsqueeze(1).shape
"""
torch.Size([4, 1, 5])
"""
x1.unsqueeze(2).shape
"""
torch.Size([4, 5, 1])
"""matmul
matmulは、行列などの積を計算します。いろいろなパターンの計算ができます。次の例以外にもいろいろできます。
x1 = torch.randn(5, 3)
y1 = torch.rand(3, 5)
torch.matmul(x1, y1).shape
"""
torch.Size([5, 5])
"""x1 = torch.randn(9, 2, 5, 3)
y1 = torch.rand(2, 3, 5)
torch.matmul(x1, y1).shape
"""
torch.Size([9, 2, 5, 5])
"""正直、視覚的に何やっているのか分かりにくいですね。コードを見たときに分かりやすい関数としては次のeinsumが挙げられます。
einsum
einsumは、上記のmatmulと同じように行列などの計算をします。
異なる点は、記述方法でかなり感覚的に分かりやすいです。
例えば、ミニバッチ5、行数3、列数5の行列とミニバッチ5、行数5、列数2の行列があり積を計算したい時は次のようなコードを書きます。
x1 = torch.randn(5, 3, 5)
y1 = torch.rand(5, 5, 2)
torch.einsum("bnm,bkl->bnl", x1, y1).shape
"""
torch.Size([5, 3, 2])
"""特徴的なのは、第一引数の”bnm,bkl->bnl”ですね。
対応としては、x1のバッチサイズb, 行数n, 列数m、y1のバッチサイズb, 行数k, 列数l、出来上がったもののバッチサイズb, 行数n, 列数lとなっています。
einsumを使うとどのように行列が操作されているのか追いやすいです。他にも次のようにも使えます。
x2 = torch.randn(3)
y2 = torch.rand(4)
torch.einsum("i,j->ij", x1, y1).shape
"""
torch.Size([3, 4])
"""x3 = torch.randn(3, 6)
y3 = torch.rand(6, 2)
torch.einsum("nm,ij->nj", x1, y1).shape
"""
torch.Size([3, 2])
"""最後に
今回は、pytorchにおける行列関係の代表的な関数を見ていきました。言語モデルなどを作成する過程で避けては通れないところなので備忘録的にまとめました。他の関数についても順次追加していきたいと思います。
この記事が気に入ったら
フォローしてね！
コメント