今回、画像分類で精度を高めるために複数データの入力できる学習モデルを作成した。その経緯から始めて実際のモデリングまでを書くことにする。

前提

今回は洋服の図面を読み込み、それがなんの種類かを判別するCNNを作成した。

図面ということで、基本的に白い背景に黒線が引かれただけの画像である。
次のサイトにもあるように、CNNはシルエットなどの情報に弱い性質がある。理由の１つはCNNの畳み込みが局所的なピクセルを見て判断するためである。写真など材質がわかるものであれば局所的に取りうる色の種類が無数にあり、特徴を見出すことが比較的容易であるのに対して、今回のような白い背景に黒い線だと局所的に取りうる色の種類が白と黒の組み合わせしかないため、局所的性質で判定することは非常に難しい。
また、CNNは「全体としてこういう形である」という大域的な図形を見ているわけではないことも難易度が上がる要因になっている。

https://ai-scholar.tech/articles/others/cnn-shap-ai-110

まずは単純なCNNを実装してみる。

import torch
import torch.nn as nn
import torch.optim as optimizers
import torch.nn.functional as F


class CNN(nn.Module):
    def __init__(self):
        super().__init__()

        self.conv1 = nn.Conv2d(3, 64,
                                kernel_size=(7, 7),
                                stride=(2, 2),
                                padding=3)
        self.bn1 = nn.BatchNorm2d(64)
        self.relu1 = nn.ReLU()
        self.pool1 = nn.MaxPool2d(kernel_size=(3, 3),
                                    stride=(2, 2),
                                    padding=1)

        self.conv2 = nn.Conv2d(64,128,
                                kernel_size=(7, 7),
                                stride=(2, 2),
                                padding=3)
        self.bn2 = nn.BatchNorm2d(128)
        self.relu2 = nn.ReLU()
        self.pool2 = nn.MaxPool2d(kernel_size=(3, 3),
                                    stride=(2, 2),
                                    padding=1)

        self.conv3 = nn.Conv2d(128,256,
                                kernel_size=(7, 7),
                                stride=(2, 2),
                                padding=3)
        self.bn3 = nn.BatchNorm2d(256)
        self.relu3 = nn.ReLU()
        self.pool3 = nn.MaxPool2d(kernel_size=(3, 3),
                                    stride=(2, 2),
                                    padding=1)


        self.relu4 = nn.ReLU()
        self.fc = nn.Linear(256, 1000)
        #self.block_model1 = Block(64,256)

    def forward(self, x):
        h = self.conv1(x)
        h = self.bn1(h)
        h = self.relu1(h)
        h = self.pool1(h)

        h = self.conv2(h)
        h = self.bn2(h)
        h = self.relu2(h)
        h = self.pool2(h)

        h = self.conv3(h)
        h = self.bn3(h)
        h = self.relu3(h)
        h = self.pool3(h)

        h = F.avg_pool2d(h, kernel_size=h.size()[2:]).view(-1, h.size(1))
        h = self.fc(h)

        return h

pytorchを利用すればこれだけでモデルは完成である。
これを回した結果、それほどいい成績が出なかった。
そこで目をつけたのが次の論文である。

https://db-event.jpn.org/deim2019/post/papers/19.pdf

この論文によると、画像を加工したものを同時に入力することで精度が上がるらしいことがわかる。
今回作成する画像認識はシャツかパンツかスカートか、等の大雑把な種類を判別すればよいので、輪郭だけ抽出した画像を用意することで細々とした装飾に惑わされずに判定できるのではないか、という思惑がある。
ではそれを実装してみよう。

class CNN_Model(nn.Module):
    def __init__(self, output_dim):
        super().__init__()
        self.out = nn.Linear(2000, output_dim)
        self.cnn_origin = CNN()
        self.cnn_contour = CNN()


    def forward(self, x_origin, x_contour):
        h_origin = self.cnn_origin(x_origin)
        h_contour = self.cnn_contour(x_contour)
        h = torch.cat((h_origin, h_contour),1)
        h = torch.relu(h)
        h = self.out(h)

        y = F.softmax(h, dim=1)
        return y

これで複数入力するモデルは完成である。
まず見るべきはforwardの引数である。ここに引数を増やせば入力するデータを増やすことができる。
引数の１つ目をオリジナルの画像、２つ目を輪郭抽出した画像を入力するようにした。
それぞれをまずCNNのモデルに通して特徴量を抽出する。その結果出てきた1000個のパラメータを結合して最終的にoutput_dim個のパラメータに出力すれば完成である。
今回のように、pytorchのモデルはclassで分割して使い回すことができる。この時、classで分割されたパラメータ（今回のCNNの各パラメータ）は移譲先のclassのパラメータとして再帰的に設定されるので、細かい挙動を気にせずにモデルを作成できる。self.cnn_originとself.cnn_contourは別々のパラメータとして設定されており、共有されているということはない。
ここで、結合するときにbackwardがちゃんと機能するように結合前後の層を設定する必要があることに注意してほしい。

ここまでできれば、あとはDataLoaderで学習データを読み込む機能とmodel.trainで学習する部分を書けば完成である。

---

株式会社ファントムへのお問い合わせ

群馬県でPythonを使ったAIやソフトウェアを開発している株式会社ファントムが運営しています。