e2e学習による経路生成

[hcmos]

[hcmos]

@kyo0221

--- stderr: e2e_planner
/usr/lib/python3/dist-packages/setuptools/command/easy_install.py:158: EasyInstallDeprecationWarning: easy_install command is deprecated. Use build and pip and other standards-based tools.
  warnings.warn(
---

[kyo0221]

経路生成のe2eシステムを構築する.

入力：画像
出力：走行経路（Path）

現状のネットワーク構成（入力画像は64x48）

import torch
import torch.nn as nn

class Network(nn.Module):
    def __init__(self, num_waypoints: int = 10):
        super(Network, self).__init__()

        self.conv1 = nn.Conv2d(4, 32, kernel_size=8, stride=4)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=2)
        self.conv3 = nn.Conv2d(64, 64, kernel_size=3, stride=1)
        self.fc1 = nn.Linear(960, 512)
        self.fc2 = nn.Linear(512, num_waypoints * 2)
        self.flatten = nn.Flatten()

        self.relu = nn.ReLU()

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        x = self.relu(self.conv1(x))
        x = self.relu(self.conv2(x))
        x = self.relu(self.conv3(x))
        x = self.flatten(x)
        x = self.relu(self.fc1(x))
        x = self.fc2(x)

        return x

[kyo0221]

シミュレータ環境で収集したデータをそのまま学習したところ，レーンに沿った経路が生成することは確認できたが，データ収集時の経路から少しでもずれるとカーブでも直線を推論したり，問題が発生するためデータ拡張が必須であると考える．

また，直進しなければならない場合でも分岐路で曲がるような経路を推論することがあるため，それも問題になっている．（画像サイズが小さく，分解能が低いことも影響していそう）

[kyo0221]

シミュレータ環境でコースを一周してデータ収集を行い，学習することで，学習した重みファイルでコースを一周することができた．

ただし，2周目は分岐路で失敗していたので，問題はありそう．

https://youtu.be/m0kT4J4RKmQ

[kyo0221]

#176 でyolopのマスク画像を推論時の入力画像とすることで、周辺環境の変化にロバストにすることを試している。
#179 で作成したシミュレータ環境でデータ収集し、学習、その後同シミュレータ環境で推論することで、推論時には白線に沿って経路を生成し、コースを周回する様子が確認できた。