GAN Ch4-pix2pix

Author: elibooklover

book/chapters/GAN/Ch2-EDA.ipynb

@@ -138,24 +138,24 @@
    },
    "outputs": [],
    "source": [
-    "class VictorianDataset(Dataset):\r\n",
-    "    def __init__(self, root, color_transforms_=None, gray_transforms_=None):\r\n",
-    "\r\n",
-    "        self.color_transforms = transforms.Compose(color_transforms_)\r\n",
-    "        self.gray_transforms = transforms.Compose(gray_transforms_)\r\n",
-    "        self.gray_files = sorted(glob.glob(os.path.join(root, 'gray') + \"/*.*\"))\r\n",
-    "        self.color_files = sorted(glob.glob(os.path.join(root, 'resized') + \"/*.*\"))\r\n",
-    "     \r\n",
-    "    def __getitem__(self, index):\r\n",
-    "        gray_img = Image.open(self.gray_files[index % len(self.gray_files)]).convert(\"RGB\")\r\n",
-    "        color_img = Image.open(self.color_files[index % len(self.color_files)]).convert(\"RGB\")\r\n",
-    "    \r\n",
-    "        gray_img = self.gray_transforms(gray_img)\r\n",
-    "        color_img = self.color_transforms(color_img)\r\n",
-    "\r\n",
-    "        return {\"A\": gray_img, \"B\": color_img}\r\n",
-    "\r\n",
-    "    def __len__(self):\r\n",
+    "class VictorianDataset(Dataset):\n",
+    "    def __init__(self, root, color_transforms_=None, gray_transforms_=None):\n",
+    "\n",
+    "        self.color_transforms = transforms.Compose(color_transforms_)\n",
+    "        self.gray_transforms = transforms.Compose(gray_transforms_)\n",
+    "        self.gray_files = sorted(glob.glob(os.path.join(root, 'gray') + \"/*.*\"))\n",
+    "        self.color_files = sorted(glob.glob(os.path.join(root, 'resized') + \"/*.*\"))\n",
+    "     \n",
+    "    def __getitem__(self, index):\n",
+    "        gray_img = Image.open(self.gray_files[index % len(self.gray_files)]).convert(\"RGB\")\n",
+    "        color_img = Image.open(self.color_files[index % len(self.color_files)]).convert(\"RGB\")\n",
+    "    \n",
+    "        gray_img = self.gray_transforms(gray_img)\n",
+    "        color_img = self.color_transforms(color_img)\n",
+    "\n",
+    "        return {\"A\": gray_img, \"B\": color_img}\n",
+    "\n",
+    "    def __len__(self):\n",
     "        return len(self.gray_files)"
    ]
   },
@@ -674,6 +674,19 @@
     "Discriminator().apply(weights_init_normal)"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "생성자와 분별자 작동원리를 시각화 한 그림 4-1를 보시면, 생성자에 의해 생성된 이미지는 아웃풋으로 인풋 이미지와 쌍으로 이루어져 분별자에 의해 얼마나 비슷한 지 판단하게 됩니다. 또한 인풋 이미지와 타겟 이미지도 동시에 입력이 되어 분별자에 의해 비교되게 됩니다. 이 두 쌍을 비교한 결과 값을 분별자 값(Discriminator weights)인데, 이 과정을 거치면서 업데이트 되게 됩니다. \n",
+    "\n",
+    "분별자 값이 갱신되면, 생성자 값(Generator weights)도 아래의 과정을 통해 갱신되면서 새로운 이미지를 생성하게 됩니다. 모델 학습은 이러한 과정을 계속 반복하게 됩니다. \n",
+    "\n",
+    "![](https://github.com/elibooklover/Tutorial-Book/blob/master/book/pics/GAN-ch4img01.jpg?raw=true)\n",
+    "![](https://github.com/elibooklover/Tutorial-Book/blob/master/book/pics/GAN-ch4img02.jpg?raw=true)\n",
+    "- 그림 4-1 생성자와 분별자 작동원리 시각화 (출처: https://neurohive.io/en/popular-networks/pix2pix-image-to-image-translation/)"
+   ]
+  },
   {
    "cell_type": "markdown",
    "metadata": {
@@ -761,32 +774,32 @@
    },
    "outputs": [],
    "source": [
-    "def sample_images(epoch, loader, mode):\r\n",
-    "    imgs = next(iter(loader))\r\n",
-    "    gray = Variable(imgs[\"A\"].type(Tensor))\r\n",
-    "    color = Variable(imgs[\"B\"].type(Tensor))\r\n",
-    "    output = generator(gray)    \r\n",
-    "    \r\n",
-    "    gray_img = torchvision.utils.make_grid(gray.data, nrow=6) \r\n",
-    "    color_img = torchvision.utils.make_grid(color.data, nrow=6)  \r\n",
-    "    output_img = torchvision.utils.make_grid(output.data, nrow=6)\r\n",
-    "\r\n",
-    "    rows = 3\r\n",
-    "    cols = 1\r\n",
-    "\r\n",
-    "    ax1 = fig.add_subplot(rows, cols, 1)\r\n",
-    "    ax1.imshow(reNormalize(gray_img.cpu(), gray_mean, gray_std)) \r\n",
-    "    ax1.set_title('gray')\r\n",
-    "\r\n",
-    "    ax2 = fig.add_subplot(rows, cols, 2)\r\n",
-    "    ax2.imshow(reNormalize(color_img.cpu(), color_mean, color_std))\r\n",
-    "    ax2.set_title('color')  \r\n",
-    "\r\n",
-    "    ax3 = fig.add_subplot(rows, cols, 3)\r\n",
-    "    ax3.imshow(reNormalize(output_img.cpu(), color_mean, color_std))\r\n",
-    "    ax3.set_title('output')  \r\n",
-    "\r\n",
-    "    plt.show()\r\n",
+    "def sample_images(epoch, loader, mode):\n",
+    "    imgs = next(iter(loader))\n",
+    "    gray = Variable(imgs[\"A\"].type(Tensor))\n",
+    "    color = Variable(imgs[\"B\"].type(Tensor))\n",
+    "    output = generator(gray)    \n",
+    "    \n",
+    "    gray_img = torchvision.utils.make_grid(gray.data, nrow=6) \n",
+    "    color_img = torchvision.utils.make_grid(color.data, nrow=6)  \n",
+    "    output_img = torchvision.utils.make_grid(output.data, nrow=6)\n",
+    "\n",
+    "    rows = 3\n",
+    "    cols = 1\n",
+    "\n",
+    "    ax1 = fig.add_subplot(rows, cols, 1)\n",
+    "    ax1.imshow(reNormalize(gray_img.cpu(), gray_mean, gray_std)) \n",
+    "    ax1.set_title('gray')\n",
+    "\n",
+    "    ax2 = fig.add_subplot(rows, cols, 2)\n",
+    "    ax2.imshow(reNormalize(color_img.cpu(), color_mean, color_std))\n",
+    "    ax2.set_title('color')  \n",
+    "\n",
+    "    ax3 = fig.add_subplot(rows, cols, 3)\n",
+    "    ax3.imshow(reNormalize(output_img.cpu(), color_mean, color_std))\n",
+    "    ax3.set_title('output')  \n",
+    "\n",
+    "    plt.show()\n",
     "    fig.savefig(\"images/%s/%s/epoch_%s.png\" % (dataset_name, mode, epoch), pad_inches=0)"
    ]
   },
@@ -1213,7 +1226,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.8.5"
+   "version": "3.9.1"
   }
  },
  "nbformat": 4,