Source & Target Image Shift

[lunaB]

Image Shift

interpolation을 향상시키기위해서 source image와 target image를 같은 거리만큼 normal random으로 shift 시켜보았다.

이론적 효과

source / target image를 같이움직이며 학습시키면 ,
같은 글자 같은 위치임으로 같은 z벡터를 만들게 하는게 자연스럽고,
decoder에 들어갈 encoder의 output에 위치에 대한 내용도 간접적으로 들어갈 수 있다.
그럼으로 거리가 있는 폰트들에게 있어서 interpolation을 할 수 있는 잠재공간이 자연스럽게 형성되는 효과를 볼 수 있을것으로 기대된다.

Shift normal delta x,y

dx = int(np.random.normal(0,8))
dy = int(np.random.normal(0,8))

Parameter

l1 = 500
mse = 1000
epoch = 200
batchsize = 16
lr = 0.0001

font 2개, 영문 대소문자

Raw

200 epoch

180 epoch

(폰트의 크기차이가 많이나면 이처럼 잘 안된다.)

150 epoch

120 epoch

[lunaB]

Random Normal VS Uniform Normal

다음 실험 주제

[khodid]

shift에 덧붙여 레퍼런스와 동일하게 resizing도 추가했다.
글자는 1~1.2배 키운다.
이걸 학습 과정에서 각 배치를 돌 때마다 source image와 target image에 대해 실행해주면 된다.
학습 정확도는 좀더 튜닝해봐야 할 것 같지만, interpolation이 역대급으로 깔끔하다.

import torch.nn.functional as F

def shift_and_resize_image(source_set, target_set):
  batch_size, channel, w, h = source_set.shape
  multiplier = np.random.uniform(1.00, 1.20)
  nw, nh = int(w * multiplier) + 1, int(h * multiplier) + 1
  
  shift_x = int(np.ceil(np.random.uniform(0.01, nw - w)))
  shift_y = int(np.ceil(np.random.uniform(0.01, nh - h)))
  
  src_out = F.interpolate(source_set, size = [nw, nh])
  tar_out = F.interpolate(target_set, size = [nw, nh])

  return src_out[:, :, shift_x:shift_x + w, shift_y:shift_y + h], tar_out[:, :, shift_x:shift_x + w, shift_y:shift_y + h]