Memory

1. Retrieval Information Retrieval via AE AE : Good at 'Data Dimension Reduction' (= Feature 잘 뽑음) 2. Generation 1) Gray Face / Handwritten Digits (1) Gray Face Generation VAE : Normal distribution (Prior) 공간 내에서 Sampling 하고 Generator에 입력하면 z값에 따라 다양한 이미지 생성 가능 z를 29 Dimension으로 압축했으며, 각 element 별로 주요한 feature들이 저절로 뽑히게 됨 (Vanilla VAE에서는 z의 각 element가 어떤 feature를 의미하는지 모름) (2) Handwritten Digits..

AE와 VAE는 목적 자체가 정반대 - AE : 앞단(Encoder 부분) 학습 위해 뒷단 추가 → Manifold learning - VAE : 뒷단(Decoder 부분) 학습 위해 앞단 추가 → Generative model learning [Keyword] : Generative model learning Generative model : Latent variable model Variational AE (VAE) 1. Generative model 1) Sample Gerneration 2) Latent Variable Model Training DB에 있는 data point x 가 나올 확률을 구함 → 그 확률이 모든 Training DB에 대해 Maximize 하는 확률분포 p(x) 찾는 것..

AutoEncoder (AE) 1. Introduction 1) Terminology AutoEncoders = Auto-associators = Diabolo networks = Sandglass-shaped net - x : Input layer - z : Bottleneck Hidden layer = Code = Latent Variable = Feature = Hidden representation - y : Output layer (Reconstruct Input) AE : 입력을 저차원 Latent space로 Encoding 한 후 Decoding 하여 복원(reconstruct)하는 Network - 이미지를 입력받아 Encoder 통해 Latent space로 매핑하고, Decoder 통..

[Keyword] : Manifold Learning, Unsupervised Learning 1. AutoEncoder의 주요 기능 1) Dimension Reduction (차원 축소) : Unsupervised Learning Task 2) Density Estimation (확률 분포 예측) 3) 'Manifold' 학습 2. Manifold 정의 Manifold : Train DB에 해당되는 고차원(그림상 3D) 데이터를 공간 상에 뿌려봤을 때 생기는 점들을 에러 없이 잘 아우르는 Sub-space → Manifold에서 저차원(그림상 2D) 상에 projection 시키면 데이터 차원을 줄일 수 있음 3. Manifold 학습의 목적 1) Data compression (데이터 압축) - 같은..

[Keyword] : ML density estimation DNN을 학습할 때 사용되는 Loss function은 다양한 Viewpoint 에서 해석할 수 있음 (CE Loss function VS MSE Loss function 무엇이 더 좋은가 ! Viewpoint 따라 다름) [V1] Back-propagation 알고리즘이 더 잘 동작(gradient-vanishing 덜 발생)할 수 있는지에 대한 해석 → CE가 더 좋음 [V2] Negative Maximum likelihood로 보고 특정 형태의 loss는 특정 형태의 확률분포를 가정한다는 해석 → Output value가 Continuous : MSE & Discrete : CE 사용 → 확률분포가 Gaussian distribution ..

AutoEncoder - A way for unsupervised learning for nonlinear manifold - ANN used for unsupervised learning of efficient codings - Aim : To learn a representation for set of data - Purpose : Dimensionality reduction [Keyword] ◾ Unsupervised learning ◾ Manifold learning = Nonlinear Dimensionality reduction = Representation learning = Efficient coding learning = Feature extraction ◾ Generative model..