더보기 1) 확률분포 : 확률 변수가 특정한 값을 가질 확률을 나타내는 함수 (1) 이산확률분포 : 확률변수 X의 개수를 정확히 셀 수 있을 때 (Discrete 값) (2) 연속확률분포 : 확률변수 X의 개수를 정확히 셀 수 없을 때 (Continuous 값) - 확률밀도함수로 표현 (Ex) 정규분포(Normal distribution) - 실제 세계의 많은 데이터는 정규분포로 표현 가능 2) 이미지 데이터에 대한 확률분포 : 이미지에서의 다양한 특징들이 각각의 확률 변수가 되는 분포 (다변수 확률분포) - 이미지 데이터는 다차원 특징 공간의 한 점으로 표현됨 → 이미지의 분포를 근사하는 모델 학습 가능 - 사람 얼굴에는 통계적인 평균치가 존재 → 모델은 이를 수치적으로 표현 가능 3) 생성 모델 (G..
더보기 1) 확률분포 : 확률 변수가 특정한 값을 가질 확률을 나타내는 함수 (1) 이산확률분포 : 확률변수 X의 개수를 정확히 셀 수 있을 때 (Discrete 값) (2) 연속확률분포 : 확률변수 X의 개수를 정확히 셀 수 없을 때 (Continuous 값) - 확률밀도함수로 표현 (Ex) 정규분포(Normal distribution) - 실제 세계의 많은 데이터는 정규분포로 표현 가능 2) 이미지 데이터에 대한 확률분포 : 이미지에서의 다양한 특징들이 각각의 확률 변수가 되는 분포 (다변수 확률분포) - 이미지 데이터는 다차원 특징 공간의 한 점으로 표현됨 → 이미지의 분포를 근사하는 모델 학습 가능 - 사람 얼굴에는 통계적인 평균치가 존재 → 모델은 이를 수치적으로 표현 가능 9.1 AE 소개 및..
8.1 Transfer learning 1) 전이학습 : 특정 조건에서 얻어진 어떤 지식을 다른 상황에 맞게 전이해서 활용하는 학습 방법 2) 전이되는 대상 : 학습한 필터 (ex. 이미지넷 데이터로 학습된 모델로 전이 학습 시, 범용적 형태를 구분할 수 있는 지식 전이) 3) 전이학습의 장점 (1) 데이터 부족 문제 해결 데이터가 적을 때 모델의 변수를 처음부터 학습하려고 하면 성능이 잘 나오지 X ① 왼쪽 합성곱 연산 부분 : 이미지넷 같은 작업으로 미리 학습된 모델에서 last FC 떼어낸 것 = 특성 추출기(Feature Extractor) : 미리 학습된 부분(변수 고정). 이미지 입력받아 미리 학습된 필터들로 특성 추출 ② 오른쪽 네트워크(입력층-은닉층-출력층) : 아직 학습 안 된 변수들로 ..
7.1 Underfitting, Overfitting 일반화 차이 = 테스트 오차 - 학습 오차 테스트 오차 = 학습오차 + 일반화 차이 평균제곱오차 = 편차의 제곱 + 분산 + 줄일 수 없는 오차 = Fixed → Bias와 Variance는 반비례 관계 학습 오차 ↑ 학습 오차 ↓ 일반화 차이 ↑ Underfitting Overfitting 일반화 차이 ↓ Underfitting Ideal state Underfitting : 학습 오차 ↑ = High Bias + Low Variance Overfitting : 학습 오차는 ↓ but 테스트 오차 ↑ = High Variance + Low bias 7.2 Regularization 1) Regularization(정형화) : 어떤 제약조건을 (주로 ..
6.1 RNN의 발달 과정 RNN : 순서가 있는 데이터에서 의미(패턴, 상관관계, 인과관계 등)를 찾아내기 위해 고안된 모델 시퀀스(sequence) 데이터 : 순서가 존재하는 데이터 (ex. 언어) 시계열(time series) 데이터 : 순서가 존재하며 시간에 따른 의미도 존재하는 데이터 (ex. 주가) Application 6.2 RNN의 작동 원리 1) RNN 도식화 은닉층의 node들은 어떤 초기값을 가지고 계산이 시작되며, t=0시점에서 입력값 + 각 node 초기값의 조합으로 t=0일 때 은닉층의 값들이 계산되어 결과값(출력값)이 도출됨 t=1시점에서 입력값 + t=0시점에서 계산된 은닉층 값들의 조합으로 t=1일 때 은닉층의 값과 결과값이 다시 계산됨 이러한 과정이 지정한 시간만큼 반복됨..
5.1 배경 합성곱 신경망(Convolutional Neural Network) : 국소적인 영역을 보고 단순 패턴에 자극받는 세포 + 넓은 영역을 보고 복잡 패턴에 자극받는 세포가 계층(layer)를 이룸 5.2 합성곱 연산 1) 합성곱 연산(Convolution) (1) Convolution : 하나의 함수가 다른 함수와 얼마나 일치하는지 계산 (하나의 필터를 이동시키며 이미지의 부분들이 필터와 얼마나 일치하는지) - 하나의 결과값이 생성될 때 입력값 전체가 들어가지 않고 필터가 지나가는 부분만 연산에 포함됨 - 하나의 이미지에 같은 필터를 연달아 적용하므로 가중치가 공유되어 학습 대상이 되는 변수가 적음 - 비선형성 추가 위해 활성화 함수 - Activation map (Feature map) : ..
4.1 신경망 1) 인공 신경망(Artificial Neural Network) 2) 인공 신경망의 구성 요소 : 입력층, 은닉층, 출력층 - 심층 신경망 (DNN) : 2개 이상의 은닉층을 가진 인공 신경망 3) 활성화 함수 → 비선형성 4.2 순전파와 역전파 1) 순전파 (Forward Propagation) : 입력값이 여러 은닉층을 통과해 결과값으로 나오는 과정 2) 역전파 (Backward Propagation) : 결과값과 정답의 차이로 계산된 손실을 연쇄법칙을 통해 입력단까지 다시 전달하는 과정 * 역전파 계산 과정 (시그모이드 예제) 4.3 모델 구현, 학습 및 결과 # 데이터 생성 num_data = 1000 num_epoch = 10000 noise = init.normal_(torch..
3.1 선형회귀분석 선형회귀분석 : 주어진 데이터를 가장 잘 설명하는 직선을 찾는 것 단순선형회귀(Simple Linear Regression) : 하나의 독립변수에 대한 선형회귀 = x, y 라는 데이터가 주어졌을 때, y = w*x + b 에서 데이터를 가장 잘 표현할 수 있는 가중치 w와 편차 b를 찾는 것 다중선형회귀(Multivariate Linear Regression) : 여러 개의 독립변수에 대한 선형회귀 3.2 손실 함수 및 경사하강법 1) 손실함수(loss function) ex) 평균제곱오차(MSE) : 예측값과 실제값의 차이를 제곱(L2 loss)하여 평균한 것 2) 경사하강법(gradient descent) : w_(t+1) = w_t - gradient * learning rat..