TaeKyoung's Study Blog

이전 포스팅에서 Gradient Descent에 대한 기본적인 내용을 다룬 바 있다. 오늘은 이와 이어지는 내용으로 Gradient Descent의 더 심화된 버전을 다뤄볼 생각이다. 이번 포스팅의 내용에서는 쉬운 이해와 간결성를 위해 Activation Function은 배제하고 생각하겠다. 경사하강법" target="_blank" rel="noopener" data-mce-href="http://경사하강법">http://경사하강법 [딥러닝] Gradient Descent (경사하강법)1. ML as an Optimization Problem기계학습이 해야 할 일을 식으로 정의하면, 주어진 cost function $J(\theta)$에 대해, $J(\theta)$를 최소로 하는 $\hat{\theta..

1. Loss FunctionLoss(손실)란 정답값과 예측값의 오차를 의미한다 Loss Function의 정의:Neural Network 모델이 예측한 값 $\hat{Y}$와 실제 값 $Y$ 간의 차이의 지표를 의미한다대표적으로 MSE가 있다. $$L(Y, \hat{Y}) = \frac{1}{N} \sum_{1}^{n} (y_i - \hat{y_i})^2$$따라서 이 $L$값이 낮아질수록 NN 모델의 성능은 좋아진다고 볼 수 있다. 즉, 손실함수의 값이 최소가 되도록 weight들의 값을 최적화하는 것이 모델 학습의 목적인 것이다. 2. Deep Learning의 TaskLoss Function은 풀고자 하는 Task에 따라 다르다. 1. Regession (회귀) : 어떤 연속적인 값을 예측하는 Ta..

1.  데이터 셋1) Training Set모델을 학습시키는 용도Train Set에 대해서 Gradient Descent하여 Loss를 최소화시키는 모델의 weight 최적화2) Validation Set모델의 성능 평가와 Hyper Parameter를 Tuning하는데 쓰이는 데이터셋Train Set에 대해 Overfitting되는 것을 방지하기 위해 사용3) Test Set검증 단계에서 선택한 최적의 모델의 최종 성능을 평가하는데 사용Hyper Parameter Tuning을 과도하게 적용하는 경우 Validation Set에 대해 unintentional overfitting 발생할 수 있다. 2. Overfitting Overfitting(과적합)이란 Unseen Data에 대해서 모델이 일반화되..