TaeKyoung's Study Blog

What is Optimization? Optimization(최적화)란 해결해고자 하는 문제를 정해진 제약조건 내에서 최적의 결과로 결정하는 것을 의미한다. 즉, 어떠한 상황 속에서 최대의 성능을 내도록 문제를 푸는 과정을 최적화라고 한다. 딥러닝에서의 최적화 역시 모델이 최적의 성능을 발휘할 수 있도록 파라미터들을 조정하는 것을 의미한다. 이전에 최적화 기법으로 "Full - Batch", "Stochastic", "Mini-Batch-Stochastic" Gradient Descent 에 대해서 배운 적이 있다. 이번 포스팅에서는 이 기법들 외에 모델이 더 안정적으로 수렴할 수 있도록 하는 최적화 기법들에 대해서 다룰 생각이다. Momentum (관성)모델에 입력될 데이터의 initialize 지점..

Activation Function 이란?Activation Function $\sigma$ 란 layer 와 layer 사이에 위치한 non-linear function (비선형 함수) Activation Function은 왜 필요한가?? Non-Linear 한 activation function을 사용함으로써 뉴럴넷은 non-linear한 decision boundary를 그릴 수 있기 때문이다. 그리고 linear한 activation function을 사용하면 아무리 많은 layer를 쌓아도 Single Layer Neural Network에 불과하다. 그 이유에 대해서 알아보도록 하자.  이미지의 예시를 살펴보자. Output $y$에 대해 정리해보면 다음과 같다. $\begin{aligned}..

탄소배출권 거래가 예측을 통한 지속 가능한 미래 구축주최 : BITAmin 12 Conference기간 : 2024.07 ~ 2024.08주제 : 다양한 사회적 외생변수들을 활용한 탄소배출권 거래 가격 예측목적 : 탄소 배출권 거래제와 관련된 정부, 기업 등에게 장단기적 계획 수립에 필요한 정보 제공 및 시장 참여자에게 탄소 배출권 가격 예측 정보를 제공함으로써 배출권 관련 금융 상품의 유동성 향상 1.  Introduction : 탄소배출권 거래제도란?기업의 탄소 배출량에 일정한 비용을 부과하는 제도로, 온실가스 감축에 대한 경제적 유인을 제공정부가 할당한 배출 허용량보다 배출량이 많으면 배출권을 구매하고, 적으면 배출권을 판매해 수익 창출 가능 Workflow of Our Project Backgro..