TaeKyoung's Study Blog

What is Optimization? Optimization(최적화)란 해결해고자 하는 문제를 정해진 제약조건 내에서 최적의 결과로 결정하는 것을 의미한다. 즉, 어떠한 상황 속에서 최대의 성능을 내도록 문제를 푸는 과정을 최적화라고 한다. 딥러닝에서의 최적화 역시 모델이 최적의 성능을 발휘할 수 있도록 파라미터들을 조정하는 것을 의미한다. 이전에 최적화 기법으로 "Full - Batch", "Stochastic", "Mini-Batch-Stochastic" Gradient Descent 에 대해서 배운 적이 있다. 이번 포스팅에서는 이 기법들 외에 모델이 더 안정적으로 수렴할 수 있도록 하는 최적화 기법들에 대해서 다룰 생각이다. Momentum (관성)모델에 입력될 데이터의 initialize 지점..

1. ML as an Optimization Problem기계학습이 해야 할 일을 식으로 정의하면, 주어진 cost function $J(\theta)$에 대해, $J(\theta)$를 최소로 하는 $\hat{\theta}$를 찾는 것.$$ \hat{\theta} = argmin_{\theta}J(\theta)$$ 2. Iterative Optimization2.1 General PrinicplesTraining Dataset $D$Model & Predicted Output: $\hat{y} = h_{\theta}(x)$Cost Function : $J(\theta)$1) 파라미터 $\theta$ 초기화2) 모든 epoch에 대해출력값 $\hat{y}$ 예측, cost $J(\theta)$ 계산하기만약..

경영과학이란? 산업공학을 전공하다 보면 경영과학이라는 과목을 반드시 배운다. 이 경영과학이라는 과목은 산업공학과 내의 과목 중에서도 꽃이라고 불릴 정도로 중요한 과목이라고 볼 수 있다. 경영과학은 경영 문제를 과학적으로 풀어내는 학문으로, 수리적 모델을 기반으로 어떤 상황에서의 최적해를 도출해내는 기법이다. 이러한 기법은 자원 배분 문제, 금융 투자 문제, 공급망 관리 문제 등 여러 사회적인 문제들에 적용시킬 수 있다. 경영과학에서는 이러한 상황적 문제에 대한 답을 찾기 위해 최적화(Optimization)이라는 수학적 기법을 사용한다. 최적화라는 방식이 낯설게 느껴질 수도 있지만 사실 우리는 이미 대학을 오기 전에 최적화의 쉬운 형태를 이미 학습해본 경험이 있다. 예를 들어, 다음과 같은 식이 있다고 ..

Neural Combinatorial Optimization with RL" target="_blank" title="Neural Combinatorial Optimization with RL" rel="noopener" data-mce-href="http://Neural Combinatorial Optimization with RL">http://Neural Combinatorial Optimization with RL Neural Combinatorial Optimization with Reinforcement Learning This paper presents a framework to tackle combinatorial optimization problems using neural network..

Pointer Networks " target="_blank" title="Pointer Networks" rel="noopener" data-mce-href="http:// Pointer Networks ">http:// Pointer Networks Pointer Networks We introduce a new neural architecture to learn the conditional probability of an output sequence with elements that are discrete tokens corresponding to positions in an input sequence. Such problems cannot be trivially addressed by existe..