빅데이터 결과해석 - 분석모형개선(매개변수 최적화)

 

1. 손실함수 : 모델의 예측값( ŷ )과 실제값(y)의 차이(오차)

 

2. 모델의 학습 목적 : 오차(손실함수)를 가장 작게 만드는 매개변수(가중치,편향)를 찾는 것 -> 매개변수 최적화

 

3. 매개변수 최적화 알고리즘(경사하강법 기반)

* 경사하강법 : 손실함수의 기울기를 이용하여 손실함수가 최소가 되도록 매개변수 갱신

 

SGD

- 데이터 전체를 한번에 학습(X), 부분을 무작위(확률적)로 학습(O)

- 손실함수 기울기를 따라 조금씩 최적점으로 이동

- 지그재그로 크게 변함, 최적점 근처에서 느림

 

Adagrad

- 진행할수록 학습률 ↓

- 처음에 학습률이 크고 최적점에 가까워지면 학습률 감소

- 지그재그 움직임이 크게 줄어든다(효율적 움직임)

 

Momentum(SGD + 속도) 

- 누적된 기울기 값에 의해 빠르게 최적점으로 이동

- 관성개념 도입하여 진동/폭을 줄이는 효과

- SGD보다 지그재그 덜함

- 공이 구르듯 이동한다는 표현