LMS와 SGD 차이점

LMS : Least-Mean-Square

SGD : Steepest-Gradient-Square

 

둘의 가장 큰 차이점은 'E'가 없다는 것이다.

Expectation은 무한개의 데이터(충분히 큰 데이터)가 있다고 했을 때 값을 말한다. 그렇기에 현실성이 없는 것.

 

이러한 점을 보완하여 식을 간단하게 만들게 되었는데, 그게 바로 LMS다.

그럼 Expectation이 없으면 어떤 차이가 있는지 알아보자.

LMS	SGD
- E가 없기 때문에 통계적인 특성이 rough해지고 성능이 떨어진다. - 순간적인 신호로만 판단하기 때문에 noise의 영향을 크게 받는-다. noise는 주로 고주파로 이루어져 있어서 gradient 계산 시 무한대로 굉장히 큰 값이 나오게 된다. - 정밀도가 SGD보다 떨어진다. - 실시간 처리에 적합하다.	- E를 통해 time domain에서 데이터를 모아 통계적인 특성을 가져오게 된다. - noise에 영향을 직접적으로 받지 않는다.

 

Gaussian noise를 넣어 SGD를 구현해보면 LMS에 비해 부드러운 곡선의 그래프를 확인할 수 있다.