LMS Algorithm

SGD(Steepest Gradient Descent)는 무한개 샘플을 가지고 있다는 가정 하에 real mean value를 구하는 방법인데

현실적으로 어려움이 있었고 Expectation을 뺀 LMS algorithm이 제안되었다.

 

LMS(Least Mean Square) 알고리즘은 모델의 파라미터를 구하는 방법으로 '최소제곱법'이라 하며

LMS의 특징은 크게 2가지가 있다.

 

1. 단순하고

2. 상관 관계를 측정 필요x,  역행렬 필요x

 

또한, LMS 알고리즘은 두 가지 방법이 있다. 여기서는 Adaptive process를 살펴볼 것이다.

1. Filtering process

횡단 필터(transversal filter)의 계산을 출력한다.

원하는 응답과 출력을 비교해서 추정 오류를 만들어낸다.

 

2. Adaptive process

필터의 탭 가중치를 추정 오류로 자동 조정한다.

 

Least Mean Square의 어려움

기울기 벡터의 정확한 측정은 R과 P에 대한 사전 지식이 필요하기 때문에 불가능하기 때문에

사용 가능한 데이터로부터 예측한다.

 

∇J(n)=−2p+2Rw(n)

R과 p의 추정치

추정기 선택은 탭 입력 벡터의 값과 아래 식에 원하는 응답을 기반으로 하는 순간 추정치를 사용한다.

그러면 순간 기울기 벡터는 다음과 같이 주어진다.

추정 순간 기울기 벡터 는 순간 제곱 오차 적용되는 기울기 벡터로 볼 수 있다.
steepest descent의 적응 방정식을 사용하여 다음과 같이 쓰일 수 있다(새로운 초기 추측은 w[0]이다).

 

 

각 반복 또는 시간 업데이트 시 최신 값에 대한 정보도 필요하다. 
R과 P의 추정치는 상대적으로 큰 분산을 가지므로 높은 정밀도로 좋은 성능을 보이기 어렵다.

 

다음은 LMS Algorithm의 특징이다.

LMS Algorithm

- 정밀도 떨어짐 - 순간 시그널만 판단해서 노이즈의 영향을 직접적으로 받음 - u[n-k]e*[n]은 ∇J(n)에서 요소 k의 추정기로 사용됨 - expectation operator 사용x(이 특징은 구현이 간단하다는 장점이 있지만 gradient noise를 겪는다는 단점이 있다)

 

 

수렴 기준 2가지

1. 

 

2. 

시간 n과 n-1(이전)의 비용 값 사이의 변화량이 미리 정의된 임계값보다 작으면 필터 시스템이 안정적인 시스템으로 수렴했다고 말할 수 있다.

 

LMS 표준 형식에서 반복 n+1에서 탭 가중치에 적용된 수정 μu[n]e*[n]은 탭 입력 벡터에 직접적으로 정비례한다.

→ u[n]이 클 때, LMS 알고리즘은 gradient noise amplification 문제가 발생한다.

 

해결 방법 : nomalized LMS algorithm