Study 9

Fidelity와 Quality

신호분야에서 수신기와 발신기로부터 시작된 'Fidelity'. Video Super-Resolution 태스크에서도 이 fidelity의 밸런스가 중요하게 여겨진다.그렇다면 fidelity는 무엇일까? Fidelity: '원본으로부터 얼마나 재현을 잘 했는가'를 의미한다.그래서 fidelity가 높을 수록 원본과 비슷한 결과물을 얻을 수 있다. 하지만 VSR에서 원본과 비슷하다는건 low-resolution과 비슷하다는 것이기 때문에 High-resolution으로 만들어내는 vsr의 본질적인 목표와는 거리가 멀다고 볼 수 있다. Fidelity가 높은 경우의 프레임을 확인해보자.(쉬운 보기를 위한 자료로 예시가 적절하지 않을 수 있다)첫 번째 프레임이 input이라고 가정했을때, 오른쪽 3장의 경우 모..

Study 2025.06.24

NasNet paper에 나오는 개념들

Sequential data : DNA 염기서열 같이 순서에 의미가 있는 것, 순서가 달라질 경우 의미가 손상되는 데이터Memory System : 문장을 단어마다 쪼개서 입력했을 때, 다음으로 넘어갈 때마다 단어들을 저장하고 기억한다. 시점의 차이가 클 경우 학습 능력이 저하된다. 예를 들면 '나는 맛있는 밥을 먹는다' 문장을 입력으로 준다.'나는', '맛있는', '밥을', '먹는다' 이렇게 4개로 나눌 수 있고 처음 셀에는 '나는' 만 전해지고 다음 셀에는 저장된 '나는'이 전달되고 '맛있는'이 입력으로 또 들어온다. 세 번째 셀은 저장된 '나는', '맛있는'이 전달되고 새로운 입력인 '밥을'이 입력으로 들어온다. 이렇게 반복하며 결국 이 정보들을 바탕으로 출력 값을 예측할 수 있게 된다. Hidde..

Study 2024.06.26

Adaptive filter

Filter란 noise가 적용된 software나 hardware에 원하는 정보를 추출하기 위해서 사용하는 장치의 형태로 noise와 disturbance 문제를 해결하기 위한 방법이다. filter를 사용한 정보처리 task는 3가지로 나눌 수 있다.1. filtering : current time 정보 추출2. smoothing : future signal을 포함해 현재 signal을 처리3. prediction : 현재까지의 데이터로 미래 데이터 예측 Adaptive filter를 사용하는 이유?Winer filter와 같은 classical filter는 데이터가 충분히 많을 때 한번에 필터를 디자인 할 수 있는 방법이다.값이 정확할 수는 있어도 많은 데이터를 필요로 하고 사전 정보도 필요하다는..

Study 2024.06.12

SGD Algorithm

SGD는 Steepest Gradient Descent의 줄임말로 Stochastic Gradient Descent(SGD)와 같은 의미다.Steepest Gradient Descent는 주로 신호처리 분야에서 사용하는 용어이고 Stochastic Gradient Descent는 주로 머신러닝이나 딥러닝에서 사용된다.  Steepest Descent Method- gradient를 기반으로 한 선형 FIR(Finite Impulse Response) 필터에 tap-weight 벡터의 adaptation- 스스로 minimum point를 찾는 결정론적 피드백 시스템 사용 Steepest Gradient Descent는 input data 비율이 높거나 tap weight가 클 때 존재하는 연산의 어려움을..

Study 2024.06.11

LMS와 SGD 차이점

LMS : Least-Mean-SquareSGD : Steepest-Gradient-Square 둘의 가장 큰 차이점은 'E'가 없다는 것이다. Expectation은 무한개의 데이터(충분히 큰 데이터)가 있다고 했을 때 값을 말한다. 그렇기에 현실성이 없는 것. 이러한 점을 보완하여 식을 간단하게 만들게 되었는데, 그게 바로 LMS다.그럼 Expectation이 없으면 어떤 차이가 있는지 알아보자.LMSSGD- E가 없기 때문에 통계적인 특성이 rough해지고 성능이 떨어진다.- 순간적인 신호로만 판단하기 때문에 noise의 영향을 크게 받는-다. noise는 주로 고주파로 이루어져 있어서 gradient 계산 시 무한대로 굉장히 큰 값이 나오게 된다.- 정밀도가 SGD보다 떨어진다.- 실시간 처리에 ..

Study 2024.06.11

LMS Algorithm

SGD(Steepest Gradient Descent)는 무한개 샘플을 가지고 있다는 가정 하에 real mean value를 구하는 방법인데현실적으로 어려움이 있었고 Expectation을 뺀 LMS algorithm이 제안되었다.  LMS(Least Mean Square) 알고리즘은 모델의 파라미터를 구하는 방법으로 '최소제곱법'이라 하며LMS의 특징은 크게 2가지가 있다. 1. 단순하고2. 상관 관계를 측정 필요x,  역행렬 필요x 또한, LMS 알고리즘은 두 가지 방법이 있다. 여기서는 Adaptive process를 살펴볼 것이다.1. Filtering process횡단 필터(transversal filter)의 계산을 출력한다.원하는 응답과 출력을 비교해서 추정 오류를 만들어낸다. 2. Ada..

Study 2024.05.21