Fidelity와 Quality

신호분야에서 수신기와 발신기로부터 시작된 'Fidelity'.

 

Video Super-Resolution 태스크에서도 이 fidelity의 밸런스가 중요하게 여겨진다.

그렇다면 fidelity는 무엇일까?

 

Fidelity: '원본으로부터 얼마나 재현을 잘 했는가'를 의미한다.

그래서 fidelity가 높을 수록 원본과 비슷한 결과물을 얻을 수 있다.

 

하지만 VSR에서 원본과 비슷하다는건 low-resolution과 비슷하다는 것이기 때문에 

High-resolution으로 만들어내는 vsr의 본질적인 목표와는 거리가 멀다고 볼 수 있다.

 

Fidelity가 높은 경우의 프레임을 확인해보자.

(쉬운 보기를 위한 자료로 예시가 적절하지 않을 수 있다)

첫 번째 프레임이 input이라고 가정했을때, 오른쪽 3장의 경우 모두 비슷한 것을 볼 수 있다.

사람의 눈으로 보았을때 어색하지 않고 자연스럽다고 느낄 수 있다.

 

이번에는 Fidelity가 낮은 경우를 확인해보자.

아래 예시 사진을 보면 프레임마다 기둥 부분이 다르게 생성된 것을 확인할 수 있다.

위의 자료보다 Quality는 좋아 보이지만 사람의 눈으로 보았을때 부자연스럽고 어색하다는 것을 느낄 수 있다.

 

이러한 문제는 Video라는 sequence 데이터에서 좋지 않은 결과를 보여주게 된다. 최근 활발하게 연구되고 있는 Diffusion 기반의 Video Super-Resolution 태스크에서는 이러한 Fidelity 문제를 해결하고자 하는 다양한 방법이 제안되고 있다.