NasNet paper에 나오는 개념들

Sequential data : DNA 염기서열 같이 순서에 의미가 있는 것, 순서가 달라질 경우 의미가 손상되는 데이터

Memory System : 문장을 단어마다 쪼개서 입력했을 때, 다음으로 넘어갈 때마다 단어들을 저장하고 기억한다. 시점의 차이가 클 경우 학습 능력이 저하된다.

 

예를 들면 '나는 맛있는 밥을 먹는다' 문장을 입력으로 준다.

'나는', '맛있는', '밥을', '먹는다' 이렇게 4개로 나눌 수 있고 처음 셀에는 '나는' 만 전해지고 다음 셀에는 저장된 '나는'이 전달되고 '맛있는'이 입력으로 또 들어온다. 세 번째 셀은 저장된 '나는', '맛있는'이 전달되고 새로운 입력인 '밥을'이 입력으로 들어온다. 이렇게 반복하며 결국 이 정보들을 바탕으로 출력 값을 예측할 수 있게 된다.

 

Hidden State는 cell 내부 연산 과정을 의미한다. hidden state를 통한 값은 다음 hiden state로 넘어가게 된다. 즉, hidden state는 보이지 않는 상태, cell 내부를 의미한다.

 

parameter : 파라미터는 각 노드에 계산되어 들어오는 weight나 bias값과 같은 매 반복마다 달라지는 값을 의미한다. 이 파라미터 값은 사용자가 정하는 것이 아니며 학습 과정에서 계산되는, 눈에 보이지 않는 값을 의미한다.Hyperparameter : 하이퍼파라미터는 우리가 최적의 모델을 만들 때, 조정하는 값을 말한다. learning rate, weight decay 등을 말한다.

 

NasNet은 최적의 하이퍼파라미터를 찾는 것이 아닌 최적의 아키텍처를 찾는 모델이다. CNN 문헌을 참고한 연산 종류 중에서 선택하여 최적의 Convolution cell을 만든다. 초반에는 축적된 데이터가 없기 때문에 랜덤으로 선택하겠지만 학습을 하며 가장 좋은 연산 방법을 선택하며 업데이트를 한다.

 

정리하면, NasNet은 최적의 아키텍처를 찾는 모델이고, 최적의 아케텍처는 Search Space로 만들어지는데, 이 Search Space는 Convolution Cell로 이루어져 있다. Convolution Cell은 Step1~Step5 algorithm으로 생성할 수 있다. 이 알고리즘으로 이루어진 연산 과정이 hidden state라고도 할 수 있다. 

 

Convolution Cell은 어떻게 만들어지나?Step1부터 Step5 알고리즘을 통해 만들어진다.

 

Step 1 : 첫 번째 Hidden State를 선택Step 2 : 두 번째 Hidden State를 선택Step 3 : 첫 번째 Hidden State 에 연산 방법중 하나를 적용Step 4 : 두 번째 Hidden State 에 연산 방법중 하나를 적용 Step 5 : 2개의 Hidden State를 결합하는데 결합 방법에는 2가지가 있다. add or concatation중 선택해서 적용

 

이렇게 Convolution Cell를 생성하면 Normal Cell의 완성이다.

Reduction Cell를 만들기 위해서는 추가적인 연산을 하면 된다.

 

Normal Cell인 : feature map의 크기를 유지하면서 특징을 추출하는 cell

Reduction Cell  : feature map의 크기를 절반으로 줄이면서 특징을 추출하는 cell