Feedforward Neural Networks

FeedForward Neural Network는 흔히 말하는 MLP(MultipleLayer Perceptron)을 말한다.

우리의 FeedForward Network의 목적은 다음과 같다.

• Approximate some function $f^*$
• $y=f^*(x)$, maps an input $x$ to category $y$ (입력데이터를 하나의 범주인 $y$에 맵핑하는 것
• $y= f(x;\theta)$라고도 얘기를 할 수 있는데, 이러한 $\theta$에 대해서 학습을 하여 $\theta$를 찾는 목적

여기서, $f(x;\theta)$는 $\theta (w_1,w_2,b_1,b_2,...)$와 같이 Parameterized된 $f(x)$를 의미한다.

$w_2(w_1x+b_1)+b_2$와 같은 수식이 있을 때, parameterized된 함수를 의미한다.

FeedForward Network의 특징은 입력값이 다시 되돌아오는 Recurrent적인 요소가 없는 Networks이다. 순방향으로만 값이 전달이 되는 특성을 가진다.

• $f(x) = f^{(3)}(f^{(2)}(f^{(1)}(x)))$

와 같은 체인 구조로 연결되어있다는 것을 위의 수식과 같이 쓸 수 있다.

$f^{(1)}$: 네트워크의 첫 번째 레이어

$f^{(2)}$: 두 번째 레이어

Depth of the model: 얼마나 많은 레이어가 존재하는가?

Dimensionality of The hidden layer: Width : 얼마나 많은 노드들이 존재하는가?