벡터의 크기(Norm)

벡터의 크기를 종종 측정해야할 때가 있다.

일반적으로, 기계학습에서는 벡터의 크기를 Norm이라고 부르는 함수를 이용해서 측정한다.

벡터의 크기

노름이라는 함수는 아래의 성질을 만족한다.

노름의 성질

• $f(x) = 0 => x=0$
• $f(x+y) \leq f(x) +f(y)$
• $\forall \alpha \in \mathbb{R}, \; f(\alpha x) =|\alpha|f(x)$

위 세 가지 성질을 만족한다.

$||x||_p= (\sum_i|x_i|^p)^{\frac{1}{p}}$, $p \in \mathbb{R},\; p\geq1$

⇒ $x$는 당연히 벡터겠죠. $x \in R^D, D\in R$

• $p=1$일때, 맨하튼 거리라고 표현한다. $L^1$노름
  • $||x_1|| = (\sum_i|x_i|^1)^{\frac{1}{1}}$
    • $x= [-3,4], \; (|-3|^1 + |4|^1)^1$
• $p = 2$일때, 유클리디안 거리라고 표현한다. $L^2$노름
  • $||x||_2 = (\sum_i|x_i|^2)^{\frac{1}{2}}$
    • $x=[-3,4]$, $(|(-3)|^2 +|4|^2)^{\frac{1}{2}}$
  • $L^2$노름은 $x^Tx$로 계산을 할 수 있다.

책을 읽으면서, 이해가 되지 않았던 내용

$L^2$노름 자체보다 제곱 $L^2$노름이 수학적으로나 계산에서나 다루기 편하다. 예를 들어, $x$의 각 성분에 대한 제곱 $L^2$노름의 각 미분은 오직 $x$의 해당 성분에만 의존하지만 $L^2$ 노름의 모든 미분은 벡터 전체에 의존한다.

⇒ 제곱 $L^2$ 노름의 미분