수학적인 이론들을 컴퓨터 세계에서 어떻게 처리할 것인지 다루는 학문입니다.

Overflow and Underflow

• SoftMax function (Overflow)가 잘 발생하는 함수

  • $softmax(x_i) = \frac{exp(x_i)}{\sum_{i=1}^n exp(x_i)}$

    

    $exp(x)$

우리가 Softmax 함수 $x$에 40과 같은 큰 숫자가 들어가면 Softmax 함수는 망가지게 된다.

그 이유는 무한히 큰 숫자가 나오므로 inf와 같은 수가 발생할 것이다.

따라서 softmax에 overflow를 방지하는 기법이 필요하다. ($x_i$는 우리가 Logit이라고 부른다.)

• Trick 1

  • $softmax(x)_i= softmax(x+c)_i$

  →위와 같은 Trick이 가능한 이유는 $exp(x+c) = e^x \cdot e^c = exp(x) \cdot exp(c)$ 로 표현할 수 있기 때문에 이러한 성질을 이용하여 Softmax$softmax$$\frac {exp(x) \cdot exp(c)}{exp(c) \sum exp(x)}$ 같이 수식이 전개가 되고, $softmax(x) =softmax(x+c)$가 성립이 된다.

  • 따라서 $z= x- max (x_i)$를 $sofmax(z)$로 넣어 Overflow를 방지하려는 기법이 존재한다.

Matrix Norm

Vector Norm의 대표적인 Norm

• $L_p=(x_1^p+x_2^p+...+x_n^p)^{1/p}$

Matrix Norm 중에 지난 시간 언급한 Norm은 Frobenius Norm $||A||_{F}$이 존재했다.

• $||A||_F= (a_1^2+a_2^2+...+a_n^2)^{1/2}$
  • 이는 Matrix의 성질을 이용하기 보단 $A^{m\times n}$을 $\vec{A}^{mn \times 1}$ 벡터로 변형한 뒤 $L_2$ Norm을 정의한 것과 같다.

⇒ 그럼 우리가 Matrix의 어떤 특징을 고려한 Norm을 한번 고려해보자.

Matrix의 $L_p Norm$

• $||A||p=max{x \neq 0}\frac{||Ax||_p}{||x||_p}$ $x$를 가지고 $A$를 크게 만드는 $x$를 찾는다. 그게 $||A||_p$
• $A \in R^{m \times n}, x \in R^{n \times 1}$이라고 한다면, $Ax \in R^{m \times 1}$인 벡터가 된다.
• $Ax, x$ 둘 다 벡터인 셈