• Norm

  • Motivation
    • 어떻게 하면 주어진 벡터, 행렬 등의 길이 또는 크기를 측정할 수 있을까?
  • Example
    • $||x||=\sqrt{x_1^2+x_2^2}$
  • Definition
    • A norm on a vector space V is a function, V → Scalar (벡터 공간 V를 스칼라로 바꾸는 함수) 하지만, 아래와 같은 기준을 만족해야함
      • Absolutely Homogenous: $||\lambda x||$ = $\lambda ||x||$
      • Triangle Inequality(삼각 부등식): $||x+y|| \leq ||x|| +||y||$
      • Positive Definite: $||x||\geq 0 \; and \; ||x||=0$ , if and only if x = 0
  • $||x||p = (\sum{i \in I}x_i^p)^{\frac{1}{p}}$, 단 $1 \leq x \leq \infty$
    • $x=(1,2,3)$이고, $p=3$이면, $(1^3+2^3+3^3)^{\frac{1}{3}}$
  • $||x||\infty= max{1\leq i\leq n}(x_i)$ (가장 큰 것을 고르는 Norm)

• Unit Vector

  • 크기가 1인 벡터

  • $\dot{u} =\frac{1}{||v||}v$

    

• similarity(유사도)

  두 벡터 간의 similarity를 측정할 때, 우리는 dot product 또는 Euclidean inner Product를 많이 사용

  • 벡터 $v=(v_1,...,v_n)$ 와 벡터 $u = (u_1,...,u_n)$이 존재할 때, $u \;* \;v$는 $u_1v_1+...u_nv_n$으로 정의된다.
  • 이것이 dot product 또는 유클리디안 내적이라고도 불린다.

• Cosine Similarity (코사인 유사도)

  • 코사인 유사도는 위의 유사도와 비슷하지만 분모만 다르다.
  • 분모가 의미하는 바는 벡터 u와 벡터 v의 크기를 나누어 준 것이다.
  • $cos \theta=\frac{uv}{||u||||v||}$ ($-1 \leq cos\theta \leq1$)
  • 따라서 Cosine Similarity는 max 와 min값이 -1 ~ 1이 된다.
  • Normalization 을 하여 unit vector로 만든 다음에, dot product를 진행한다.
  • $cos\theta=0$ 이라는 의미는 벡터 $u$와 벡터 $v$가 이루는각이 90도 라는 의미이고 이는 Orthogonal 이라고 표현한다.

• Orthogonal (직교)

  • 벡터 u와 v가 수직일 때, $u\cdot v$=0 (단, u,v가 0이 아닐때)
  • $u \cdot v= ||u||||v||cos\theta$
  • $||u||cos(\theta)$는 벡터 $u$를 벡터 $v$에 Projection한 크기라고 얘기한다.
  • 그렇다면 $u\cdot v$의 의미는 projection된 벡터의 크기와 벡터 $v$의 크기의 곱이라고도 얘기할 수 있다.

• Orthonormal (정규 직교)

  벡터 간의 서로 수직이면서 크기가 1인 벡터들을 정규 직교(Orthonormal)이라고 표현한다.

• 피타고라스의 정리

  • if $v$ and $u$ are orthogonal vector in $R^n$, then $||u+v||^2=||u||^2+||v||^2$

  

• 코시 슈바르츠 부등식 (Cauchy-schwarz Inequality)

  $|u⋅v| ≤ ∣∣u∣∣⋅∣∣v∣∣$

  두 벡터의 내적 절댓값은 각각의 Norm(놈)의 곱보다 크지 않다.

  그 이유는 $-1 \leq cos\theta \leq1$ 이기 때문인데, $u \cdot v=||u||||v||cos\theta$인데,

  $cos(\theta)$가 -1 ~ 1 사이에 존재하므로 위 식이 성립된다.

• 삼각부등식 (Triangle Inequality)

  

이번엔 벡터말고 Orthogonal한 Matrix는 어떤 것일까요?

• Orthogonal Matrix

  • if $A^{-1}=A^T$일때, 즉 $A^TA=AA^T=I$ 우리는 Orthogonal Matrix라고 부른다.
  • 즉, 행렬의 row또는 column이 orthogonal vectors로 이루어진 행렬을 말한다.
  • 직교 행렬 특성

  

• Gram-Schmidt Process

  • Every Nonzero subspace of $R^n$ has an orthonormal basis

    • Let W be a nonzero subspace of $R^n$, and let {$w_1,...,w_k$} be any basis for W.
    • The Following sequence steps will produce an orthogonal basis {$v_1,...,v_k$} for W

    즉, 영벡터가 아닌 벡터의 부분 공간은 모두 orthonormal한 기저를 가질 수 있다.

    $R^n$공간의 영벡터가 아닌 공간 W가 존재한다고 하자 그러면 W의 기저는 {$w_1,...w_k$}가 존재

    다음과 같은 process를 따르면 orthonormal한 기저를 구할 수 있다(직교이면서 크기가 1인)

    우리가 Projection (투영)을 한다는 것은 어떻게 할까요??

    • $Proj_Vu = (\frac{u \cdot v}{||v||^2})v$ (u 벡터를 V공간에 투영한다.)
      • Magnitude: $||u||cos\theta$ = $\frac {u \cdot v}{||v||}$ , Direction: $\frac{v}{||v||}$
      • 크기와 방향을 곱하면 Projection된다.

    그람 슈미츠 프로세스

    1. Let $v_1 =w_1$

    2. $v_2 = w_2-projw_1w_2=w_2-\frac{w_2 \cdot v_1}{||v_1||^2}v_1$

       

    $w_2$벡터를 $w_1$벡터에 투영시키자.

    $proj_{w_1}w2$ = (Maginitude: $\frac {w_2 \cdot w_1}{||w_1||}$, direction: $\frac {w_1}{||w_1||}$) = 방향과 크기의 곱

                       = $\\frac { w_2 \\cdot w_1}{||w_1||^2}w_1$ 
    

    이렇게 되면 그림의 초록색 Projw_1w2 벡터가 나오게되고 이를 $w_2$벡터에서 빼면

    수직 성분인 $v_2$가 나오게된다.

    이로써 $w_1$과 $v_2$는 수직이 되게 된다.

    1. $v_3$ 은 $v_1,v_2$와 수직 관계를 가져야한다.