증명: $E[(\hat{\theta}-\theta)^2] = E[(\hat{\theta}-E(\hat{\theta})+E(\hat{\theta})-\theta)^2]$
1. Bias (편향)란?
2. Variance (분산)란?
Let $\hat{\theta}$ be a point estimator for a parameter $\theta$ (어떤 파라미터를 추정하는 점 추정치 $\hat{\theta}$), $\hat{\theta}$는 $E[{\hat{\theta}}]= \theta$일때, 불편 추정치라고 하고 아니라면 편향추정치라고 한다.
예시로 베르누이 분포를 살펴보면, 동전 앞이 나올 확률 $p:\theta$일 때,
이것의 불편 추정치인 $\hat{\theta}= \frac{1}{n}\sum X_i$ (동전을 n번 던져서 앞이 나온 비율을 구할 수 있게된다.
이러한 $\hat{\theta}$가 불편 추정치인지 확인하는 방법은 $E[\hat{\theta}] = E[\frac{1}{n}\sum X_i]= \frac{1}{n}\sum E(X_i) = \frac{1}{n}\sum p = p$
이때, $\hat{\theta} = \frac{1}{n}\sum X_i$ 은 $\theta$의 최대우추정량(maximum likelihood estimator)이다.
최대우추정량이란 주어진 데이터가 관측될 확률을 최대화하는 모수(parameter)를 찾는 방법
즉, 어떤 확률 모델이 있고, 이 모델의 모수를 추정할 때, “이 데이터가 가장 잘 나올 확률이 높은 모수는 무엇인가?"를 찾는 게 MLE의 목표
The Bias of a point estimator $\hat{\theta}$ is given by $B(\hat{\theta})$ = $E(\hat{\theta})-\theta$
= 우리가 추정하는 것의 기대값과 실제값의 차이를 Bias라고 부른다.
$MSE(\hat{\theta}) = E[(\hat{\theta}-\theta)^2] = V(\hat{\theta}) +B(\hat{\theta})^2$
증명: $E[(\hat{\theta}-\theta)^2] = E[(\hat{\theta}-E(\hat{\theta})+E(\hat{\theta})-\theta)^2]$
1. Bias (편향)란?
2. Variance (분산)란?
$MSE(\hat{\theta}) = V(\hat{\theta}) +B(\hat{\theta})^2$일 때, 분산과 편향은 둘다 Trade Off관계이다.
하나가 상승하면 남은 하나는 무조건 떨어져야하는 구조