조건부기대값의 분산과 조건부분산의 기대값의 합은?

종속변수의 전체분산입니다.

전체분산법칙(Law of total variance)

$$\text{Var}\left[Y\right]=\text{Var}\left[\text{E}[Y|X]\right]+\text{E}\left[\text{Var}[Y|X]\right]$$

전체분산법칙

전체분산법칙(Law of total variance)은 다음과 같이 표현됩니다.

$$\text{Var}\left[Y\right]=\text{Var}\left[\text{E}[Y|X]\right]+\text{E}\left[\text{Var}[Y|X]\right]$$

여기서, $\text{Var}[Y]$는 종속변수($Y$)의 전체분산

$\text{Var}\left[\text{E}[Y|X]\right]$는 독립변수($X$)로 인한 종속변수($Y$)의 기대값 변동

$\text{E}\left[\text{Var}[Y|X]\right]$는 독립변수($X$)로 인한 종속변수($Y$)의 분산의 기대값: 모델이 설명하지 못하는 변동

선형회귀모델은 다음과 같습니다.

$$Y=\beta_0+\beta_1X+\epsilon$$

여기서 $Y$는 종속변수

$X$는 독립변수

$\beta_0$는 기울기(회귀계수)

$\epsilon$은 오차항 : $\epsilon \sim N(0, \sigma^2$

선형회귀모델에서 조건부기대값:

$$\text{E}[Y|X]=\beta_0+\beta_1X$$

선형회귀모델에서 조건부분산:

$$\text{Var}[Y]=\text{Var}[\beta_0+\beta_1X]+\sigma^2=\beta_1^2\text{Var}[X]+\sigma^2$$

조건부기대값의 분산과 조건부분산의 기대값의 합:

$$\text{Var}\left[Y\right]=\text{Var}\left[\text{E}[Y|X]\right]+\text{E}\left[\text{Var}[Y|X]\right]$$

조건부기대값의 분산과 조건부분산의 기대값의 비:

$$\dfrac{\text{Var}[\text{E}[Y|X]]}{\text{E}[\text{Var}[Y|X]]}=\dfrac{R^2}{1-R^2}$$

여기서, $R^2$은 결정계수

Figure 1. 전체분산법칙