4.단순회귀분석 (1)

경제학적 모형 vs 계량 모형

경제학적 모형 : 여러 변수들에 대한 관계.

변수들은 완벽하게 관측된다.

 

계량모형 : 데이터 + 경제학적 모형

변수들이 모두 관측되지는 않는다.

ex) wage=B0+B1 educ + B2 exper + U

U:관측되지 않는 오차항(관측되지 않는 변수)

B0,B1,B2= 임금결정식을 결정하는 모수 

(특성을 결정하는 값들)

 

-참고-

인과관계 : 다른 나머지는 다 고정일 때

x 한 단위 변경 시 Y의 변화

(방향성이 있어야 한다. 상관관계는 방향성 x)

 

 

 

단순선형회귀분석 모형

Y=Bo+B1X+U

Y=outcome, U=X가 아닌 모든 것.

 

U를 제외하면 선형함수다. 

(독립 변수가 X하나이기 때문)

즉, 절편과 기울기(B0,B1)가 중요.

 

Y값의 변화 = X가 미치는 영향 + U가 미치는 영향

△Y=△X·B1 + △U

따라서, B1=△Y/△X 단,△U=0 (전미분)

 

<ZCM 가정> E[U|X] = 0 

모수 추정을 위한

가장 단순한 가정으로 일단 편하다.

 

ZCM = Zero conditional mean 

의미: E[U|X] = 0 

ZCM이 성립하면 위의 Y=Bo+B1X+U

와 결합하여 E[Y|X]=Bo+B1X+E[U|X]

= E[Y|X]=Bo+B1X + 0 

B1= d E[Y|X=x] / dx 로 정의된다.

(연속확률변수, 미분의 경우)

 

풀면 다른 요소를 고정시킬 때 

x가 한 단위 변하면

평균적으로 Y가 얼마 만큼 변하나.

 

ZCM 가정이 성립할 때 

x가 연속확률변수이면 B1= d E[Y|X=x] / dx

x가 이산확률변수이면 B1= E[Y|X=x+1] - E[Y|X=x]

 

단, ZCM 가정은 현실에서 적용이 어렵다.

예로 앞의 교육수준과 임금식을 보면

wage=B0+B1 educ + B2 exper + U

U가 개인의 능력이라고 한다면 

E[능력|교육]=0이 되야함. 

즉, 완벽하게 홀로 영향주는

변수는 현실에 거의 없어 계측이 어렵다.

이에 대한 대안 중 하나가 최소자승법

 

 

최소자승법 (ordinary least squares : OLS)

 

ZCM 가정이 성립할 때 E[Y|X]=Bo+B1X 

이 경우 B0와 B1은

다음과 같은 함수( f(b0,b1:x) )를 최소화.

즉, f(b0,b1:x)=E[(Y-(b0+b1x))제곱|X] 

 

만약 데이터가 n개의 관측치를 가지고 있으면

b0와 b1을 다음과 같이 추정.

이를 잔차 제곱의 합이라고 한다.

(sum of squiared residuals:ssr)

OLS추정량 B0햇, B1햇 = 잔차제곱의 합을 최소화 시키는 값

 

-참고-

Cov(X,Y)= E[(X-E[[X]) (Y-E[Y])]

 

 

 

결정계수 (R제곱, R스퀘어)

OLS 회귀 분석 모형과

데이터 핏이 얼마나 좋은지 판단

 

1)Y의 총변동 TSS(SST) : ∑(Yi-Ybar) 제곱

(Ybar=Y의 표본평균)

 

2)X로 설명되는 변동 ESS(SSR) : ∑(Yihat-Ybar) 제곱

위의 최소자승법(OLS)를 통해 나온

Yihat(Yi의 OLS 추정량)과 표본 평균 Ybar의 차이

 

3) 결정계수 R제곱 : 2) / 1) = ESS(SSR) / TSS(SST)

즉, Y의 총변동 중에서

X로 인해 설명되는 Y의 부분의 비율

 

 

 

 

이상으로

4.단순회귀분석 (1)

포스팅을 마칩니다.