최소제곱법

최소제곱법

• 데이터를 적합한 모델을 만드는 방법

• 회귀선(regression line): 잔차들을 제곱한 값들의 합인 잔차제곱합(RSS; Residual Sum of Square)을 최소로 하는 선

• 추정값 \(\hat{b}_0\)와 \(\hat{b}_1\)은 \(\textrm{RSS}\)를 최소로 만드는 값
  

\begin{eqnarray} \textrm{RSS} &=& \sum_{i=1}^n\Big(\ Y_i - \hat{Y}_i \Big)^2\\&=& \sum_{i=1}^n\bigg(Y_i - \Big(\hat{b}_0 + \hat{b}_1X_i\Big)\bigg)^2\end{eqnarray}

• 최소제곱회귀(least squares regression) 또는 보통최소제곱(OLS; ordinary least squares)
  

\begin{eqnarray} \hat{b}_1 &=& \frac{\displaystyle\sum_{i=1}^n\Big(Y_i - \bar{Y}\Big)\Big(X_i-\bar{X}\Big)}{\displaystyle\sum_{i=1}^n\Big(X_i-\bar{X}\Big)^2} \\ \hat{b}_0 &=&\bar{Y}-\hat{b}_1\bar{X}\end{eqnarray}

예측 대 설명

• 회귀분석의 목적: 예측변수와 결과변수 사이에 있을 것으로 추정되는 선형 관계를 밝히는 것

• 회귀방정식의 기울기 \(\hat{b}_1\)을 추정하는 것
  

• 수집된 데이터를 설명하는 방법

• 소비자 지출과 GDP 성장 간의 관계와 같이 개별 사건을 예측하는 것이 아니라 전체적인 관계를 이해하는 데 초점을 맞춤
  

• 새로운 데이터에 대한 개별 결과를 예측하는 모델 구성
  

• 주된 관심은 적합값 \(\hat{Y}\)

• 광고 캠페인의 크기에 따른 수익률 변화 예측

• SAT 점수에 따른 학생의 평점 예측

• 데이터를 적합한 회귀모형은 \(X\)의 변화가 \(Y\)의 변화를 유도하도록 만들어진다.

• 회귀방정식 자체가 인과관계를 정확히 증명하는 것은 아니다.

• 인과관계에 대한 결론은 그 관계에 대한 더 폭넓은 인해를 바탕으로 내려야 한다.

• 사례

• 웹 광고에서 클릭 수와 전환률 간의 명확한 관계를 보여줄 수 있다.

• 회귀방정식이 아닌 마케팅 프로세스에 대한 지식을 발휘하면 광고 클릭이 판매로 연결된다는 결론을 이끌어낼 수 있다.