Lesson 3 : Multi-variable Linear Regression

2017. 4. 16. 09:29

다변수 선형 회귀(Multi-variable Linear Regression)

변수가 하나일 때 선형 회귀에 사용했던 방법

Hypothesis :

$\begin{matrix} (1) & H (x) = W \times x + b \end{matrix}$

cost(loss) 함수 : 가설 식 (1)과 실제 값과의 차이

$\begin{array}{rcl} cost(loss) (W, b) & = & \frac{1}{m} \sum_{i = 1}^{m} (H (x_{i}) - y_{i})^{2} \\ (2) & = & \frac{1}{m} \sum_{i = 1}^{m} ((W \times x_{i} + b) - y_{i})^{2} \end{array}$

Gradient Descent Algorithm : cost(loss) 함수가 극소가 되는 값을 구하는 방법

$\begin{matrix} (3) & W = W - α \times \frac{\partial}{\partial W} cost(loss) (W, b) \end{matrix}$

변수가 3개일 때의 선형 회귀식

다음과 같이 3개의 입력값에 대한 결과값이 있을 때 선형 회귀식을 구하는 방법을 생각해본다.

인스턴스(instance) : 실제 각각의 데이터
아래 표에서는 5개의 인스턴스를 사용해 가설을 만들게 된다.

가설(hypothesis) : 인스턴스가 1개일 때, 변수는 3개이기 때문에 단변수일 때의 가설 식 (1)을 다음 식 (4)처럼 쓸 수 있다.

$\begin{array}{r} (4) & H (x_{1}, x_{2}, x_{3}) = w_{1} \times x_{1} + w_{2} \times x_{2} + w_{3} \times x_{3} + b \end{array}$

cost(loss) 함수 : 위 식 (2)는 다음 식 (5)처럼 쓸 수 있다.

$\begin{array}{r} (5) & cost(loss) (W, b) = \frac{1}{m} \sum_{i = 1}^{m} (H (x_{1_{i}}, x_{2_{i}}, x_{3_{i}}) - y_{i})^{2} \end{array}$

변수가 $n$ 개일 때로 일반화한 선형 회귀식

가설(hypothesis) : 인스턴스가 1개에 대하여 변수가 $n$ 개일 때의 가설은 식 (6)처럼 쓸 수 있다

$\begin{array}{r} (6) & H (x_{1}, x_{2}, \dots, x_{n}) = w_{1} \cdot x_{1} + w_{2} \cdot x_{2} + \dots + w_{n} \cdot x_{n} + b \end{array}$

다변수일 때의 식은 항이 여러 개로 나와 길게 쓰는 것이 불편하기 때문에 식 (6)은 행렬식을 이용하여 식 (7)처럼 쓸 수 있다.

데이터 $x_{i}$ 의 값들이 주어지기 때문에 계수로 쓰고, $w_{i}$ 는 우리가 예측해야 하는 값이기 때문에 변수로 표기해 식을 정리한다.

$\begin{array}{rcl} H (x_{1}, x_{2}, \dots, x_{n}) & = & w_{1} \cdot x_{1} + w_{2} \cdot x_{2} + \dots + w_{n} \cdot x_{n} + b \\ = & x_{1} \cdot w_{1} + x_{2} \cdot w_{2} + \dots + x_{n} \cdot w_{n} + b \\ (7) & = & (x_{1}, x_{2}, \dots, x_{n}) \cdot (\begin{array}{c} w_{1} \\ w_{2} \\ ⋮ \\ w_{n} \end{array}) + b \end{array}$

위의 변수들을 행렬로 해서 정리하면 다음과 같이 간단히 정리할 수 있다.

$X = [x_{1}, x_{2}, x_{3}, \dots, x_{n}]$
$W = [w_{1}, w_{2}, w_{3}, \dots, w_{n}]$

$\begin{array}{r} (8) & H (X) = X \times W^{T} + b \end{array}$

행렬식을 사용하는 가설식

아래 시험성적표에 대한 가설식을 만들어 보자.

변수가 3개이기 때문에 가설은 식 (9)처럼 쓸 수 있다.

$\begin{array}{rcl} H (x_{1}, x_{2}, x_{3}) & = & x_{1} \times w_{1} + x_{2} \times w_{2} + x_{e} \times w_{3} + b \\ = & (x_{1}, x_{2}, x_{3}) (\begin{array}{c} w_{1} \\ w_{2} \\ w_{3} \end{array}) + b \\ (9) & = & X W^{T} + b = H (X) \end{array}$

우리의 예에서는 인스턴스가 5개이기 때문에 가설은 식(10)처럼 쓸 수 있다.

$\begin{array}{rcl} (10) & (\begin{array}{c} x_{1_{1}} w_{1} + x_{1_{2}} w_{2} + x_{1_{3}} w_{3} + b_{1} \\ x_{2_{1}} w_{1} + x_{2_{2}} w_{2} + x_{2_{3}} w_{3} + b_{2} \\ x_{3_{1}} w_{1} + x_{3_{2}} w_{2} + x_{3_{3}} w_{3} + b_{3} \\ x_{4_{1}} w_{1} + x_{4_{2}} w_{2} + x_{4_{3}} w_{3} + b_{4} \\ x_{5_{1}} w_{1} + x_{5_{2}} w_{2} + x_{5_{3}} w_{3} + b_{5} \end{array}) & = & (\begin{array}{ccc} x_{1_{1}} & x_{1_{2}} & x_{1_{3}} \\ x_{2_{1}} & x_{2_{2}} & x_{2_{3}} \\ x_{3_{1}} & x_{3_{2}} & x_{3_{3}} \\ x_{4_{1}} & x_{4_{2}} & x_{4_{3}} \\ x_{5_{1}} & x_{5_{2}} & x_{5_{3}} \end{array}) \cdot (\begin{array}{c} w_{1} \\ w_{2} \\ w_{3} \end{array}) + (\begin{array}{c} b_{1} \\ b_{2} \\ b_{3} \\ b_{4} \\ b_{5} \end{array}) \\ = & X \cdot W + B \\ = & H (X) \end{array}$

식 (10)을 차원(dimension)(텐서플로우의 데이터 모양(shape))으로 표현하면 다음과 같다.

instance 행렬의 차원은 $[5,3]$
weight 행렬의 차원은 $[3,1]$
bias 행렬의 차원은 $[5,1]$

$[5, 1] = [5, 3] \times [3, 1] + [5, 1]$

결과값이 2개인 경우의 가설식

결과값이 여러 개인 경우도 고려해볼 수가 있는데 2개의 경우에 몇 차원의 weight 행렬식을 사용해야할까?

식 (11)과 같이 $[3, 2]$ 차원의 행렬식 weight를 사용하면 된다.

$\begin{array}{r} (11) & \begin{array}{lcl} [5, 3] \times [?, ?] & = & [?, 2] \\ [5, 3] \times [3, 2] & = & [5, 2] \end{array} \end{array}$

$\begin{array}{rcl} (\begin{array}{cc} x_{1_{1}} w_{1_{1}} + x_{1_{2}} w_{2_{1}} + x_{1_{3}} w_{3_{1}} + b_{1} & x_{1_{1}} w_{1_{2}} + x_{1_{2}} w_{2_{2}} + x_{1_{3}} w_{3_{2}} + b_{2} \\ x_{2_{1}} w_{1_{1}} + x_{2_{2}} w_{2_{1}} + x_{2_{3}} w_{3_{1}} + b_{1} & x_{2_{1}} w_{1_{2}} + x_{2_{2}} w_{2_{2}} + x_{2_{3}} w_{3_{2}} + b_{2} \\ x_{3_{1}} w_{1_{1}} + x_{2_{2}} w_{2_{1}} + x_{3_{3}} w_{3_{1}} + b_{1} & x_{3_{1}} w_{1_{2}} + x_{3_{2}} w_{2_{2}} + x_{3_{3}} w_{3_{2}} + b_{2} \\ x_{4_{1}} w_{1_{1}} + x_{4_{2}} w_{2_{1}} + x_{4_{3}} w_{3_{1}} + b_{1} & x_{4_{1}} w_{1_{2}} + x_{4_{2}} w_{2_{2}} + x_{4_{3}} w_{3_{2}} + b_{2} \\ x_{5_{1}} w_{1_{1}} + x_{5_{2}} w_{2_{1}} + x_{5_{3}} w_{3_{1}} + b_{1} & x_{5_{1}} w_{1_{2}} + x_{5_{2}} w_{2_{2}} + x_{5_{3}} w_{3_{2}} + b_{2} \end{array}) & = & (\begin{array}{ccc} x_{1_{1}} & x_{1_{2}} & x_{1_{3}} \\ x_{2_{1}} & x_{2_{2}} & x_{2_{3}} \\ x_{3_{1}} & x_{3_{2}} & x_{3_{3}} \\ x_{4_{1}} & x_{4_{2}} & x_{4_{3}} \\ x_{5_{1}} & x_{5_{2}} & x_{5_{3}} \end{array}) \cdot (\begin{array}{cc} w_{1_{1}} & w_{1_{2}} \\ w_{2_{1}} & w_{2_{2}} \\ w_{3_{1}} & w_{3_{2}} \end{array}) + (\begin{array}{cc} b_{1_{1}} & b_{1_{2}} \\ b_{2_{1}} & b_{2_{2}} \\ b_{3_{1}} & b_{3_{2}} \\ b_{4_{1}} & b_{4_{2}} \\ b_{5_{1}} & b_{5_{2}} \end{array}) \end{array}$

결론 : 행렬식을 사용하면 많은 인스턴스 및 다변수의 경우에도 쉽게 수식으로 정리, 표현할 수 있다.

이론으로 가설식을 다룰 때에는 weight $w$ 를 계수로 하고 변수 $x$ 의 순서로 쓰지만, 실제에서는 weight와 변수의 순서를 바꾸면 행렬식을 그대로 쓸 수 있게 코딩으로 바로 구현하는 것이 쉽다.

이론 가설식(theory hypothesis) : $H (X) = W \times X + B$
구현 가설식(implementation hypothesis) : $H (X) = X \times W^{T} + B$

저작자표시 비영리 동일조건

'모두를 위한 머신러닝' 카테고리의 다른 글

Lesson 4 : Logistic (regression) classification (0)	2017.04.19
Lesson 3 연습 : Multi-variable Linear Regression (1)	2017.04.16
Lesson 2 연습 : Linear Regression의 Hypothesis와 cost의 개념 (0)	2017.04.11
Lesson 2 : Linear Regression의 Hypothesis와 cost의 개념 (0)	2017.04.10
Lesson 1 연습 : TensorFlow의 개념 (0)	2017.04.03

Machine Learning with Python honors 님의 블로그입니다.

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

Machine Learning with Python

Lesson 3 : Multi-variable Linear Regression

다변수 선형 회귀(Multi-variable Linear Regression)

변수가 하나일 때 선형 회귀에 사용했던 방법

변수가 3개일 때의 선형 회귀식

변수가 $n$ 개일 때로 일반화한 선형 회귀식

행렬식을 사용하는 가설식

결과값이 2개인 경우의 가설식

결론 : 행렬식을 사용하면 많은 인스턴스 및 다변수의 경우에도 쉽게 수식으로 정리, 표현할 수 있다.

'모두를 위한 머신러닝' 카테고리의 다른 글

+ Recent posts

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역

Machine Learning with Python

Lesson 3 : Multi-variable Linear Regression

다변수 선형 회귀(Multi-variable Linear Regression)

변수가 하나일 때 선형 회귀에 사용했던 방법

변수가 3개일 때의 선형 회귀식

변수가 nn개일 때로 일반화한 선형 회귀식

행렬식을 사용하는 가설식

결과값이 2개인 경우의 가설식

결론 : 행렬식을 사용하면 많은 인스턴스 및 다변수의 경우에도 쉽게 수식으로 정리, 표현할 수 있다.

'모두를 위한 머신러닝' 카테고리의 다른 글

+ Recent posts

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역

변수가 $n$ 개일 때로 일반화한 선형 회귀식