Linear Regression

Creator

Creator

Created

Created

2023 Mar 9 1:44

Editor

Editor

Edited

Edited

2025 Feb 13 11:56

Refs

Refs

Objective function

Linear Predictor (minimal
Perceptron)

h(x) = \Sigma_{i=0}^{d}\theta_ix_i = \theta^Tx

in Linear Regression there is always global optimum

update $\theta$ -
Gradient Descent like algorithms

add gradient of derivative of cost function J

J(\theta) = \frac{1}{2}\Sigma_{i=1}^n(h_\theta(x^{(i)}) - y^{(i)})^2 = \frac{1}{2}(X\theta - \vec{y})^T(X\theta - \vec{y})

\theta := \theta + \alpha \Sigma(y_i - h_\theta(x_i))x_i

Closed form - solve equation - assume $X^TX$ is invertible

\theta = (X^TX)^{-1}X^T\vec{y}

Linear Regression Notion

Locally weighted Linear Regression

Ridge regression

LASSO Regression

Elastic-net Regression

선형회귀 - 공돌이의 수학정리노트

Gradient descent로 풀어내는 Linear Regression. Linear Regression이 말하는 것: 수많은 점들을 최대한 잘 설명할 수 있는 trend line을 그으려면 어떻게 해야할까?선형대수학의 관점에서 본 회귀분석※ 최적화 문제 관련 내용으로 궁금...

선형회귀 - 공돌이의 수학정리노트

https://angeloyeo.github.io/2020/08/24/linear_regression.html

Recommendations

///////