6月 6月

Ridge와 LASSO Regression에 대한 자세한 설명은 다른 블로그에 잘 나와있으니 간단하게만 다룰 예정입니다. 대신, Ridge는 왜 가중치가 0이 되지 않고 LASSO는 0이 되는지 수식적으로 이해가 가지 않았는데, 이와 관련하여 개인적으로 이해가 수월했던 글이 있어 정리하고자 합니다. Ridge Regression Ridge Regression은 가중치의 제곱합을 최소화하는 것을 추가적인 제약 조건(L2-norm)으로 하는 선형 회귀 모델입니다. 패널티항인 $\lambda \sum_{i=1}^{n} \beta_i^2$이 추가됩니다. 이는 모델을 데이터에 맞추는 것뿐만 아니라 모델의 가중치가 가능한 한 작게 유지되도록 노력합니다. 패널티항은 학습하는 동안에만 추가되고, 테스트 셋에 대한 성능..