로지스틱 회귀
- 회귀(연속)와 분류(비연속) 모두 포함되는 알고리즘
- 샘플이 특정 클래스에 속할 확률을 추정
- 동작방식 : 선형회귀와 같이 각 특성의 가중치의 합에 편향을 더한 값에 로지스틱을 출력합니다.
- logistic : 0과 1사이의 값을 출력하는 sigmoid function
- x( logit or log-odds) : 실패에 대한 성공에 로그를 취한 값이다.
- odds = p / (1-p) ( 양성 클래스 추정 확률 / 음성 클래스 추정 확률 )
- log-odds : odds의 로그 값
- 로그 손실(Log loss) : 각 데이터 세트의 비용 함수( 각 추정 확률 로그값 )를 평균한 값
- (p(y) : 성공 클래스에 대한 추정 확률 )
- 비용 함수 최적화:
- 정규방정식 : 존재하지 않음
- GD : 경사 하강법으로 전역 최소값 구할 수 있다.
소프트 맥스 (다중 로지스틱 회귀)
- n개의 레이블을 분류하기 위한 분류 모델
- 딥러닝 구조에서 마지막 Output에 나오는 값에 Softmax function를 적용시킵니다.
- 로지스틱 회귀 모델인 만큼 확률로 결과값을 나타내게 됩니다.
- 따라서 softmax를 거쳐 나온 출력값은 확률이므로 모든 출력값의 합은 1이 됩니다.
- 특징:
- 한 번에 하나의 클래스만 예측 (즉, 다중 클래스에 대한 예측이고 다중 출력은 아니다)
- 동작:
- 파라미터 행렬 : 각 클래스는 자신만의 파라미터 벡터가 존재
- 하나의 샘플에 대해 각 클래스의 점수를 계산 후 softmax function을 통과시켜 클래스에 속할 확률을 추정 가능
softmax function, 결과값 = 클래스에 속할 확률
- xj = 각 클래스의 점수를 담은 벡터
- i = 클래스 i
- softmax : 클래스 i에 속할 추정 확률
딥러닝에서의 소프트맥스 사용
크로스 엔트로피 - Cross entropy 비용 함수
- 기본적으로 분류 문제에서는 Cross entropy Cost function을 사용합니다.
- 추정된 클래스의 확률이 타겟 클래스에 얼마나 잘 맞는지 측정하는 용도로 종종 사용됩니다.
- 크로스 엔트로피의 결과값
- 작은 값 : 참 값과 다르다
- 큰 값 : 참 값과 같다
크로스 엔트로피 비용 함수
- y'는 true, y는 모델의 예측값
- 분류 : MSE > Cross entropy
