[머신러닝] - 로지스틱 회귀 (Logistic Regression)

1. 분류 분류는 연속적인 회귀와 달리 데이터 출력이 이산적인 경우를 나타냅니다. 분류: 이진 분류(Binary classification) : 출력의 값이 두 개인 분류 다중 분류(Multiclass classification) : 출력의 값이 여러개 2. 로지스틱 회귀 기법 회귀? 분류에서 사용할 수있는 로지스틱 회귀 기법에서 회귀라는 단어가 들어가 있다. 회귀와 분류에서 모두 사용이 가능합니다. 로지스틱 함수 로지스틱 회귀 모델 : 선형회귀의 결과를 로지스틱 함수에 적용하여 분류에 이용 선형 회귀 모델의 결과 z가 들어오면 0~1 사이의 결과값을 출력해 줍니다. 원하는threshold값을 지정하여 해당 값보다 높으면 1 낮으면 0으로 변환하여 이중 분류를 합니다. 로지스틱 회귀 모델 기존 선형 회귀..

딥러닝 - 로지스틱 & 소프트맥스 & 크로스 엔트로피

로지스틱 회귀 회귀(연속)와 분류(비연속) 모두 포함되는 알고리즘 샘플이 특정 클래스에 속할 확률을 추정 동작방식 : 선형회귀와 같이 각 특성의 가중치의 합에 편향을 더한 값에 로지스틱을 출력합니다. logistic : 0과 1사이의 값을 출력하는 sigmoid function x( logit or log-odds) : 실패에 대한 성공에 로그를 취한 값이다. odds = p / (1-p) ( 양성 클래스 추정 확률 / 음성 클래스 추정 확률 ) log-odds : odds의 로그 값 로그 손실(Log loss) : 각 데이터 세트의 비용 함수( 각 추정 확률 로그값 )를 평균한 값 (p(y) : 성공 클래스에 대한 추정 확률 ) 비용 함수 최적화: 정규방정식 : 존재하지 않음 GD : 경사 하강법으로 ..