embedding

고차원 벡터의 변환을 통해 생성할 수 있는 상대적인 저차원 공간

sparse vector를 최소화

sigmoid vs relu

대표적인 activation function

• sigmoid는 입력값을 단조적으로 0에서 1 사이의 공역(치역)에 대응시키는 함수
  • 음수 범위 입력에 대해서는 0.5 미만의 결과를 내다가 양수 범위 입력에 대해서는 0.5 이상의 결과를 냄
• relu는 음수 범위의 입력에서는 0에 대응시키다가 0 이상에서는 선형적으로 대응하는 함수
  • 일정 수치 이상의 입력이 들어와야 활성됨

logistic regression

binary classification을 위한 회귀 방법

여러 색상을 가진 점들을 흰색과 검정색이라는 2가지로 구분되도록 분류하는 회귀 방법
ex) 특정 이메일이 스팸인가 아닌가의 분류 문제
보통 sigmoid 함수(logistic 함수라고도 함)를 이용하여 0부터 1 사이의 값에 대응시키게 되므로 0에 가까우면 거짓, 1에 가까우면 참으로 판정할 수 있음

softmax는 이진 분류를 여러 번 결합한 것으로 "다중 클래스 분류"라고 할 수 있음

softmax regression

분류 문제
linear regression과 다름
hardmax: 가장 큰 값 찾기
softmax: 새로운 조건으로 가장 큰 값 찾기

분류해야 하는 정답지(클래스)의 총 개수 k에 대해, k차원의 벡터를 입력하여 클래스 확률을 추정하고, 다시 k차원의 벡터를 반환함

입력값이 4x1 행렬일 때, activation function을 거쳐서 입력값과 같은 차원의 결과(4x1 행렬)을 반환하고 있음

ex) 가장 흔한 붓꽃 분류에 비유하자면

feature x(x1,x2,x3,x4)를 입력으로 주어 가중치 연산을 통해 3차원 벡터로 변환하고 이걸 softmax 함수를 통해 각 품종일 확률 벡터로 구해냄
예제에서는 0.26, 0.70, 0.04이므로 0.70이 가장 큰 값이라서 Setosa 품종이라고 판정함

자세한 내용은 다음 문서 참고할 것
https://wikidocs.net/35476