시그모이드 Cross Entropy 정의식 도출 과정

이진분류에서 시그모이드 Cross Entropy

• 이진 판단 문제에 대한 정답으로 z가 주어졌다면 이 데이터의 결과가 참일 확률을 $p_{r}$, 거짓일 확률을 $p_{f}$라 할 때,$p_{r} = z$, $p_{f} = 1$임을 나타낸다.
• 신경망 회로의 출력이 로짓값 x로 계산되었다고 할 때 이에 대응하는 확률 값은 $q_{r} = \sigma(x)$, $q_{r} = 1-\sigma(x)$에 해당함
• Cross Entory의 정의식 $H(P,Q) = -\sum p_{i}logq_{i}$에 확률값들을 대입하면 
  • $H = -p_{r}logq_{r} - p_{f}logq_{f} = -zlog\sigma(x) - (1-z)log(1-\sigma(x))$
  • $\begin{aligned}
    H &= -z \log\left( \frac{1}{1 + e^{-x}} \right) - (1 - z) \log\left( 1 - \frac{1}{1 + e^{-x}} \right) \\
    &= -z \log\left( \frac{1}{1 + e^{-x}} \right) - (1 - z) \log\left( \frac{e^{-x}}{1 + e^{-x}} \right) \\
    &= -z \left[ -\log(1 + e^{-x}) \right] - (1 - z) \left[ \log(e^{-x}) - \log(1 + e^{-x}) \right] \\
    &= z \log(1 + e^{-x}) - (1 - z)(-x - \log(1 + e^{-x})) \\
    &= z \log(1 + e^{-x}) + (1 - z)x + (1 - z) \log(1 + e^{-x}) \\
    &= \log(1 + e^{-x}) + (1 - z)x
    \end{aligned}$
  • $H = \log(1 + e^{-x}) + (1 - z)x$
• 시그모이드 함수에 대한 Cross Entropy의 편미분은 Cross Entropy 정의식을 x에대해 편미분하는 방법으로 간단히 구할 수 있다.