지난 글에서는 입력 신호가 은닉층을 거쳐 출력층으로 전달되는 순전파의 계산 과정에 대해 알아보았습니다. 초기에는 가중치를 무작위로 설정하기 때문에 예측값이 정답과 차이가 클 것 입니다. 때문에 정답과 예측값 간의 차이를 줄이는 학습을 수행해야 합니다. 먼저 차이, 즉 오차를 평가하기 위한 목적 함수를 정의해보겠습니다. 목적 함수는 손실함수, 비용함수 라고도 부릅니다. 해당 글에서는 목적함수로 MSE(Mean Squared Error, 평균제곱오차)를 사용하겠습니다. MSE의 계산 식을 작성해보면 다음과 같이 나타낼 수 있습니다. $$\displaystyle e = \frac{1}{2n} \sum_{i=1}^{n} \| \mathbf{y}_i - \mathbf{o}_i \|_2^2 $$ 정답 벡터($y..

해당 포스팅은 학부생의 입장에서 강의 내용을 이해하기 쉽게 재구성한 것입니다. 틀린 부분이 있으면 알려주시면 감사하겠습니다. 먼저 오늘 내용은 2층 퍼셉트론과 3층 퍼셉트론을 주로 예시를 들어 설명하겠습니다. 그림에서 보시다시피 각 MLP는 입력 차원이 $d$차원이며 바이어스를 더하여 총 $d + 1$개의 입력 노드가 존재합니다. 단층 퍼셉트론과 단연 다른점은 은닉층, 즉 Hidden Layer의 존재입니다. 은닉층은 특징 벡터를 분류에 더 유리한 새로운 특징 공간으로 변환하는 역할을 수행한다고 볼 수 있겠습니다. 그림에 존재하는 문자들을 간단히 설명드리면, 각 노드의 입력 데이터는 $x_1, \cdots, x_d$로 라벨링 되고, 출력노드의 출력 데이터는 $o_1, \cdots, o_2$로 라벨링 ..