신경망이 학습하는 방법, 역전파

역전파(Backpropagation)는 신경망이 학습하는 핵심 알고리즘입니다.

순전파 과정에서 나온 예측값과 실제 정답 사이의 차이를 계산한 후, 이 오차를 바탕으로 가중치와 편향을 조정하는 과정입니다.

역전파를 통해 신경망은 점점 더 정확한 예측을 할 수 있도록 학습됩니다.

만약 신경망이 처음에는 잘못된 답을 내놓더라도, 반복적인 역전파 과정을 거치면서 최적의 가중치를 찾아가게 됩니다.

Copy
입력: 손글씨 숫자 이미지

순전파: '8'을 '3'으로 잘못 예측

오차 계산: 정답(8)과 예측값(3) 차이 계산

역전파: 가중치를 조정하여 다음 학습에서 더 정확한 예측 수행

역전파는 신경망이 예측 오차를 줄이기 위해 가중치를 조정하는 핵심 알고리즘으로 오차를 계산하고, 가중치에 대한 기울기를 구한 후, 경사 하강법을 이용해 가중치를 업데이트합니다.

하지만 층이 깊어질수록 기울기 소실 문제가 발생할 수 있으며, 이를 해결하기 위해 ReLU 같은 활성화 함수를 사용합니다.

다음 수업에서는 지금까지 배운 내용을 점검하는 간단한 퀴즈를 풀어보겠습니다.