반응형 역전파4 [EECS 498-007] lec6. Backpropagation *강의 영상*: https://www.youtube.com/watch?v=dB-u77Y5a6A 이전 강의에서 Space Wrapping, 신경망의 비선형성과 비볼록성(non-convexity)으로 인해 이론적인 보장이 적다는 단점이 있고 이론적으로 보장된 결과를 얻기 어렵지만, 그럼에도 신경망이 선형 분류기보다 훨씬 강력한 계산 능력을 제공한다는 것을 배웠다. 신경망은 비선형 결정 경계를 학습할 수 있으며, 이를 통해 보다 복잡한 데이터 구조를 처리할 수 있다. 그러나 이전에 말했던 convexity issue로 인해 손실 함수를 최소화하는 것이 어려울 수 있으며, 여기서 역전파 알고리즘이 중요해진다. 오늘 6강에서는 역전파(Backpropagation) 알고리즘에 대해 다루며, 이는 신경.. 2024. 8. 8. 역전파 구현 및 시각화 해보기 역전파 구현 회귀 문제 구현 예시 코드#역전파 구현 전체 코드(회귀)#은닉층의 활성화 함: 시그모이드 함수#출력층의 활성화 함수: 항등 함수#손실 함수: 오차제곱합#최적화 알고리즘: 확률적 경사 하강법#배치 사이즈: 1%matplotlib inlineimport numpy as npimport matplotlib.pyplot as pltinput_data = np.arange(0, np.pi * 2, 0.1) #입력correct_data = np.sin(input_data)input_data = (input_data - np.pi) / np.pin_data = len(correct_data)n_in = 1n_mid = 3n_out = 1wb_width = 0.01eta = 0.1epoch = 2001.. 2024. 2. 11. 역전파(2) 저번 시간에 했던 편향과 가중치의 미분 수식을 이용해 기울기를 구해보도록 하자. 첫 번째로, 기울기 구하는 방법의 개요부터 알아보자. 이 신경망에는 3개의 층이 있고, 은닉층과 출력층에 가중치와 편향이 있다. 가장 먼저 출력층에서 오차를 이용해 가중치와 편향의 기울기를 구한다. 그렇다면 출력층 기울기를 구해보자. 다음은 회귀, 분류 문제에서의 각 층의 뉴런 구조이다. 2024. 1. 5. 역전파(1) 오늘은 신경망을 학습시키는 알고리즘인 역전파(back propagation)에 대해 알아보자. 신경망이 학습할 때 결합강도가 어느 정도로 변화하는지 설명한 것을 학습 규칙이라고 하는데, 역전파의 배경 이론으로서 두 학습 규칙에 대해 알아보겠다. 햅의 규칙과 델타 규칙 헵의 규칙은 도널드 헵이 주장한 노의 시냅스 가소성에 관한 법칙이다. 헵의 규칙은 시냅스 앞쪽의 신경세포가 흥분하고 이에 따라 시낸스의 뒤쪽 신경세포가 흥분하면 전달 효율이 강화된다는 주장에 근거한 이론이다. 이 전달 효울의 강화를 수식으로 표현해보자. 가중치 변화량을 w, 시냅스 앞쪽 뉴런 흥분 정도를 yi, 뒤쪽 뉴런 흥분 정도 yj, Γ(감마)는 상수로 하면 위의 공식으로 나타낼 수 있다. 두 출력이 함께 커지면.. 2024. 1. 5. 이전 1 다음 반응형
