반응형 분류 전체보기46 딥러닝 다층화에 의한 문제점 및 구현에 필요한 과정 딥러닝의 다층화에 따른 문제는 몇가지 존재한다. - 국소 최적해 함정- 과적합- 기울기 손실- 장기간의 학습 시간 A같은 지점에서 전역 최적해가 아닌 국소 최적해에 빠져 학습이 더 이상 진행이 되지않을 수 있다. 큐브 맞출 때를 예로 들자면, 한 면만 맞춘 것이 A에 대한 예이다. 또한 B의 지점 같은 경우는 기울기가 급감해서 더 이상 진행 되지 않는다. 큐브를 아무리 맞춰도 면이 맞추어지지 않는 상황을 예로 들 수 있다. 문제 해결 방안 최적화 알고리즘으로 변경배치 사이즈 최적화하이퍼 파라미터 최적화규제화가중치 초깃값 최적화조기 종료데이터 확장드롭아웃(dropout)데이터 전처리 하이퍼 파라미터 최적화는 매우 필수 적이다. 가중치와 편향은 학습을 통해 조정되지만, 신경망 층 수와 뉴런 수.. 2024. 2. 11. 역전파 구현 및 시각화 해보기 역전파 구현 회귀 문제 구현 예시 코드#역전파 구현 전체 코드(회귀)#은닉층의 활성화 함: 시그모이드 함수#출력층의 활성화 함수: 항등 함수#손실 함수: 오차제곱합#최적화 알고리즘: 확률적 경사 하강법#배치 사이즈: 1%matplotlib inlineimport numpy as npimport matplotlib.pyplot as pltinput_data = np.arange(0, np.pi * 2, 0.1) #입력correct_data = np.sin(input_data)input_data = (input_data - np.pi) / np.pin_data = len(correct_data)n_in = 1n_mid = 3n_out = 1wb_width = 0.01eta = 0.1epoch = 2001.. 2024. 2. 11. 역전파(2) 저번 시간에 했던 편향과 가중치의 미분 수식을 이용해 기울기를 구해보도록 하자. 첫 번째로, 기울기 구하는 방법의 개요부터 알아보자. 이 신경망에는 3개의 층이 있고, 은닉층과 출력층에 가중치와 편향이 있다. 가장 먼저 출력층에서 오차를 이용해 가중치와 편향의 기울기를 구한다. 그렇다면 출력층 기울기를 구해보자. 다음은 회귀, 분류 문제에서의 각 층의 뉴런 구조이다. 2024. 1. 5. 역전파(1) 오늘은 신경망을 학습시키는 알고리즘인 역전파(back propagation)에 대해 알아보자. 신경망이 학습할 때 결합강도가 어느 정도로 변화하는지 설명한 것을 학습 규칙이라고 하는데, 역전파의 배경 이론으로서 두 학습 규칙에 대해 알아보겠다. 햅의 규칙과 델타 규칙 헵의 규칙은 도널드 헵이 주장한 노의 시냅스 가소성에 관한 법칙이다. 헵의 규칙은 시냅스 앞쪽의 신경세포가 흥분하고 이에 따라 시낸스의 뒤쪽 신경세포가 흥분하면 전달 효율이 강화된다는 주장에 근거한 이론이다. 이 전달 효울의 강화를 수식으로 표현해보자. 가중치 변화량을 w, 시냅스 앞쪽 뉴런 흥분 정도를 yi, 뒤쪽 뉴런 흥분 정도 yj, Γ(감마)는 상수로 하면 위의 공식으로 나타낼 수 있다. 두 출력이 함께 커지면.. 2024. 1. 5. 이전 1 ··· 7 8 9 10 11 12 다음 반응형
