반응형 컴퓨터비전15 [EECS 498-007] lec13. Attention *강의영상*: https://www.youtube.com/watch?v=YAgjfMR9R_M&t=401s 저번 강의에서 RNN, LSTM 등 다양한 순환신경망을 배우고 그 구조와 작동 매커니즘에 대해 알아보았다. Long input에도 강한 점을 드러내는 LSTM이 있었지만 highly parralizable 하지 않기 때문에 computation이 복잡한 문제는 아직도 해결되지 않았다. 오늘 강의에서는 'Attention' 메커니즘에 대해 다룬다. 이전 강의에서 다루었던 Recurrent Neural Networks(RNN)의 한계를 극복하기 위해 Attention 메커니즘이 어떻게 등장하게 되었는지, 그리고 그것이 어떻게 활용되는지 알아보자. 또한 Attention 메커니즘이 RNN뿐만 아.. 2024. 8. 25. [EECS 498-007] lec12. Recurrent Neural Networks *강의영상*: https://www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 저번 강의에서 신경망을 학습 시킬때 필요한 절차, 구성 요소에 대해 배우고 실제로 어떻게 학습시키는지, 또한 학습 시킬 때 생기는 문제에 대해 자세히 알아보았다. 이번 강의에서는 Recurrent Neural Networks(RNN), 시퀀스 데이터를 처리하는 데 유용한 순환 신경망 구조로, 이 강의에서는 RNN의 기본 개념부터 고급 주제까지 폭넓게 다루었다. 주요 내용을 알아보자. RNN은 시퀀스 데이터 처리를 위해 설계된 신경망으로, 내부 상태를 유지하여 이전 입력의 영향을 반영할 수 있다. RNN의 구조를 수식을 통해.. 2024. 8. 19. [EECS 498-007] lec11. Training Neural Networks II *강의 영상*: https://www.youtube.com/watch?v=WUazOtlti0g&t=3072s 이전 강의에서 Training Neural Network part 1을 배웠고 다양한 활성화 함수와 가중치 initializing을 배웠다. 오늘은 신경망 훈련 중 고려해야 할 중요한 요소들, 특히 Learning rate scheduling, Choosing hyperparameter 에 중점을 두고 있다. 또한 마지막에 after training도 또한 다룰 예정이다. 신경망을 훈련할 때 학습률은 매우 중요한 하이퍼파라미터로, 학습률이 너무 높으면 모델이 발산할 수 있고, 너무 낮으면 훈련 속도가 매우 느려질 수 있다. 이러한 이유로 학습 initializing learni.. 2024. 8. 17. [EECS 498-007] lec8. CNN Architectures *강의 영상*: https://www.youtube.com/watch?v=XaZIlVrIO-Q&t=2390s 저번 강의에서 우리는 CNN의 구성요소와 각 layer와 하이퍼 파라미터들이 어떤 것을 하고 왜 존재하는지에 대해 배워보았고 이러한 기본 요소들을 어떻게 조합하여 고성능의 CNN을 만들 수 있는지에 대한 생각을 해보게 되었다. 오늘은 해가 지남에 따라 CNN 아키텍처의 발전에 대해 알아보자.ImageNet 대회는 CNN 아키텍처의 발전에 중요한 역할을 했다. 2010년과 2011년 대회 초기에는 CNN이 아닌 전통적인 방법들이 사용되고 그나마 지금같은 형태를 띄는 아키텍처 중 LeNet-5가 있었지만, 2012년 AlexNet이 등장하면서 상황이 크게 변화했다. AlexNet은 당시로서.. 2024. 8. 13. 이전 1 2 3 4 다음 반응형
