반응형 Computer Vision21 [논문리뷰] Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy 지능형 컴퓨터 비전 랩실에서 학부연구생 활동을 시작하고 교수님과 미팅 결과, 현재 Vision 쪽 관심 분야인 Remote sensing image, satelite image deep learning 탐구를 위해 Data labeling, Denoising 쪽 논문을 쭉 읽어보기로 하였다. 논문: “Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels” 이 논문은 딥러닝 모델이 매우 노이즈가 많은 라벨 환경에서도 견고하게 학습할 수 있도록 새로운 학습 패러다임인 Co-teaching을 소개한다. 배경과 문제 인식 딥러닝 모델은 높은 학습 용량을 가지고 있어, 결국 노이즈가 있는 라벨까지 암기하게 된다. 이는 모델.. 2024. 10. 15. [EECS 498-007] lec13. Attention *강의영상*: https://www.youtube.com/watch?v=YAgjfMR9R_M&t=401s 저번 강의에서 RNN, LSTM 등 다양한 순환신경망을 배우고 그 구조와 작동 매커니즘에 대해 알아보았다. Long input에도 강한 점을 드러내는 LSTM이 있었지만 highly parralizable 하지 않기 때문에 computation이 복잡한 문제는 아직도 해결되지 않았다. 오늘 강의에서는 'Attention' 메커니즘에 대해 다룬다. 이전 강의에서 다루었던 Recurrent Neural Networks(RNN)의 한계를 극복하기 위해 Attention 메커니즘이 어떻게 등장하게 되었는지, 그리고 그것이 어떻게 활용되는지 알아보자. 또한 Attention 메커니즘이 RNN뿐만 아.. 2024. 8. 25. [EECS 498-007] lec12. Recurrent Neural Networks *강의영상*: https://www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 저번 강의에서 신경망을 학습 시킬때 필요한 절차, 구성 요소에 대해 배우고 실제로 어떻게 학습시키는지, 또한 학습 시킬 때 생기는 문제에 대해 자세히 알아보았다. 이번 강의에서는 Recurrent Neural Networks(RNN), 시퀀스 데이터를 처리하는 데 유용한 순환 신경망 구조로, 이 강의에서는 RNN의 기본 개념부터 고급 주제까지 폭넓게 다루었다. 주요 내용을 알아보자. RNN은 시퀀스 데이터 처리를 위해 설계된 신경망으로, 내부 상태를 유지하여 이전 입력의 영향을 반영할 수 있다. RNN의 구조를 수식을 통해.. 2024. 8. 19. [EECS 498-007] lec11. Training Neural Networks II *강의 영상*: https://www.youtube.com/watch?v=WUazOtlti0g&t=3072s 이전 강의에서 Training Neural Network part 1을 배웠고 다양한 활성화 함수와 가중치 initializing을 배웠다. 오늘은 신경망 훈련 중 고려해야 할 중요한 요소들, 특히 Learning rate scheduling, Choosing hyperparameter 에 중점을 두고 있다. 또한 마지막에 after training도 또한 다룰 예정이다. 신경망을 훈련할 때 학습률은 매우 중요한 하이퍼파라미터로, 학습률이 너무 높으면 모델이 발산할 수 있고, 너무 낮으면 훈련 속도가 매우 느려질 수 있다. 이러한 이유로 학습 initializing learni.. 2024. 8. 17. 이전 1 2 3 4 5 6 다음 반응형
