반응형 RNN3 [EECS 498-007] lec13. Attention *강의영상*: https://www.youtube.com/watch?v=YAgjfMR9R_M&t=401s 저번 강의에서 RNN, LSTM 등 다양한 순환신경망을 배우고 그 구조와 작동 매커니즘에 대해 알아보았다. Long input에도 강한 점을 드러내는 LSTM이 있었지만 highly parralizable 하지 않기 때문에 computation이 복잡한 문제는 아직도 해결되지 않았다. 오늘 강의에서는 'Attention' 메커니즘에 대해 다룬다. 이전 강의에서 다루었던 Recurrent Neural Networks(RNN)의 한계를 극복하기 위해 Attention 메커니즘이 어떻게 등장하게 되었는지, 그리고 그것이 어떻게 활용되는지 알아보자. 또한 Attention 메커니즘이 RNN뿐만 아.. 2024. 8. 25. [EECS 498-007] lec12. Recurrent Neural Networks *강의영상*: https://www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 저번 강의에서 신경망을 학습 시킬때 필요한 절차, 구성 요소에 대해 배우고 실제로 어떻게 학습시키는지, 또한 학습 시킬 때 생기는 문제에 대해 자세히 알아보았다. 이번 강의에서는 Recurrent Neural Networks(RNN), 시퀀스 데이터를 처리하는 데 유용한 순환 신경망 구조로, 이 강의에서는 RNN의 기본 개념부터 고급 주제까지 폭넓게 다루었다. 주요 내용을 알아보자. RNN은 시퀀스 데이터 처리를 위해 설계된 신경망으로, 내부 상태를 유지하여 이전 입력의 영향을 반영할 수 있다. RNN의 구조를 수식을 통해.. 2024. 8. 19. RNN 사용해서 감정 분석 해보기 Sentiment analysis란 텍스트 데이터에서 감정 상태를 식별하는 자연어 처리의 중요한 과제이다. 저번에는 BERT를 사용해봤고 이번에는 RNN을 사용해 감정 분석을 수행하고 그 성능을 비교해 보겠다. 두 모델의 코드 설명, 성능 지표 분석, 모델 특성 및 성능 비교, 그리고 프로젝트를 통해 얻은 교훈을 포함한다. 다음 사진은 SSLSTM(Sentiment and Semantic LSTM) 아키텍처 구조를 나타내는 사진이다. 감정 분석 분야에 순환 신경망, Recurrent Neural Network 구조가 눈에 띄게 성능을 잘 보이는 듯 하다. 데이터 전처리RNN 모델의 경우에도 BERT와 동일한 전처리 과정을 거친다. URL, 멘션, 해시태그, 숫자, 특수 문자를 제거하고, 중.. 2024. 6. 20. 이전 1 다음 반응형
