반응형 데이터 전처리4 [논문코드구현] PASCAL VOC dataset 사용하여 데이터 처리 해보기 저번에는 Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification 논문에 대해 리뷰 및 코드 구현을 해보았다. 교수님의 피드백을 받고 데이터셋의 변화와 데이터 처리에 대해 공부를 하며 블로그를 작성할 생각이다. 가장 먼저 교수님께서 피드백을 주셨던 부분은 데이터셋의 사용에 대한 부분이다. 사실 멀티라벨 분류 문제를 단일 라벨 데이터셋을 사용하고 데이터 전처리를 통해 멀티 라벨 데이터셋으로 바꾼다는 것은 이론상 말이 되지만 데이터셋 세부적으로 문제가 생길 수 있기 때문에 이 과정을 생략하고 멀티 라벨 데이터셋을 처리하는 법을 공부해보고 직접 구현해보라는 교수님의 말씀이 있었다. 그렇기.. 2024. 12. 21. [EECS 498-007] lec10. Training Neural Networks I *강의 영상*: https://www.youtube.com/watch?v=lGbQlr1Ts7w 저번 강의에서 Convolutional 신경망, 아키텍처 구축에 필요한 하드웨어와 소프트웨어에 대해 배웠다. 필수적이지만 기본적인 내용이었기에 블로깅은 스킵했다. Pytorch, Tensorflow 기본 구성요소와 작동방식이 궁금하면 아래 링크를 참고하자. https://kmiiiaa.tistory.com/29 EECS 498-007 / 598-005 Lecture 9 : Hardware and Software이번 시간에는 딥러닝에서 쓰이는 하드웨어 - 소프트웨어 순으로 알아볼 것인데, 딥러닝에서의 연산은 CPU와 GPU를 주로 사용한다. 현재 대부분의 GPU는 NVIDIA와 AMD의 GPU가 쓰이고 .. 2024. 8. 15. RNN 사용해서 감정 분석 해보기 Sentiment analysis란 텍스트 데이터에서 감정 상태를 식별하는 자연어 처리의 중요한 과제이다. 저번에는 BERT를 사용해봤고 이번에는 RNN을 사용해 감정 분석을 수행하고 그 성능을 비교해 보겠다. 두 모델의 코드 설명, 성능 지표 분석, 모델 특성 및 성능 비교, 그리고 프로젝트를 통해 얻은 교훈을 포함한다. 다음 사진은 SSLSTM(Sentiment and Semantic LSTM) 아키텍처 구조를 나타내는 사진이다. 감정 분석 분야에 순환 신경망, Recurrent Neural Network 구조가 눈에 띄게 성능을 잘 보이는 듯 하다. 데이터 전처리RNN 모델의 경우에도 BERT와 동일한 전처리 과정을 거친다. URL, 멘션, 해시태그, 숫자, 특수 문자를 제거하고, 중.. 2024. 6. 20. BERT로 감정 분석 실습 해보기 자연어처리 수업 도중 과제가 나와서 LLM으로 감정분석 을 해볼수 있는 기회가 생겼다. 가장 먼저 sentiment analysis란 텍스트 데이터에서 감정 상태를 식별하는 자연어 처리의 중요한 과제이다. 오늘은 BERT를 사용해 감정 분석을 수행하고 그 성능을 검증해 보겠다. 모델의 코드 설명, 성능 지표 분석, 모델 특성 및 성능 비교를 포함한다. BERT 모델을 사용한 감정 분석 데이터 전처리BERT 모델의 경우, 텍스트 데이터를 전처리하여 모델에 적합한 형식으로 변환한다. 전처리 단계는 다음과 같은 이유로 수행된다. l URL 제거: 텍스트 데이터에 포함된 URL은 감정 분석에 불필요한 잡음이 될 수 있으므로 제거l 멘션 제거: 소셜 미디어 텍스트에서 멘션(`@username`)은.. 2024. 6. 20. 이전 1 다음 반응형
