티스토리

서잉의 기술로그🤔

검색하기

블로그 홈

서잉의 기술로그🤔

hyunseoing.tistory.com/m

인공지능 관련 공부 블로그.

구독자: 12

방명록 방문하기

반응형

주요 글 목록

2025 Computer Vision 분야 트렌드, 동향 분석하기 인공지능 main stream 분야 COMPUTER VISION 분야의 2025년 동향을 파악하기 CVPR 2024를 분석하여 블로그를 작성한다. https://public.tableau.com/app/profile/joshpreston/viz/CVPR2024/CVPRtrends CVPR 2024CVPR 2024public.tableau.com 다음 링크는 The IEEE/CVF Conference on CVPR(Computer Vision and Pattern Recognition) 2024 이라는 vision 분야의 Top tier 학회에 accept 되었던 논문을 시각화, 정리해놓은 Tableau Public 이다. Top 100을 활용하여 동향 및 트렌드를 분석해보겠다. 블로그와 Tableau P.. 공감수 4 댓글수 1 2025. 3. 9.
[논문 뜯어보기] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning 오늘은 Deepseek 연구팀의 R1 모델과 paper review 를 해보고 이를 둘러싼 controversies, discussions에 대해 알아보겠다. 논문 발제, 리뷰는 공동 발제로 빅데이터 연합 동아리 BOAZ에서 이루어졌다. DeepSeek-V3 키포인트 잡기 DeepSeek-V3는 671억 개의 하이퍼 파라미터를 가진 MOE(Mixture of Experts) 기반의 대규모 언어모델이다. 이 모델로 pre-training 을 진행하면 일반적인 텍스트 생성 등 뛰어난 NLP task들을 처리 할 수 있다. V3는 R1을 리뷰할때의 필요한 요소에 대해서만 간단히 짚고 넘어가겠다. 다음은 DeepSeek-V3의 아키텍처인데, 기존 MoE 모델과의 차이점이 존재한다. FFN 블럭은.. 공감수 5 댓글수 2 2025. 2. 14.
[논문 리뷰] OCELOT: Overlapped Cell on Tissue Dataset for Histopathology 현재 서울대병원 연구실에서 산학으로 병리 AI에 관한 캡스톤 프로젝트를 진행 중에 있다.연구에 도움이 될 만한 Medical AI, Computational Pathology 분야의 중요한 논문인 OCELOT 논문 발제를 위한 리뷰를 해보겠다. 공동 발제자 티스토리 링크:https://kmuhan-study.tistory.com/ kmuhan의 도움이 되는 개발나의 배움 너에게 가르침kmuhan-study.tistory.com Background & Motivation 기존 세포 검출 연구는 고배율 패치에만 초점을 맞추는 경향이 있었다. 그러나 병리학자는 일반적으로 넓은 시야(FoV)를 통해 먼저 조직의 구조를 이해한 후, 세부적으로 개별 세포를 분석한다. 이를 고려하여 OCELOT 데이터셋은 세포와.. 공감수 7 댓글수 0 2025. 1. 20.
[논문 리뷰] CLIP: Learning Transferable Visual Models From Natural Language Supervision 교수님께서 추천하신 vision-language multi modal 의 Baseline model인 CLIP 논문을 읽고 정리해보았다. Abstract기존의 컴퓨터 비전 모델들은 주어진 고정된 레이블 집합을 예측하도록 훈련되는 경우가 많다. 따라서 새로운 범주의 이미지를 분류하려면 추가 라벨링 작업(“나비” 대신 “잠자리”와 같은 새로운 카테고리)에 의존해야 한다.NLP 분야는 방대한 웹 텍스트를 활용하여 자연어 자체로 풍부한 감독(supervision)을 얻어내고 있으며, GPT-3 같은 사례를 통해 대규모 프리트레이닝 + 제로샷(Zero-shot)으로도 많은 태스크를 수행 가능해졌다. After pre-training, natural language is used to reference lear.. 공감수 2 댓글수 1 2025. 1. 20.
[논문 코드 리뷰] Instance Dependent Multi Label Noise Generation for Multi-Label Remote Sensing Image Classification 데이터 전처리, 메인 코드 리뷰 위성 사진 데이터셋에 대해 공부하고 있어서 위성사진 데이터처리 공부중에 교수님의 논문의 Instance depedent noise generation 이라는 방법론이 눈에 띄여 데이터처리 과정 코드 리뷰을 해보기로 했다. 위 그림은 사전학습된 CLIP 모델을 이용해 remote sensing image를 멀티라벨로 예측(Zero-shot prediction)하는 전체 과정을 나타낸다. 이미지를 CLIP의 이미지 인코더에 입력 → 이미지 임베딩 추출하고, 텍스트를 CLIP의 텍스트 인코더에 입력 → 텍스트 임베딩 추출. 각각의 이미지 임베딩과 텍스트 임베딩 사이의 유사도를 내적하여, 어떤 label과 가장 밀접한지 확인한 후, 결과로부터 Zero-shot prediction score가 산출되어.. 공감수 2 댓글수 0 2024. 12. 29.
[논문코드구현] PASCAL VOC dataset 사용하여 데이터 처리 해보기 저번에는 Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification 논문에 대해 리뷰 및 코드 구현을 해보았다. 교수님의 피드백을 받고 데이터셋의 변화와 데이터 처리에 대해 공부를 하며 블로그를 작성할 생각이다. 가장 먼저 교수님께서 피드백을 주셨던 부분은 데이터셋의 사용에 대한 부분이다. 사실 멀티라벨 분류 문제를 단일 라벨 데이터셋을 사용하고 데이터 전처리를 통해 멀티 라벨 데이터셋으로 바꾼다는 것은 이론상 말이 되지만 데이터셋 세부적으로 문제가 생길 수 있기 때문에 이 과정을 생략하고 멀티 라벨 데이터셋을 처리하는 법을 공부해보고 직접 구현해보라는 교수님의 말씀이 있었다. 그렇기.. 공감수 2 댓글수 0 2024. 12. 21.
[논문 코드구현] Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification 오늘은 교수님의 내주셨던 과제인 Code reproduction 을 해보겠다.다중 레이블 분류 문제에 기여한 논문인 Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification 에 대해 논문 리뷰와 코드를 살펴봤었다. 논문링크:https://openaccess.thecvf.com/content/CVPR2023/html/Kim_Bridging_the_Gap_Between_Model_Explanations_in_Partially_Annotated_Multi-Label_CVPR_2023_paper.html CVPR 2023 Open Access RepositoryBridging the Gap Betw.. 공감수 1 댓글수 0 2024. 11. 26.
[인공지능] CNN 구현, 코드 및 아키텍처 구조 설명 이 블로그는 국민대학교 김영욱 교수님의 "인공지능" 교과목을 듣고 과제를 리뷰로 작성한 블로그입니다. 오늘은 인공지능 수업의 두 번째 과제인 Multi-layer perceptron, Convolution Neural Netwrok 구현을 해보았다. 그 중에서도 CNN 구현을 한것에 대해 리뷰를 해보겠다. ResNet을 사용하여 성능을 끌어올렸다코드와 아키텍처 구조, 작동 매커니즘에 대해 알아보자. 다음 모델은 CIFAR-100 데이터셋의 복잡한 이미지 분류 작업을 효과적으로 처리하기 위해 설계되었으며, 깊은 네트워크 구조를 통해 우수한 성능을 보였다. # PyTorch 라이브러리 import *** 해당 cell을 수정하지 말 것 ***import torchimport torch.n.. 공감수 2 댓글수 2 2024. 11. 11.
[논문리뷰 & 코드살펴보기] Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification 오늘은 다중 레이블 분류 문제에 대한 논문을 다루어보겠다. 논문:Bridging the Gap Between Model Explanations in Partially Annotated Multi-Label Classification, Youngwook Kim, Jae Myung Kim, Jieun Jeong, Cordelia Schmid, Zeynep Akata, Jungwoo Lee; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 3408-3417 링크: https://openaccess.thecvf.com/content/CVPR2023/html/Kim_Bridging.. 공감수 1 댓글수 3 2024. 10. 30.
[Computer Vision] Otsu Algorithm, 오츄 이진화 알고리즘 이 블로그는 국민대학교 윤상민 교수님의 Computer Vision 교과목을 듣고 작성한 블로그입니다. 오늘은 중간고사 정리 겸, 이진화 영상과 Otsu 알고리즘에 대해 알아보겠다. 가장 먼저, 컴퓨터 비전에서 이진화란, 명암 영상을 흑과 백으로만 이루어진 이진 영상으로 변환하는 것을 말한다. $b(j,i) = \begin{cases} 1, & \text{if } f(j,i) \geq T \\ 0, & \text{if } f(j,i) 오츠 알고리즘(Otsu algorithm)은 이미지의 이진화(binary thresholding)를 자동으로 수행하기 위한 방법이다. 이 알고리즘은 이미지의 히스토그램을 분석하여 최적의 임계값(threshold)을 찾아 배경과 전경을 분리한다. .. 공감수 13 댓글수 9 2024. 10. 19.
[논문리뷰] Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy 지능형 컴퓨터 비전 랩실에서 학부연구생 활동을 시작하고 교수님과 미팅 결과, 현재 Vision 쪽 관심 분야인 Remote sensing image, satelite image deep learning 탐구를 위해 Data labeling, Denoising 쪽 논문을 쭉 읽어보기로 하였다. 논문: “Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels” 이 논문은 딥러닝 모델이 매우 노이즈가 많은 라벨 환경에서도 견고하게 학습할 수 있도록 새로운 학습 패러다임인 Co-teaching을 소개한다. 배경과 문제 인식 딥러닝 모델은 높은 학습 용량을 가지고 있어, 결국 노이즈가 있는 라벨까지 암기하게 된다. 이는 모델.. 공감수 2 댓글수 3 2024. 10. 15.
[EECS 498-007] lec13. Attention *강의영상*: https://www.youtube.com/watch?v=YAgjfMR9R_M&t=401s 저번 강의에서 RNN, LSTM 등 다양한 순환신경망을 배우고 그 구조와 작동 매커니즘에 대해 알아보았다. Long input에도 강한 점을 드러내는 LSTM이 있었지만 highly parralizable 하지 않기 때문에 computation이 복잡한 문제는 아직도 해결되지 않았다. 오늘 강의에서는 'Attention' 메커니즘에 대해 다룬다. 이전 강의에서 다루었던 Recurrent Neural Networks(RNN)의 한계를 극복하기 위해 Attention 메커니즘이 어떻게 등장하게 되었는지, 그리고 그것이 어떻게 활용되는지 알아보자. 또한 Attention 메커니즘이 RNN뿐만 아.. 공감수 2 댓글수 1 2024. 8. 25.
[알고리즘/Python] Sort, 정렬 문제 백준 #10825 문제 정답 코드 및 풀이이다.https://www.acmicpc.net/problem/10825 문제도현이네 반 학생 N명의 이름과 국어, 영어, 수학 점수가 주어진다. 이때, 다음과 같은 조건으로 학생의 성적을 정렬하는 프로그램을 작성하시오.국어 점수가 감소하는 순서로국어 점수가 같으면 영어 점수가 증가하는 순서로국어 점수와 영어 점수가 같으면 수학 점수가 감소하는 순서로모든 점수가 같으면 이름이 사전 순으로 증가하는 순서로 (단, 아스키 코드에서 대문자는 소문자보다 작으므로 사전순으로 앞에 온다.)입력첫째 줄에 도현이네 반의 학생의 수 N (1 ≤ N ≤ 100,000)이 주어진다. 둘째 줄부터 한 줄에 하나씩 각 학생의 이름, 국어, 영어, 수학 점수가 공백으로 구분해 주어진다... 공감수 1 댓글수 0 2024. 8. 20.
[EECS 498-007] lec12. Recurrent Neural Networks *강의영상*: https://www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 저번 강의에서 신경망을 학습 시킬때 필요한 절차, 구성 요소에 대해 배우고 실제로 어떻게 학습시키는지, 또한 학습 시킬 때 생기는 문제에 대해 자세히 알아보았다. 이번 강의에서는 Recurrent Neural Networks(RNN), 시퀀스 데이터를 처리하는 데 유용한 순환 신경망 구조로, 이 강의에서는 RNN의 기본 개념부터 고급 주제까지 폭넓게 다루었다. 주요 내용을 알아보자. RNN은 시퀀스 데이터 처리를 위해 설계된 신경망으로, 내부 상태를 유지하여 이전 입력의 영향을 반영할 수 있다. RNN의 구조를 수식을 통해.. 공감수 0 댓글수 0 2024. 8. 19.
[EECS 498-007] lec11. Training Neural Networks II *강의 영상*: https://www.youtube.com/watch?v=WUazOtlti0g&t=3072s 이전 강의에서 Training Neural Network part 1을 배웠고 다양한 활성화 함수와 가중치 initializing을 배웠다. 오늘은 신경망 훈련 중 고려해야 할 중요한 요소들, 특히 Learning rate scheduling, Choosing hyperparameter 에 중점을 두고 있다. 또한 마지막에 after training도 또한 다룰 예정이다. 신경망을 훈련할 때 학습률은 매우 중요한 하이퍼파라미터로, 학습률이 너무 높으면 모델이 발산할 수 있고, 너무 낮으면 훈련 속도가 매우 느려질 수 있다. 이러한 이유로 학습 initializing learni.. 공감수 1 댓글수 0 2024. 8. 17.
[EECS 498-007] lec10. Training Neural Networks I *강의 영상*: https://www.youtube.com/watch?v=lGbQlr1Ts7w 저번 강의에서 Convolutional 신경망, 아키텍처 구축에 필요한 하드웨어와 소프트웨어에 대해 배웠다. 필수적이지만 기본적인 내용이었기에 블로깅은 스킵했다. Pytorch, Tensorflow 기본 구성요소와 작동방식이 궁금하면 아래 링크를 참고하자. https://kmiiiaa.tistory.com/29 EECS 498-007 / 598-005 Lecture 9 : Hardware and Software이번 시간에는 딥러닝에서 쓰이는 하드웨어 - 소프트웨어 순으로 알아볼 것인데, 딥러닝에서의 연산은 CPU와 GPU를 주로 사용한다. 현재 대부분의 GPU는 NVIDIA와 AMD의 GPU가 쓰이고 .. 공감수 1 댓글수 1 2024. 8. 15.
[EECS 498-007] lec8. CNN Architectures *강의 영상*: https://www.youtube.com/watch?v=XaZIlVrIO-Q&t=2390s 저번 강의에서 우리는 CNN의 구성요소와 각 layer와 하이퍼 파라미터들이 어떤 것을 하고 왜 존재하는지에 대해 배워보았고 이러한 기본 요소들을 어떻게 조합하여 고성능의 CNN을 만들 수 있는지에 대한 생각을 해보게 되었다. 오늘은 해가 지남에 따라 CNN 아키텍처의 발전에 대해 알아보자.ImageNet 대회는 CNN 아키텍처의 발전에 중요한 역할을 했다. 2010년과 2011년 대회 초기에는 CNN이 아닌 전통적인 방법들이 사용되고 그나마 지금같은 형태를 띄는 아키텍처 중 LeNet-5가 있었지만, 2012년 AlexNet이 등장하면서 상황이 크게 변화했다. AlexNet은 당시로서.. 공감수 1 댓글수 0 2024. 8. 13.
[EECS 498-007] lec7. Convolutional Networks *강의 영상*: https://www.youtube.com/watch?v=ANyxBVxmdZ0 이전 강의에서 기울기 계산을 효율적으로 수행하기 위한 역전파 알고리즘과 Computational Graph에 대해 알아보았다. 오늘은 딥러닝에서 중요한 주제 중 하나인 Convolutional Neural Networks, CNN에 대한 내용을 다루고 있다. 강의를 통해 CNN의 기본 개념부터 작동 원리, 다양한 레이어의 구성 요소까지 상세히 알아보자. 기존의 선형 분류기와 Fully Connected Neural Network은 이미지의 2D 공간 구조를 무시한다는 문제가 있다. 이미지를 1차원 벡터로 flatten한 후 이를 모델에 입력하는 방식은 이미지의 중요한 공간적 정보를 손실하게 만든.. 공감수 1 댓글수 0 2024. 8. 12.
[알고리즘/Python] Brute Force 심화 문제 백준 1065번 문제이다 https://www.acmicpc.net/problem/7568 문제우리는 사람의 덩치를 키와 몸무게, 이 두 개의 값으로 표현하여 그 등수를 매겨보려고 한다. 어떤 사람의 몸무게가 x kg이고 키가 y cm라면 이 사람의 덩치는 (x, y)로 표시된다. 두 사람 A 와 B의 덩치가 각각 (x, y), (p, q)라고 할 때 x > p 그리고 y > q 이라면 우리는 A의 덩치가 B의 덩치보다 "더 크다"고 말한다. 예를 들어 어떤 A, B 두 사람의 덩치가 각각 (56, 177), (45, 165) 라고 한다면 A의 덩치가 B보다 큰 셈이 된다. 그런데 서로 다른 덩치끼리 크기를 정할 수 없는 경우도 있다. 예를 들어 두 사람 C와 D의 덩치가 각각 (45, 181), (5.. 공감수 0 댓글수 0 2024. 8. 11.
[EECS 498-007] lec6. Backpropagation *강의 영상*: https://www.youtube.com/watch?v=dB-u77Y5a6A 이전 강의에서 Space Wrapping, 신경망의 비선형성과 비볼록성(non-convexity)으로 인해 이론적인 보장이 적다는 단점이 있고 이론적으로 보장된 결과를 얻기 어렵지만, 그럼에도 신경망이 선형 분류기보다 훨씬 강력한 계산 능력을 제공한다는 것을 배웠다. 신경망은 비선형 결정 경계를 학습할 수 있으며, 이를 통해 보다 복잡한 데이터 구조를 처리할 수 있다. 그러나 이전에 말했던 convexity issue로 인해 손실 함수를 최소화하는 것이 어려울 수 있으며, 여기서 역전파 알고리즘이 중요해진다. 오늘 6강에서는 역전파(Backpropagation) 알고리즘에 대해 다루며, 이는 신경.. 공감수 3 댓글수 0 2024. 8. 8.
[EECS 498-007] lec5. Neural Networks *강의 영상*: https://www.youtube.com/watch?v=g6InpdhUblE&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 이전 강의에서는 선형 모델을 사용해 분류기를 구축하는 방법과 손실 함수를 통해 분류기의 성능을 평가하는 방법을 다루었다. 그리고 확률적 경사 하강법(stochastic gradient descent)과 그 변형을 사용해 목적 함수를 최소화하는 방법에 대해 알아 보았었다. 오늘은 Linear classifier, 선형 분류기의 제한과 NN(Neural Network), 신경망에 관하여 알아보겠다. 선형 분류기는 이해하기 쉽고 단순하지만 표현할 수 있는 함수의 종류에 제한이 있으며, 이로 인해 복잡한 데이터셋에서는 성능.. 공감수 4 댓글수 1 2024. 8. 7.
[알고리즘/Python] 시간복잡도와 Big-O, Brute Force 문제 적기라 판단하여 알고리즘 스터디를 해보려한다. 인공지능 공부를 하고 있고 진로를 빅데이터쪽으로 잡았지만기초 언어 공부와 자료구조를 C++로 하여 언어 선택에 고민이 많이 될 수 밖에 없었다... 이론은 cpp로 공부하되, 코딩은 python으로 하기로 했다. 시간복잡도와 Big-O에 관한 문제풀이 영상이다. 헷갈리는 부분들을 짚어주어 좋은것 같다. *강의영상*: https://www.youtube.com/watch?v=QBZnX_P_dj4 영상에 나오는 코드들을 몇개만 다뤄보자. 영상에선 cpp로 설명한다. int sqrt(int n) { for (int g = 1; g * g 이 코드에서 반복문은 g * g가 n과 같아질 때까지 실행된다. g * g가 n과 같아지려면, .. 공감수 3 댓글수 1 2024. 8. 6.
[EECS 498-007] lec4. Optimization *강의 영상*: https://www.youtube.com/watch?v=YnQJTfbwBM8&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 오늘은 손실 함수(Loss function)를 최소화하는 가중치 행렬 W를 찾는 것이 최적화 문제의 핵심이다. 최적화는 일반적으로 손실 함수의 값을 최소화하는 방향으로 가중치를 조정하는 과정이며, 이는 수학적으로 매우 일반적인 문제이다. Random Search, 랜덤 서치와 그 한계는 명확하다. 랜덤 서치는 최적화 문제를 해결하기 위해 랜덤으로 가중치 값을 생성하고, 해당 가중치에서의 손실 함수를 평가하여 최적의 가중치를 찾으려는 방법이다. 하지만 이 방법은 비효율적이며, 일반적으로 좋은 결과를 얻기 어렵다. 이 방.. 공감수 3 댓글수 0 2024. 8. 5.
[EECS 498-007] lec3. Linear Classifiers *강의 영상*: https://www.youtube.com/watch?v=qcSEP17uKKY&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 강의는 머신러닝에서 선형 분류기(linear classifiers)에 대해 다루고 있다. 이전 강의에서 이미지 분류 문제를 다루었으며, 이는 컴퓨터 비전의 기초적인 문제로 간주된다. 여기서 목표는 입력 이미지로부터 고정된 카테고리 중 하나를 예측하는 것이다. Recap 해보자 이미지 인식 시스템을 구축할 때, 시점 변화, 조명 변화, 변형 등의 여러 입력 데이터의 다양한 변화를 잘 처리할 수 있도록 하는 것이 중요하다.이러한 문제를 해결하기 위해, 명시적인 함수를 작성하는 대신 대규모 데이터셋을 수집하고 학습 알고리즘을 사용해 .. 공감수 3 댓글수 0 2024. 8. 5.
[EECS 498-007] lec2. Image Classification Deep Learning for Computer Vision에 관하여 공부를 시작하려 한다.*강의 영상*: https://youtu.be/dJYGatp4SvA 가장 첫 번째로 Artificial Intelligence, Machine Learning, Computer Vision의 관계에 대한 벤 다이어그램이다. Image Classificatoin 가장 먼저 다룰것은 의미론적 차이이다. Semactic Gap(의미론적 차이)는 사진을 보고 이것이 고양인지 강아지인지 구별하는 것은 인간에겐 쉬운 일이지만 비전에선 Core Task이다. 컴퓨터 입장에서 이미지는 모든 것을 0~255 사이의 pixel과 RGB의 3가지 채널로 이루어진 숫자 행렬로 인식 하기 때문이다. 이것이 인간과 컴퓨터가 가지는.. 공감수 0 댓글수 0 2024. 8. 5.
Colab에서 Flask로 배포하기 학교 프로젝트 도중 fine-tune한 자연어모델을 내려받기 위해 torch.save로 pickle을 사용하여 직렬화하여 디스크에 저장 후 Flask를 사용해 백앤드와 연결하여 아키텍처를 완성할 계획이었다. 여기서 문제가 발생했다, fine-tune한 모델이 거대언어모델이라 저장이 쉽지않고 고성능 GPU와 많은 메모리 사용량을 요구했기 때문에 로컬에서 서빙할수가 없었다. 해결책을 찾았다. 바로 Colab 자체에서 배포하는것. 가장 먼저, Colab에서 flask, ngrok을 설치 해주고, 코드에 ngrok을 import하자!pip install flask !pip install ngrok !pip install pyngrok pyngrok 을 설치해준 이유는 ngrok 서비스를 Python에서 쉽게 사.. 공감수 2 댓글수 0 2024. 6. 25.
stable diffusion 모델과 어뎁터 다뤄보기 컴퓨터그래픽스 수업을 수강하고 마지막 과제인 stable diffusion 모델을 사용한 Text-to-Image + Adapter 실습해볼 수 있는 기회가 생겼다. 용어를 정리한 후 코드를 살펴 보도록 하자. Stable diffusion 이란 AI 기반의 이미지 생성 기술로, 주어진 텍스트 설명을 기반으로 이미지를 생성하는 기술이다. 이 기술은 주로 Generative Adversarial Networks (GANs)와 Variational Autoencoders (VAEs) 같은 딥러닝 모델을 사용한다. 최근에는 Denoising Diffusion Probabilistic Models (DDPMs)를 사용한 Diffusion Models가 주목받고 있다. Diffusion 모델은 이미지 생성 과정.. 공감수 6 댓글수 4 2024. 6. 22.
RNN 사용해서 감정 분석 해보기 Sentiment analysis란 텍스트 데이터에서 감정 상태를 식별하는 자연어 처리의 중요한 과제이다. 저번에는 BERT를 사용해봤고 이번에는 RNN을 사용해 감정 분석을 수행하고 그 성능을 비교해 보겠다. 두 모델의 코드 설명, 성능 지표 분석, 모델 특성 및 성능 비교, 그리고 프로젝트를 통해 얻은 교훈을 포함한다. 다음 사진은 SSLSTM(Sentiment and Semantic LSTM) 아키텍처 구조를 나타내는 사진이다. 감정 분석 분야에 순환 신경망, Recurrent Neural Network 구조가 눈에 띄게 성능을 잘 보이는 듯 하다. 데이터 전처리RNN 모델의 경우에도 BERT와 동일한 전처리 과정을 거친다. URL, 멘션, 해시태그, 숫자, 특수 문자를 제거하고, 중.. 공감수 1 댓글수 0 2024. 6. 20.
BERT로 감정 분석 실습 해보기 자연어처리 수업 도중 과제가 나와서 LLM으로 감정분석 을 해볼수 있는 기회가 생겼다. 가장 먼저 sentiment analysis란 텍스트 데이터에서 감정 상태를 식별하는 자연어 처리의 중요한 과제이다. 오늘은 BERT를 사용해 감정 분석을 수행하고 그 성능을 검증해 보겠다. 모델의 코드 설명, 성능 지표 분석, 모델 특성 및 성능 비교를 포함한다. BERT 모델을 사용한 감정 분석 데이터 전처리BERT 모델의 경우, 텍스트 데이터를 전처리하여 모델에 적합한 형식으로 변환한다. 전처리 단계는 다음과 같은 이유로 수행된다. l URL 제거: 텍스트 데이터에 포함된 URL은 감정 분석에 불필요한 잡음이 될 수 있으므로 제거l 멘션 제거: 소셜 미디어 텍스트에서 멘션(`@username`)은.. 공감수 47 댓글수 30 2024. 6. 20.
챗봇 구현을 위한 데이터로더 기능 테스트 학교 Alpha프로젝트를 위한 많은 AI 기능을 처리하기 위한 자연어처리 인공지능 모델을 만들기 위해Pytorch, Tensorflow, 논문, flask, 각종 모델과 API 스터디를 했다. 스터디 결과 원하는 기능인 기술 스택 추천 기능, 코드 블럭 -> 텍스트기반 코드 변환 기능, Q&A 챗봇 기능을 구현 하려면 엄청난 데이터를 요구하는 대규모 언어 모델인 LLM이 필요하다고 느꼈다. 대규모 LLM 모델을 다루기전에 GPT-2, 3로 파인튜닝 코드를 작성해보면서 감을 잡았다. 가장 첫 번째로 해볼 것은 배포를 위한 Flask 스터디와 구현 방법 탐구이다. OpenAI의 API 토큰을 받아온 뒤 작성한Model2의 코드이다. app.pyimport openaifrom fl.. 공감수 9 댓글수 7 2024. 5. 22.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.