반응형 자연어처리6 [EECS 498-007] lec12. Recurrent Neural Networks *강의영상*: https://www.youtube.com/watch?v=dUzLD91Sj-o&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r 저번 강의에서 신경망을 학습 시킬때 필요한 절차, 구성 요소에 대해 배우고 실제로 어떻게 학습시키는지, 또한 학습 시킬 때 생기는 문제에 대해 자세히 알아보았다. 이번 강의에서는 Recurrent Neural Networks(RNN), 시퀀스 데이터를 처리하는 데 유용한 순환 신경망 구조로, 이 강의에서는 RNN의 기본 개념부터 고급 주제까지 폭넓게 다루었다. 주요 내용을 알아보자. RNN은 시퀀스 데이터 처리를 위해 설계된 신경망으로, 내부 상태를 유지하여 이전 입력의 영향을 반영할 수 있다. RNN의 구조를 수식을 통해.. 2024. 8. 19. Colab에서 Flask로 배포하기 학교 프로젝트 도중 fine-tune한 자연어모델을 내려받기 위해 torch.save로 pickle을 사용하여 직렬화하여 디스크에 저장 후 Flask를 사용해 백앤드와 연결하여 아키텍처를 완성할 계획이었다. 여기서 문제가 발생했다, fine-tune한 모델이 거대언어모델이라 저장이 쉽지않고 고성능 GPU와 많은 메모리 사용량을 요구했기 때문에 로컬에서 서빙할수가 없었다. 해결책을 찾았다. 바로 Colab 자체에서 배포하는것. 가장 먼저, Colab에서 flask, ngrok을 설치 해주고, 코드에 ngrok을 import하자!pip install flask !pip install ngrok !pip install pyngrok pyngrok 을 설치해준 이유는 ngrok 서비스를 Python에서 쉽게 사.. 2024. 6. 25. stable diffusion 모델과 어뎁터 다뤄보기 컴퓨터그래픽스 수업을 수강하고 마지막 과제인 stable diffusion 모델을 사용한 Text-to-Image + Adapter 실습해볼 수 있는 기회가 생겼다. 용어를 정리한 후 코드를 살펴 보도록 하자. Stable diffusion 이란 AI 기반의 이미지 생성 기술로, 주어진 텍스트 설명을 기반으로 이미지를 생성하는 기술이다. 이 기술은 주로 Generative Adversarial Networks (GANs)와 Variational Autoencoders (VAEs) 같은 딥러닝 모델을 사용한다. 최근에는 Denoising Diffusion Probabilistic Models (DDPMs)를 사용한 Diffusion Models가 주목받고 있다. Diffusion 모델은 이미지 생성 과정.. 2024. 6. 22. Transformer로 간단한 챗봇 구현 및 평가 해보기 챗봇 구현을 위한 전처리 과정과 앞 단계 과정을 끝내고이제 챗봇 구현과 평가를 위한 코드를 작성해보자. 인코더와 디코더의 입력, 그리고 레이블 만들기. tf.data.Dataset을 사용하여 데이터를 배치 단위로 불러올 수 있다.# 텐서플로우 dataset을 이용하여 셔플(shuffle)을 수행하되, 배치 크기로 데이터를 묶는다.# 또한 이 과정에서 교사 강요(teacher forcing)을 사용하기 위해서 디코더의 입력과 실제값 시퀀스를 구성한다.BATCH_SIZE = 64BUFFER_SIZE = 20000# 디코더의 실제값 시퀀스에서는 시작 토큰을 제거해야 한다.dataset = tf.data.Dataset.from_tensor_slices(( { 'inputs': question.. 2024. 5. 2. 이전 1 2 다음 반응형
