colab A100에서 안돌아가는데 제가 놓친게 있을까요?

#16

by claraWorld - opened Nov 21, 2024

Nov 21, 2024

RAG를 돌리는데 vllm을 사용해서 모델을 로드했더니 임베딩할때 cuda out of memory 뜹니다.
vllm을 안써도 그러네요. 혹시 왜그러는 걸까요? 서버사양이 어느정도 되어야하는걸까요?

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

Your need to confirm your account before you can post a new comment.

· Sign up or log in to comment