로컬 AI 모델 구동하기-1

난 예전부터 어떤 취미생활을 하든 장비부터 채이고보는 장비병이 있다.

그래서 이번 AI에 대한 관심이 생겼을 때도 가장 먼저 눈에 들어온건 로컬 모델이다.

머리로는 Claude나 ChatGPT와 같은 프론티어 모델을 구독료내고 쓰는게 경제적인거란걸 이해하지만

꼭 내가 써봐야하는 병이다.

참아보려고 했지만

결국 당근에서 중고 RTX 3090 PC를 업어왔다

 

뭐.. 좀 써보다보면 다시 팔게되지 않을까..?

1단계: Linux & GPU 환경 확인

목표

• 현재 시스템 상태 파악
• NVIDIA 드라이버 설치 완료
• nvidia-smi 정상 출력 확인

1-1. 시스템 정보 확인

# 배포판 확인
lsb_release -a

# 커널 버전
uname -r

# GPU 인식 여부
lspci | grep -i nvidia

---

1-2. NVIDIA 드라이버 설치

방법 A — 자동 설치 

# 추천 드라이버 자동 감지 및 설치
sudo ubuntu-drivers autoinstall

# 재부팅
sudo reboot

방법 B — 수동 설치

# 사용 가능한 드라이버 목록 확인
ubuntu-drivers devices

# 특정 버전 지정 설치 (예: 535 버전)
sudo apt install nvidia-driver-535

sudo reboot

1-3. 설치 확인

nvidia-smi

정상 출력 예시

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.183.01   Driver Version: 535.183.01   CUDA Version: 12.2               |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
|   0  NVIDIA GeForce RTX 3090 Ti     Off |   00000000:01:00.0  On |                  N/A |
+-----------------------------------------------------------------------------------------+

CUDA Version이 표시되면 성공입니다.

1-4. CUDA 버전 확인 (중요)

vLLM Docker 이미지 선택 시 이 버전과 맞춰야 합니다.

# CUDA 버전 확인
nvidia-smi | grep "CUDA Version"

# 또는
cat /usr/local/cuda/version.txt  # 직접 설치된 경우

---

체크리스트

• lsb_release -a 로 배포판 확인 완료
• lspci | grep -i nvidia 에서 GPU 인식 확인
• nvidia-smi 정상 실행
• CUDA 버전 메모해두기: CUDA 13.2