Study7 로컬 AI 모델 구동하기-3 핵심 요약컨텍스트 윈도우를 키우면 KV 캐시가 VRAM을 쓴다.27B Dense는 96K에서 128K로 넘어가는 순간 생성 속도가 1/4가 된다 35B MoE는 CPU로 오프로드하면서도 27B Dense 96K보다 빠르다중요한건 모델 크기만이 아니다 로컬 모델에 처음 관심을 가질 때 모델의 크기만 중요한 걸로 생각했다.그래서 '구동이 가능하다'라는 것만 보고 되는구나 라고 생각했다.하지만 실제 VRAM 사용량은 이렇다.VRAM = 모델 가중치 + KV 캐시 + 런타임 버퍼KV 캐시는 이전 토큰의 연산 결과를 저장해두는 공간이다.컨텍스트가 길수록 캐시가 커진다. 256K 컨텍스트라면 모델 크기와 맞먹는 수준의 VRAM이 추가로 필요할 수 있다.아무리 큰 모델을 구동할 수 있다 한들 컨텍스트 윈도우가 작으면.. 2026. 6. 17. 로컬 AI 모델 구동하기-2 2단계: Docker 기초목표Docker 핵심 개념 이해 (Image / Container / Volume)기본 명령어 실전 경험docker run 옵션의 의미를 이해하며 사용2-1. Docker 설치GPU 컨테이너까지 사용할 예정이면 sudo snap install docker 대신 Docker 공식 apt 저장소로 설치합니다.Snap Docker는 docker 그룹이 없거나 NVIDIA Container Toolkit 연동에서 예상과 다르게 동작할 수 있습니다.설치 전: apt update 오류가 있으면 먼저 해결apt update가 아래처럼 실패하면 Docker 설치도 중간에 멈춥니다.E: The repository 'https://ppa.launchpadcontent.net/thopiekar/op.. 2026. 6. 14. 로컬 AI 모델 구동하기-1 난 예전부터 어떤 취미생활을 하든 장비부터 채이고보는 장비병이 있다.그래서 이번 AI에 대한 관심이 생겼을 때도 가장 먼저 눈에 들어온건 로컬 모델이다.머리로는 Claude나 ChatGPT와 같은 프론티어 모델을 구독료내고 쓰는게 경제적인거란걸 이해하지만꼭 내가 써봐야하는 병이다.참아보려고 했지만결국 당근에서 중고 RTX 3090 PC를 업어왔다 뭐.. 좀 써보다보면 다시 팔게되지 않을까..?1단계: Linux & GPU 환경 확인목표현재 시스템 상태 파악NVIDIA 드라이버 설치 완료nvidia-smi 정상 출력 확인1-1. 시스템 정보 확인# 배포판 확인lsb_release -a# 커널 버전uname -r# GPU 인식 여부lspci | grep -i nvidia1-2. NVIDIA 드라이버 설치방법.. 2026. 6. 12. 메타 프롬프트 — AI한테 프롬프트를 쓰게 하는 법 핵심 요약메타 프롬프트란 "프롬프트를 만드는 프롬프트"다AI한테 직접 지시하는 대신, AI가 더 좋은 지시문을 뽑아오게 시킨다프롬프트를 매번 손으로 다듬는 대신 구조적으로 만들 수 있다메타 프롬프트란프롬프트를 잘 쓰는 게 어렵다는 건 다들 안다."더 자세히 설명해줘"라고 치면 장황해지고, "짧게 요약해줘"라고 치면 너무 날아간다.메타 프롬프트는 이 문제를 다른 방향에서 푼다.AI한테 "이런 작업을 위한 프롬프트를 만들어줘"라고 시키는 거다.프롬프트를 쓰는 주체를 내가 아니라 AI로 바꾸는 것.예를 들어 "고객 이메일 답장 프롬프트를 만들어줘. 친절하되 너무 길지 않게, 항상 해결책을 제시하는 방향으로"라고 하면 AI가 실제로 쓸 수 있는 시스템 프롬프트를 생성한다.그 프롬프트를 붙여넣고 쓰면 된다.왜 필.. 2026. 6. 5. 이미지 데이터를 PyTorch Tensor로 보는 법 핵심 개념텐서는 이미지의 공통 언어LearnPyTorch 기초 파트처럼 이미지는 숫자 텐서로 표현된다. 예를 들어 RGB 이미지는 보통 [3, 224, 224]이다.shape / dtype / device는 가장 먼저 확인할 디버깅 포인트shape가 틀리면 layer 입력이 깨지고, dtype이 틀리면 연산/메모리 문제가 나고, device가 다르면 CPU/GPU 에러가 난다.PyTorch 워크플로는 Data → Model → Loss → Optimizer → Train/Inference autograd는 gradient를 자동 계산한다loss.backward()를 호출하면 학습 가능한 파라미터에 대한 기울기가 쌓인다.학습과 추론은 분리해야 한다실무에서는 학습 코드와 추론 코드를 섞지 않는 습관이 중요.. 2026. 5. 5. PyTorch 기본 명령어 1. 텐서 생성 및 초기화torch.tensor(): 파이썬 리스트 등을 사용하여 스칼라, 벡터, 행렬 등 다양한 차원의 텐서를 생성합니다.torch.rand(size): 지정한 size 크기의 무작위 숫자로 채워진 텐서를 만듭니다.torch.zeros(size) / torch.ones(size): 0 또는 1로만 채워진 텐서를 생성합니다.torch.zeros_like(input) / torch.ones_like(input): 입력된 input 텐서와 모양(shape)이 동일하면서 0 또는 1로 채워진 새로운 텐서를 반환합니다.torch.arange(start, end, step): start부터 end 직전까지 step 간격으로 숫자를 생성합니다.2. 텐서 정보 및 속성 확인tensor.ndim: 텐서.. 2026. 4. 7. 이전 1 2 다음
