Study8 로컬 모델 공짜로 돌려보기 - Modal 장비병이건 다른 말로 설명할 수 없다병이다지난 포스팅 중에 로컬모델 돌리기에서 언급했듯장비병이 심해서 RTX 3090 Ti PC를 구매했었고지금은 팔았다프론티어 모델보다 성능이 떨어지는 로컬모델을 구동하면한달에 전기요금이 3만원거의 프론티어모델 $20 구독료만큼 나온다무제한 토큰을 사용하고 싶어서 GPU 서버용으로 산건데무제한이지만 쓰는만큼 돈이 드니.. 거의 종량제가 아닌가..그래서 다시 팔았다성격도 급해서 느긋하게 구매자를 기다렸으면 샀던 가격 그대로 팔 수 있었을 것 같은데빨리 팔고 싶어서 손해보고 팔았다 로컬 AI 모델 구동하기-1난 예전부터 어떤 취미생활을 하든 장비부터 채이고보는 장비병이 있다.그래서 이번 AI에 대한 관심이 생겼을 때도 가장 먼저 눈에 들어온건 로컬 모델이다.머리로는 Cl.. 2026. 8. 21. Commandcode 리뷰 서론사진이 취미일 때도 사진 자체도 좋았지만카메라나 렌즈 같은 장비에 관심이 더 많았었다 바이브코딩에 입문한 후로 모델이나 요금제, 디바이스도 이것저것 찍먹을 하고 있다코딩에 대해서 공부한 건 파이썬 기초정도뿐이고어떤 모델이 벤치마크가 어떻고 어떤 능력이 좋고 이런 걸 판단하기엔 내가 수준이 많이 부족하지만 그냥 비개발자로서 내가 느낀 소회 정도를 정리해보려고 한다. 찍먹의 이유이전 $50로 바이브코딩하기 같은 글을 쓴 걸 보면 아 이 사람은 바이브코딩에 큰돈 쓸 생각이 없구나 라는걸 알 수 있다 https://localhost-3000.tistory.com/entry/50로-바이브코딩 $50로 바이브코딩서론바이브 코딩을 위해선 Claude나 ChatGPT 유료 구독이 필수적이다.특히 원래 개발자라면 .. 2026. 8. 18. 로컬 AI 모델 구동하기-3 핵심 요약컨텍스트 윈도우를 키우면 KV 캐시가 VRAM을 쓴다.27B Dense는 96K에서 128K로 넘어가는 순간 생성 속도가 1/4가 된다 35B MoE는 CPU로 오프로드하면서도 27B Dense 96K보다 빠르다중요한건 모델 크기만이 아니다 로컬 모델에 처음 관심을 가질 때 모델의 크기만 중요한 걸로 생각했다.그래서 '구동이 가능하다'라는 것만 보고 되는구나 라고 생각했다.하지만 실제 VRAM 사용량은 이렇다.VRAM = 모델 가중치 + KV 캐시 + 런타임 버퍼KV 캐시는 이전 토큰의 연산 결과를 저장해두는 공간이다.컨텍스트가 길수록 캐시가 커진다. 256K 컨텍스트라면 모델 크기와 맞먹는 수준의 VRAM이 추가로 필요할 수 있다.아무리 큰 모델을 구동할 수 있다 한들 컨텍스트 윈도우가 작으면.. 2026. 6. 17. 로컬 AI 모델 구동하기-2 2단계: Docker 기초목표Docker 핵심 개념 이해 (Image / Container / Volume)기본 명령어 실전 경험docker run 옵션의 의미를 이해하며 사용2-1. Docker 설치GPU 컨테이너까지 사용할 예정이면 sudo snap install docker 대신 Docker 공식 apt 저장소로 설치합니다.Snap Docker는 docker 그룹이 없거나 NVIDIA Container Toolkit 연동에서 예상과 다르게 동작할 수 있습니다.설치 전: apt update 오류가 있으면 먼저 해결apt update가 아래처럼 실패하면 Docker 설치도 중간에 멈춥니다.E: The repository 'https://ppa.launchpadcontent.net/thopiekar/op.. 2026. 6. 14. 로컬 AI 모델 구동하기-1 난 예전부터 어떤 취미생활을 하든 장비부터 채이고보는 장비병이 있다.그래서 이번 AI에 대한 관심이 생겼을 때도 가장 먼저 눈에 들어온건 로컬 모델이다.머리로는 Claude나 ChatGPT와 같은 프론티어 모델을 구독료내고 쓰는게 경제적인거란걸 이해하지만꼭 내가 써봐야하는 병이다.참아보려고 했지만결국 당근에서 중고 RTX 3090 PC를 업어왔다 뭐.. 좀 써보다보면 다시 팔게되지 않을까..?1단계: Linux & GPU 환경 확인목표현재 시스템 상태 파악NVIDIA 드라이버 설치 완료nvidia-smi 정상 출력 확인1-1. 시스템 정보 확인# 배포판 확인lsb_release -a# 커널 버전uname -r# GPU 인식 여부lspci | grep -i nvidia1-2. NVIDIA 드라이버 설치방법.. 2026. 6. 12. 메타 프롬프트 — AI한테 프롬프트를 쓰게 하는 법 핵심 요약메타 프롬프트란 "프롬프트를 만드는 프롬프트"다AI한테 직접 지시하는 대신, AI가 더 좋은 지시문을 뽑아오게 시킨다프롬프트를 매번 손으로 다듬는 대신 구조적으로 만들 수 있다메타 프롬프트란프롬프트를 잘 쓰는 게 어렵다는 건 다들 안다."더 자세히 설명해줘"라고 치면 장황해지고, "짧게 요약해줘"라고 치면 너무 날아간다.메타 프롬프트는 이 문제를 다른 방향에서 푼다.AI한테 "이런 작업을 위한 프롬프트를 만들어줘"라고 시키는 거다.프롬프트를 쓰는 주체를 내가 아니라 AI로 바꾸는 것.예를 들어 "고객 이메일 답장 프롬프트를 만들어줘. 친절하되 너무 길지 않게, 항상 해결책을 제시하는 방향으로"라고 하면 AI가 실제로 쓸 수 있는 시스템 프롬프트를 생성한다.그 프롬프트를 붙여넣고 쓰면 된다.왜 필.. 2026. 6. 5. 이전 1 2 다음
