맥 스튜디오에 로컬모델 구동하기

결국 로컬모델용 디바이스를 다시 구매했다

이번엔 맥스튜디오 M4max 램 128기가 모델..

 

프론티어 모델 구독은 월 $20정도만 쓰고 코드 구현에는 Qwen 3.8 27B를 2batch 정도 사용하고 

구독 한도가 끝나면 Qwen Flash Next 를 사용해보려고 한다

구매 결정에 가장 큰 이유는 사실 개인 LLM wiki 관리 때문이다

회사에서 일하는것도 같이 넣고 싶은데 프론티어 모델을 쓰면 그 정보가 밖으로 나갈 수 있게 되기 때문

 

원래는 그 전까진 AI에 '해줘' 했었는데

그럼 나에게 남는 것이 아무것도 없으니 한땀한땀 내가 손으로 세팅하고 사용해보려고 한다.

 

기본 세팅

Tailscale

이거 없으면 어쩌나 싶다 

맥스튜디오는 로컬 LLM을 구동할 것이기 때문에 아무리 128gb 램이라고 해도 다른 작업을 같이하고 싶지는 않다

물론 써보다가 그래도 된다고 느껴지면 맥미니는 정리하는게 좋겠지만 

일단은 맥미니에서 맥스튜디오도 컨트롤하는게 좋을 것 같다 

 

https://tailscale.com/

Tailscale | Secure Connectivity for AI, IoT & Multi-Cloud

에서 맥용으로 다운받는다

 

그리고 시스템설정 -> 일반 -> 공유 -> 원격로그인을 켠다

 

brew

일단 설치

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

그 후

echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zprofile
eval "$(/opt/homebrew/bin/brew shellenv)"

PATH 설정을 해야 쓸 수 있다

 

pipx, huggingface cli

허깅페이스 cli 를 설치하기 위해 pipx를 설치한다

brew install pipx
pipx install 'huggingface_hub[cli]'

 

 

mlx-serve

Apple Silicon Mac을 로컬 AI 서버로 만들어주는 추론 서버라고 한다

brew tap 사용자이름/mlx-serve 깃허브주소
brew install mlx-serve
mlx-serve --help | sed -n '1,80p'

 

난 중간에 이런 메시지가 한번 떠서

brew trust --formula ddalcu/mlx-serve/mlx-serve

이렇게 한번 했다

 

oMLX

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

 

모델 다운받기

일단 가장 범용으로 사용할 Qwen 3.8 27B 8비트와 Flash Next 모델을 다운받았다

hf download 사용자이름/모델이름 \
  --local-dir "저장위치"

 

모델 띄우기

mlx-serve \
  --model "모델 다운받은 위치" \
  --serve \
  --host 127.0.0.1 \
  --port 11234 \
  --ctx-size 262144

 

이번 글은 여기까지로 하고 

다음은 다른 맥미니에서 맥스튜디오가 서빙하는 모델을 사용하는 방법을 써보겠다