이거 모르고 장비 사면 돈 날립니다 | 로컬 LLM 현실 + 구축 가이드 (AMD R9700 + Hermes)

클라우드 구독료도, 토큰비도, 데이터 유출 걱정도 없이,
워크스테이션 PC 한 대로 AI 에이전트를 완전히 로컬로 돌려봅니다.

"로컬 LLM, 뭐부터 시작하지?"
노트북·미니PC로는 맛보기만 되고,
제대로 굴리려면 결국 전용 PC 한 대가 필요합니다.

이 영상은 입문자가 헤매지 않도록
① 어떤 장비를 고르고
② 어떤 기준으로 모델을 정하고
③ 예산을 어떻게 키워 나갈지를,
AMD Radeon AI PRO R9700 32GB 실측으로 정직하게 정리했습니다.
그리고 그 위에 Hermes 에이전트를 얹어, 웹 검색부터 파일 작성·편집까지 스스로 해내는 나만의 로컬 비서를 만들어 봅니다.


▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
🖥️ 오늘의 실측 장비 (AMD 협찬)
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
• CPU: AMD EPYC 4585PX (16코어 · 3D V-Cache)
• GPU: AMD Radeon AI PRO R9700 32GB (RDNA4 · Navi 48)
• "지금 제일 좋은 모델을 돌릴 수 있는 가장 저렴한 32GB 카드" — 5090 대비 가격, 5080 대비 VRAM

🛒 EPYC 4585PX 구매/특가:
https://www.compuzone.co.kr/product/product_detail.htm?ProductNo=1297498&BigDivNo=4&MediumDivNo=1012&DivNo=2033

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
⚡ AMD AI PC Launcher — 원클릭 셋업
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
영상처럼 직접 세팅하는 게 부담스럽다면, AMD 시스템용 원클릭 런처가 있습니다. 버튼 하나로 로컬 모델 다운로드 → Hermes 에이전트 연결 → 웹 검색·문서 도구·텔레그램 봇 연동까지 자동으로. Windows 사용자에게 특히 쉬운 시작점입니다.
🔗 GitHub: https://github.com/iamchobosalsal/ai_agent

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
⏱️ 타임스탬프
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
00:00 인트로
02:06 오늘의 길잡이 3단계
03:27 파라미터 'B'의 의미
04:24 VRAM 등급표
06:33 가격 현실 & 장비 스펙
12:19 양자화(Q4)와 필요 VRAM 공식
13:17 내 장비에 맞는 모델 찾기 (which-llm)
16:29 토큰·MoE·Dense 개념 잡기
19:23 모델 고르는 순서 & 컨텍스트(KV 캐시)
20:51 속도의 구조(프리필·TTFT·디코드) & 측정 5축
23:06 성능 절벽 구간 & 한국어·라이선스 정리
26:10 LM Studio 소개·설치 & AMD ROCm
31:39 모델 다운로드·로드 & 추론 서버 띄우기
33:20 LM Link — 노트북·모바일에서 원격 사용
41:48 Hermes 에이전트 연동 (커스텀 엔드포인트)
48:15 실전 대결 준비 — 오늘 겨룰 모델들
53:32 Gemma3 30B
55:02 Qwen3 30B (MoE)
61:05 Qwen3.6 27B (Dense)
67:17 Qwen3.6 35B (MoE)
71:44 GLM 4.7·카나나2·엑사원
77:51 GPT-OSS 20B
80:28 결론 — 되는 것 vs 안 되는 것
83:06 아웃트로 — 예산 기준점 & AMD AI PC 런처

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
영상에서 테스트한 로컬 LLM (전부 Q4)
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
• gpt-oss-20b (OpenAI · MoE 20B) — 속도·에이전트 완주 균형 1위, 이 장비의 주력
https://huggingface.co/openai/gpt-oss-20b
• Qwen3-30B-A3B (Alibaba · MoE 30B) — 32GB의 가치를 증명하는 MoE, Apache 2.0
https://huggingface.co/Qwen/Qwen3-30B-A3B
• Qwen3.6-27B (Alibaba · Dense 27B) — 최신 세대 Dense 플래그십, Apache 2.0
https://huggingface.co/Qwen/Qwen3.6-27B
• Qwen3.6-35B-A3B (Alibaba · MoE 35B) — 더 큰데 더 빠른 MoE, Apache 2.0
https://huggingface.co/Qwen/Qwen3.6-35B-A3B
• kanana-2-30b-a3b (카카오 · MoE 30B) — 국산 한국어 에이전트 유력주
https://huggingface.co/kakaoco....rp/kanana-2-30b-a3b-
• EXAONE-4.0-32B (LG AI · Dense 32B) — 한국어 표현 품질 실측 1위
https://huggingface.co/LGAI-EXAONE/EXAONE-4.0-32B
• Gemma 4 31B (Google · Dense 31B) — 관심도 높은 신규 플래그십
https://huggingface.co/google/gemma-4-31b
• GLM-4.7-Flash (z.ai · MoE 30B) — "30B급 최강"을 자처한 화제작, MIT
https://huggingface.co/zai-org/GLM-4.7-Flash

※ 라이선스는 상업 사용 전 각 모델 카드에서 반드시 확인하세요 (kanana·EXAONE은 비상업 조건 주의).

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
인프런 강의 — Hermes × Codex
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
이 영상에서 로컬 LLM에 얹은 Hermes 에이전트, 더 깊게 다뤄보고 싶다면?
멀티에이전트로 나만의 가상 회사에 AI 직원을 직접 고용하고, 24시간 돌아가는 자동화 회사를 만드는 전체 과정을 인프런 강의에서 만나보실 수 있습니다.

🎓 인프런 강의 (Hermes × Codex) : https://inf.run/GodUp

▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
🔧 영상에서 다룬 도구 & 링크
▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬
• LM Studio — 로컬 LLM 실행기 (헤드리스 CLI·LM Link 원격)
https://lmstudio.ai
• Hermes Agent (Nous Research) — 로컬에 얹은 AI 에이전트
https://hermes-agent.nousresearch.com
• whichllm — 내 하드웨어에 맞는 모델을 벤치 기준으로 추천해주는 라이브러리
https://github.com/Andyyyy64/whichllm
• AMD ROCm — AMD GPU용 AI 연산 스택 (NVIDIA CUDA에 대응)
https://rocm.docs.amd.com
• Hugging Face — 오픈웨이트 모델 배포처 (위 8개 모델 다운로드)
https://huggingface.co

💡 카카오 오픈 채팅방 [실전AI] 커뮤니티
https://open.kakao.com/o/gURfTmqh

🌐 단테랩스 홈페이지
https://dante-labs.com

---

⁉️ 클라우드 서버가 필요하다면 — Hostinger VPS
로컬이 아닌 원격 서버로 24시간 에이전트를 돌리고 싶다면, 제가 쓰는 Hostinger VPS를 추천합니다. 전용 CPU·RAM에 루트 권한까지, 성능 대비 가격이 좋아 Docker 배포·자동화 운영에 잘 맞습니다.

- Hostinger VPS : https://hostinger.com/dante-labs10
쿠폰 코드: DANTE-LABS (12개월 이상 플랜 구매 시 10% 추가 할인)


#로컬LLM #AMD #Radeon #R9700 #LMStudio #Hermes #AI에이전트 #오픈소스LLM #gptoss #Qwen #EXAONE #온디바이스AI #ROCm #단테랩스