Ask HN: Has anyone replaced Claude/GPT with a local model for daily coding?

HN(헤커 뉴스)에서 cloudking이 올린 질문으로, 점수 562, 댓글 299개. 클라우드 기반 AI(Claude, GPT) 대신 로컬에서 돌리는 오픈소스 모델을 일상 코딩에 쓸 수 있는지 실제로 경험한 사람들의 이야기를 묻는 글이다.

1. 원문 핵심 내용

이 글은 Ask HN 포맷으로 본문이 거의 없고, 질문 자체만 있다. 하지만 이 질문은 현재 AI 코딩 도구 시장에서 가장 뜨거운 논쟁점 중 하나를 건드린다.

배경: Claude Code(Anthropic)나 GitHub Copilot(OpenAI) 같은 클라우드 AI 코딩 도구는 코딩 생산성을 혁신적으로 높였지만, 몇 가지 문제가 있다:

• 비용: Claude Pro 구독은 월 $20, 하지만 무제한 토큰이 아니다. 무제한 플러스는 월 $100이고 1B 입력/300M 출력 한도가 있다. Medium 기사의 저자는 10일에 $170씩 소모했다고 밝혔다.
• 프라이버시: 소스 코드가 클라우드 서버로 전송된다. 기업이나 개인이 코드 유출을 우려하는 경우 민감한 문제다.

자율성: 인터넷 연결이 끊기면 사용할 수 없다.

질문의 핵심: "로컬 모델로 이 클라우드 서비스들을 완전히 대체한 적이 있는가?" — 단순히 '조금 써봤다'가 아니라 '일상 코딩의 주요 도구로 대체했다'는 경험담을 묻는 것이다.

2. 커뮤니티 반응

299개 댓글을 주제별로 분석했다.

2.1 "네, 완전히 대체했다" — 로컬 모델 긍정파

가장 큰 주류 의견이다. 구체적으로 언급된 모델과 환경:

• Qwen3.6 27B dense 모델 — 가장 많이 추천된 모델. Mac Studio 512GB RAM에서 GGUF 포맷으로 25~40 토크스/초. 자동차 소프트웨어(C/C++)와 Python 툴을 프로덕션 레벨로 개발 중이라고 밝혔다. "dense 모델의 정확도는 차원이 다른 수준"이라고 평가.
• Qwen3.6 27B 8k 양자화 — Mac Studio 64GB RAM에서도 "놀라운 수준"이라고. "최첨단 슈퍼 AI는 아니지만, '좋은 수준'이고 그게 이미 마법이다. 무료이고 사적이고, 경험 많은 엔지니어를 게으른 상태에서 정말 게으른 상태로 만든다."
• Qwen3.6 AMD AI Max 노트북 — 6~10 토크스/초. "느리지만 따라갈 수 있는 속도. 디자인과 대규모 코드에는 문제가 있지만, 그렇지 않으면 좋은 프로그래밍 파트너다."
• Gemma 4 26B A4B — M4 Pro 48GB MacBook에서 Rust 공부용. "IDE에서 원샷으로 변경하는 건 신뢰할 수 없지만, 코파일럿으로는 충분히 빠르고 좋다."
• Gemma4-31B 4-bit QAT — Strix Halo에서 Unsloth로 30 토크스/초, 200 prompt/s. "완전한 정확도에 가깝고 다양한 작업에 충분히 좋다."

강렬한 의견: "Anthropic, OpenAI, 그리고 이 분야의 모든 전세냥이들을 무시하자." / "Claude를 더 이상 쓰고 싶지 않다."

2.2 "아직 부족하다" — 한계 지적파

• 에이전트 모드 문제: "큰 컨텍스트 윈도우에도 불구하고, 작업 내용을 잃어버리고 토끼굴로 몇 시간 동안 들어가버린다. 다시 궤도に乗せる 게 어렵다." — 로컬 모델을 에이전트 모드로 돌릴 때 가장 흔히 보고되는 문제.
• 루핑(반복) 문제: "문제가 너무 커지면 루핑 현상이 생긴다. 당신이 이미 어떻게 해야 하는지 아는 작업에는 시간 절약이 된다."
• 하드웨어 벽: RTX 4070(12GB VRAM)으로는 대부분의 모델을 돌리기 어렵다. 24GB 이상이 필요하다는 지적. "50 토크스/시간"이라는 농담 댓글도 실제 저사양 환경의 현실을 반영한다.
• 전력 비용: "이 기기의 전력 소비를 측정한 적이 있나? 월 전기료가 궁금하다." — 로컬 모델의 숨겨진 비용.

2.3 하이브리드 접근법 — "둘 다 쓴다"

가장 실용적인 의견으로 부상:

• Claude로 설계, 로컬로 실행: "Sonnet으로 설계/아키텍처/상세 실행 계획을 짠 뒤, 이를 조각조각 나누어 로컬 모델에 피드백한다." — mgsram의 워크플로우.
• Medium 기사 저자의 결론: 로컬 모델을 다 테스트한 뒤 Claude로 돌아왔지만, 프롬프트 엔지니어링을 개선하여 두 Pro 구독으로 비용을 통제했다. "비결은 더 많은 토크스가 아니라, 더 적은 고품질 요청이었다."
• 작은 작업은 로컬, 큰 작업은 클라우드: 이미 아는 작업은 로컬 모델로, 복잡한 아키텍처는 Claude로.

2.4 도구 스택

가장 많이 언급된 조합:

• llama.cpp + OpenCode — 가장 흔한 조합. llama.cpp가 모델 런타임, OpenCode가 코딩 인터페이스.
• LM Studio — 모델 서버 역할.
• GitHub Copilot VSCode 확장 — 에이전트 코딩용.
• pi.dev — "Claude의 vscode에 대한 neovim"이라는 비유로 설명됨. 에이전트 개발자 키트.
• GGUF 포맷 — 양자화(quantization) 표준 포맷. 모델 크기를 줄여 소비자 하드웨어에서 실행 가능하게 함.

2.5 회의적인 시각

• "이 댓글들 중 어떤 게 AI 제공사의 봇인지, 진짜 부정적 경험인지 구별이 안 된다."
• "1~2개의 유용한 시장 신호 외에는 대부분 쓰레기다."
• "토크스/초가 반드시 더 나은 출력을 의미하는 건 아니다. 게다가 로컬 모델 성능을 과장할 인센티브가 매우 강하다."
• "그건 그냥 네 뇌라고." — AI 코딩 자체를 부정하는 극단적 의견.

2.6 하드웨어 생태계 변화

댓글에서 눈에 띄는 하드웨어 트렌드:

• Mac Studio 512GB — 최고급. Qwen3.6 27B를 25~40 토크스/초.
• Mac Studio 64GB — 8k 양자화로 '충분하다'.
• AMD Strix Halo 128GB — 신흥 플랫폼. MTP(Multi-Token Prediction)와 양자화 개선으로 성능이 빠르게 향상 중.
• RTX 4090/3090 — 소비자 GPU 옵션이지만 VRAM이 제한적.
• RAM+CPU 폴백 — GPU가 없어도 RAM에서 돌리지만 느림.

3. 새로운 시각

3.1 "느린 것이 장점일 수 있다"

흥미롭게 여러 사용자가 "6~10 토크스/초는 느리지만 따라갈 수 있는 속도"라고 말한다. 클라우드 AI가 너무 빠르면 개발자가 출력을 검토할 시간이 부족해 오히려 버그를 놓칠 수 있다. 로컬 모델의 속도는 일종의 '안전 장치' 역할을 한다. 이는 개발 속도와 검토 속도의 균형에 대한 새로운 관점이다.

3.2 로컬 AI의 진짜 가치는 '자율성 회복'

"인터넷 연결이 끊겨도 코딩을 계속할 수 있다"는 점은 단순한 편의가 아니다. 개발자의 자율성을 클라우드 제공사에 종속되지 않게 한다. 이는 장기적으로 AI 코딩 도구의 생태계 다양성에 중요한 의미다 — 한 두 개의 클라우드 서비스에 모든 개발자가 종속되는 상황을 막는다.

3.3 하이브리드 워크플로우가 새로운 표준이 될 것

"Claude로 설계, 로컬로 실행" 패턴이 이미 자연스럽게 등장했다. 이는 AI 코딩의 '분업화' — 고수준 추론은 클라우드 프런티어 모델에, 저수준 구현은 로컬 모델에 — 을 암시한다. 마치 시니어 개발자가 아키텍처를 설계하고 주니어가 구현하는 것과 유사한 구조다.

4. 자녀/미래 영향

아인(딸)에게

AI 코딩 도구가 '클라우드 vs 로컬'으로 나뉘는 시기에 대학에 들어갈 것이다. 프로그래밍 교육에서 로컬 AI 도구를 다루는 능력이 기본 소양이 될 가능성이 높다. 지금부터 Python 기초와 함께 로컬 모델 실행 환경(Git, llama.cpp 등)을 경험해보는 게 도움이 될 것이다.

석현(아들), 은한(아들)에게

아직 어린 나이지만, AI가 코딩의 '자동완성'을 넘어 '설계 파트너'로 진화하는 시대를 경험할 것이다. 중요한 건 AI가 대신 해주는 것을 맹목적으로 신뢰하지 않고, "이 코드가 왜 맞는지"를 스스로 검증하는 습관이다. 로컬 모델의 한계(루핑, 컨텍스트 분실)를 이해하는 것 자체가 컴퓨팅 사고력을 키우는 과정이 된다.

공통 조언

• AI 코딩 도구는 '계산기'처럼 생각한다. 계산기가 산수를 대신하지만, 수학의 원리를 이해하지 않으면 계산기 없이 아무것도 할 수 없게 된다.
• 로컬 AI 실행 환경은 점점 접근성이 좋아질 것이다. MacBook Air 하나로도 Gemma 4 26B를 돌릴 수 있는 시대는 이미 왔다.

관련 노트

[[wikis/notes/raw/notes/2026-06-16_local-llm-coding-trends]]