OpenAI unveils its first custom chip, built by Broadcom
OpenAI unveils its first custom chip, built by Broadcom
TechCrunch, VentureBeat, OpenAI 공식 발표 등 여러 출처에서 2026년 6월 24일 보도된 OpenAI의 첫 커스텀 AI 칩 'Jalapeño' 공개 기사를 분석합니다.
1. 원문 핵심 내용
Jalapeño란 무엇인가
OpenAI가 브로드컴(Broadcom)과 함께 개발한 'Jalapeño'는 OpenAI의 첫 커스텀 AI 추론(인퍼런스) 칩입니다. '추론'이란 이미 학습된 AI 모델에 사용자 질문을 넣고 답변을 생성하는 과정을 말합니다. 모델 학습(트레이닝)과 달리, 추론은 매일 수억 번 반복되는 지속적인 작업이기 때문에 비용 절감 효과가 매우 큽니다.
핵심 스펙:
- 타입: LLM(대형 언어 모델) 추론에 최적화된 ASIC (Application-Specific Integrated Circuit — 특정 용도에 맞춰 설계된 전용 칩)
- 개발 기간: 초기 설계에서 제조 타페아웃(tape-out, 칩 설계 완료 후 반도체 공장에 보내는 단계)까지 단 9개월
- 성능: 초기 테스트에서 '현존 최고 수준의 성능 대비 전력 효율(performance per watt)'을 크게 상회
- 비용 절감: Broadcom CEO Hock Tan이 보도한 바에 따르면 기존 AI GPU 대비 약 50% 비용 절감
- AI 지원 설계: OpenAI의 자체 AI 모델을 사용해 칩 설계 과정을 가속화
- 네트워킹: Broadcom의 Tomahawk 네트워킹 실리콘 사용
- 시스템 통합: Celestica가 보드, 랙, 시스템 통합 담당
- 배포 계획: 2026년 말부터 가동 중인 데이터 센터에 본격 투입, 기가와트 규모 데이터 센터는 2026년부터 Microsoft 등 파트너와 함께 구축
전략적 배경
OpenAI의 2025년 재무제표를 보면 수익은 130억 달러였지만 운영 비용은 340억 달러로, 210억 달러 가까운 적자를 냈습니다. 그중 연구 개발과 컴퓨팅 비용이 191억 달러(전체의 56%)로, 이 중 105억 달러 이상이 Microsoft 인프라 비용으로 나갔습니다. 즉, OpenAI의 가장 큰 비용이 '다른 회사의 하드웨어를 쓰는 것'이라는 뜻입니다.
Jalapeño는 이 문제를 해결하기 위한 핵심 전략입니다. Nvidia GPU에 대한 의존도를 낮추고, 추론 비용 구조를 개선함으로써 수익성 확보와 잠재적 IPO(2026년 목표)에 대비합니다.
경쟁 구도
Jalapeño 출시에도 불구하고 OpenAI는 기존 하드웨어 파트너십을 유지합니다:
- Nvidia: 300억 달러 직접 투자 (1100억 달러 펀딩 라운드 일부), 10GW 시스템 중 3GW 추론 + 2GW 트레이닝용 Vera Rubin 플랫폼
- Amazon (AWS): 500억 달러 투자, 8년 동안 약 2GW Trainium 용량 소비
- AMD: Instinct MI450 시리즈 GPU 사용 계약
- Cerebras: 전략적 제휴 (2026년 5월 IPO)
동시에 다른 하이퍼스케일러들도 자체 칩을 보유하고 있습니다: Microsoft Maia 200, Google TPU, Amazon Trainium, Meta MTIA 시리즈 등. 중국에서는 Alibaba Zhenwu M890, Huawei Ascend 950DT, ByteDance-Qualcomm 커스텀 ASIC이 경쟁합니다.
OpenAI의 '플라이휠' 효과
OpenAI는 다음과 같은 선순환 구조를 제시합니다: 더 나은 인프라 → 컴퓨팅 효율 향상 → 더 나은 학습과 서비스 → 더 강력한 AI 모델 → 더 우수한 사용자 제품 → 증가하는 사용량과 수익 → 다음 세대 인프라 재투자. 즉, 하드웨어 제어가 AI 모델 발전의 속도를 결정한다는 논리입니다.
2. Hacker News 커뮤니티 반응
HN 스토리 점수 414점, 총 276개 댓글. 댓글 전체를 분석한 주요 논점들을 15개 세부 주제로 정리합니다.
50% 비용 절감 주장과 그 의미
주장: Broadcom CEO Hock Tan이 언급한 '기존 AI GPU 대비 약 50% 비용 절감'은 매우 큰 수치다.
근거: signatoremo가 블룸버그 인터뷰를 인용하며 "50% 비용 절감. 이 그림은 너무 빠르게 바뀌고, 아직 수확 가능한 저수익 과제가 많아서, 벤더의 해자(moat)나 투자 회수 가능성에 대한 논의는 무의미하다"고 지적했다.
반론: tehjoker는 "토큰당 에너지 감소량에 대한 정보가 없고, 요청당 상각 가격(amortized price)도 없다. OpenAI는 비용의 10배 수준 감소를 증명하지 않으면 생존하지 못할 텐데, 이건 투자자 스토리텔링에 불과하다"고 비판했다.
대표 작성자: signatoremo, tehjoker
기술 스펙 부재에 대한 불만
주장: Jalapeño에 대한 실제 기술적 내용이 거의 없다.
근거: jauntywundrkind는 "칩이 무엇인지에 대한 실제 내용이 어디 있나? Microsoft나 AWS 칩은 구매할 수 없지만 상세한 기술 설명을 제공한다. 이건 완전히 내용이 없다"고 비판하며 Microsoft Maia 200 블로그 포스트를 비교 예시로 들었다.
반론: 일부 작성자들은 초기 발표 단계에서는 스펙을 공개하지 않는 것이 일반적이라고 지적했다.
대표 작성자: jauntywundrkind
OpenAI vs Broadcom — 누가 진짜 설계했나
주장: 'OpenAI의 첫 칩'이라는 제목이 과장일 수 있다. 실제로 Broadcom이 설계한 것을 화이트라벨링한 것 아닌가.
근거: paxys는 "두 회사 간의 노력이 어떻게 분배되었는지 매우 궁금하다. 이건 정말 OpenAI 엔지니어들의 아이디어인가, 아니면 Broadcom 칩에 프리미엄을 내고 브랜드를 붙인 것인가?"라고 물었다. bluegatty는 "'broadcom' 하하... 그럼 OpenAI의 칩이 아닌 거잖아"라고 농담 섞여 지적했다.
반론: OpenAI의 공식 발표는 "Richard Ho(OpenAI 하드웨어 책임자)가 Google TPU 프로젝트 출신이며, OpenAI 엔지니어들이 9개월 만에 설계 완료했다"고 명시했다. alephnerd는 Broadcom의 역사적 배경을 설명하며 "Broadcom은 Google TPU 파트너십에서 이미 TSMC 용량을 공유해온 경험이 있다"고 분석했다.
대표 작성자: paxys, bluegatty, alephnerd
추론 vs 트레이닝 — 왜 추론에 집중하나
주장: 트레이닝이 아닌 추론에 집중하는 것이 옳은 전략이다.
근거: forrestthewoods는 "추론 비용이 이제 트레이닝보다 높다. Nvidia는 범용 트레이닝 칩의 왕이지만, 추론은 전문화할 수 있다"고 지적했다. skeledrew는 "트레이닝은 일회성 비용(1x cost)이고 효율성은 이미 개선되고 있다. 추론은 시간이 지날수록 수배에서 수십 배의 자원을 소모하는 지속적 비용이므로, 훨씬 더 큰 장기적 이득이 있다"고 설명했다.
반론: 일부는 트레이닝 칩도 필요할 것이라고 보지만, 현재로서는 추론에 집중하는 것이 경제적 합리성이 크다는 데 대체로 동의했다.
대표 작성자: forrestthewoods, skeledrew
메모리 대역폭 병목 문제
주장: 추론 칩의 실제 성능은 메모리 대역폭에 의해 제한된다.
근거: wmf는 "Spark 모델의 병목은 메모리 대역폭이다. SoC를 최적화된 ASIC으로 바꾸되 동일한 256비트 LPDDR5를 유지하면 성능은 동일하다. 더 넓은 메모리를 사용하면 성능이 오르는 대신 비용도 증가한다"고 지적했다.
반론: 이 지적은 ASIC이 GPU 대비 어떤 메모리 아키텍처를 채택했는지 알려지지 않았기 때문에 검증이 어렵다.
대표 작성자: wmf
Broadcom의 TSMC 할당량 문제
주장: Google과 Amazon도 Broadcom을 사용하는 이유는 설계 능력뿐만 아니라 TSMC 및 메모리 제조사와의 할당 계약 때문이다.
근거: HarHarVeryFunny는 "Twitter에서 본 주장인데, 이 회사들이 Broadcom을 쓰는 이유가 설계 전문성뿐만 아니라 TSMC와 메모리 제조사와의 할당 계약(allocation agreements)이 있기 때문"이라고 전했다. a_conservative는 "Broadcom은 Google TPU 하드웨어 파트너로서 TSMC 용량을 공유해왔고, 이제 OpenAI에게도同样的한 일을 하고 있다. AI 골드러시를 활용하는 놀라운 전략이다"라고 분석했다.
대표 작성자: HarHarVeryFunny, a_conservative
Broadcom의 비즈니스 모델 비판
주장: Broadcom은 AI 칩 파트너십으로 부자가 되었지만, VMware 등으로 소프트웨어 산업에 과다한 수익을 추출하는 비판을 받는다.
근거: a_conservative는 "VMware와 Bitnami에서처럼 소프트웨어 산업에서 돈을 짜내지 않았으면 좋겠다"고 비판했다. alephnerd는 Broadcom의 기업 인수 이력(CA Technologies, Symantec, VMware)과 사이버보안 시장 지배력을 상세히 설명하며 "반도체/하드웨어 업계 출신 경영진은 소프트웨어 출신 동료들보다 훨씬 더 잔인하고 무자비하다"고 경험담을 덧붙였다.
대표 작성자: a_conservative, alephnerd
AI 가속 칩 설계 — 9개월 타페아웃
주장: AI를 사용해 칩을 설계하는 것은 산업 전반에 파급 효과가 있다.
근거: OpenAI가 자체 모델을 사용해 칩 설계의 일부 과정을 가속화했다는 점은 주목할 만하다. 전통적으로 ASIC 설계는 수년이 걸리는데 9개월 만에 타페아웃에 도달한 것은 기록적인 속도다.
반론: 일부 작성자들은 "9개월"이 초기 설계부터 타페아웃까지인지, 전체 개발 사이클인지 명확하지 않다고 지적했다.
Nvidia의 입장은?
주장: Nvidia의 시장 지위가 흔들릴지, 아니면 오히려 강화될지 논쟁의 여지가 있다.
근거: boarush는 "OpenAI의 진짜 경쟁 상대가 Nvidia가 아니라 하이퍼스케일러들이라는 점을 고려하면, OpenAI가 추론 하드웨어를 외부와 공유할 계획이 없다는 점이 중요하다. Nvidia의 장기적 투자 방정식이 어떻게 풀릴지 궁금하다"고 지적했다.
반론: Nvidia는 여전히 트레이닝 칩 시장의 70%를 차지하고 있고, OpenAI도 Nvidia에 300억 달러를 투자받으면서 Vera Rubin 플랫폼에 대한 대규모 계약을 유지하고 있다.
대표 작성자: boarush
Google TPU 비교와 '해자 없음' 논쟁
주장: Google TPU와 비슷한 길을 걷고 있지만, Google의 '우리는 해자가 없다' 메모가 여전히 유효할 수 있다.
근거: zer00eyz는 "TPU도 비슷한 주장을 했고, Google의 '우리는 해자가 없다' 메모가 여전히 유효하다. 60~90년대 IBM, DEC, Cray, Sun의 하드웨어 경쟁과 유사한 궤적을 따를 것"이라고 역사적 비유를 들며 semianalysis.com의 기사를 인용했다.
대표 작성자: zer00eyz
스코프 크리프(범위 확대) 비판
주장: OpenAI가 AI 모델 개발이 아닌 커스텀 실리콘, 웹 브라우저, 소비자 전자제품까지 확장하는 것은 스타트업의 스코프 크리프다.
근거: groundzeros2015는 "AI 모델을 만드는 게 아니라 커스텀 실리콘, 웹 브라우저, 소비자 전자제품까지? 이건 스코프 크리프처럼 들린다"고 비판했다. samrus는 "램 가격이 폭등하는 이유다. Altman은 OpenAI가 성공하기만 하면 일반 사람들은 신경 쓰지 않는다"고 불만을 표했다.
반론: 다른 작성자들은 하이퍼스케일러들이 모두 같은 길을 걷고 있으므로 OpenAI만 비판하는 것은 불공평하다고 보았다.
대표 작성자: groundzeros2015, samrus
중형 국가의 반도체 전략
주장: 28nm 공정(최신 EUV 불필요)으로도 추론용 칩을 만들 수 있다면, 중형 국가는 자체 파운드리 구축을 고려할 만하다.
근거: lifeisstillgood는 "28nm 칩(EUV 이전)이 frontier model의 추론(학습이 아닌)에 적합하다면, 중형 국가는 자체 반도체 산업과 28nm 파운드리 생태계를 구축할 가치가 있다. 모델은 올 테지만, 진짜 도전은 모든 사용자에게 충분한 컴퓨팅 파워를 제공하는 것"이라고 제안했다.
대표 작성자: lifeisstillgood
ROM에 가중치를 넣는 아이디어
주장: 추론 칩에서는 가중치(weights)를 ROM에 고정하면 효율이 크게 향상된다.
근거: londons_explore는 "가중치가 칩의 ROM 일부인 추론 칩을 보고 싶다"고 제안했다. 이는 추론 시 가중치를 메모리에서 반복적으로 읽어오는 오버헤드를 제거할 수 있다는 아이디어다.
대표 작성자: londons_explore
이름에 대한 반응
주장: 'Jalapeño'라는 코드네임/제품명에 대한 반응은 엇갈렸다.
근거: qsxfthnkp2는 "JalapeñoJalapeñoJalapeño 정말... 입에 붙는다"라고 긍정적으로 반응했다. 반면 utopiah는 "Strawberry는 너무 복잡한 코드네임이었다"라고 과거 OpenAI 모델명 'Strawberry'를 언급하며 비교했다. thewebguyd는 "Palantir나 Anduril처럼 무엇을 하는지 잘 나타내는 이름은 아니다. 하지만 VC 회사 이름들보다는 낫다"라고 평했다.
대표 작성자: qsxfthnkp2, utopiah, thewebguyd
VMWare 라이선스 농담
주장: Broadcom의 VMWare 인수 이후 라이선스 정책 비판이 농담 형태로 나왔다.
근거: BLKNSLVR는 "*VMWare 라이선스 필요"라고 농담했으며, 이는 Broadcom이 VMWare를 인수한 후 라이선스 정책을 강화해 소프트웨어 업계에서 비판을 받아온 맥락에서 이해된다.
대표 작성자: BLKNSLVR
3. 새로운 시각
첫 번째: '하드웨어 플라이휠'은 AI 산업의 새로운 경쟁 기준이 될 것이다
OpenAI의 Jalapeño는 단순한 비용 절감 도구가 아니다. '인프라 효율 → 더 나은 모델 → 더 많은 사용 → 더 많은 수익 → 더 나은 인프라'라는 플라이휠 구조는 이제 AI 기업의 핵심 경쟁력이 된다. Nvidia GPU를 쓰는 모든 회사는 동일한 하드웨어 위에 서 있지만, 자체 칩을 가진 회사는 하드웨어-소프트웨어 통합 최적화를 통해 지속적 우위를 확보할 수 있다. 이는 클라우드 시대의 'AWS vs Azure vs GCP' 경쟁과 유사한 구조로, 추론 비용이 AI 서비스 마진의 핵심 변수가 되는 시대에 결정적 차이를 만든다.
두 번째: Broadcom은 'AI 시대의 TSMC 프록시'가 되었다
TSMC는 칩을 만드는 공장일 뿐, 고객사와 직접 설계 파트너십을 맺지 않는다. Broadcom은 설계 파트너십 + TSMC 용량 할당 + 네트워킹 실리콘(Tomahawk)을 한 번에 제공하는 '완제품 AI 인프라 파트너'가 되었다. Google TPU → OpenAI Jalapeño → 아마도 다른 하이퍼스케일러까지, Broadcom은 AI 칩 설계 생태계의 게이트키퍼(gatekeeper) 역할을 하게 되었다. 이는 Broadcom 주주가 보는 관점에서는 VMware 수익 이상의 장기적 가치를 의미한다.
세 번째: 9개월 타페아웃은 'AI 설계 AI 칩' 시대의 시작 신호
전통적인 ASIC 설계는 2~3년이 걸린다. OpenAI가 9개월 만에 설계에서 제조까지 간 것은 자체 AI 모델을 설계 과정에 활용했기 때문이다. 이는 'AI가 AI의 물리적 기반을 설계한다'는 메타(meta) 수준의 전환점이다. 만약 이 패턴이 보편화되면, 칩 설계 진입 장벽이 낮아져 중소 AI 기업도 자체 하드웨어를 고려할 수 있게 된다. 반대로, TSMC 용량 할당과 같은 물리적 제약이 새로운 병목이 될 것이다.
4. 자녀/미래 영향
아인(딸)에게
AI 서비스가 더 저렴해지면, AI 기반 창작 도구(글쓰기, 그림, 음악)가 더 널리 보급될 것이다. Jalapeño 같은 칩이 추론 비용을 50% 줄인다면, AI 도구 구독료가 지금보다 훨씬 저렴해져 누구나 쉽게 접근할 수 있게 된다. 하지만 동시에 '어떤 AI 도구를 쓸지' 선택하는 능력이 중요해진다 — 모든 AI가 동일한 하드웨어 위에서 돌아가지 않기 때문에, 성능과 가격이 다를 수 있다.
석현(아들)에게
소프트웨어/하드웨어 경계가 흐려지는 시대에, 단순히 코드를 작성하는 것뿐만 아니라 '그 코드가 어떤 하드웨어 위에서 돌아는지' 이해하는 능력이 경쟁력이 된다. 추론 최적화, 메모리 아키텍처, ASIC 설계 같은 주제는 앞으로 컴퓨터 공학의 핵심 커리큘럼이 될 것이다. 특히 AI 가속화된 칩 설계(9개월 타페아웃)는 새로운 직업군을 만들어낼 가능성이 크다.
은한(아들)에게
너무 어리지만, AI 하드웨어가 '가정용'으로 내려올 가능성이 커졌다. 추론 칩의 효율이 높아지면, 스마트폰이나 태블릿 수준의 기기에서도 대형 AI 모델을 로컬에서 돌릴 수 있는 시대가 올 것이다. 그 시점에서 중요한 것은 '어떤 기기가 어떤 AI를 얼마나 잘 실행하는지' 아는 능력이다.