한 줄 요약: OpenAI가 2026년 8월 25일 공개한 첫 실측 자료에서 Jalapeño는 비교 시스템보다 와트당 처리량이 1.5~1.9배 높고, 종단간 지연시간은 1.7~3.6배 낮았다고 발표했습니다.
작성 기준: 2026년 8월 26일 · 자료 성격: OpenAI 공식 발표를 바탕으로 한 해설 · 광고나 투자 권유가 아닙니다.
무엇이 새로 공개됐나
Jalapeño는 OpenAI가 Broadcom과 함께 만든 첫 자체 추론용 가속기입니다. 이번 발표가 중요한 이유는 제품 소개가 아니라 실제 모델을 이용한 측정값이 처음 공개됐기 때문입니다. 측정 대상에는 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T가 포함됐습니다.
OpenAI 자료에 따르면 최고 처리량 구간에서 와트당 처리량은 비교 시스템보다 1.5~1.9배 높았습니다. 종단간 지연시간은 모델에 따라 1.7~3.6배 낮았고, 대화형 작업에 가까운 조건에서는 2.1~4.1배 높은 성능을 기록했다고 설명합니다.
개발자가 봐야 할 핵심
추론 시스템에서는 한 가지 숫자만 보면 안 됩니다. 한꺼번에 얼마나 많은 요청을 처리하는지 보여주는 처리량, 사용자에게 얼마나 빨리 첫 결과와 다음 토큰을 돌려주는지 보여주는 지연시간, 그리고 전력당 처리량을 함께 봐야 합니다. 기존 시스템은 처리량을 높이면 지연시간이 늘어나는 경우가 많았습니다. OpenAI는 Jalapeño가 이 두 축에서 동시에 개선됐다고 주장합니다.
다만 이 결과는 OpenAI가 선택한 모델·입출력 길이·전력 기준에서 측정한 자사 발표입니다. 모든 서비스와 모든 모델에서 같은 배율이 나온다는 뜻은 아닙니다. 실제 API 가격이나 ChatGPT 응답 속도에 언제, 어느 정도 반영될지도 이번 발표만으로 확정할 수 없습니다.
이번 발표가 의미하는 방향
모델 회사가 칩, 메모리, 네트워크, 서빙 소프트웨어까지 함께 최적화하면 실제 서비스에서의 병목을 더 빠르게 줄일 수 있습니다. 사용자 입장에서는 장기적으로 응답 대기시간, 에이전트의 연속 작업 속도, 대규모 접속 시 안정성에 영향을 줄 가능성이 있습니다.
하지만 지금 단계에서 확실한 사실은 “실측 결과가 공개됐다”는 점까지입니다. 실제 제품 반영 시점과 비용 변화는 후속 발표와 서비스 업데이트에서 따로 확인해야 합니다.
지연시간과 처리량: 공식 용어로 숫자 읽기
Jalapeño 발표에는 처리량, 와트당 처리량, 종단간 지연시간 같은 용어가 나옵니다. 칩 발표가 아니더라도 AI 서비스를 쓰거나 만드는 사람이 자주 마주치는 개념이라, Microsoft Learn의 Azure OpenAI 성능·지연시간 문서(Azure OpenAI performance & latency)가 설명하는 방식으로 정리합니다. 이 문서는 Jalapeño와 직접 관련된 자료가 아니라 용어의 일반 정의를 확인하기 위한 것입니다.
| 용어 | 문서의 정의 | 쉽게 말하면 |
|---|---|---|
| TTFT(첫 토큰까지 시간) | 질문을 보낸 뒤 첫 토큰이 돌아오기까지의 시간 | 입력이 길수록 늘어나는 경향 |
| TBT(토큰 간 시간) | 연속된 토큰이 생성되는 평균 간격 | 응답이 "술술" 나오는 속도 |
| TTLT(마지막 토큰까지 시간) | 질문부터 응답이 끝날 때까지의 전체 시간 | TTFT + TBT × 생성 토큰 수 |
| 처리량(TPM) | 시스템이 분당 처리하는 전체 토큰 수(입력+출력) | 서비스 전체 용량 |
문서는 응답 시간을 이렇게 나눕니다. 응답이 끝나기까지의 총 시간(TTLT)은 첫 토큰까지의 시간(TTFT)에 토큰 사이 간격(TBT)과 생성한 토큰 수를 곱한 값을 더한 것입니다. 그래서 응답이 길어지면 시스템이 느려지지 않았는데도 총 시간이 늘어날 수 있고, 문서는 "지연시간 수치는 반드시 토큰 수와 함께 보라"고 안내합니다. 5초 걸렸는데 2,000토큰을 만든 응답과 50토큰을 만든 응답은 전혀 다른 성능이라는 설명입니다.
계산 예시를 보겠습니다. 아래는 공식 수치가 아니라 공식 식을 이해하기 위해 임의로 정한 가상의 값입니다. 첫 토큰까지 0.5초(500ms), 토큰 간격 20ms, 생성 토큰 300개인 응답은 500 + 20 × 300 = 6,500ms, 즉 6.5초입니다. 토큰 간격만 10ms로 줄어들면 500 + 10 × 300 = 3,500ms로 3.5초가 됩니다. 간격이 절반이 되면 총 시간은 절반에 가깝게 줄지만, 첫 토큰까지의 시간이 그대로면 정확히 절반은 되지 않습니다. 지연시간 개선 배율이 "1.7~3.6배" 같은 범위로 발표되는 이유도 모델과 입출력 길이에 따라 이 구성 요소의 비중이 달라지기 때문이라고 이해할 수 있습니다. 이 해석은 위 식에서 이어지는 설명이며 발표 원문의 설명은 아닙니다.
처리량은 다른 질문에 답합니다
지연시간이 "한 번의 요청이 얼마나 빨리 끝나는가"라면, 처리량은 "시스템이 동시에 얼마나 많은 일을 하는가"입니다. 문서는 시스템 수준 처리량을 분당 토큰 수(TPM)로 재고, 입력 토큰과 출력 토큰을 각각 요청 수와 곱해 추정한다고 설명합니다. 문서의 예시 표 가운데 두 줄을 계산 방식과 함께 옮기면 다음과 같습니다.
| 구분 | 입력 토큰 | 출력 토큰 | 분당 요청 | 입력 TPM | 출력 TPM | 합계 TPM |
|---|---|---|---|---|---|---|
| 예시 A | 800 | 150 | 30 | 24,000 | 4,500 | 28,500 |
| 예시 B | 1,000 | 300 | 500 | 500,000 | 150,000 | 650,000 |
예시 A는 800 × 30 = 24,000, 150 × 30 = 4,500이며 합하면 28,500입니다. 예시 B는 1,000 × 500 = 500,000, 300 × 500 = 150,000이며 합하면 650,000입니다. 문서 설명에 따르면 처리량은 모델, 버전, 작업 형태에 따라 달라집니다. 즉 같은 칩과 같은 서버라도 질문이 길고 답이 짧은 작업과 질문이 짧고 답이 긴 작업은 처리량이 다르게 나옵니다. Jalapeño 발표가 측정 모델과 입출력 길이를 따로 밝힌 이유를 이해하는 데 도움이 되는 대목입니다.
와트당 처리량과 가격은 같지 않습니다
와트당 처리량은 같은 전력으로 몇 개의 토큰을 처리하는지를 나타냅니다. 전기를 덜 쓰고 같은 일을 하면 운영비 절감 요인이 될 수 있지만, 사용자가 내는 요금은 장비 비용, 이용률, 서비스 정책 등 여러 요소로 정해집니다. 그러므로 "와트당 처리량 1.5~1.9배"라는 발표만으로 이용 요금이 같은 비율로 내려간다고 말할 수는 없습니다. 앞서 본문에서 밝힌 것처럼 실제 요금과 응답 속도에 반영되는 시점은 후속 발표에서 따로 확인해야 합니다.
발표 수치를 볼 때 던질 질문
- 이 지연시간은 첫 토큰까지인가, 마지막 토큰까지인가?
- 같은 출력 길이에서 비교했는가?
- 처리량을 높인 조건과 지연시간을 낮춘 조건이 같은 설정인가?
- 비교 대상 시스템과 전력 기준은 무엇인가?
이 네 가지는 위 문서의 정의에서 나온 질문이며, 발표 원문에서 답을 찾을 수 있는지 먼저 보시기 바랍니다. 원문에서 확인되지 않는 부분은 그대로 모른다고 두는 편이 정확합니다.
공식 출처
업데이트
이 글의 원문 발행 뒤에도 제품 기능·정책·측정 조건은 달라질 수 있습니다. 이 글은 2026년 9월 14일 기준 공식 공개 자료에서 확인되는 발표 내용과 그 한계를 설명하는 데 범위를 둡니다. 새 공지에서 제공 범위·제한·수치가 달라졌다면 그 최신 공지가 우선합니다.
확인 자료
- OpenAI: Jalapeño 첫 실측 결과 (발표 원문, 위 “공식 출처”와 동일)
- Microsoft Learn: Azure OpenAI performance & latency (지연시간·처리량 용어 설명, 2026-10-18 열람)
기준일: 2026-09-14(발표 내용), 2026-10-18(추가한 공식 문서)