BizRouter 비즈라우터

요청 한도

BizRouter는 API 키마다 분당 요청 수를 제한합니다. 한도는 조직의 누적 결제 금액에 따라 단계(Tier)로 자동으로 올라가며, 한도를 넘은 요청은 429 rate_limit_exceeded 와 다시 보낼 시점을 담은 Retry-After 헤더로 거절됩니다.

한도를 세는 방법

요청 수 기준이며, API 키와 엔드포인트마다 따로 셉니다 단위: 1분에 보낼 수 있는 요청 수입니다. 토큰 수나 동시에 처리 중인 요청 수는 세지 않습니다. 버스트: 잠시 쉬었다가 한꺼번에 보낼 때 연달아 받아 주는 요청 수입니다. 버스트를 다 쓰면 분당 한도에 맞춘 간격(예: 분당 60회면 1초에 1회)으로 다시 채워집니다. 거절된 요청은 한도를 쓰지 않습니다. 범위: API 키마다, 엔드포인트마다 따로 셉니다. 같은 키로 Chat Completions와 Embeddings를 호출하면 각각 한도가 적용되고, 키를 여러 개 쓰면 키마다 한도가 있습니다. 같은 기능의 호환 경로는 한 한도를 함께 씁니다. /v1/chat/completions 와 /ai-sdk/chat/completions , /v1/messages 와 /claude/v1/messages 가 그렇습니다. 콘솔의 모델 테스트처럼 로그인한 콘솔에서 보낸 요청은 API 키 대신 사용자 단위로 셉니다. GET /v1/health 와 GET /v1/ready 는 한도를 적용하지 않습니다.

누적 결제 금액에 따른 단계

별도 신청 없이 기준을 넘으면 다음 단계가 적용됩니다 단계 누적 결제 금액 분당 요청 수 버스트 누적 결제 금액은 완료된 충전 금액과 정산이 끝난 후불 월 사용 금액을 더한 값입니다. 모두의 창업 지원 크레딧은 결제 금액으로 인정합니다. 보너스 크레딧, 그 밖의 관리자 조정, 그룹 사이의 크레딧 이관은 포함하지 않습니다. 카드 충전이나 계좌 입금이 확인되면 그 자리에서, 후불 조직은 매월 1일 정산 뒤에 다시 평가합니다. 그 밖에 매일 오전 5시 40분(한국 시간)에 한 번 더 확인합니다. 단계는 올라가기만 하고 자동으로 내려가지 않습니다. 현재 단계와 다음 단계까지 남은 금액은 콘솔의 설정 › 크레딧/결제 화면에서 확인합니다. 계약으로 정한 한도가 있으면 그 한도가 우선합니다 조직이나 API 키에 개별로 협의한 한도가 설정되어 있으면 위 표 대신 그 값이 적용됩니다. 표보다 높은 한도나 특정 API 키에만 다른 한도가 필요하면 고객지원(support@bizrouter.ai)에 문의하십시오. 엔터프라이즈 조직의 그룹은 그룹마다 한도를 따로 정합니다. 자세한 내용은 조직·그룹 관리 에 있습니다.

한도를 넘었을 때의 응답

HTTP 429와 Retry-After 헤더 Retry-After 헤더와 details.retry_after 는 같은 값이며, 다음 요청을 받을 수 있을 때까지 남은 초입니다(최소 1). 성공 응답에는 남은 한도를 알려 주는 X-RateLimit-* 헤더를 붙이지 않습니다. 한도에 가까운지는 429 응답으로만 알 수 있습니다.

모델 제공사 쪽 한도

같은 429라도 원인이 BizRouter 밖에 있을 수 있습니다 모델 제공사가 요청을 제한해도 같은 코드( rate_limit_exceeded )로 429를 돌려줍니다. 이때 Retry-After 는 제공사가 알려 준 값이고, 알려 주지 않으면 60초입니다. 응답만으로는 BizRouter의 한도와 제공사의 한도를 구분할 수 없으므로, 어느 쪽이든 Retry-After 만큼 기다린 뒤 다시 보내면 됩니다. 스트리밍 요청에서 응답이 시작된 뒤에 제공사 한도에 걸리면 HTTP 429 대신 스트림 안의 오류 이벤트로 전달됩니다. 한 모델이 자주 막히면 장애 대비 폴백 으로 다른 모델을 이어 붙일 수 있습니다.

다시 보내는 방법

Retry-After를 지키고, 재시도 횟수에 상한을 둡니다 Python Node.js SDK의 기본 재시도와 겹치지 않게 OpenAI SDK는 429를 스스로 몇 번 재시도합니다. 위 예시처럼 직접 재시도를 구현할 때는 SDK 재시도를 끄고( max_retries=0 , maxRetries: 0 ) 한 곳에서만 재시도하십시오. 두 곳에서 재시도하면 요청이 겹쳐 한도에 더 자주 걸립니다.

Tier 1 기본 (신규 가입) 60회 60회 Tier 2 30만 원 이상 300회 120회

주식회사 AI3 | 서울 강남구 영동대로85길 34 | support@bizrouter.ai