BizRouter 비즈라우터

Responses API (OpenAI)

OpenAI의 차세대 API인 Responses API를 BizRouter를 통해 사용할 수 있습니다. o1-pro, GPT-5 Codex 등 특정 모델과 GPT-6 Astra는 이 API를 기본 경로로 사용합니다. GPT-6 Astra에서 함수 도구(tools)를 사용하려면 이 API가 필요합니다. GPT-5.4 이상 모델의 추론(reasoning)과 함수 도구 조합은 chat/completions로 보내도 BizRouter가 이 API로 변환해 실행합니다. 대부분의 경우 Chat Completions API로 충분합니다 OpenAI 모델은 Chat Completions API 로도 호출할 수 있으며, Responses API 전용 모델도 자동 변환되어 처리됩니다. 이 엔드포인트는 서버 측 대화 저장( store ), 백그라운드 모드, 웹 검색 내장 도구(web_search_preview) 등 Responses API 고유 기능이 필요한 경우에 사용하십시오. GPT-6 Astra 함수 도구는 Responses API 전용입니다 GPT-6 Astra의 추론 단계는 low , medium , high , xhigh , max 이며 none 과 minimal 은 지원하지 않습니다. OpenAI 업스트림의 함수 도구는 /v1/responses 에서만 사용할 수 있으므로 BizRouter 카탈로그도 Responses를 기본 API로 지정합니다. BizRouter의 /v1/chat/completions 요청은 내부에서 Responses 형식으로 자동 변환됩니다. GPT-5.4 이상 + 함수 도구(tools) + 추론은 BizRouter가 Responses API로 변환합니다 GPT-5.4 이상 모델(gpt-5.4, gpt-5.5, GPT-5.6 Luna·Terra·Sol)은 OpenAI 제약으로 OpenAI의 /v1/chat/completions 에서 함수 도구와 추론을 함께 쓸 수 없습니다. BizRouter의 chat/completions로 보내면 이런 요청을 자동으로 이 API로 변환해 실행하므로 도구 호출과 추론이 함께 동작하고, 응답은 chat/completions 모양으로 돌아갑니다. Responses API에 대응하는 값이 없는 파라미터( logprobs , n , seed , stop , 페널티 등)가 있으면 변환하지 않고 reasoning_effort: "none" 으로 도구만 호출합니다. 이 API를 직접 호출해 reasoning.effort 를 지정하는 방법도 그대로 됩니다. 자세한 내용은 Chat Completions 문서 의 GPT-5 파라미터 참고사항을 확인하십시오.

지원 모델

현재 API Key에서 사용할 수 있는 OpenAI 모델을 확인하십시오. 모델 제공 상태와 API Key의 model scope는 변경될 수 있습니다. GET /v1/models 에서 현재 사용할 수 있는 모델을 조회하고 OpenAI 계열 모델을 선택하십시오.

Chat Completions 호환 모드

기존 코드를 수정하지 않고 Responses 전용 모델 사용하기 BizRouter는 Responses API 전용 모델을 /v1/chat/completions 엔드포인트로도 호출할 수 있도록 자동 변환을 지원합니다. 기존 OpenAI SDK 코드를 수정하지 않고 모델명만 변경하면 됩니다. 자동 변환 동작 Responses 전용 모델로 /v1/chat/completions 에 요청하면, BizRouter가 자동으로 요청을 Responses API 형식으로 변환하고, 응답을 다시 Chat Completions 형식으로 변환하여 반환합니다. 스트리밍과 비스트리밍 모두 지원됩니다.

Chat Completions 호환 모드 · 사용 예시

cURL Python (OpenAI SDK) Node.js (OpenAI SDK)

Chat Completions 호환 모드 · 자동 변환 매핑

Chat Completions 요청 Responses API 변환 messages (system role) instructions messages (user/assistant) input items max_tokens max_output_tokens tools / tool_choice Responses API tools 형식으로 변환 reasoning_effort reasoning.effort 스트리밍 청크 형식 Responses SSE 이벤트 → Chat Completions 청크로 변환 호환 모드 제한사항 다음 Responses API 전용 기능은 Chat Completions 호환 모드에서 사용할 수 없습니다. 이러한 기능이 필요한 경우 /v1/responses 를 직접 사용하십시오. previous_response_id (서버 측 대화 연결) store (서버 측 대화 저장) background (백그라운드 모드) 웹 검색 내장 도구 (web_search_preview 등. web_search는 Gemini 모델에서 Google 검색 그라운딩으로 동작합니다)

엔드포인트

Responses API 요청 엔드포인트 POST /v1/responses 새로운 응답 생성 GET /v1/responses/{response_id} 응답 조회 (백그라운드 작업 폴링용) ※ store: true 설정 필요 POST /v1/responses/{response_id}/cancel 백그라운드 응답 취소 ※ store: true 설정 필요 GET wss://api.bizrouter.ai/v1/responses WebSocket 모드 (아래 「WebSocket 모드」 절 참조) store 파라미터 주의 BizRouter의 조회·취소 endpoint는 background: true 로 생성한 응답을 대상으로 합니다. 요청에는 store: true 도 함께 설정하십시오. BizRouter의 store 기본값은 false 입니다.

엔드포인트 · 인증

Chat Completions API와 동일하게 Authorization: Bearer 또는 X-API-Key 를 사용할 수 있습니다. Background 응답은 생성 요청과 같은 조직의 유효한 서비스 API Key로 조회하거나 취소하십시오. 스마트 라우팅 적용 범위 bizrouter/route 와 설정 화면에 표시된 bizrouter/route/<slug> 는 /v1/responses 에서도 사용할 수 있습니다. Responses API에서는 OpenAI 계열 Model과 OpenAI Provider만 실제 후보가 되며, 선택된 호출이 실패해도 다른 후보로 fallback 재시도하지 않습니다.

Chat Completions와의 차이점

요청 및 응답 형식 비교

Chat Completions와의 차이점 · 요청 파라미터 매핑

Chat Completions Responses API messages input max_tokens max_output_tokens System message in messages instructions (별도 필드) response_format text.format reasoning_effort (alias: reasoning.effort) reasoning (사고 모델 설정) 참고: Chat Completions의 OpenAI 원형 파라미터는 reasoning_effort 이며, BizRouter는 reasoning.effort 도 자동 변환해 지원합니다.

Chat Completions와의 차이점 · 응답 형식 차이

Chat Completions Responses API choices[].message.content output[].content[].text prompt_tokens input_tokens completion_tokens output_tokens

요청 예시

Responses API 요청 형식 cURL Python Node.js

요청 예시 · System 메시지 사용

instructions 필드를 사용하여 시스템 프롬프트를 별도로 지정할 수 있습니다:

스트리밍

이벤트 기반 SSE 스트리밍 스트리밍 형식 차이 Responses API는 Chat Completions와 다르게 이벤트 기반 SSE를 사용합니다. 각 이벤트는 event: 라인과 data: 라인으로 구성됩니다.

스트리밍 · 주요 이벤트 타입

response.created 응답 생성 시작 response.output_text.delta 텍스트 콘텐츠 증분 (실시간 스트리밍) response.output_text.done 텍스트 콘텐츠 완료 response.completed 응답 완료 (usage 정보 포함) response.failed 업스트림 오류 또는 생성 실패

응답 형식

비스트리밍 응답 구조

응답 형식 · 주요 필드

status 응답 상태: completed , failed , incomplete output 출력 항목 배열. 각 항목은 message , function_call 등의 타입을 가집니다. usage 토큰 사용량. 사고 모델의 경우 reasoning_tokens 도 포함됩니다. BizRouter 추가 정보 스트리밍 모드의 response.completed 이벤트에서 usage 객체에 cost_krw (원화 비용), tokens_per_second (생성 속도), elapsed_ms (소요 시간) 정보가 추가로 제공됩니다.

추가 기능

Responses API 전용 기능

추가 기능 · 서버 측 대화 저장 (store)

store 파라미터는 OpenAI 서버에 대화를 저장할지 결정합니다. 저장된 대화는 previous_response_id 로 참조할 수 있습니다. BizRouter 기본값 BizRouter는 프라이버시 보호를 위해 store 기본값을 false 로 설정합니다 (OpenAI 기본값은 true ). 멀티턴 대화 연결이 필요한 경우 명시적으로 store: true 를 설정하십시오.

추가 기능 · 사고(Reasoning) 설정

o-시리즈 및 GPT-5 모델에서 사고 강도를 조절할 수 있습니다. 허용 값은 none , minimal , low , medium , high , xhigh , max 이며, 모델이 지원하는 값은 모델마다 다릅니다. GPT-5.6 Sol, Terra, Luna는 none, low, medium, high, xhigh, max 를 지원합니다: chat/completions와 달리 Responses API에서는 GPT-5.4 이상 모델도 함수 도구(tools)와 추론을 함께 사용할 수 있습니다:

추가 기능 · 도구 호출 (Tools)

tools 는 OpenAI Responses API 호환 JSON을 그대로 전달합니다. 함수 도구( function )와 웹 검색 도구( web_search_preview , web_search )를 사용할 수 있습니다. 그 밖의 도구 타입은 이 문서에 지원으로 적혀 있지 않으면 지원한다고 가정하지 말고 실제 요청 결과를 확인하십시오. 사용할 수 없는 내장 도구: code_interpreter, file_search 등 OpenAI 모델에 다음 내장 도구를 tools 에 넣으면 요청이 OpenAI로 전달되기 전에 400 ( bad_request )으로 거절됩니다. 이 요청은 OpenAI에 도달하지 않으므로 모델 사용 요금이 발생하지 않습니다. code_interpreter (코드 실행·파일 생성) file_search (파일 검색) image_generation (이미지 생성) shell , container OpenAI가 이 도구들의 요금을 토큰 사용량과 별도로 청구하는데 응답에 정확한 사용량이 나오지 않아, BizRouter가 요청별 요금을 정확히 계산할 수 없기 때문입니다. code_interpreter 가 만든 파일을 내려받는 컨테이너 파일 API( /v1/containers )도 제공하지 않습니다. 대신 다음 방법을 사용하십시오. 코드 실행·파일 생성: 고객 환경의 샌드박스에서 실행하고, 함수 도구( function )로 모델에 결과를 돌려줍니다. 이미지 생성: Images API 를 사용합니다. 문서 검색: Embeddings API 로 직접 검색을 구성합니다.

추가 기능 · Gemini 모델의 web_search (Google 검색 그라운딩)

google/gemini-* 모델에 tools: [ { "type": "web_search" } ] 를 보내면 Gemini의 Google 검색 그라운딩으로 실행됩니다. 응답에는 실행된 검색마다 web_search_call 항목이, 메시지 output_text.annotations 에는 url_citation 출처가, 메시지 항목에는 Gemini 원본 grounding_metadata 가 함께 옵니다. 검색 요금은 usage.web_search_calls 로 확인할 수 있습니다. Google 검색을 지원하지 않는 다른 프로바이더 모델에 web_search를 보내면 adapter_mapping_unavailable (400)로 명시적으로 거절합니다.

추가 기능 · 구조화된 출력 (JSON Schema)

응답을 특정 JSON 스키마에 맞게 생성할 수 있습니다: 참고 BizRouter가 지원하는 Responses field는 OpenAI로 전달됩니다. OpenAI의 새 기능이 BizRouter에서 즉시 지원된다고 가정하지 말고, 이 문서의 지원 범위와 실제 요청 결과를 확인하십시오. Upstream field의 의미는 OpenAI 공식 문서 를 참조하십시오.

WebSocket 모드

한 연결에서 응답을 이어 가고 여러 흐름을 동시에 실행합니다 OpenAI의 Responses WebSocket 모드와 같은 규격을 지원합니다. OpenAI SDK의 responses.connect() 에서 base URL과 API Key만 바꾸면 그대로 동작합니다. 에이전트처럼 한 대화에서 도구 호출을 여러 번 반복하는 작업에 적합합니다.

WebSocket 모드 · 접속과 인증

GET wss://api.bizrouter.ai/v1/responses 인증은 다른 엔드포인트와 같은 Authorization: Bearer 헤더입니다. 브라우저 쿠키 세션은 사용할 수 없고 API Key만 사용할 수 있습니다. 접속한 뒤 {"type": "response.create", ...} 이벤트를 보내면, 일반 Responses 스트리밍 이벤트가 JSON 메시지로 돌아옵니다. response.create 의 본문은 일반 POST /v1/responses 본문과 같고, stream 과 background 는 사용하지 않습니다.

WebSocket 모드 · 기능

기능 동작 previous_response_id store: false 에서도 같은 연결 안에서 이어집니다. 연결이 대화 내용을 메모리에만 보관하며 저장하지 않습니다. 이 연결이 모르는 응답 ID는 previous_response_not_found 오류입니다. 단 store: true 이면 저장된 응답을 그대로 참조합니다. stream_id 흐름(lane)의 이름입니다. 같은 이름의 요청은 먼저 보낸 순서대로 하나씩 실행되고, 다른 이름의 흐름은 동시에 실행됩니다. 이벤트에는 stream_id 가 붙습니다. 이름을 생략하면 기본 흐름이며 이벤트에 stream_id 가 붙지 않습니다. 다른 흐름의 응답 ID를 previous_response_id 로 보내면 그 시점에서 갈라져 나옵니다. 1~256자의 영문, 숫자, _ , - , . 만 사용할 수 있습니다. generate: false 모델을 호출하지 않고 요금도 없이 응답 ID만 만듭니다. 이 ID에서 다음 요청을 이어 갈 수 있습니다. 연결 한도 동시 실행 응답 16개, 이름 있는 흐름 32개, 대기 요청 64개, 연결 수명 60분, 메시지 하나 16MB입니다. 60분이 되면 websocket_connection_limit_reached 오류 뒤 연결이 닫히므로 새 연결을 여십시오.

WebSocket 모드 · 요금과 한도

response.create 하나가 POST /v1/responses 요청 하나와 똑같이 처리됩니다. 인증, 모델·키 권한, 보안 필터, 사용량 기록과 요금 정산이 응답마다 따로 적용되고, 사용량 화면에도 응답마다 한 건씩 나타납니다. API Key의 요청 속도 제한도 이벤트마다 적용되므로 WebSocket 연결로 한도를 넘길 수 없습니다. 이어 가는 요청은 이전 대화 전체가 입력으로 계산됩니다(프롬프트 캐시가 적용됩니다). OpenAI 모델뿐 아니라 이 엔드포인트가 지원하는 모든 모델에서 사용할 수 있습니다. 추론(reasoning) 이어받기 요청에 reasoning 을 지정하고 store 를 켜지 않으면, BizRouter가 reasoning.encrypted_content 를 대신 요청해 다음 요청에 자동으로 이어 보냅니다. 직접 요청하지 않았다면 응답 이벤트에서는 숨깁니다. reasoning 을 지정하지 않으면 대화는 이어지지만, 기본으로 추론하는 모델은 요청마다 추론을 새로 시작합니다. OpenAI와 다른 점과 재접속 응답마다 별도 요청으로 실행되므로 OpenAI 영구 연결의 지연 시간 단축 효과는 없습니다. response.create 만 보낼 수 있으며 응답 취소와 실행 중 지시 추가는 지원하지 않습니다. 배포나 점검으로 연결이 닫히면(close code 1001) 새 연결에서 이전 대화를 input 에 담아 previous_response_id 없이 다시 시작하십시오. 연결이 끊겨도 이미 실행 중이던 응답은 끝까지 처리되어 요금이 정산됩니다.

백그라운드 모드

Deep Research 등 장시간 작업을 위한 비동기 처리 Deep Research 모델 권장 o3-deep-research 모델은 웹 검색을 포함한 심층 연구를 수행하며 수 분에서 수십 분이 소요될 수 있습니다. 이런 경우 백그라운드 모드를 사용하여 비동기로 처리하는 것이 좋습니다.

백그라운드 모드 · 백그라운드 요청

background: true 를 설정하면 요청이 즉시 반환되고, 응답 ID로 나중에 결과를 조회할 수 있습니다:

백그라운드 모드 · 백그라운드 응답

백그라운드 요청은 즉시 queued 또는 in_progress 상태로 응답합니다:

백그라운드 모드 · 응답 조회 (폴링)

GET /v1/responses/ {response_id} 로 작업 완료 여부를 확인합니다: status 가 completed , failed , 또는 incomplete 가 될 때까지 주기적으로 조회하십시오.

백그라운드 모드 · 응답 취소

진행 중인 백그라운드 작업을 취소할 수 있습니다:

백그라운드 모드 · 폴링 예시 (JavaScript)

Deep Research 비용 안내 Deep Research와 web_search_preview 는 token 외 도구 사용 비용이 발생할 수 있습니다. 고정 단가를 코드에 넣지 말고 실제 응답 usage와 BizRouter 사용량 화면에서 적용 비용을 확인하십시오.

주식회사 AI3 | 서울 강남구 영동대로85길 34 | support@bizrouter.ai