스트리밍
응답을 SSE(Server-Sent Events) 청크로 받는 방법과 청크 구조, 사용량 보고, 스트림 종료 처리입니다. 아래 예시와 파라미터는 Chat Completions API 기준이며, Responses API와 Messages API에서의 차이는 각 API 문서에 있습니다. 스트리밍을 활성화하려면 요청에 stream: true 파라미터를 추가합니다. 응답은 SSE 형식으로 전송되며, 각 청크는 JSON 형식의 데이터를 포함합니다.
스트리밍 청크 구조
각 스트리밍 청크는 다음과 같은 형식으로 전송됩니다:
청크 구조 설명
delta 이전 청크 이후의 증분 콘텐츠를 포함합니다. 첫 번째 청크에는 role 이 포함될 수 있습니다. finish_reason 스트림 종료 이유: stop , length , tool_calls , content_filter
사용량 청크
Chat Completions 스트리밍은 stream_options.include_usage 를 보내지 않아도 마지막 청크에 토큰 사용량과 비용을 담습니다. OpenAI SDK와 같은 코드를 쓰도록 아래처럼 true 로 보내도 결과는 같습니다: [DONE] 마커 직전 청크에 usage 객체가 담깁니다. 이 청크는 choices 가 빈 배열입니다. 모델 제공사가 사용량을 알려 주지 않은 요청은 이 청크를 보내지 않습니다: 스트리밍의 마지막 usage 객체에도 비스트리밍과 동일하게 확정 KRW 비용 usage.cost 와 캐시 상세( prompt_tokens_details.cached_tokens )가 포함됩니다. 스마트 라우팅처럼 요청마다 실제 모델이 달라지는 경우에도 단가를 역산할 필요 없이 이 값을 그대로 정산에 사용할 수 있습니다.
스트림 종료
스트림이 완료되면 다음 마커가 전송됩니다: 스트리밍 과금 정책 클라이언트가 연결을 끊어도 BizRouter는 모델 제공사의 응답을 끝까지 받아 정산하므로, 끝까지 생성된 토큰 전체가 과금됩니다. 출력이 길어질 수 있는 요청은 max_tokens로 상한을 두십시오.
SDK 사용 예시
Python Node.js cURL