Voogedastus

Kuidas voogedastatud lõpetus traadil saabub, mida kannab viimane kaader ja mis juhtub, kui klient katkestab.

Transport

Määrake stream: true ja vastus on text/event-stream: üks JSON-objekt iga data: rea kohta, millele järgneb tühi rida. Puhverdamine on keelatud, et puhverserver ei hoiaks kaadreid kinni.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Kaadrid

Esimene kaader kannab assistendi rolli, seejärel üks kaader delta kohta, siis kaader finish_reasoni ja marsruutimisplokiga, seejärel täpselt üks terminaator. Klient, mis järgib vormingut, loeb terminaatori ja lõpetab; see ei tohi puuduvat terminaatorit käsitleda täieliku vastusena.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Marsruutimisplokk liigub koos viimase kaadriga

Viimane kaader kannab sama llmeu objekti, mille tagastab mittevoogedastusvastus: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention ja kulukalkulatsioon. Voogedastusrežiimis on kasutus teada alles lõpus, mistõttu plokk liigub koos viimase kaadriga, mitte esimesega.

Kliendi katkestamine

Ühenduse sulgemine peatab töö ja kirjutab jälje sellega, mis tegelikult toodeti. Tühistatud päring on ikkagi toimunud kutse, seega see ilmub kasutusse; seda ei salvestata lõpetatud lõpetusena.

Mida ei saa voogedastada

Embeddingud ja platvormi API on üksikud JSON-vastused. stream: true mittevoogedastusmarsruudil on valideerimisviga, mitte vaikne tagasilangus ühele kaadrile.