Voogedastus

Kuidas voogedastatud lõpetus traadile saabub, mida viimane kaader kannab ja mis juhtub, kui klient lahti ühendab.

Transport

Määra stream: true ja vastus on text/event-stream: üks JSON-objekt iga data: rea kohta, igaühele järgneb tühi rida. Puhverdamine on keelatud, et puhverserver ei hoiaks kaadreid kinni.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Kaadrid

Esimene kaader kannab assistendi rolli, seejärel üks kaader delta kohta, siis kaader finish_reasoniga ja marsruutimise plokiga, seejärel täpselt üks lõpetaja. Klient, kes järgib vormingut, loeb lõpetaja ja peatub; see ei tohi käsitleda puuduvat lõpetajat täieliku vastusena.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Marsruutimise plokk liigub koos viimase kaadriga

Viimane kaader kannab sama llmeu objekti, mille tagastab mittevoogedastusvastus: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention ja kuluhinnang. Voogedastusrežiimis on kasutus teada alles lõpus, mistõttu plokk liigub koos viimase, mitte esimese kaadriga.

Kliendi lahtiühendamine

Ühenduse sulgemine peatab töö ja kirjutab jälje sellega, mis tegelikult toodeti. Tühistatud päring on ikkagi toimunud kutse, seega see ilmub kasutusse; seda ei registreerita lõpetatud lõpetusena.

Mida ei saa voogedastada

Embeddingud ja platvormi API on üksikud JSON-vastused. stream: true mittevoogedastusmarsruudil on valideerimisviga, mitte vaikne tagasilangus ühele kaadrile.