Streaming

Kif wasla completion streamed tiġi fuq il-wire, x'ġġorr l-aħħar frame, u x'jiġri meta klijent jiskonnettja.

It-trasport

Issettja stream: true u r-risposta tkun text/event-stream: oġġett JSON wieħed għal kull linja data:, kull waħda segwita minn linja vojta. Il-buffering huwa diżattivat sabiex proxy ma jżommx frames lura.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Il-frames

L-ewwel frame iġġorr ir-rwol assistant, imbagħad frame wieħed għal kull delta, imbagħad frame b'finish_reason u l-blokk tar-routing, imbagħad terminator wieħed eżatt. Klijent li jsegwi l-format jaqra t-terminator u jieqaf; m'għandux jittratta terminator nieqes bħala tweġiba kompluta.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Il-blokk tar-routing jivvjaġġa mal-aħħar frame

L-aħħar frame iġġorr l-istess oġġett llmeu li tirritorna r-risposta mhux streamed: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention u l-istima tal-ispiża. Fil-modalità streaming l-użu jkun magħruf biss fl-aħħar, u għalhekk il-blokk jivvjaġġa mal-aħħar frame minflok mal-ewwel.

Klijent jiskonnettja

L-għeluq tal-konnessjoni jwaqqaf ix-xogħol u jikteb it-traċċa b'dak li effettivament ġie prodott. Talba kkanċellata xorta waħda hija sejħa li seħħet, għalhekk tidher fl-użu; mhix irreġistrata bħala completion kompluta.

X'ma jistax jiġi streamed

Embeddings u l-API tal-pjattaforma huma risposti JSON singoli. stream: true fuq rotta mhux streaming hija żball ta' validazzjoni, mhux fallback siekta għal frame wieħed.