Sruthú

Conas a thagann críochnú sruthaithe ar an sreang, cad a iompraíonn an fráma deireanach, agus cad a tharlaíonn nuair a dhícheanglaíonn cliant.

An t-iompar

Socraigh stream: true agus is é text/event-stream an freagra: réad JSON amháin in aghaidh gach líne data:, agus líne fholamh ina dhiaidh gach ceann. Tá an maolánú díchumasaithe ionas nach gcoinníonn seachfhreastalaí frámaí siar.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Na frámaí

Iompraíonn an chéad fhráma ról an chúntóra, ansin fráma amháin in aghaidh gach deilt, ansin fráma le finish_reason agus an bloc ródaithe, ansin críochnóir amháin go beacht. Léann cliant a leanann an fhormáid an críochnóir agus stopann sé; ní fhéadfaidh sé críochnóir atá ar iarraidh a mheas mar fhreagra iomlán.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Taistealaíonn an bloc ródaithe leis an bhfráma deireanach

Iompraíonn an fráma deireanach an réad llmeu céanna a thugann an freagra neamhshruthaithe ar ais: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention agus an meastachán costais. I mód sruthaithe ní bhíonn úsáid ar eolas ach ag an deireadh, agus sin an fáth a dtaistealaíonn an bloc leis an bhfráma deireanach seachas leis an gcéad fhráma.

Dícheanglaíonn cliant

Stopann dúnadh an naisc an obair agus scríobhann sé an rian leis an méid a táirgeadh iarbhír. Is glao a tharla fós é iarratas cealaithe, mar sin taispeántar in úsáid é; ní thaifeadtar é mar chríochnú críochnaithe.

An rud nach féidir a shruthú

Is freagraí JSON aonair iad leabuithe agus an API ardáin. Is earráid bhailíochta é stream: true ar bhealach neamhshruthaithe, ní fillteadh ciúin ar aon fhráma amháin.