Sruthú

Conas a thagann freagra sruthaithe ar an sreang, cad a iompraíonn an fráma deireanach, agus cad a tharlaíonn nuair a dhícheanglaíonn cliant.

An t-iompar

Socraigh stream: true agus is é text/event-stream an freagra: réad JSON amháin in aghaidh gach líne data:, gach ceann acu le líne fholamh ina dhiaidh. Tá maolánú díchumasaithe ionas nach gcoinníonn proxy frámaí siar.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Na frámaí

Iompraíonn an chéad fhráma ról an chúntóra, ansin fráma amháin in aghaidh gach deilt, ansin fráma le finish_reason agus an bloc ródaithe, ansin críochnóir amháin go beacht. Léann cliant a leanann an fhormáid an críochnóir agus stopann sé; ní fhéadfaidh sé críochnóir ar iarraidh a mheas mar fhreagra iomlán.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Taistealaíonn an bloc ródaithe leis an bhfráma deireanach

Iompraíonn an fráma deireanach an réad llmeu céanna a thugann an freagra neamh-sruthaithe ar ais: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention agus an meastachán costais. I mód sruthaithe ní bhíonn an úsáid ar eolas ach ag an deireadh, agus sin an fáth a dtaistealaíonn an bloc leis an bhfráma deireanach seachas leis an gcéad cheann.

Dícheanglaíonn cliant

Cuireann dúnadh an cheangail stop leis an obair agus scríobhann sé an rian leis an méid a táirgeadh iarbhír. Is glao a tharla fós é iarratas ar cuireadh ar ceal, mar sin taispeántar in úsáid é; ní thaifeadtar mar fhreagra críochnaithe é.

Cad nach féidir a shruthú

Is freagraí JSON aonair iad leabuithe agus API an ardáin. Is earráid bhailíochta é stream: true ar bhealach neamh-sruthaithe, ní cúlú ciúin chuig fráma amháin.