Ροή

Πώς φτάνει στο δίκτυο μια ολοκλήρωση σε ροή, τι μεταφέρει το τελευταίο πλαίσιο και τι συμβαίνει όταν αποσυνδέεται ένας πελάτης.

Η μεταφορά

Ορίστε stream: true και η απάντηση είναι text/event-stream: ένα αντικείμενο JSON ανά γραμμή data:, καθένα ακολουθούμενο από μια κενή γραμμή. Η προσωρινή αποθήκευση είναι απενεργοποιημένη ώστε ένας διαμεσολαβητής να μην κρατά πίσω τα πλαίσια.

HTTP/1.1 200 OK
content-type: text/event-stream; charset=utf-8
cache-control: no-cache, no-transform
connection: keep-alive

Τα πλαίσια

Το πρώτο πλαίσιο μεταφέρει τον ρόλο assistant, μετά ένα πλαίσιο ανά delta, μετά ένα πλαίσιο με finish_reason και το μπλοκ δρομολόγησης, μετά ακριβώς έναν τερματιστή. Ένας πελάτης που ακολουθεί τη μορφή διαβάζει τον τερματιστή και σταματά· δεν πρέπει να θεωρεί έναν απόντα τερματιστή ως πλήρη απάντηση.

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hallo"},"finish_reason":null}]}

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"llmeu":{…}}

data: [DONE]

Το μπλοκ δρομολόγησης ταξιδεύει με το τελευταίο πλαίσιο

Το τελικό πλαίσιο μεταφέρει το ίδιο αντικείμενο llmeu που επιστρέφει η απάντηση χωρίς ροή: trace_id, model_used, model_version, provider, endpoint_id, inference_region, sovereignty_class, policy_id, retention και την εκτίμηση κόστους. Στη λειτουργία ροής η χρήση είναι γνωστή μόνο στο τέλος, γι' αυτό το μπλοκ ταξιδεύει με το τελευταίο πλαίσιο και όχι με το πρώτο.

Αποσυνδέσεις πελατών

Το κλείσιμο της σύνδεσης σταματά την εργασία και γράφει το ίχνος με ό,τι παρήχθη πραγματικά. Ένα ακυρωμένο αίτημα εξακολουθεί να είναι μια κλήση που συνέβη, οπότε εμφανίζεται στη χρήση· δεν καταγράφεται ως ολοκληρωμένη ολοκλήρωση.

Τι δεν μπορεί να μεταδοθεί με ροή

Τα embeddings και το API της πλατφόρμας είναι μεμονωμένες απαντήσεις JSON. Το stream: true σε μια διαδρομή χωρίς ροή είναι σφάλμα επικύρωσης, όχι σιωπηλή υποχώρηση σε ένα πλαίσιο.