Retrieval (RAG)
Antworten aus abgerufenen Textstellen, wobei die Antwort im gelieferten Kontext bleiben muss und ein Reranker oft so viel zählt wie das generierende Modell.
Der Router ordnet eine Aufgabe den möglichen Modellen zu und wendet dann Ihre Richtlinie an: zuerst Region, dann Preis, dann das Modell mit dem besser dokumentierten Ergebnis.
Bevorzuge ein generierendes Modell mit dokumentiertem Quellenverhalten und langem Kontextfenster, halte Embedding- und Reranker-Modell in derselben Residenzgrenze und route Dokumentenextraktion auf ein spezielles OCR-Modell.
{"model":"llmeu-auto","messages":[{"role":"user","content":"…"}],"llmeu":{"task":"rag"}}Empfohlen
Noch kein eigener Endpunkt
Kein eigener Endpunkt bedient diese Aufgabe bisher. Die unten aufgeführten Modelle sind als Referenz katalogisiert und laufen zu den Bedingungen ihres Anbieters.