Title: Warum der Schwarm eine ganze Anfrage an ein Ger%C3%A4t schickt Canonical: https://llmeu.com/de/blog/one-whole-request-per-device/ Markdown mirror: https://llmeu.com/de/blog/one-whole-request-per-device.md Machine-readable: https://llmeu.com/llms.txt (index) - https://llmeu.com/llms-full.txt (full catalogue) - https://llmeu.com/llms-catalogue.json # Warum der Schwarm eine ganze Anfrage an ein Ger%C3%A4t schickt Ver%C3%B6ffentlicht 2026-09-12 Das verbreitete Bild eines Compute-Swarms ist ein gro%C3%9Fes Modell, auf viele Maschinen verteilt. Dieses Bild stammt aus Rechenzentren, in denen die Verbindungen zwischen Beschleunigern genau f%C3%BCr diesen Verkehr gebaut wurden. Ein Schwarm aus Ger%C3%A4ten, die Menschen ohnehin besitzen, hat solche Verbindungen nicht. Als das Design dieses Projekts aufgeschrieben wurde, bestand die erste Entscheidung darin, das nicht l%C3%A4nger vorzut%C3%A4uschen. ## Die Rechnung, die Modellparallelit%C3%A4t hier beendet hat Eine einzelne Vorw%C3%A4rtsberechnung %C3%BCber Ger%C3%A4te aufzuteilen hei%C3%9Ft, Aktivierungen zwischen den Schichten auszutauschen, die auf verschiedenen Maschinen liegen. Das Architektur-Dokument rechnet diesen Austausch mit eigenen Zahlen durch und nennt sie, was sie sind: eine Entwurfsrechnung, keine Messung. In diesem Projekt ist kein echtes Modell gelaufen und es werden keine Gewichte geladen; nichts davon ist ein Benchmark. - F%C3%BCr ein 7B-Modell mit Hidden Size 4096 in bf16 sch%C3%A4tzt das Architektur-Dokument der Schwarm-Spezifikation rund 8 KB Aktivierungsaustausch pro Token an jeder Ger%C3%A4tegrenze, %C3%BCber die 20 bis 60 ms Round-Trip-Zeit, die es f%C3%BCr eine Consumer-Leitung nennt. Das ist die Sch%C3%A4tzung der Spezifikation und keine Messung; das Warten wird zu den Kosten, nicht das Rechnen. - Dieselbe Sch%C3%A4tzung der Spezifikation landet bei einem 70B-Modell oberhalb von etwa 32 KB pro Schichtschritt, und das Architektur-Dokument nennt das %C3%BCber Consumer-Leitungen unbrauchbar. - Ein Modell aufzuteilen erkauft also Latenz, die mit jedem weiteren Ger%C3%A4t schlechter wird. Das Dokument ist deutlich: Ein Schwarm, der ein Modell %C3%BCber tausende Telefone verspricht und nur schneller sein soll, beschreibt eine Rechenzentrumsverbindung auf Hardware, die keine hat. ## Was die Arbeitseinheit tats%C3%A4chlich ist Die Arbeitseinheit ist eine ganze Anfrage: eine Completion, eine Klassifikation, ein Embedding, an ein Ger%C3%A4t geschickt, das dieses Modell bereits h%C3%A4lt. Der Koordinator leitet einen verschl%C3%BCsselten Umschlag weiter und reicht das verschl%C3%BCsselte Ergebnis zur%C3%BCck; das Architektur-Dokument ist sorgf%C3%A4ltig bei der Frage, was das kostet. Der Koordinator sieht Routing-Metadaten wie Job-ID, Empf%C3%A4nger, Gr%C3%B6%C3%9Fe, TTL und Modellklasse. Er sieht weder Prompt noch Modellausgabe noch Ergebnis, weil diese in einem Umschlag reisen, den er nicht %C3%B6ffnen kann. Die Routing-Felder liegen innerhalb der authentifizierten Daten des Umschlags und nicht daneben. Das ist eine Entwurfsentscheidung mit benennbarer Folge: Ein Koordinator, der Empf%C3%A4nger oder Ablaufzeit %C3%A4ndert, um sich selbst zu helfen, macht den Job kaputt, statt still erfolgreich zu sein. ## Warum ein Ger%C3%A4t eine ganze Anfrage %C3%BCbernehmen kann - Ein Job geht nur an ein Ger%C3%A4t, das das Modell bereits h%C3%A4lt; eine Planungsentscheidung kann also keinen Download von mehreren Gigabyte auf einer Maschine beginnen, die das Netz vielleicht vorher verl%C3%A4sst. - Freier Speicher ist ein hartes Filterkriterium und keine Punktzahl. Ein Modell, das nicht passt, scheitert erst beim Laden, also nachdem der Job angenommen wurde; deshalb wird die Untergrenze vor dem Versand gepr%C3%BCft. - Consumer-Ger%C3%A4te schlafen, drosseln und trennen die Verbindung, deshalb sind Leases kurz, ein Ablauf f%C3%BChrt zur Neuvergabe an ein anderes Ger%C3%A4t mit demselben Modell, und die Job-ID unterscheidet einen Wiederholungsversuch von einem Replay. - Capability-Epochen entziehen %C3%A4lteren Anspr%C3%BCchen und Schl%C3%BCsselmaterial die G%C3%BCltigkeit, ohne eine Zertifizierungsstelle zu brauchen. ## Die drei Dinge, f%C3%BCr die sich das Design stattdessen entschieden hat Sobald die Vorw%C3%A4rtsberechnung vom Tisch ist, bleiben drei Muster %C3%BCbrig, die eine Consumer-Leitung %C3%BCberstehen. Sie verdienen eine eigene Nennung, weil sie keine drei Varianten derselben Idee sind. - Unabh%C3%A4ngige Jobs auf unabh%C3%A4ngigen Ger%C3%A4ten: die Einheit, die dieses Projekt tats%C3%A4chlich festlegt. - Replikation f%C3%BCr Zuverl%C3%A4ssigkeit und Verifikation: dieselbe ganze Anfrage anderswo laufen lassen und vergleichen %E2%80%93 genau daf%C3%BCr zahlt die Abrechnungs-Ebene. - Erst pr%C3%BCfen, dann vertrauen, bei ausgew%C3%A4hlten Ergebnissen: den zweiten Lauf nur dort aufwenden, wo die Antwort eine Pr%C3%BCfung wert ist. Die Ger%C3%A4teklassen sagen dasselbe von der anderen Seite. Telefone und Tablets gelten als Worker f%C3%BCr kleine Modelle, die erwartungsgem%C3%A4%C3%9F mitten im Job verschwinden, Laptops als Mainstream-Worker, der einem integrierten Grafikchip ein kleines Modell %C3%BCberl%C3%A4sst, und Workstations als zuverl%C3%A4ssige Stufe, die %C3%BCblicherweise pr%C3%BCft. Ein Design, das davon abhinge, dass sich eine dieser Klassen wie ein Rechenzentrum verh%C3%A4lt, w%C3%A4re bei allen dreien kaputt. ## Was der Schwarm wirklich bringt Kapazit%C3%A4t, Jurisdiktion und Ausfallsicherheit, in dieser Reihenfolge, und nicht Latenz f%C3%BCr eine einzelne Anfrage. Das sind drei andere Produkte als das, was das verbreitete Bild beschreibt, und das fr%C3%BCh zu sagen h%C3%A4lt das %C3%BCbrige Design ehrlich. Tats%C3%A4chlich gelaufen ist bisher ein Mock-Backend %C3%BCber echtes HTTP, und der Status sagt es klar: Weder lief irgendwo echte Modellinferenz noch eine echte GPU. Die n%C3%A4chste Phase ist eine llmeu.com-Seite, die benennt, was gemessen wurde, ein Einstieg zum Beisteuern eines Ger%C3%A4ts und eine Inhaltsoberfl%C3%A4che, die aus der Modellregistry erzeugt wird statt aus handgeschriebenen Behauptungen. ## Quellen - [azena.ai %E2%80%94 running capable LLMs with full data control (the guide llmeuchain cites)](https://dev.to/azena-ai/eu-sovereign-ai-a-practical-2026-guide-to-running-capable-llms-without-sending-your-data-to-the-us-3272) Jeder Link f%C3%BChrt zu der Quelle, die der Beitrag nennt. Wo eine Quelle eine Angabe nicht hergibt, zeigt der Beitrag sie als unverified, statt sie zu f%C3%BCllen. [Alle Beitr%C3%A4ge](/de/blog/)