Nyílt súlyok vagy API: melyiket használjam?

Három tény, ami összekeveredik

A nyílt súlyok azt jelentik, hogy a modellfájlok publikusak és letölthetők. A megengedő licenc azt jelenti, hogy a licenc engedélyezi a kereskedelmi kiszolgálást, ami egy másik tény, és minden kártyán külön rögzítve van. Egy végpont egy olyan sor, amely azt mondja, hogy valami kiszolgálja azt a modellt most, egy megnevezett régióból, futásidővel és rögzített sebességgel. Egy modell lehet nyíltan letölthető, de mégsem szolgálható ki kereskedelmileg, és lehet kereskedelmi licenccel rendelkezik, de sehol sem hosztolják, ahol elérhető lenne.

A router a harmadik tényt strukturálissá teszi. Minden katalógusmodellnek van egy végpont sora; egy modell, amelyet semmi sem szolgál ki, olyat tartalmaz, amelynek típusa catalogue_only, ezt a típust minden más szabály előtt elutasítják, és a nevére való hivatkozás 404 hosted_unavailable hibát ad vissza. „Benne van-e a katalógusban” és „meghívhatom-e” két kérdés, és a platform szándékosan külön tartja őket.

Mit nyer a nyílt súlyokkal

Ellenőrzés a gép felett. Amikor a súlyok az Ön által üzemeltetett hardveren vannak, a joghatósági kérdést az Ön saját szervere válaszolja meg, nem pedig valaki más szabályzata, és ez az őszinte oka annak, hogy az európai csapatok először a nyílt ellenőrzőpontokat nézik. Ez az egyetlen lehetőség akkor is, ha a munkaterhelés egyáltalán nem küldhető harmadik félnek, vagy ha a modellnek továbbra is működnie kell olyan késleltetéssel, amelyet a hálózata előre tud jelezni.

A második előny az, hogy módosíthatja az artefaktumot: kvantálhatja, finomhangolhatja, rögzíthet egy pontos verziót, és megtarthatja azt, miután egy gyártó elavulttá tette. Ez fontos a reprodukálható munkához, mert egy hosztolt modell frissülhet egy integráció alatt, miközben az értékelési eredményei csendesen érvénytelenné válnak arra a dologra, amit hív.

Az ára operatív. Valakinek futtatnia kell a GPU-t, figyelnie kell a sort, és fizetnie kell az üresjárati kapacitásért. Egy 7B vagy 9B ellenőrzőpont, mint például a Teuken 7B Instruct v0.6 vagy az EuroLLM 9B, elfér egyetlen középkategóriás gyorsítón, ezért ez a méretosztály a reális belépési pont. A Mistral Small 4 egy 119B szakértői keverék, 6,5B aktiválva tokenenként egy 256k tokenes ablakon keresztül; a Mistral Large 3 összesen 675B, 41B aktív, és több GPU-s csomópontot igényel még kvantálva is. Ezek különböző költségvetések, különböző hibamódok és különböző felvételi profilok.

Mit nyer egy API-val

Nincs hardver, nincs kapacitástervezés, és tokenenkénti ár a gép-hónap ára helyett. Az API OpenAI-kompatibilis, így a már meglévő kliens továbbra is működik: ugyanaz az alap URL minta, ugyanaz a kérésforma, ugyanazok a streaming keretek, és egy névterezett kiterjesztési objektum, amelyet a hivatalos SDK-k figyelmen kívül hagynak. A dokumentáció felsorolja a létező végpontokat és azokat, amelyek szándékosan nem léteznek, ami hasznosabb, mint egy kompatibilitási állítás.

Az API kérésenkénti választási lehetőséget is biztosít. Ha egy végpont le van romolva vagy drága, a következő jelölt válaszol, és ez a feladatátvétel a szűrt halmazra korlátozódik, így egy újrapróbálkozás nem viheti ki Önt a kért rezidencián kívülre. A válasz ezután megmondja, mi történt: melyik modell futott, melyik verzió, melyik végpont, melyik régió, melyik szuverenitási osztály és miért.

Ennek a kényelemnek az ára az, hogy Ön nem birtokolja a gépet, a verzió változhat, és a licenc- és rezidencia-tények, amelyekre támaszkodik, valaki más kódjában kell, hogy igazak legyenek. Itt ezek a végpontsorokon és kártyákon vannak feltüntetve, a platform megtagadja olyan hosztolási állapot állítását, amelyet nem tud megmutatni, és ahol ez a helyzet, az oldal azt mondja, hogy a modell csak katalógusban szerepel.

A hibrid, amellyel a legtöbb csapat végül dolgozik

API a változó volumenű és nem érzékeny adatokkal végzett munkához, plusz egy önállóan hosztolt ellenőrzőpont a munkaterheléshez, amelynek egy határon belül kell maradnia. Hogy melyik melyik, az általában az adatbesorolást követi, nem pedig a modell rangsorolását, és ez a helyes sorrend: a rezidencia szűrő itt a pontozás előtt fut.

Ellenőrizze csomagonként, nem pedig licencenként. Mivel a „nyílt súlyok” és a „kereskedelmi kiszolgálás megengedett” két tény, egy hosztolási terv csak azokat a kártyákat választja ki, amelyek mindkettőnek megfelelnek, és a platform vetése elutasít egy modellt, amelynek licencszövege tiltja a kereskedelmi kiszolgálást, még akkor is, ha egy operátor megnevezi. Végezze el ugyanezt az ellenőrzést az Ön oldalán: olvassa el a kártya licencazonosítóját, olvassa el a kártyán rögzített korlátozásokat, és ellenőrizze, hogy mindkettő megfelel-e az Ön felhasználásának. Két európai példa a kisebb kategóriában megmutatja, mennyire eltérő lehet a kombináció. Az EuroLLM 9B egy 9,15B modell Apache-2.0 licenc alatt, amely mind a 24 EU hivatalos nyelvet, plusz egy további készletet lefedi. A Teuken 7B Instruct v0.6 mind a 24 EU hivatalos nyelven képződött egy nem kereskedelmi licenc alatt. Ugyanaz a „európai, többnyelvű, kicsi” leírás egy olyan modellt fed le, amelyet kereskedelmileg kiszolgálhat, és egy olyat, amelyet nem.

Rövid döntési lista

Ha az adatok nem hagyhatják el az Ön telephelyét, kezdje a nyílt súlyokkal, és mindenekelőtt ellenőrizze a licencet. Ha a terhelés ingadozó, és az adatok közönségesek, egy API olcsóbb, mint egy tétlen szerver. Ha mindkettő igaz, futtasson egy kis modellt saját maga, és irányítsa a többit.

Ha a munkaterhelés kutatás, egy nem kereskedelmi ellenőrzőpont elérhető és jogszerű; ha kereskedelmi kiszolgálásról van szó, egy nem kereskedelmi kifejezést tartalmazó licencazonosító stop tábla, és a kártyán rögzített korlátozások azok, ahol ezt a korlátozást általában a legvilágosabban megfogalmazzák. Ha egy válasznak egy év múlva is reprodukálhatónak kell lennie, rögzítsen egy verziót, és részesítse előnyben azt az opciót, ahol Ön irányítja az artefaktumot.

Bármelyik utat is választja, írja le a határt, és ellenőrizze azt végig. Egy API hívás, amely európainak tűnik, miközben egy pipeline szakasz elhagyja a határt, az a hiba, amelyet ez a katalógus láthatóvá tesz, és egy önállóan hosztolt modell, amelynek licence tiltja a kiszolgálást, ugyanaz a hiba a másik irányba.