Отворени тегла или API: кое да използвам?

Три факта, които се бъркат

Отворените тегла означават, че файловете на модела са публикувани и могат да бъдат изтеглени. Разрешителен лиценз означава, че лицензът позволява търговско обслужване, което е различен факт и е записано отделно на всяка карта тук. Крайна точка означава ред, който казва, че нещо обслужва този модел сега, от посочен регион, с време за изпълнение и записана скорост. Моделът може да бъде свободно изтегляем и все пак да не може да бъде обслужван търговски, и може да бъде търговски лицензиран и да не е хостван никъде, където можете да го достигнете.

Рутерът прави третия факт структурен. Всеки модел от каталога има ред за крайна точка; модел, който нищо не обслужва, носи такъв, чийто вид е catalogue_only, този вид се отхвърля преди всяко друго правило, и заявка за него по име връща 404 hosted_unavailable. „В каталога ли е“ и „мога ли да го извикам“ са два въпроса и платформата ги държи отделно нарочно.

Какво ви дават отворените тегла

Контрол върху машината. Когато теглата са на хардуер, който вие управлявате, въпросът за юрисдикцията се отговаря от вашия собствен сървърен шкаф, а не от страницата с политики на някой друг, и това е честната причина европейските екипи да разглеждат първо отворените контролни точки. Това е и единствената опция, когато натоварването изобщо не може да бъде изпратено на трета страна, или когато моделът трябва да продължи да работи с латентност, която вашата мрежа може да предвиди.

Втора полза е възможността да променяте артефакта: да го квантувате, да го фино настроите, да фиксирате точна версия и да я запазите, след като доставчикът я отмени. Това е важно за възпроизводима работа, защото хостван модел може да бъде актуализиран под интеграция, докато резултатите от вашата оценка тихо спират да се отнасят за нещото, което извиквате.

Цената е оперативна. Някой трябва да управлява GPU, да наблюдава опашката и да плаща за празен капацитет. Контролна точка от 7B или 9B като Teuken 7B Instruct v0.6 или EuroLLM 9B се побира в един среден ускорител, поради което този клас размер е реалистичната входна точка. Mistral Small 4 е mixture of experts от 119B с 6.5B активирани на токен над прозорец от 256k токена; Mistral Large 3 е общо 675B с 41B активни и се нуждае от много-GPU възли дори квантувани. Това са различни бюджети, различни режими на отказ и различни профили за наемане.

Какво ви дава API

Без хардуер, без планиране на капацитета и цена на токен вместо цена на машино-месец. API е съвместим с OpenAI, така че клиентът, който вече имате, продължава да работи: същият основен шаблон на URL, същата форма на заявка, същите стрийминг кадри и обект за разширение с имена, който официалните SDK игнорират. Документацията изброява съществуващите крайни точки и тези, които умишлено не съществуват, което е по-полезно от твърдение за съвместимост.

API също така ви дава избор на заявка. Когато една крайна точка е деградирала или е с висока цена, следващият кандидат отговаря, и този отказ е ограничен от филтрирания набор, така че повторен опит не може да ви изведе извън резиденцията, която сте поискали. След това отговорът ви казва какво се е случило: кой модел е изпълнен, коя версия, коя крайна точка, кой регион, кой клас на суверенитет и защо.

Цената на това удобство е, че не притежавате машината, версията може да се промени, а фактите за лиценза и резиденцията, на които разчитате, трябва да са верни в кода на някой друг. Тук те са посочени на редовете и картите на крайните точки, платформата отказва да претендира за състояние на хостинг, което не може да покаже, и когато това е така, страницата казва, че моделът е само за каталог.

Хибридът, до който повечето екипи стигат

API за работа, чийто обем варира и чиито данни не са чувствителни, плюс една самохоствана контролна точка за натоварване, което трябва да остане в рамките на граница. Кое е кое обикновено следва класификацията на данните, а не класирането на модела, и това е правилният ред: филтърът за резиденция се изпълнява преди оценяването тук.

Проверявайте за всеки пакет, а не за всеки лиценз. Тъй като „отворени тегла“ и „разрешено търговско обслужване“ са два факта, планът за хостинг избира само карти, които удовлетворяват и двете, и засяването на платформата отказва модел, чийто лицензен текст забранява търговското обслужване, дори когато оператор го назове. Направете същата проверка от ваша страна: прочетете идентификатора на лиценза на картата, прочетете ограниченията, записани на картата, и проверете дали и двете съответстват на вашата употреба. Два европейски примера в малкия край показват колко различна може да бъде комбинацията. EuroLLM 9B е модел от 9,15B под Apache-2.0, покриващ всички 24 официални езика на ЕС плюс допълнителен набор. Teuken 7B Instruct v0.6 е обучен на всички 24 официални езика на ЕС под нетърговски лиценз. Едно и също описание „европейски, многоезичен, малък“ покрива един модел, който можете да обслужвате търговски, и един, който не можете.

Кратък списък за вземане на решения

Ако данните не могат да напуснат вашите помещения, започнете с отворени тегла и проверете лиценза преди всичко друго. Ако натоварването е пиково и данните са обикновени, API е по-евтино от сървър, който бездейства. Ако и двете са верни, изпълнете един малък модел сами и маршрутизирайте останалото.

Ако натоварването е изследователско, налична е и легитимна нетърговска контролна точка; ако е търговско обслужване, идентификатор на лиценз, съдържащ нетърговски термин, е знак за спиране, а ограниченията, записани на картата, са мястото, където това ограничение обикновено е посочено най-ясно. Ако отговорът трябва да бъде възпроизводим след една година, фиксирайте версия и предпочитайте опцията, при която контролирате артефакта.

Какъвто и път да изберете, запишете границата и я проверете от край до край. API извикване, което изглежда европейско, докато един етап от тръбопровод напуска границата, е провалът, който този каталог съществува, за да направи видим, а самохостван модел, чийто лиценз забранява обслужването, е същата грешка в другата посока.