Bezplatné LLM API: $5 kreditu pre každý nový účet

Čo je tých $5

Nová organizácia začína s 5.00 USD inferenčného kreditu, ktorý sa pridelí raz pri vytvorení účtu. Je to suma v knihe kreditov, nie testovací kľúč a nie samostatný produkt: volanie, ktoré ju minie, je to isté volanie, ktoré API obslúži pri akomkoľvek inom kredite. Riadky koncových bodov za týmto katalógom dnes evidujú priemernú vstupnú sadzbu približne 0.36 USD za milión tokenov, takže päť dolárov je pri tomto priemere rádovo štrnásť miliónov vstupných tokenov. Toto číslo je priemer cez 325 aktívnych riadkov koncových bodov a jeden riadok stojí menej alebo viac: evidované vstupné sadzby sa pohybujú od 0.00 do 1.50 USD za milión tokenov.

Karta sa nevyžaduje. Z karty sa ani nič neúčtuje, pretože kartové platby na tomto nasadení nie sú vôbec povolené. Kredit nie je hotovosť, nedá sa previesť na inú organizáciu ani vybrať. Nedobíja sa automaticky a neobnovuje sa: nie je uložená žiadna karta, z ktorej by obnovenie mohlo niečo strhnúť.

Pridelenie je jedno na organizáciu. Vytváranie účtov na to, aby sa vyberalo opakovane, je zneužitie a sekcia o prijateľnom používaní v podmienkach to už pokrýva.

Ako ho minúť

Vyžiadajte si API kľúč v konzole a pošlite prvú požiadavku. API je kompatibilné s OpenAI: jeden POST na /v1/chat/completions s kľúčom typu bearer a oficiálne SDK fungujú, len čo základnú URL nasmerujete sem. Kľúč minie kredit až po rovnakých kontrolách politiky, aké platia pre každú inú požiadavku — rezidencia, zoznamy poskytovateľov a modelov, cenové stropy, dátové triedy, uchovávanie a denný rozpočet. Kredit nie je obchádzka pravidla politiky. Ak vaša politika model odmietne alebo ho nič aktívne neobsluhuje, viac kreditu volanie nevyrieši.

Kredit môžete minúť aj v playgrounde skôr, než napíšete akýkoľvek kód, a to stačí na to, aby ste videli, ako odpoveď vyzerá: štandardné polia OpenAI plus jeden blok, ktorý uvádza ID trasovania, model, ktorý bežal, jeho verziu, ID koncového bodu, región inferencie, triedu suverenity, uplatnené uchovávanie (retention), odhad nákladov a jednu vetu o tom, prečo bol zvolený práve ten koncový bod. Každé volanie sa zaznamená ako trasovanie, ktoré si podľa jeho ID môžete vyžiadať.

Päť dolárov nevydrží večne a čestný pohľad na ne je taký, že ide o pracovný rozpočet. Chat, ktorý vymení pár tisíc tokenov, stojí pri partnerských sadzbách zlomok centu. Dlhá výzva pre vyhľadávanie (retrieval) poslaná modelu s vysokou evidovanou sadzbou môže na jedno volanie spotrebovať niekoľko centov. Bez volania sa svoju sumu nedozviete, pretože cena patrí riadku koncového bodu, ktorý vás obsluhuje, a nie tejto stránke.

Dnes odpovedá 325 modelov

Katalóg je väčší než tá jeho časť, ktorá odpovedá — sčasti preto, že sa tu nič nevymýšľa. Prečítajte si túto tabuľku skôr, než niečo naplánujete. Dnes 325 modelov obsluhuje 325 aktívnych partnerských koncových bodov na tomto nasadení. Ostatných 291 riadkov je iba v katalógu: nesú kartu s poskytovateľom, licenciou, zdokumentovaným kontextovým oknom a zdrojmi pre každé tvrdenie, a nič na tomto nasadení za ne neodpovedá. Model, ktorý platforma nedokáže obslúžiť, sa odmietne menovite a nikdy naň neodpovie atrapa, takže bezplatný kredit nemôže vyprodukovať výstup, ktorý sa nikdy nestal.

Modely, ktoré naozaj odpovedajú, obsluhujú partnerské koncové body. Tie riadky bežia mimo EÚ cez brokera, nie na infraštruktúre prvej strany, a ich trieda rezidencie to uvádza. Nová organizácia vzniká s politikou, ktorá povoľuje triedy hostované v EÚ, a partnerské koncové body sú v tejto predvolenej politike vypnuté: použiteľnými sa stanú, keď ich zapne politika alebo samotná požiadavka. Ten prepínač je v konzole a nie je to platená funkcia — je to to isté pole politiky, ktoré by zmenila aj platiaca organizácia.

Aké sú limity a aké nie sú

Predvolená politika zastropúva útratu na 10.00 USD na organizáciu a deň a po dosiahnutí tohto stropu sa vráti 402 budget_exceeded skôr, než sa vyhodnotí akýkoľvek koncový bod. Tieto dva limity sú oddelené a oddelená je aj odpoveď na každý z nich. Cenový strop vyradí drahý koncový bod už pri filtrovaní, takže požiadavka napriek tomu uspeje na lacnejšom. Denný rozpočet požiadavku zastaví. Ani jeden z nich nie je limit rýchlosti a ani jeden nie je filter rezidencie, ktorý odpovedá 409 no_endpoint_for_policy, keď nič nevyhovuje tomu, kde požiadavka smie bežať.

Politika nesie aj povolené dátové triedy, zoznamy poskytovateľov a modelov a regióny, ktoré požiadavka smie použiť. Čokoľvek mimo nich sa odmietne menovite, nie obslúži inak. Volanie je obmedzené aj na kľúč a na organizáciu, čo je iný strop než kredit a je zdokumentovaný s konkrétnymi číslami na stránke limitov.

Nie je to bezplatná úroveň, ktorá sa obnovuje denne alebo mesačne. Je to jedno pridelenie piatich dolárov. Nie je to hotovostný zostatok, nedá sa previesť ani vybrať. Nie je to sľub, že každý model v katalógu sa dá zavolať, pretože 291 riadkov je dokumentácia, nie koncový bod. Nie je to výnimka z politiky: kredit sa dá minúť na to, čo politika už aj tak povoľuje, a na nič iné. Nie je to zvýšenie denného stropu. A nie je to otvorený úverový rámec — nie je uložená žiadna karta, takže nie je čo prečerpať a čo neskôr vyfakturovať.

Čo sa stane, keď kredit dôjde

Keď sa päť dolárov minie, zostatok ukazuje nulu a API požiadavku odmietne, namiesto toho, aby ju obslúžilo. Odmietnutie uvedie limit, ktorý ju zastavil, a konzola zobrazí, čo sa minulo a čo zostáva. Nič sa potichu neúčtuje na kartu, nič sa napriek tomu neobslúži a žiadna faktúra neskôr nepríde. Keďže nie je uložená žiadna platobná metóda, nasadenie nemá čo účtovať ani z vášho účtu čo vyberať.

Účet aj kľúče si môžete nechať. Vaše trasovania a história používania zostávajú čitateľné a zostatok môže v konzole pridať vlastník alebo administrátor. Ak radšej skončíte, účet sa dá z konzoly zmazať, čím zmizne aj on a jeho kľúče.

To, čo platí aj po minutí kreditu, je tvrdá časť tejto ponuky a môžete si to overiť na tomto webe ešte dnes. Telá výziev a dokončení sa nikdy nezapisujú do databázy: nulové uchovávanie je implementované a je to jediný implementovaný režim, pri každej požiadavke a pri akomkoľvek zostatku. Triedy hostingu v EÚ a partnerské riadky mimo EÚ sú samostatné hodnoty v samostatných riadkoch, takže región, v ktorom požiadavka beží, je pole, ktoré si prečítate, a nie veta, ktorej veríte. A nič tu neúčtuje potichu: požiadavka, ktorú nemožno zaplatiť, sa odmietne, s kódom a správou, namiesto toho, aby sa obslúžila a naúčtovala.

Päťminútový test, pekne po poradí

Ak chcete zistiť, či si táto platforma zaslúži vašu ďalšiu hodinu, miniete kredit radšej na štyri kontroly než na jednu dlhú výzvu. Vytvorte účet a zatiaľ nič nemiňte. Prečítajte si stránku s modelmi a všimnite si, koľko z tých 325 je prípustných podľa vašej politiky tak, ako je nastavená. Pošlite jednu krátku chatovú požiadavku a prečítajte si celú odpoveď vrátane vety o smerovaní a poľa uchovávania (retention). Potom porovnajte odhad nákladov v tejto odpovedi s cenou evidovanou pre koncový bod, ktorý odpovedal. Tieto štyri kroky odpovedajú na otázky, ktorým sa bezplatná ponuka zvyčajne vyhýba: čo naozaj beží, kde to beží, koľko to stálo a či sa niečo uchovalo.