Ilmainen LLM-API: $5 luottoa jokaiselle uudelle tilille

Mikä tuo $5 on

Uusi organisaatio aloittaa 5,00 USD:n päättelyluotolla, joka myönnetään kerran tilin luonnin yhteydessä. Se on summa luottokirjanpidossa, ei koekäyttöavain eikä erillinen tuote: kutsu, joka kuluttaa sen, on sama kutsu, johon API vastaa mitä tahansa muuta luottoa varten. Tämän luettelon taustalla olevat päätepisterivit kirjaavat tällä hetkellä keskimäärin noin 0,36 USD:n syötetaksan miljoonaa tokenia kohti, joten viisi dollaria on tuolla keskiarvolla suuruusluokaltaan neljätoista miljoonaa syöte-tokenia. Luku on keskiarvo 325 aktiivisen päätepisterivin yli, ja yksittäinen rivi maksaa vähemmän tai enemmän: kirjatut syötetaksat vaihtelevat välillä 0,00–1,50 USD miljoonaa tokenia kohti.

Korttia ei kysytä. Siltä ei myöskään veloiteta mitään, koska korttimaksut eivät ole tässä käyttöönotossa lainkaan käytössä. Luotto ei ole käteistä, sitä ei voi siirtää toiselle organisaatiolle eikä nostaa. Se ei lataudu automaattisesti eikä uusiudu: tiedossa ei ole korttia, jota uusiutuminen voisi veloittaa.

Myönnös on yksi organisaatiota kohti. Tilien luominen sen toistuvaa hakemista varten on väärinkäyttöä, ja käyttöehtojen hyväksyttävää käyttöä koskeva jakso kattaa sen jo.

Näin käytät sen

Pyydä API-avain konsolissa ja lähetä ensimmäinen pyyntö. API on OpenAI-yhteensopiva: yksi POST osoitteeseen /v1/chat/completions bearer-avaimella, ja viralliset SDK:t toimivat, kun perus-URL osoittaa tänne. Avain kuluttaa luoton samojen käytäntötarkistusten jälkeen, jotka koskevat jokaista muutakin pyyntöä — residenssi, palveluntarjoaja- ja malliluettelot, hintakatot, dataluokat, säilytys ja päiväkohtainen budjetti. Luotto ei ole kiertotie käytäntösäännön ohi. Jos käytäntösi hylkää mallin tai mikään aktiivinen ei tarjoa sitä, suurempi luotto ei saa kutsua onnistumaan.

Voit käyttää luoton myös playgroundissa ennen kuin kirjoitat koodia, ja se riittää vastauksen muodon näkemiseen: OpenAI:n vakiokentät sekä yksi lohko, joka nimeää trace-tunnuksen, ajetun mallin, sen version, päätepistetunnuksen, päättelyalueen, suvereniteettiluokan, sovelletun säilytyksen, kustannusarvion ja yhden lauseen siitä, miksi kyseinen päätepiste valittiin. Jokainen kutsu tallennetaan jäljitykseksi, jonka voit hakea sen tunnuksella.

Viisi dollaria ei kestä ikuisesti, ja rehellinen näkemys siitä on työbudjetti. Keskustelu, jossa vaihdetaan muutama tuhat tokenia, maksaa kumppanitaksoilla murto-osan sentistä. Pitkä hakukanavakehote mallille, jonka kirjattu taksa on korkea, voi kuluttaa yhdellä kutsulla useita senttejä. Lukua ei voi tietää kokeilematta, koska hinta kuuluu sille päätepisteriville, joka sinua palvelee, ei tälle sivulle.

325 mallia vastaa tänään

Osittain siksi, että täällä ei keksitä mitään, luettelo on suurempi kuin se osa siitä, joka vastaa. Lue tämä taulukko ennen kuin suunnittelet mitään. 325 mallia palvellaan 325 aktiivisen kumppanipäätepisteen kautta tässä käyttöönotossa tänään. Loput 291 riviä ovat pelkkää luetteloa: niissä on kortti, jossa on palveluntarjoaja, lisenssi, dokumentoitu konteksti-ikkuna ja lähteet jokaiselle väitteelle, eikä mikään tässä käyttöönotossa vastaa niiden puolesta. Malli, jota alusta ei voi palvella, hylätään nimeämällä se, eikä siihen koskaan vastata tyngällä, joten ilmainen luotto ei voi tuottaa tulosta, jota ei koskaan tapahtunut.

Vastaavat mallit palvelevat kumppanipäätepisteiden kautta. Ne rivit ajetaan EU:n ulkopuolella välittäjän kautta eivätkä ensiosapuolen infrastruktuurilla, ja niiden residenssiluokka kertoo sen. Uusi organisaatio luodaan käytännöllä, joka sallii EU-isännöidyt luokat, ja kumppanipäätepisteet on kytketty pois siinä oletuskäytännössä: ne tulevat kelpoisiksi, kun käytäntö tai pyyntö kytkee ne päälle. Se kytkin on konsolissa, eikä se ole maksullinen ominaisuus — se on sama käytäntökenttä, jota maksava organisaatio muuttaisi.

Mitkä rajat ovat, ja mitä ne eivät ole

Oletuskäytäntö rajoittaa kulutuksen 10,00 USD:oon organisaatiota ja päivää kohti, ja rajan saavuttaminen vastaa 402 budget_exceeded ennen kuin yhtään päätepistettä edes pisteytetään. Rajat ovat erillisiä, ja niin on vastaus kumpaankin. Hintakatto poistaa kalliin päätepisteen suodatuksen aikana, joten pyyntö onnistuu silti halvemmalla. Päiväbudjetti pysäyttää pyynnön. Kumpikaan ei ole nopeusrajoitus eikä kumpikaan ole residenssisuodatin, joka vastaa 409 no_endpoint_for_policy, kun mikään ei täytä sitä, missä pyyntö saa kulkea.

Käytäntöön kuuluvat myös sallitut dataluokat, palveluntarjoaja- ja malliluettelot sekä alueet, joita pyyntö saa käyttää. Kaikki niiden ulkopuolella hylätään nimeämällä se sen sijaan, että se palveltaisiin toisin. Kutsu on rajoitettu myös avainkohtaisesti ja organisaatiokohtaisesti, mikä on eri katto kuin luotto ja dokumentoidaan lukuineen rajasivulla.

Se ei ole ilmainen taso, joka uusiutuu päivittäin tai kuukausittain. Se on yksi viiden dollarin myönnös. Se ei ole käteissaldo, ei siirrettävissä eikä nostettavissa. Se ei ole lupaus siitä, että jokainen luettelon malli on kutsuttavissa, koska 291 riviä on dokumentaatiota eikä päätepiste. Se ei ole vapautus käytännöstä: luotto on käytettävissä siihen, minkä käytäntö jo sallii, eikä mihinkään muuhun. Se ei ole päiväkaton korotus. Eikä se ole avoin luottolimiitti — korttia ei ole tiedossa, joten mitään ei voi ylittää eikä laskuttaa jälkikäteen.

Mitä tapahtuu, kun luotto loppuu

Kun viisi dollaria on käytetty, saldo on nolla ja API hylkää pyynnön sen sijaan, että palvelisi sitä. Hylkäys nimeää rajan, joka pysäytti sen, ja konsoli näyttää, mitä on käytetty ja mitä on jäljellä. Mitään ei veloiteta hiljaisesti kortilta, mitään ei palvella silti, eikä laskua saavu myöhemmin. Koska maksutapaa ei ole tiedossa, käyttöönotolla ei ole mitään veloitettavaa eikä tililtäsi ole mitään nostettavaa.

Voit pitää tilin ja avaimet. Jäljityksesi ja käyttöhistoriasi pysyvät luettavina, ja omistaja tai ylläpitäjä voi lisätä saldoa konsolissa. Jos lopetat mieluummin, tili voidaan poistaa konsolissa, mikä poistaa sen ja sen avaimet.

Se, mikä pysyy totena luoton jälkeen, on tarjouksen vaikea osa, ja voit tarkistaa sen tällä sivustolla tänään. Kehotteen ja valmistumisen sisältöä ei koskaan kirjoiteta tietokantaan: nollasäilytys on toteutettu ja se on ainoa toteutettu tila, jokaisessa pyynnössä riippumatta siitä, mikä saldo sinulla on. EU-isännöintiluokat ja EU:n ulkopuoliset kumppanirivit ovat erillisiä arvoja erillisillä riveillä, joten alue, jolla pyyntö kulkee, on kenttä, jonka luet, eikä lause, johon luotat. Eikä mikään täällä laskuta hiljaisesti: pyyntö, jota ei voi maksaa, hylätään koodilla ja viestillä sen sijaan, että siihen vastattaisiin ja se veloitettaisiin.

Viiden minuutin koe järjestyksessä

Jos haluat tietää, onko tämä alusta seuraavan tuntisi arvoinen, käytä luotto neljään tarkistukseen yhden pitkän kehotteen sijaan. Luo tili äläkä käytä vielä mitään. Lue mallisivu ja pane merkille, kuinka moni 325:stä on sallittu nykyisellä käytännölläsi. Lähetä yksi lyhyt keskustelupyyntö ja lue koko vastaus, mukaan lukien reitityslause ja säilytyskenttä. Vertaa sitten vastauksen kustannusarviota siihen hintaan, joka on kirjattu vastanneelle päätepisteelle. Nuo neljä vaihetta vastaavat kysymyksiin, joita ilmainen tarjous yleensä välttää: mikä todella toimii, missä se toimii, mitä se maksoi ja säilytettiinkö mitään.