Zmień klienta w trzech krokach

URL bazowy i uwierzytelnianie

Aby korzystać z API, skieruj swojego klienta do https://api.mistralapi.top/v1. Uwierzytelnianie opiera się na tokenie Bearer dołączonym do nagłówka Authorization. Klucz ten generujesz na stronie Uzyskaj klucz API, używając konta Google lub standardowego logowania e-mail/hasło. Klucz jest wyświetlany natychmiast po utworzeniu. Przechowuj ten token bezpiecznie, ponieważ zapewnia pełny dostęp do Twojego przedpłaconego kredytu. W przeciwieństwie do standardowych dostawców, nie wymagamy numeru telefonu ani karty kredytowej do aktywacji darmowego kredytu próbnego.

Nasza usługa jest zaprojektowana tak, aby wpaść bezpośrednio w istniejące konfiguracje klientów Mistral lub OpenAI. Po prostu zaktualizuj właściwość base_url w instancji swojego SDK. Struktura endpointu odpowiada standardowemu formatowi /v1/chat/completions, zapewniając działanie Twojego istniejącego kodu bez modyfikacji. Obsługujemy jeden identyfikator modelu, uncensored, który obsługuje wszystkie zadania generowania tekstu.

Endpoint Chat Completions

Podstawowa interakcja odbywa się przez endpoint POST /v1/chat/completions. Wysyłasz ciało JSON zawierające identyfikator model, tablicę messages oraz parametry opcjonalne. API zwraca odpowiedź tekstową lub dane strukturalne, jeśli określisz tryb JSON. Ten endpoint jest głównym sposobem interakcji z LLM. Obsługuje zarówno standardowe zapytania synchroniczne, jak i odpowiedzi strumieniowe. Każde zapytanie zużywa tokeny z Twojego przedpłaconego salda na podstawie objętości danych wejściowych i wyjściowych.

Błędy są obsługiwane za pomocą standardowych kodów statusu HTTP. Jeśli Twój klucz jest nieprawidłowy, otrzymasz 401. Jeśli zabraknie Ci kredytu, otrzymasz 402. Limity zapytań są egzekwowane na poziomie 300 zapytań na minutę i 8 równoległych połączeń na klucz. Użyj poniższego przykładu, aby zweryfikować połączenie i ważność klucza.

Copycurl https://api.mistralapi.top/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Odpowiedzi strumieniowe (SSE)

Aby zmniejszyć opóźnienia i poprawić doświadczenie użytkownika, włącz strumieniowanie, ustawiając stream: true w ciele zapytania. API zwraca strumień zdarzeń wysłanych przez serwer (SSE). Każdy fragment zawiera częściową odpowiedź. Ostatni fragment zawiera pełne statystyki użycia tokenów dla zapytania. Pozwala to Twojej aplikacji wyświetlać tokeny w miarę ich generowania, zamiast czekać na pełne uzupełnienie. Strumieniowanie jest idealne dla interfejsów czatu, gdzie natychmiastowa informacja zwrotna jest kluczowa.

Podczas strumieniowania upewnij się, że Twój klient poprawnie parsuje format SSE. Tablica choices w każdym cząstkowym pakiecie zawiera zawartość delta. Musisz zsumować te delta, aby zbudować pełną odpowiedź. Użycie tokenów jest dostępne tylko w ostatnim zdarzeniu strumienia. Użyj tej metody, aby utrzymać zaangażowanie użytkowników, podczas gdy model przetwarza złożone prompty.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.mistralapi.top/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.mistralapi.top/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);