Twój dostawca AI obciąża Twoje własne konto za tokeny zużyte przez AI Engine. Ten artykuł wyjaśnia, jak AI Engine mierzy to zużycie, jak obliczany jest szacowany koszt w Activity Monitor i które ustawienia mają największy wpływ. Nie dotyczy ceny samego AI Engine; w tej sprawie skontaktuj się z Cloud Connected.
Jak mierzone jest zużycie#
Przy każdym żądaniu dostawca zgłasza, ile tokenów przetworzył. AI Engine sumuje wszystkie żądania należące do jednej akcji i zapisuje sumy w rekordzie AI Activity Log tej akcji:
- Tokens Input i Tokens Output, zgłoszone przez dostawcę.
- Tokens Cache Read i Tokens Cache Write: tokeny wejściowe, które dostawca pobrał ze swojej pamięci podręcznej promptów (prompt cache) lub w niej zapisał.
- Web Searches: liczba wyszukiwań wykonanych przez dostawcę.
- Callouts: ile żądań potrzebowała akcja.
- Model i Models Used: które modele zostały użyte, z rozbiciem na modele, gdy akcja użyła zarówno modelu głównego, jak i szybkiego.
Activity Monitor podsumowuje wywołania, tokeny i szacowany koszt w miesiącu, wywołania dziennie, wywołania i koszt według funkcji oraz tokeny i koszt na użytkownika, wraz z listą ostatnich wpisów dziennika. Dane o pamięci podręcznej, wyszukiwaniach w internecie, calloutach i rozbiciu na modele znajdują się w samych rekordach AI Activity Log. Zobacz Activity Monitor.
Jak obliczany jest szacowany koszt#
Estimated Cost USD jest obliczany dla każdego żądania z użyciem modelu, którego to żądanie faktycznie użyło:
- Tokeny wejściowe i wyjściowe są wyceniane według wbudowanej listy cen katalogowych dostawców dla każdego modelu.
- Tokeny wejściowe z pamięci podręcznej są wyceniane z rabatem (10% stawki za wejście), a zapisy do pamięci podręcznej – na 125% stawki za wejście, o ile dostawca je raportuje.
- Każde wyszukiwanie w internecie jest doliczane jako stała kwota szacunkowa.
- Jeśli AI Engine nie rozpoznaje nazwy modelu, na przykład niestandardowej nazwy wdrożenia Azure, szacuje koszt według stawki domyślnej. Umieszczenie nazwy modelu w nazwie wdrożenia Azure (na przykład
gpt-4o-prod) pozwala AI Engine dopasować właściwą stawkę.
Ta wartość jest szacunkiem do celów monitorowania i porównań. Rozstrzygającym źródłem informacji o tym, ile płacisz, są pulpit użycia i faktura Twojego dostawcy, a obie wartości nie będą się dokładnie zgadzać: ceny dostawców, rabaty i zasady pamięci podręcznej się zmieniają, a wbudowana lista zmienia się tylko wraz z wersjami pakietu.
Ile żądań wykonuje każda akcja#
| Akcja | Żądania do dostawcy |
|---|---|
| Pytanie w czacie | Zwykle 2: jedno, aby zamienić pytanie na zapytanie, i jedno, aby napisać odpowiedź. Pytania porównawcze mogą dodać do 3 kroków uzupełniających, a zapytanie, które zakończy się błędem, otrzymuje jedną automatyczną próbę naprawy. Pytanie badawcze używa żądania z wyszukiwaniem w internecie zamiast wykonania zapytania. |
| Next Steps, Draft Email, Summary, prompty niestandardowe | 1 |
| Web Check | 1, z wyszukiwaniem w internecie |
| Company News | 2: wyszukiwanie w internecie i jedno żądanie, aby napisać karty z wiadomościami |
| Analyze Email | 1 |
| Meet Prep | 1 oraz 1 żądanie z wyszukiwaniem w internecie, gdy Meet Prep: include web search jest włączone |
| AI Score | 1 na rekord oraz 1 wyszukiwanie w internecie na rekord, gdy Verify Company On The Web jest włączone |
| Magic Snap | 1, aby odczytać zdjęcie. Research this company dodaje wyszukiwanie w internecie i jedno żądanie oceniające firmę; Find companies dodaje wyszukiwanie w internecie. |
| Help mode i pomoc dla administratora | 1 |
| Show all, eksport, zmiany kolumn | Brak |
Co wpływa na zużycie tokenów#
- Zakres Agent Objects. Każde pytanie w czacie zawiera opis włączonych obiektów i pól. Więcej obiektów i pól oznacza więcej tokenów wejściowych przy każdym pytaniu w czacie, dlatego usunięcie pól, których użytkownicy nie potrzebują, daje największe oszczędności.
- Kontekst rekordu. Więcej włączonych pól, obiektów podrzędnych i aktywności powiększa każdą akcję na rekordzie.
- Długość rozmowy. Ostatnie wiadomości są wysyłane z każdym pytaniem.
- Źródła danych promptów. Wiersze ze źródeł danych są dodawane do promptu, do limitu Max Context Chars (Data Sources) (domyślnie 40 000 znaków), czyli pola w rekordzie AI Engine Profile. Jak go zmienić, opisano w artykule Limity.
- Wyszukiwanie w internecie. Wyniki wyszukiwania są dodawane do żądania jako dane wejściowe, przez co funkcje internetowe są znacznie większe niż inne akcje. Wyszukiwanie w internecie w Meet Prep dodaje około 30 000 tokenów wejściowych na brief, dlatego jest domyślnie wyłączone.
- Długość i język odpowiedzi. Dłuższe odpowiedzi kosztują więcej tokenów wyjściowych, a odpowiedzi w językach innych niż angielski zwykle wymagają więcej tokenów dla tej samej treści.
- Liczba ocenianych rekordów. Każdy oceniany rekord to jedno żądanie. Automatyczny i zaplanowany scoring wielu rekordów sumuje się, mimo że każde żądanie jest małe.
Ograniczanie zużycia#
- Włączaj w Agent Objects tylko pola potrzebne użytkownikom.
- Używaj tańszego Fast model do kroków wyszukiwania w internecie i Help mode. Zobacz Obsługiwani dostawcy i modele.
- Pozostaw Meet Prep: include web search i Verify Company On The Web wyłączone, chyba że wnoszą realną wartość.
- Używaj Filter — Which Records to Auto-Score w AI Scoring, aby oceniane były tylko rekordy, na których Ci zależy, i planuj batche poza godzinami pracy.
- Utrzymuj limity wierszy źródeł danych i Max Context Chars (Data Sources) na tak niskim poziomie, na jaki pozwala przypadek użycia.
- Ustaw limity wydatków w konsoli dostawcy, jeśli je oferuje.