Budżety i cache

Limity szybkości i budżety per klucz, limity organizacji oraz dwa cache odpowiedzi.

Budżety i limity

Każdy klucz niesie limity zapytań (żądania i tokeny na minutę) oraz budżet wydatków z okresem: total, daily lub monthly. Nad każdym kluczem stoi zbiorczy limit obejmujący całą organizację.

Egzekwowanie odbywa się na bramie, w realnych pieniądzach: każde żądanie jest wyceniane z aktualnego cennika i obciążane przed wysyłką. Po przekroczeniu limitu zapytań wywołanie zwraca 429; po przekroczeniu budżetu, 402. Żądanie nigdy nie dociera do dostawcy. Jeśli liczniki są kiedykolwiek nieosiągalne, kontrola zawodzi w stanie zamkniętym (fail closed) i uzgadnia się z niezmiennym rejestrem audytu, zamiast zgadywać.

Buforowanie

Dwa opcjonalne cache'e odpowiedzi: dokładny (dopasowanie znormalizowanego żądania) i semantyczny (podobieństwo wektorowe z zachowawczym progiem). Oba są ściśle izolowane per organizacja, szyfrowane w spoczynku i wymagają retencji treści. Włącz je w Konsoli, w widoku Cache.

Każdy wpis audytu zapisuje, jak obsłużono wywołanie: none | exact | semantic.