У світі, де кожен запит до ШІ-моделі може обійтися в значну суму, компанія Google зробила важливий крок назустріч розробникам, представивши інструмент, здатний суттєво зменшити витрати.
Про це повідомляє TechCrunch.
Нововведенням стала функція “неявного кешування”, яка з’явилася в API для моделей Gemini 2.5 Pro та 2.5 Flash. Суть її полягає в тому, що система автоматично визначає повторювані частини запитів та зберігає їх у пам’яті. Таким чином, однакові фрагменти не обробляються щоразу з нуля, що, за оцінками Google, дозволяє скоротити витрати на обробку повторюваного контексту до 75%.
На відміну від попередньої технології “явного кешування”, яка вимагала втручання з боку користувача і ручного налаштування, нова система працює повністю в автоматичному режимі. Це особливо вигідно для розробників, які створюють запити на основі типових шаблонів із повторюваним контекстом.
Механізм працює наступним чином: якщо запит має однаковий префікс із попереднім, API розпізнає його як збіг у кеші та використовує вже наявні результати. Для активації цієї функції потрібно, аби довжина повторюваної частини запиту становила щонайменше 1024 токени (для Gemini 2.5 Flash) або 2048 токенів (для Gemini 2.5 Pro).
Google також радить розміщувати спільний контекст на початку запиту, а змінні елементи — в кінці, аби збільшити шанси на його кешування.
У підсумку, нова функціональність дозволяє економити без змін у коді та без зайвих зусиль — вона вже інтегрована в систему. Це відкриває доступ до потужних інструментів штучного інтелекта ширшому колу користувачів і стартапів.
Однак наразі не існує незалежних підтверджень ефективності цієї функції. Наскільки суттєвою буде економія в реальних умовах — покаже лише практика.
Імпліцитне кешування — це ще один крок Google до того, аби зробити роботу з сучасними ШІ-моделями доступнішою, швидшою та дешевшою для розробників будь-якого рівня.