Новые модели
За последний квартал мы добавили несколько значимых моделей. Вот самые интересные:
Gemini 2.5 Pro
Google выпустил следующее поколение Gemini с заметно улучшенными возможностями:
- Контекст 1M токенов — целая книга в одном запросе
- Нативная обработка аудио — транскрипция и понимание речи
- Улучшенный код — лучшие результаты на HumanEval и MBPP
- Thinking mode — модель «думает» перед ответом на сложные задачи
# Включение thinking mode в Gemini
response = client.chat.completions.create(
model="google/gemini-2.5-pro",
messages=[{"role": "user", "content": "Реши задачу оптимизации..."}],
extra_body={"thinking": {"type": "enabled", "budget_tokens": 10000}}
)
Llama 4 Scout и Maverick
Meta представила новое поколение открытых моделей:
- Llama 4 Scout (17B активных параметров из 109B MoE) — быстрый и эффективный
- Llama 4 Maverick (17B из 400B MoE) — для сложных задач
- Нативная поддержка изображений
- Увеличенный контекст до 10M токенов
Claude 3.7 Sonnet (обновлённый)
Anthropic выпустил обновлённую версию с улучшенным extended thinking и поддержкой инструментов.
Улучшения платформы
Умная маршрутизация
Мы улучшили алгоритм выбора провайдера. Теперь система учитывает:
- Текущую латентность провайдеров
- Процент успешных запросов за последние 5 минут
- Стоимость запроса
- Доступность конкретной модели
Это автоматически повышает надёжность и снижает время ответа.
Статистика использования
В личном кабинете появились новые отчёты:
- Разбивка расходов по моделям и ключам
- Графики латентности и error rate
- Топ используемых моделей
- Экспорт данных в CSV
Webhook-уведомления
Теперь можно настроить webhook для уведомлений:
- Достижение порога расходов
- Высокий процент ошибок
- Недоступность провайдера
Что планируется
В ближайшие месяцы:
- Batch API — асинхронная обработка больших объёмов запросов по сниженной цене
- Fine-tuning — дообучение моделей на ваших данных
- Embedding-поиск — встроенное векторное хранилище
- Функциональные инструменты — расширенная поддержка function calling
📬 Подпишитесь на нашу рассылку, чтобы первыми узнавать об обновлениях.