Отказоустойчивость AI API: как реализовать failover и A/B-тестирование между GPT, Claude и Gemini

Когда продакшн-сервис зависит от одной модели — GPT, Claude или Gemini — любой сбой провайдера превращается в простой для вашего приложения: тайм-ауты, лимиты по rate limit, временная недоступность региона. Для разработчика это означает падение конверсии, потерю пользователей и ночные алерты. Второй смежный вопрос — как выбрать лучшую модель для конкретной задачи, не переписывая код каждый раз при сравнении вариантов.

Решение — построить слой отказоустойчивости (failover) поверх нескольких моделей, а также механизм A/B-тестирования, который перенаправляет часть трафика на альтернативную модель для сравнения качества и стоимости ответов. Через единый эндпоинт https://api.acedata.cloud можно обращаться к GPT, Claude и Gemini с одинаковым форматом запроса, что сильно упрощает реализацию такой логики.

Как работает failover

Базовая идея: если основная модель вернула ошибку (тайм-аут, 429, 5xx), запрос автоматически повторяется на резервной модели. Ниже — пример на Python с использованием библиотеки requests.

import requests
import time

API_KEY = "YOUR_API_KEY"
ENDPOINT = "https://api.acedata.cloud/llm/chat/completions"

MODELS_PRIORITY = ["gpt-4o", "claude-3-5-sonnet", "gemini-1.5-pro"]

def call_model(model, messages, timeout=15):
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    }
    payload = {
        "model": model,
        "messages": messages
    }
    resp = requests.post(ENDPOINT, headers=headers, json=payload, timeout=timeout)
    resp.raise_for_status()
    return resp.json()

def chat_with_failover(messages):
    last_error = None
    for model in MODELS_PRIORITY:
        try:
            result = call_model(model, messages)
            result["_used_model"] = model
            return result
        except Exception as e:
            print(f"Model {model} failed: {e}")
            last_error = e
            time.sleep(0.5)
    raise RuntimeError(f"All models failed. Last error: {last_error}")

if __name__ == "__main__":
    messages = [{"role": "user", "content": "Кратко объясни, что такое failover в API."}]
    response = chat_with_failover(messages)
    print("Использована модель:", response["_used_model"])
    print(response["choices"][0]["message"]["content"])

Логика проста: перебираем модели по приоритету, при ошибке — переходим к следующей. Это защищает от единичных сбоев одного провайдера, но не решает задачу сравнения качества.

A/B-тестирование между моделями

Для A/B-тестирования нужно направлять часть трафика (например, 20%) на альтернативную модель и логировать оба результата для последующего анализа — либо вручную, либо через оценку качества (LLM-as-judge).

import random
import json
import time

VARIANT_A = "gpt-4o"
VARIANT_B = "claude-3-5-sonnet"
B_TRAFFIC_SHARE = 0.2

def pick_variant():
    return VARIANT_B if random.random() < B_TRAFFIC_SHARE else VARIANT_A

def log_experiment(model, messages, response, latency_ms):
    entry = {
        "timestamp": time.time(),
        "model": model,
        "prompt": messages,
        "response": response["choices"][0]["message"]["content"],
        "usage": response.get("usage", {}),
        "latency_ms": latency_ms
    }
    with open("ab_test_log.jsonl", "a") as f:
        f.write(json.dumps(entry, ensure_ascii=False) + "\n")

def chat_with_ab_test(messages):
    model = pick_variant()
    start = time.time()
    result = call_model(model, messages)
    latency_ms = int((time.time() - start) * 1000)
    log_experiment(model, messages, result, latency_ms)
    return result

Каждая запись в лог-файле содержит модель, промпт, ответ, данные по использованию токенов (usage) и задержку. Через несколько дней накопленных данных можно посчитать среднюю задержку, стоимость по токенам и субъективное качество ответов для каждой модели, и принять решение о переключении трафика.

Пример через curl

Для быстрой проверки доступности каждой модели можно использовать простой bash-скрипт с curl:

#!/bin/bash
API_KEY="YOUR_API_KEY"
ENDPOINT="https://api.acedata.cloud/llm/chat/completions"

for MODEL in "gpt-4o" "claude-3-5-sonnet" "gemini-1.5-pro"; do
  echo "Проверка модели: $MODEL"
  curl -sS -X POST "$ENDPOINT"     -H "Authorization: Bearer $API_KEY"     -H "Content-Type: application/json"     -d "{\"model\": \"$MODEL\", \"messages\": [{\"role\": \"user\", \"content\": \"ping\"}]}"     -o /dev/null -w "Статус: %{http_code}, время: %{time_total}s\n"
done

Такой скрипт удобен для мониторинга: его можно запускать по расписанию (cron) и алертить, если один из провайдеров начал систематически отвечать с ошибкой или большой задержкой.

Сценарии использования

Продакшн-чат-бот: если основная модель недоступна, пользователь не замечает сбоя — запрос молча уходит на резервную модель.
Оптимизация стоимости: часть простых задач направляется на более дешёвую модель, а сложные — на более мощную, с автоматическим переключением по правилам.
Оценка качества перед миграцией: перед полным переходом с одной модели на другую команда может несколько недель гонять A/B-тест и сравнивать метрики без риска для всех пользователей.
Региональная устойчивость: если один из провайдеров временно недоступен из-за технических работ на его стороне, приложение продолжает работать за счёт резервных моделей.

Итог

Failover и A/B-тестирование — это не экзотика, а стандартная инженерная практика для любого сервиса, который зависит от внешнего API. Работая через единый эндпоинт для GPT, Claude и Gemini, вы получаете возможность переключаться между моделями без переписывания интеграции: меняется только параметр model в теле запроса. Это снижает риск простоя и даёт данные для осознанного выбора модели по соотношению цена/качество.

Подробнее о доступных моделях и параметрах API — на странице platform.acedata.cloud/ru.

Search This Blog

AceDataCloud