AI Eval — Providers nativos Anthropic y OpenAI

AI Eval — Providers nativos Anthropic y OpenAI

Resumen

Commit 3ad21cc (2026-04-27, @Esquembri) amplía la herramienta AI Eval del workspace CreaRack para soportar llamadas nativas a Anthropic y OpenAI, eliminando la dependencia de OpenRouter para los modelos Claude y GPT. El cambio toca dos archivos: el handler CF Workers (run.ts) y el panel React (AiEvalPanel.tsx), con +217/-15 LOC totales — dentro de la Regla 21 (≤ 400 LOC por feature).

Contexto previo

Antes de este commit, AI Eval soportaba:

Los modelos Claude se invocaban a través de OpenRouter como anthropic/claude-haiku-4.5, con el overhead de latencia y markup de precio (~5 %) del gateway.

Cambios introducidos

Backend — functions/api/tools/ai-eval/run.ts

Tipo Candidate.provider

// Antes
provider: 'gemini' | 'openrouter'

// Después
provider: 'gemini' | 'anthropic' | 'openai' | 'openrouter'

RunBody.api_keys

// Antes
api_keys: { gemini?: string; openrouter?: string }

// Después
api_keys: { gemini?: string; anthropic?: string; openai?: string; openrouter?: string }

Nueva función callAnthropic

• Endpoint: https://api.anthropic.com/v1/messages
• Header obligatorio: anthropic-version: 2023-06-01
• Autenticación: x-api-key
• Soporte vision (image base64 via source.type: 'base64')
• Soporte system_instruction como campo system de nivel superior
• Usage: input_tokens / output_tokens

Nueva función callOpenAI

• Endpoint: https://api.openai.com/v1/chat/completions
• Autenticación: Authorization: Bearer
• Usa max_completion_tokens (compatible GPT-4o → GPT-5+; backward-compatible)
• Guard o-series (reasoning): detecta modelos o\d con regex y omite temperature (los modelos de razonamiento no aceptan ese parámetro)
• Soporte response_format: json_object cuando c.response_json === true
• Soporte vision via image_url con data URI base64
• Usage: prompt_tokens / completion_tokens

Enrutador runCell

El switch de providers se extiende con guards explícitos:

if (c.provider === 'anthropic') {
  if (!keys.anthropic) return { answer: '', latency_ms: 0, error: 'Falta API key de Anthropic' };
  return callAnthropic(keys.anthropic, c.model, ec);
}
if (c.provider === 'openai') {
  if (!keys.openai) return { answer: '', latency_ms: 0, error: 'Falta API key de OpenAI' };
  return callOpenAI(keys.openai, c.model, ec);
}

Frontend — src/components/tools/AiEvalPanel.tsx

13 presets totales

Los modelos Claude vía OpenRouter (anthropic/claude-haiku-4.5) se mantienen en MODEL_PRICING por compatibilidad con runs históricos, pero los presets apuntan ahora al provider nativo.

MODEL_PRICING — Tarifas abril 2026 (USD / 1M tokens)

Fuente: Anthropic docs + catálogo OpenRouter (verificados 2026-04-27). Actualizar cuando los providers cambien tarifas.

State y validación

• keys state ampliado a 4 campos: { gemini, anthropic, openai, openrouter }
• canRun valida que si un provider está en uso, su key no esté vacía
• Inputs de API key aparecen condicionalmente (solo si el provider está en la selección activa), usando providersInUse.has('anthropic') etc.
• CustomModelInput dropdown ahora lista los 4 providers

Arquitectura multi-provider

AiEvalPanel.tsx
  └─ POST /api/tools/ai-eval/run
        └─ runCell(candidate, evalCase, keys)
              ├─ provider='gemini'     → callGemini(...)
              ├─ provider='anthropic'  → callAnthropic(...)  ← NUEVO
              ├─ provider='openai'     → callOpenAI(...)     ← NUEVO
              └─ provider='openrouter' → callOpenRouter(...)

Cada función devuelve CellResult: { answer, latency_ms, tokens_in?, tokens_out?, error? }, permitiendo al panel calcular coste estimado con MODEL_PRICING.

Detalles de implementación notables

Guard o-series (OpenAI reasoning)

Los modelos o1, o3, o4-mini, etc. de OpenAI no aceptan el parámetro temperature. El código detecta el patrón con:

const isReasoning = /^o\d/i.test(model);
if (!isReasoning && c.temperature !== undefined) {
  body.temperature = c.temperature;
}

Vision multi-provider

Compatibilidad de tokens

Anthropic → usage.input_tokens / usage.output_tokens
OpenAI → usage.prompt_tokens / usage.completion_tokens
Ambos se mapean a los campos estándar CellResult.tokens_in / tokens_out.

Impacto y consideraciones

• Sin breaking changes: el tipo RunBody.api_keys solo añade campos opcionales.
• Coste por defecto: usuarios que no provean la key de Anthropic/OpenAI simplemente no pueden seleccionar esos providers (la UI bloquea canRun).
• OpenRouter como fallback: sigue disponible para modelos sin provider nativo (Qwen, Llama, DeepSeek).
• Regla 21 respetada: +217 LOC en 2 archivos (< 400 LOC).

Véase también

• [[entity—workspace—handler—ai-eval-run]]
• [[concept—ai—multi-provider-eval]]