1M vs 200K context window: ¿cuándo conviene cada uno?🌎

El context window es la cantidad máxima de tokens (palabras y símbolos) que un modelo puede procesar en una sola llamada. Un context de 1M tokens equivale a ~750.000 palabras o un codebase mediano completo. Importa porque determina cuánto texto podés analizar de una sola vez sin chunking.

Una página de texto denso (como un contrato o paper académico) tiene aproximadamente 500–700 tokens. Un documento de 100 páginas ronda los 50.000–70.000 tokens. Un libro estándar de 300 páginas puede llegar a 150.000–200.000 tokens.

No. Gemini 2.5 Pro tiene precio escalonado: $1.25/1M tokens para prompts de hasta 200K tokens, y $2.50/1M tokens para prompts que superan los 200K. Esta calculadora aplica el precio correcto según el tamaño del prompt enviado.

RAG gana cuando las consultas son frecuentes sobre el mismo corpus estático (el ahorro puede ser de 50x–100x), cuando el corpus supera la ventana del modelo, o cuando tenés cientos de documentos y la recuperación semántica permite filtrar los relevantes antes de llamar al LLM.

TTFT (Time To First Token) es el tiempo que tarda el modelo en empezar a responder. Con prompts de 500K–1M tokens, el TTFT puede ser de 10–30 segundos en algunos modelos. Para aplicaciones interactivas (chatbots, UX en tiempo real), esto puede ser inaceptable.

Sí, Claude Sonnet 4 tiene soporte para 1M tokens de context window en su API. Su precio de $3.00/1M tokens de input lo hace más caro que Gemini 2.5 Flash para long context, pero ofrece capacidades de razonamiento comparables a modelos más potentes.

No. Esta calculadora estima solo el costo de la llamada de generación con RAG. El costo de embedding (indexar el corpus) con modelos como text-embedding-3-small ronda los $0.02/1M tokens y generalmente es una fracción pequeña del costo total, pagado una sola vez por batch.

Para preguntas factoriales sobre documentación estructurada, modelos baratos como GPT-4o mini o Gemini 2.5 Flash funcionan muy bien a una fracción del costo. Reservá modelos más potentes para razonamiento complejo, síntesis multi-hop o cuando la calidad de respuesta sea crítica.

Si el corpus supera 1M tokens (aprox. librerías enteras de código, bases de conocimiento corporativas), RAG o una arquitectura de agentes con múltiples llamadas es la única opción viable. Ningún modelo actual maneja más de 2M tokens de contexto en producción a escala.

Prompt caching permite a Anthropic Claude y Google Gemini cachear partes del prompt entre llamadas, cobrando 0,1x o 0,25x del precio normal por tokens cacheados. Si haces múltiples queries sobre el mismo documento de 200K, la primera llamada paga full price, pero las siguientes pagan ~10% del input. Esto cambia drásticamente el costo de long context y lo vuelve competitivo con RAG en workloads repetitivos.

Si tu retrieval RAG recupera chunks no relevantes (típico problema en RAG mal afinado), la calidad de respuesta cae al 60-70% vs 90%+ con long context. Solución: usar reranking (Cohere Rerank, BGE), embeddings de mayor dimensión, o chunking semántico. RAG bien afinado puede ser indistinguible de long context en muchos casos.

Sí, en algunos casos. Por ejemplo: usar RAG para narrowear a 50K tokens relevantes y luego pasar esos 50K a un modelo capaz de razonamiento profundo. Combina precisión de retrieval con poder de long context. Especialmente útil en multi-document Q&A donde diferentes documentos pueden ser relevantes para diferentes preguntas.