Construindo um Test Harness Proprietário

Construindo um Test Harness Proprietário: 12 aulas em 3 módulos da formação Formação IA Harness: Test & Evaluation Harness para IA.

Módulos e aulas

Arquitetura de um Harness Customizado

Nível 4 · 4 aulas

  1. Design Patterns para Runners de Teste: Strategy, Runner e Reporter
  2. Implementando o Harness Core: Leitura de Datasets e Execução Concorrente
  3. Validação Estrita de Saídas com Schemas Zod e Pydantic no Harness
  4. Gestão de Rate Limits e Retentativas com Exponential Backoff no Harness

Calibração do LLM Juiz

Nível 4 · 4 aulas

  1. Desenhando System Prompts de Julgamento: Rubricas Estritas e Critérios Objetivos
  2. Few-Shot Calibration: Exemplos Canônicos de Respostas Boas e Ruins no Prompt do Juiz
  3. Mitigando Vieses do Juiz: Viés de Posição, Viés de Verbosity e Blind Evaluation
  4. Medindo a Concordância do Juiz de IA com Especialistas Humanos (Cohen's Kappa)

Guardrails & Testes de Carga

Nível 4 · 4 aulas

  1. Testes Automatizados de Injeção de Prompt e Fuga de Sandbox
  2. Validação de Vazamento de PII (Personally Identifiable Information) e Conformidade LGPD
  3. Testes de Carga, Throughput e Comportamento sob Alta Concorrência
  4. Medição de Latência: Time to First Token (TTFT) e Tokens por Segundo (TPS)