Frameworks Modernos de Evaluation

Frameworks Modernos de Evaluation: 12 aulas em 3 módulos da formação Formação IA Harness: Test & Evaluation Harness para IA.

Módulos e aulas

Promptfoo na Prática

Nível 3 · 4 aulas

  1. Instalação e Configuração do Promptfoo CLI no seu Repositório
  2. Escrevendo Asserções Declarativas: Contains, Is-JSON, Similaridade e LLM Rubric
  3. Comparando Matrizes de Modelos e Prompts em Larga Escala (Matrix Eval)
  4. Relatórios Visuais no Navegador com o Painel Web do Promptfoo

DeepEval & Ragas para RAG

Nível 3 · 4 aulas

  1. Instalando e Configurando DeepEval e Ragas em Python
  2. Testando Faithfulness (Fidelidade) e Answer Relevancy (Relevância da Resposta)
  3. Avaliando Context Precision (Precisão do Contexto) e Context Recall (Revogação)
  4. Hallucination Metric: Detecção Programática de Falsidades e Contradições

Braintrust & Langfuse

Nível 3 · 4 aulas

  1. Rastreando Traces e Spans de Execução com Langfuse Open Source
  2. Scoring Contínuo: Avaliando Respostas Reais de Produção com Avaliadores em Background
  3. Construindo Feedback Loops: De Incidentes de Produção para Novos Casos de Teste
  4. Braintrust e Gestão de Experimentos: Versionando Datasets e Modelos