Gateway Corporativo, LiteLLM & Governança Privada

Gateway Corporativo, LiteLLM & Governança Privada: 12 aulas em 3 módulos da formação Formação em Infraestrutura Soberana & LLMs Locais.

Módulos e aulas

LiteLLM Proxy: Roteamento Unificado e Fallbacks de Alta Disponibilidade

Nível 3 · 4 aulas

  1. Arquitetura do LiteLLM Proxy: Gateway Unificado OpenAI-Compatible
  2. Configuração de Roteamento, Fallbacks e Alta Disponibilidade
  3. Deploy de Produção com Docker Compose, LiteLLM Proxy e Redis
  4. Integração Híbrida Multi-Backend: vLLM, Ollama e Provedores de Nuvem

Gestão de Custos, Rate Limiting e Orçamentos por Departamento

Nível 4 · 4 aulas

  1. Gestão de API Keys Virtuais por Departamentos e Projetos
  2. Políticas de Rate Limiting: Controle de Vazão por TPM e RPM
  3. Controle de Orçamentos, Budgets e Alertas de Consumo em FinOps
  4. Auditoria e Logs de Uso em Banco de Dados Relacional (PostgreSQL)

Observabilidade, Guardrails PII e Governança Privada LGPD

Nível 5 · 4 aulas

  1. Métricas com Prometheus e Dashboards no Grafana para o AI Gateway
  2. Integração com OpenTelemetry (OTel) e Rastreamento Distribuído
  3. Guardrails de Segurança e Mascaramento de PII com Microsoft Presidio
  4. Políticas de Governança, Auditoria e Conformidade Regulatória (LGPD/GDPR)