Quantização Avançada & Fine-Tuning Eficiente (QLoRA)

Quantização Avançada & Fine-Tuning Eficiente (QLoRA): 12 aulas em 3 módulos da formação Formação em Infraestrutura Soberana & LLMs Locais.

Módulos e aulas

QLoRA com Unsloth: Fine-Tuning Prático com 4-bit NF4 e LoRA

Nível 3 · 4 aulas

  1. Fundamentos do LoRA e QLoRA: Decomposição de Rank Baixo e Tipo NF4
  2. Configuração e Sintonia de Hiperparâmetros LoRA: Rank, Alpha, RSLoRA e Targets
  3. Treinamento Acelerado com Unsloth em GPU Única: Kernels Triton e 80% Menos VRAM
  4. Fusão de Adaptadores LoRA, Exportação para SafeTensors e Deploy com GGUF/Ollama

Métodos de Quantização: GGUF, AWQ e EXL2 em Comparação

Nível 3 · 4 aulas

  1. Fundamentos Matemáticos da Quantização: Escalas, Zero-Point e Formatos Numéricos
  2. AWQ: Activation-aware Weight Quantization e Proteção de Pesos Salientes
  3. GPTQ e EXL2: Otimização de Segunda Ordem, Hessiana e Bits Fracionários
  4. Comparativo de Engenharia: Perplexidade, Vazão e Matriz de Decisão de Formatos

Datasets Sintéticos, Pipeline de Fine-Tuning e Avaliação de Modelos

Nível 4 · 4 aulas

  1. Curadoria e Limpeza de Datasets de Instrução: Heurísticas, MinHash e Formatos
  2. Geração de Dados Sintéticos com Evol-Instruct, UltraFeedback e LLM-as-a-Judge
  3. Chat Templates Jinja2: Formatação de Conversas e Tokens Especiais de Controle
  4. Validação Estrutural de Datasets com Pydantic e Auditoria Pré-Voo