Offloading Híbrido de Camadas (CPU/GPU) no llama.cpp

Offloading Híbrido de Camadas (CPU/GPU) no llama.cpp — aula do módulo llama.cpp e Ollama em Produção: CPU Offload e Quantização GGUF, na trilha Servidores de…

Leitura de aproximadamente 6 minutos.

Módulo: llama.cpp e Ollama em Produção: CPU Offload e Quantização GGUF · Curso: Servidores de Inferência de Alta Vazão · Formação: Formação em Infraestrutura Soberana & LLMs Locais

O conteúdo desta aula é exclusivo para alunos da formação. A ementa acima descreve o que ela cobre.

Outras aulas do módulo

• Arquitetura do llama.cpp e o Formato Binário GGUF
• Deploy de Ollama e Gestão de Modelos em Ambientes Corporativos
• Benchmarking de Performance: vLLM vs SGLang vs llama.cpp vs TensorRT-LLM