LLM-OPS -- IA de Produção

Visão Geral

LLM Operations -- RAG, embeddings, bancos de dados vetoriais, fine-tuning, engenharia de prompt avançada, custos de LLM, avaliações de qualidade e arquiteturas de IA para produção. Ativar para: implementar RAG, criar pipeline de embeddings, Pinecone/Chroma/pgvector, fine-tuning, engenharia de prompt, redução de custos de LLM, avaliações, cache semântico, streaming, agentes.

Quando Usar Esta Habilidade

• Quando precisar de assistência especializada neste domínio

Não Use Esta Habilidade Quando

• A tarefa não estiver relacionada a llm ops
• Uma ferramenta mais simples e específica puder lidar com a solicitação
• O usuário precisar de assistência de propósito geral sem conhecimento de domínio

Como Funciona

A diferença entre um protótipo de IA e um produto de IA é a operabilidade. LLM-Ops é a engenharia que torna a IA confiável, escalável e econômica.

Arquitetura RAG Completa

[Documentos] -> [Chunking] -> [Embeddings] -> [Vector DB] | [Query] -> [Embed query] -> [Busca Semântica] -> [Top K chunks] | [LLM + Contexto] -> [Resposta]

Pipeline de Indexação

from anthropic import Anthropic import chromadb

client = Anthropic()
chroma = chromadb.PersistentClient(path="./chroma_db")

def chunk_text(text, chunk_size=500, overlap=50):
    words = text.split()
    chunks = []
    for i in range(0, len(words), chunk_size - overlap):
        chunk = " ".join(words[i:i + chunk_size])
        if chunk: chunks.append(chunk)
    return chunks

def index_document(doc_id, content_text, metadata=None):
    chunks = chunk_text(content_text)
    ids = [f"{doc_id}_chunk_{i}" for i in range(len(chunks))]
    collection.upsert(ids=ids, documents=chunks)
    return len(chunks)

Pipeline de Query com RAG

def rag_query(query, top_k=5, system=None): results = collection.query( query_texts=[query], n_results=top_k, include=["documents", "metadatas", "distances"]) context_parts = [] for doc, meta, dist in zip(results["documents"][0], results["metadatas"][0], results["distances"][0]): if dist < 1.5: src = meta.get("source", "doc") context_parts.append(f"[Fonte: {src}] {doc}") context = "

".join(context_parts) response = client.messages.create( model="claude-opus-4-20250805", max_tokens=1024, system=system or "Responda baseado no contexto.", messages=[{"role": "user", "content": f"Contexto: {context}

{query}"}]) return response.content[0].text

Escolha do Vector DB

Pgvector

CREATE EXTENSION IF NOT EXISTS vector; CREATE TABLE knowledge_embeddings ( id UUID PRIMARY KEY DEFAULT gen_random_uuid(), content TEXT NOT NULL, embedding vector(1536), metadata JSONB, created_at TIMESTAMPTZ DEFAULT NOW() ); CREATE INDEX ON knowledge_embeddings USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100); SELECT content, 1 - (embedding <=> QUERY_VECTOR) AS similarity FROM knowledge_embeddings ORDER BY similarity DESC LIMIT 5;

Estrutura de Prompt de Elite

Componentes do system prompt Auri:

• Identidade: Nome (Auri), Tom (Natural, caloroso, direto), Plataforma (Amazon Alexa)
• Regras: Máximo de 3 parágrafos curtos, sem markdown, linguagem conversacional
• Capacidades: análise de negócios, conselho baseado em dados, criatividade
• Limitações: sem internet em tempo real, sem transações financeiras
• Personalização: {user_name}, {user_preferences}, {relevant_history}

Chain-Of-Thought

def cot_analysis(problem: str) -> str: steps = [ "1. O que exatamente está sendo pedido?", "2. Que informações são críticas para resolver?", "3. Quais abordagens possíveis existem?", "4. Qual abordagem é melhor e por quê?",

…