Arquitetura de Pipeline Recsys

Uma habilidade de especificação e andaime para construir pipelines de recomendação, ranqueamento e feed compoíveis. Codifica o padrão de seis estágios popularizado pelo algoritmo For You de código aberto da xAI (Apache 2.0) e o aplica a qualquer problema de "top K para (usuário, contexto)".

Visão Geral

A maioria dos "sistemas de recomendação" em produção não são ML exóticos — são pipelines: buscam candidatos de uma ou mais fontes, os enriquecem com metadados, descartam os inelegíveis, pontuam os restantes, ordenam e selecionam os top K, e então disparam efeitos colaterais assíncronos. O padrão é universal. A função de pontuação e os itens mudam; a forma do pipeline não.

Esta habilidade é uma reimplementação independente do padrão (MIT) — nenhum código copiado do original.

Quando Usar Esta Habilidade

• Construindo qualquer sistema que retorna "os top K itens para um usuário/contexto"
• Projetando ou refatorando um feed personalizado (conteúdo, resultados de busca, notificações)
• Envolvendo um pontuador LLM/ML em um encanamento de pipeline adequado (fontes, hidratação, filtros, efeitos colaterais)
• Adicionando previsão multi-ação com pesos ajustáveis (em vez de uma única pontuação de relevância)
• Construindo um reranker de recuperação RAG (recuperação barata → rerank caro)
• Projetando um priorizador de tarefas ou sistema de triagem de alertas

O Framework de Seis Estágios

Por que essa ordem exata

• Fontes antes da hidratação: saber quais candidatos existem antes de pagar para enriquecer
• Hidratação antes da filtragem: muitos filtros precisam de metadados que a fonte não forneceu
• Filtragem antes da pontuação: a pontuação é o estágio caro — descartar os inelegíveis primeiro
• Cadeia de pontuadores (não um único pontuador): sistemas reais compõem pontuação ML + reranking de diversidade + regras de negócios
• Seletor após a pontuação: mantém a pontuação determinística e cacheável
• Efeitos Colaterais por último e assíncronos: efeitos colaterais nunca devem bloquear a resposta do usuário

Fluxo de Trabalho ao Ser Invocado

Guia o usuário por oito etapas:

1. Clarificar o caso de uso (uma rodada, três perguntas apenas se faltar): itens sendo ranqueados, contexto de entrada, linguagem/tempo de execução
2. Identificar as fontes de candidatos (geralmente internas + externas, mas fonte única também é válida)
3. Listar as hidratações necessárias — para cada filtro e pontuador, quais dados ele precisa que a fonte não forneceu?
4. Listar os filtros — baratos antes de caros, universais antes de específicos do usuário (duplicado, próprio, idade, bloqueio/silenciamento, servido anteriormente, elegibilidade)
5. Projetar a cadeia de pontuadores — ML/heurística primária → combinador (multi-ação com pesos) → diversidade → regras de negócios
6. Seletor — ordenar decrescente pela pontuação final, pegar os top K (ou mix estratificado)
7. Efeitos Colaterais — cache de IDs servidos, emissão de eventos de impressão, atualização de contadores, log de análises; tudo "dispare e esqueça"
8. Gerar o andaime na pilha do usuário

Principais Trade-offs a Serem Apresentados

Nunca assuma silenciosamente sobre estes — são decisões de produto disfarçadas de técnicas.

1. Pontuação única vs. previsão multi-ação

• Pontuação única: treinar um modelo para prever relevância. Para mudar o comportamento → retreinar.
• Multi-ação: prever P(action) para muitas ações (P(read), P(like), P(share), P(skip), P(report)), combinar com pesos no momento do serviço. Para mudar o comportamento → mudar pesos. Sem retreinamento.

O algoritmo X For You usa multi-ação com pesos positivos e negativos. Recomende multi-ação quando o usuário espera ajustar com frequência.

2. Isolamento de candidatos vs. pontuação conjunta

• Isolado: cada candidato pontuado independentemente. Determinístico, cacheável.
• Conjunto: candidatos se atentam uns aos outros durante a pontuação (por exemplo, transformer sobre todo o lote). Mais expressivo, mas não determinístico entre lotes.

Padrão para isolamento. Conjunto apenas quando houver um motivo específico (por exemplo, diversidade explícita ciente do lote).

…