Neon AI Gateway

Este é um recurso de pré-visualização e está disponível apenas em us-east-2. O Neon AI Gateway é a camada de inferência de LLM integrada ao seu branch Neon: uma API e uma credencial Neon dão acesso a modelos de ponta e de código aberto da Anthropic, OpenAI, Google, Meta, Alibaba, DeepSeek e Databricks — com tecnologia Databricks. Seu SDK existente da OpenAI/Anthropic/Gemini funciona alterando apenas a URL base.

Use esta habilidade para ajudar o usuário a enviar chamadas de modelo através do gateway, integrá-lo ao AI SDK ou Mastra, e alternar provedores sem reescrever o código. Entregue uma solicitação de inferência funcional, um agente configurado ou uma resposta precisa da documentação oficial do Neon.

Quando Usar

Recorra ao AI Gateway sempre que um aplicativo ou agente precisar chamar um LLM e o usuário preferir não gerenciar os provedores de modelo por conta própria:

• Uma credencial em vez de muitas contas de provedor. Uma única credencial Neon acessa todo o catálogo de modelos em sete provedores. Sem faturamento, chaves ou cadastros separados da OpenAI / Anthropic / Google para provisionar e rotacionar.
• Alterne modelos sem reescrever. O endpoint unificado é compatível com OpenAI e funciona com todos os modelos do catálogo — altere um campo model para alternar entre Claude, GPT e Gemini. SDKs padrão (OpenAI, Anthropic, google-genai) funcionam apenas com uma alteração na URL base.
• IA segue seus branches. Cada branch tem seu próprio endpoint de gateway, com escopo e linhagem iguais aos do seu banco de dados. As solicitações de IA de um branch de pré-visualização/recurso são isoladas para esse branch — o mesmo isolamento que seus dados já recebem — o que torna os ambientes de pré-visualização, CI e de agente autônomos.
• Sem infraestrutura extra, e já está ao lado dos seus dados. O gateway vive dentro do seu projeto Neon (e é injetado automaticamente nas Funções Neon), roda na mesma infraestrutura Databricks que serve trilhões de tokens por mês, e suporta streaming (SSE) pronto para uso.

Se o usuário já possui uma integração profunda com um único provedor e nenhum interesse em branching Neon ou roteamento multimodo, um SDK direto do provedor é suficiente — mas no momento em que eles quiserem uma credencial, portabilidade de modelo ou IA com escopo de branch, este é o motivo para usá-lo.

O Que Ele Faz

• Uma API para todos os modelos — Modelos de ponta e de código aberto por trás de um único endpoint, endereçados por seu ID de catálogo (por exemplo, claude-sonnet-4-6, gpt-5-mini, gemini-2-5-flash).
• SDKs padrão, uma alteração de URL — SDK OpenAI e AI SDK (rotas MLflow/Responses compatíveis com OpenAI), SDK Anthropic (Messages nativo), google-genai (Gemini nativo).
• Com escopo de branch — Cada branch recebe seu próprio host de gateway; a credencial Neon autoriza solicitações para esse branch e seus descendentes.
• Streaming — Eventos enviados pelo servidor funcionam em todos os endpoints sem configuração extra.

Configuração

O gateway faz parte do neon.ts (veja a habilidade neon para o fluxo branch-first e os conceitos básicos de neon.ts). Habilite-o em preview.aiGateway:

// neon.ts
import { defineConfig } from "@neon/config/v1";

export default defineConfig({
  preview: {
    aiGateway: true,
  },
});

neon deploy   # provisions the gateway on the linked branch

Neon Infrastructure as Code (neon.ts)

O toggle preview.aiGateway acima faz parte do neon.ts, o arquivo de infraestrutura como código do Neon — um único arquivo TypeScript declara o gateway ao lado de todos os outros serviços de branch, em controle de versão (veja a habilidade neon para a referência completa). Reconcilie-o com um branch no estilo Terraform:

neon config status   # print the branch's live config (is the gateway on?)
neon config plan     # dry-run diff of what apply would change
neon config apply    # enable the gateway on the branch  (neon deploy is an alias)

O gateway tem escopo de branch: cada branch recebe seu próprio host de gateway. Quando um neon.ts está presente, neon checkout aplica a política conforme cria um branch, então um novo branch de pré-visualização/CI surge com o gateway já habilitado. Fazer checkout de um branch existente não o reconcilia — execute neon deploy para aplicar as alterações. Provisionamento (config apply / deploy), link e checkout também puxam as credenciais do gateway do branch para seu .env.local local, então execuções locais atingem o mesmo gateway de branch que a função implantada (sem necessidade de env pull manual).

Para acesso tipado e validado às credenciais injetadas, passe o mesmo objeto de configuração para parseEnv de @neon/env — ele retorna um namespace env.aiGateway (apiKey, baseUrl) derivado do seu neon.ts.

…