Tópico dedicado ao OpenRouter como roteador de LLMs, cobrindo custos,…
INEMA
Ao usar o OpenRouter, você pode escolher qual LLM (Large Language Model) deseja usar nas suas automações, mas o funcionamento dos assistentes (como na OpenAI) pode variar dependendo do modelo escolhido.
Aqui estão os principais pontos para entender essa mudança:
- OpenRouter vs. OpenAI Assistants
No OpenAI Assistants, você pode criar assistentes que armazenam memória, chamam funções e lidam com arquivos dentro da API da OpenAI. O OpenRouter atua como um roteador para vários modelos LLMs, permitindo que você escolha qual usar, mas nem todos os modelos suportam assistentes como a OpenAI.
- Como usar Assistentes na OpenRouter O OpenRouter não tem um sistema próprio de assistentes como na OpenAI, então você teria que implementar a lógica por conta própria. Aqui estão as opções:
Gerenciando contexto manualmente
Como o OpenRouter não armazena memória de assistente, você precisa enviar o histórico da conversa em cada requisição. Você pode armazenar isso no banco de dados ou em um servidor (como Redis ou Firebase) e passar junto com cada prompt.
Usando RAG (Retrieval-Augmented Generation)
Você pode criar um assistente que recupera informações de um banco de conhecimento armazenado, como um vetor de embeddings. Modelos como Claude, Mistral, Gemini e LLaMA podem funcionar bem para essa abordagem.
Escolhendo um modelo com suporte nativo a funções
Alguns modelos suportam function calling (chamada de funções), como GPT-4 Turbo e Claude. Se o modelo escolhido tiver essa função, ele pode atuar como um assistente, chamando APIs e manipulando dados.
- Como mudar de modelo sem perder funcionalidades? Se você quiser mudar de LLM na OpenRouter sem perder a lógica dos assistentes, siga esses passos:
Centralize o histórico e as instruções
Armazene o histórico das conversas e os dados contextuais fora da API do modelo. Isso permite que qualquer modelo carregue o mesmo contexto ao ser chamado.
Use API Functions para chamadas externas
Modelos que suportam function calling podem chamar APIs externas para recuperar contexto e responder de forma mais parecida com um assistente.
Teste modelos antes da troca
Antes de trocar um LLM, teste-o com os mesmos prompts e veja como ele se comporta.
Configure fallback models
Caso um modelo falhe, configure um fallback automático para outro LLM compatível.
- Exemplo de Implementação Se você quiser usar um assistente com contexto contínuo na OpenRouter, pode fazer assim:
1️⃣ Criar um sistema de memória ```context = [ {"role": "system", "content": "Você é um assistente útil."}, {"role": "user", "content": "Me ajude a organizar minhas tarefas."}, {"role": "assistant", "content": "Claro! Quais são suas tarefas?"} ]
Salve esse histórico e reenvie sempre na API.
2️⃣ Chamar o OpenRouter com diferentes modelos
```import requests
url = "https://openrouter.ai/api/v1/chat/completions"
headers = {
"Authorization": "Bearer SUA_API_KEY",
"Content-Type": "application/json"
}
data = {
"model": "mistralai/mistral-7b-instruct", # Troque por outro modelo se quiser
"messages": context,
"temperature": 0.7
}
response = requests.post(url, json=data, headers=headers)
print(response.json())
3️⃣ Trocar de modelo sem mudar a lógica Se quiser usar outro LLM, basta trocar "model" para:
"anthropic/claude-3-haiku" "meta/llama-3-8b" "google/gemini-pro"
Isso mantém a lógica do assistente funcionando mesmo trocando de modelo.
Conclusão Se precisar de um assistente na OpenRouter, você não tem um sistema nativo como na OpenAI, mas pode:
- ✅ Armazenar contexto externamente
- ✅ Usar modelos que suportam function calling
- ✅ Implementar RAG para recuperar conhecimento
- ✅ Alternar entre modelos trocando apenas o parâmetro "model"
O OpenRouter funciona como um agregador de modelos de IA, permitindo acesso unificado a vários LLMs, como GPT-4, Claude, PaLM, entre outros. Em relação aos custos, ele adota uma política flexível baseada nos preços dos provedores upstream, sem acréscimos adicionais. Aqui estão os principais pontos sobre os custos e uso do OpenRouter:
Custos do OpenRouter⌗
-
Sem Markup Adicional: - O OpenRouter cobra diretamente as tarifas estabelecidas pelos provedores dos modelos utilizados. - Não há acréscimos de custo pelo uso do OpenRouter como intermediário.
-
Preços Flexíveis: - Pagamento conforme o uso: Ideal para quem utiliza os modelos de maneira ocasional ou quer controlar os custos de forma granular. - Assinaturas: Possibilidade de planos que garantem acesso mais estável e previsível.
-
Modelos Gratuitos: - Oferece acesso a modelos gratuitos, destacados como uma opção econômica para automações básicas ou testes.
-
Créditos para Uso: - Ao se cadastrar, você pode adicionar créditos para usar os modelos pagos. Em alguns casos, são oferecidos créditos iniciais gratuitos para testes.
Como Monitorar os Custos⌗
- O painel do OpenRouter permite acompanhar o consumo de créditos e o uso dos modelos.
- Você pode configurar alertas ou limites para evitar custos inesperados.
Exemplo de Custos:⌗
- Se você optar pelo DeepSeek V3, o custo é $0,14 por milhão de tokens, um valor significativamente menor comparado a modelos como o GPT-4, que custa cerca de $52,5 por milhão de tokens.
0
9
8
6
5
4
3
2
1