Análise e exploração da série de modelos Qwen (Alibaba Cloud),…

INEMA

Lembrar q o modelo foi treinado com 20 Trilhões de Tokens

Por ser um projeto de código aberto, o Qwen disponibiliza informações detalhadas sobre seu processo de treinamento. A arquitetura do modelo é semelhante à do LLaMA, com algumas diferenças notáveis, como o uso de embeddings não amarrados, embeddings posicionais rotativos, ausência de biases (exceto para QKV na atenção), RMSNorm em vez de LayerNorm, SwiGLU em vez de ReLU e a adoção de flash attention para acelerar o treinamento. O modelo possui 32 camadas, dimensão de embedding de 4096 e 32 cabeças de atenção. O treinamento foi realizado utilizando o otimizador AdamW, com sequência e batch size de 2048, acumulando mais de 4 milhões de tokens por passo de otimização. A taxa de aprendizado seguiu um agendamento cosseno, com warm-up de 2000 passos, taxa de pico de 3 × 10^-4 e mínima de 10% da taxa de pico. Além disso, foram aplicados decaimento de peso de 0,1 e clipping de gradiente de 1,0, com treinamento em precisão mista usando bfloat16. (github.com)

Resumo:

Arquitetura do Modelo:
Semelhante ao LLaMA, com diferenças como embeddings não amarrados, embeddings posicionais rotativos e uso de RMSNorm.
32 camadas, dimensão de embedding de 4096 e 32 cabeças de atenção.
Detalhes do Treinamento:
Otimizador AdamW.
Sequência e batch size de 2048, acumulando mais de 4 milhões de tokens por passo.
Taxa de aprendizado com agendamento cosseno, warm-up de 2000 passos, taxa de pico de 3 × 10^-4 e mínima de 10% da taxa de pico.
Decaimento de peso de 0,1 e clipping de gradiente de 1,0.
Treinamento em precisão mista usando bfloat16.

Essas informações detalhadas sobre a arquitetura e o processo de treinamento do Qwen estão disponíveis devido ao seu caráter de código aberto, permitindo que a comunidade compreenda e contribua para o desenvolvimento do modelo.

A série de modelos Qwen, desenvolvida pela Alibaba Cloud, é de código aberto. A Alibaba lançou mais de 100 modelos de linguagem de grande porte (LLMs) como parte da série Qwen 2.5, com tamanhos variando de 0,5 a 72 bilhões de parâmetros, suportando mais de 29 idiomas. Esses modelos estão disponíveis para a comunidade e podem ser encontrados em repositórios como o GitHub e o Hugging Face. (github.com, huggingface.co)

Resumo:

Qwen:
Código-fonte: Aberto.
Modelos disponíveis: Mais de 100 modelos na série Qwen 2.5, com tamanhos de 0,5 a 72 bilhões de parâmetros.
Idiomas suportados: Mais de 29 idiomas.
Exemplo: O modelo Qwen-7B-Chat está disponível no GitHub e no Hugging Face para uso pela comunidade.

Em resumo, a série Qwen é uma iniciativa de código aberto da Alibaba Cloud, disponibilizando uma ampla gama de modelos de linguagem para a comunidade.

Analise dos Modelos

ganha 1 milhao de tokens por modelo

e as chaves de api

aqui achei os modelos

bailian.console.alibabacloud.com ↗

busquei no openrouter

Qwen: Qwen-Turbo 192M tokens Qwen-Turbo, based on Qwen2.5, is a 1M context model that provides fast speed and low cost, suitable for simple tasks.

by qwen 1M context $0.05/M input tokens $0.2/M output tokens

Qwen: Qwen-Plus 91,8M tokens Qwen-Plus, based on the Qwen2.5 foundation model, is a 131K context model with a balanced performance, speed, and cost combination.

by qwen 131K context $0.4/M input tokens $1.2/M output tokens Qwen: Qwen-Max 137M tokens

Qwen-Max, based on Qwen2.5, provides the best inference performance among Qwen models, especially for complex multi-step tasks. It's a large-scale MoE model that has been pretrained on over 20 trillion tokens and further post-trained with curated Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF) methodologies. The parameter count is unknown.

by qwen 33K context $1.6/M input tokens $6.4/M output tokens

pode ser erro no site

as informacoes sao contraditoria na questao de preco pois aparecem em 1000 tokens , se for assim ela é cara.

ele no playground online.⌗

Conclusão⌗

Agora você sabe como acessar e usar a API da Qwen! Se precisar de ajuda adicional para configurar sua conta, gerar a API Key ou implementar a API em seu projeto, estou à disposição! 😊

Para acessar e usar a API da Qwen, você precisa seguir alguns passos no ecossistema da Alibaba Cloud. A Qwen está disponível através do serviço ModelScope ou diretamente no Alibaba Cloud Platform. Abaixo estão as etapas detalhadas para obter acesso à API:⌗

1. Acesse o Alibaba CloudA Qwen faz parte dos serviços oferecidos pela Alibaba Cloud. Você pode acessar o site oficial para começar:⌗

Site Oficial:
https://www.alibabacloud.com/

2. Crie uma Conta na Alibaba CloudSe você ainda não tem uma conta, será necessário criar uma:⌗

Vá para o site da Alibaba Cloud.
Clique em "Sign Up" (ou "Registrar") e siga as instruções para criar sua conta.3. Verifique seu e-mail para confirmar o registro.

3. Acesse o ModelScope⌗

O ModelScope é a plataforma de modelos de IA da Alibaba Cloud, onde a Qwen está hospedada. Aqui estão os passos para acessar: - Site do ModelScope: https://www.modelscope.cn/
1. Faça login com sua conta da Alibaba Cloud. 2. Procure por Qwen na barra de pesquisa ou navegue pelas categorias de modelos de linguagem.3. Escolha a versão específica da Qwen que deseja usar (por exemplo, Qwen-Max, Qwen-Plus, etc.).

4. Obtenha a Chave de API⌗

Para usar a API da Qwen, você precisará gerar uma API Key: 1. Após fazer login no Alibaba Cloud, vá para o Console de Gerenciamento: - https://account.alibabacloud.com/login/login.htm 2. Navegue até a seção API Keys: - No menu lateral, procure por AccessKey Management ou API Keys. 3. Clique em Create AccessKey para gerar uma nova chave.4. Salve sua AccessKey ID e AccessKey Secret em um local seguro. Essas credenciais serão usadas para autenticar suas chamadas à API.

5. Use a API da Qwen⌗

Com a API Key em mãos, você pode começar a usar a API da Qwen. Aqui está um exemplo básico de como fazer uma chamada à API usando Python:

Exemplo de Código Python⌗

```# Substitua pelas suas credenciais api_key = "SUA_ACCESS_KEY_ID"api_secret = "SUA_ACCESS_KEY_SECRET"

Endpoint da API da Qwen⌗

url = "dashscope.aliyuncs.com ↗"

Parâmetros da requisiçãoheaders = {⌗

"Authorization": f"Bearer {api_key}",    "Content-Type": "application/json"

}data = { "model": "qwen-plus", # Escolha o modelo (qwen-max, qwen-turbo, etc.) "input": { "prompt": "Explique o conceito de inteligência artificial." }, "parameters": { "max_tokens": 100 }}

Faz a chamada à API⌗

response = requests.post(url, headers=headers, json=data)

Exibe a respostaif response.status_code == 200:⌗

print("Resposta:", response.json())else:
print("Erro:", response.status_code, response.text)```

6. Documentação Oficial⌗

Para mais detalhes sobre como usar a API da Qwen, consulte a documentação oficial: - Documentação da API Qwen: https://www.alibabacloud.com/help/en/model-studio
- Guia de Integração:
https://help.aliyun.com/document_detail/450000.html

7. Suporte e Planos de Assinatura- Planos Gratuitos: A Alibaba Cloud frequentemente oferece uma camada gratuita para testes iniciais. Verifique se há créditos gratuitos disponíveis ao criar sua conta.⌗

- Planos Pagos: Para uso intensivo, você pode escolher entre diferentes planos de assinatura com base no volume de tokens processados.- Suporte Técnico: Se precisar de ajuda, a Alibaba Cloud oferece suporte técnico via chat ou e-mail.⌗

8. Alternativa: ModelScope⌗

Se você prefere uma abordagem mais direta sem configurar APIs manualmente, pode usar o ModelScope para experimentar a Qwen diretamente no navegador: - ModelScope Playground: https://www.modelscope.cn/models
Basta selecionar o modelo Qwen desejado e interagir com

estava vendo os custos parece ser muitos altos, vou revisar

Free quota = na tabela, mas os numerso de janelas etc nao estoa muito certo neste documento.

alibabacloud.com ↗

tem 1m free e depois os precos estao a 1000

olha os precos dos Tokens acima