canary

Visão geral do skill canary

O skill canary é voltado para monitoramento pós-deploy quando você precisa verificar se um app em produção continua se comportando corretamente depois do release. Ele acompanha erros de console, falhas de página e regressões de performance em produção, e então compara o comportamento atual com uma baseline pré-deploy. Se você quer um skill canary que avalie risco real para o usuário em vez de depender de um prompt estático, esta solução foi feita para monitorar após o lançamento.

Para que serve o canary

Use canary quando a tarefa for acompanhar um deploy, detectar páginas quebradas ou confirmar que um release não introduziu regressões visíveis. Ele é especialmente útil para equipes que querem canary para Monitoring em console, screenshots e falhas no nível da página.

Por que ele é diferente de um prompt genérico

Um prompt genérico do tipo “verifique o site” normalmente fica na revisão superficial. O canary foi pensado em torno de um fluxo de monitoramento: executa depois do deploy, observa o comportamento ao longo do tempo, compara com uma baseline e sinaliza anomalias. Isso o torna mais útil quando a pergunta é “a produção está saudável agora?” e não apenas “essa página parece ok uma vez?”.

Melhor encaixe e limites

Este skill funciona bem em fluxos próximos de CI ou de operação, em que a confiança depois do deploy importa. Ele é menos útil se você só precisa de uma revisão pontual de conteúdo, uma crítica de design ou uma checklist manual de QA sem monitoramento contínuo. O principal bloqueio para adoção costuma ser o contexto: o canary funciona melhor quando você consegue apontá-lo para o alvo live correto e definir com clareza o que significa “normal”.

Como usar o skill canary

instalação e configuração do canary

Instale o canary com o fluxo de skills do gstack mostrado no repo e, em seguida, comece lendo SKILL.md e SKILL.md.tmpl. O skill não vem com pastas extras de suporte, então o contexto central de instalação fica nesses dois arquivos. Se você estiver adaptando o guia do canary para o seu próprio repo, mantenha explícitos no prompt a URL de produção, o evento de deploy e a origem da baseline.

O que fornecer no primeiro prompt

Dê ao canary o menor conjunto de fatos que torne o monitoramento realmente útil:

• o app ou route a acompanhar
• o que mudou no deploy
• como era o “bom” antes do release
• o que conta como falha
• por quanto tempo observar

Um prompt fraco diz “monitore o app”. Um prompt mais forte diz “acompanhe /checkout depois do deploy de hoje, compare os screenshots com a baseline pré-release e sinalize novos erros de console, botões quebrados ou shifts de layout ao longo de 10 minutos”.

Fluxo recomendado para uso do canary

Comece pelo momento do deploy e depois avance de baseline para observação e, por fim, veredito. Primeiro confirme a branch ou o ambiente de destino, depois defina o comportamento de baseline e então peça checks em tempo real e reporte de anomalias. Se você estiver usando o skill de forma interativa, a decisão inicial mais importante é saber se você quer monitoramento proativo ou apenas uma verificação única, porque isso muda a forma como o skill deve enquadrar os testes.

Arquivos para ler primeiro

Leia primeiro SKILL.md e, em seguida, SKILL.md.tmpl para entender como o skill é gerado e quais partes foram pensadas como lógica de workflow. Preste atenção especial às seções sobre preamble, plan mode safety, skill invocation during plan mode e routing. Essas são as partes com maior chance de afetar se o canary dispara corretamente e roda no momento certo.

Perguntas frequentes sobre o skill canary

O canary é só para monitoramento em produção?

Não. Ele foi criado para checks de canary pós-deploy, então produção é o caso mais óbvio, mas o mesmo padrão também funciona em staging ou em qualquer ambiente live em que você queira comparar com uma baseline depois de uma mudança.

Como o canary é diferente de prompts comuns de QA?

Prompts comuns muitas vezes pedem uma inspeção única. O canary é mais operacional: ele foi feito para observar regressões, capturar evidências e comparar o estado atual com o estado anterior. Isso o torna melhor quando você precisa de canary para Monitoring, e não de uma revisão genérica.

O canary é amigável para iniciantes?

Sim, desde que você consiga descrever o deploy, a página e as condições de falha. A parte difícil não é usar o skill; é dar contexto suficiente para ele julgar a mudança em relação a uma baseline significativa. Se você não consegue definir o que mudou ou o que deve permanecer estável, a saída tende a ser mais fraca.

Quando não devo usar o canary?

Não use para análise ampla de produto, edição de conteúdo ou tarefas que não dependem da saúde de um app live. Ele também não é um bom encaixe quando você não tem baseline, não tem acesso ao ambiente-alvo ou não tem um threshold claro de aprovação/reprovação para o deploy.

Como melhorar o skill canary

Dê ao canary uma baseline mais precisa

A melhoria mais útil é uma definição melhor de normal. Inclua screenshots pré-deploy, URLs que já estavam boas, comportamento esperado do console e qualquer elemento crítico da UI que precise continuar intacto. Quanto mais precisa for a baseline, menor a chance de o skill superestimar diferenças inofensivas.

Declare os modos de falha que importam

O canary fica muito mais valioso quando você nomeia com antecedência as regressões prováveis: telas em branco, dados de API ausentes, navegação quebrada, shifts de CSS, erros de console, carregamento lento da página ou falhas de interação. Um skill canary que sabe o que procurar entrega uma saída muito mais pronta para decisão do que um pedido genérico para “encontrar problemas”.

Itere depois da primeira execução

Use a primeira passada para entender o que o skill aponta e, depois, refine o prompt. Se ele trouxer ruído, restrinja as routes ou aumente o threshold de anomalia. Se ele deixar passar problemas importantes, adicione os fluxos principais do usuário, o texto esperado ou os pontos de comparação. O uso bom do guia do canary é iterativo: baseline, verificação, refinamento, nova execução.