Filas, webhooks e eventos entre os seus sistemas
Montamos a troca assíncrona entre sistemas: filas, webhooks e eventos com reenvio, controle de duplicidade e um lugar para ver e reprocessar o que falhou.
Para quem é
Para empresas cujos sistemas conversam por webhooks e chamadas diretas e perdem dados quando um deles cai.
O que resolve
- Um webhook chegou enquanto o sistema estava fora do ar e se perdeu.
- O aviso de pagamento por Pix chega duas vezes e o pedido recebe baixa em dobro.
- Um sistema lento trava os outros, porque todos esperam a resposta dele.
- Quando algo falha, ninguém sabe quais mensagens ficaram pelo caminho.
O que fazemos
- Catálogo de eventos
- Quais eventos existem, quem publica, quem consome e o formato de cada um.
- Recebimento de webhooks
- O webhook é aceito, verificado e enfileirado na hora, e processado depois, com calma.
- Reenvio com espera crescente
- Falhas temporárias são tentadas de novo, com intervalos cada vez maiores.
- Controle de duplicidade
- A mesma mensagem processada duas vezes produz o mesmo resultado, sem efeito em dobro.
- Fila de mensagens com erro
- O que não deu certo depois das tentativas fica separado, com o motivo, para análise.
- Reprocessamento
- Mensagens com erro podem ser reenviadas depois da correção, uma a uma ou em lote.
- Monitoramento das filas
- Tamanho das filas, atraso e erros visíveis num painel, com alertas automáticos.
O que você recebe
- Catálogo de eventos com o formato e a versão de cada mensagem
- Filas e consumidores em produção, com reenvio e controle de duplicidade
- Fila de mensagens com erro e ferramenta de reprocessamento
- Painel e alertas de atraso e de erro nas filas
- Testes que simulam queda, atraso e mensagem repetida
Como fazemos
Mapeamento
Quais sistemas trocam mensagens hoje, como, e onde já houve perda.
Desenho
Eventos, formatos, filas e regras de reenvio definidos e escritos.
Implementação
Filas, consumidores e recebimento de webhooks, com testes de falha.
Convivência
O fluxo novo roda junto do antigo até mostrar que não perde mensagens.
Operação
Painel, alertas e um roteiro para a sua equipe reprocessar mensagens.
Exemplos de tecnologia
- RabbitMQ
- Kafka
- Amazon SQS
- Google Cloud Pub/Sub
- AsyncAPI
- CloudEvents
- Webhooks
Serviços relacionados
Perguntas frequentes
RabbitMQ, Kafka ou uma fila da nuvem?
Depende do volume, de quanto tempo as mensagens precisam ficar guardadas e de quem vai operar. Uma fila gerenciada na nuvem costuma ser mais simples de manter.
Dá para ter certeza de que nenhuma mensagem se perde?
Nenhum sistema elimina toda falha. O que fazemos é guardar cada mensagem antes de processar, tentar de novo e deixar visível o que falhou, para que nada se perca em silêncio.
Precisamos mudar os sistemas atuais?
Às vezes pouco: muitos já mandam webhooks ou aceitam chamadas. Onde não dá, colocamos um adaptador na frente do sistema em vez de mexer nele.
Os dados pessoais ficam expostos nas filas?
Levamos isso em conta: as mensagens carregam só o necessário, e o acesso às filas e aos registros de erro é restrito.
Escreva para a Balkan
Falar sobre o seu projeto