Monitoramento do Azure Data Factory
Monitoramento do Azure Data Factory que avisa antes do relatório errado.
O Miner Vigia acompanha cada pipeline do Data Factory pelo Log Analytics, abre um incidente quando algo falha ou atrasa e avisa a pessoa certa, em linguagem de negócio.
Sem cartão de crédito. Só leitura no seu Azure.
01 · O que o Vigia acompanha
O que o Vigia lê no Azure Data Factory.
Execuções de todos os pipelines
Pipeline runs e activity runs lidos do Log Analytics a cada 5 minutos, ou na agenda que você definir por conexão.
Falhas com o erro real
A mensagem do Data Factory e, nas atividades Databricks, a exceção e o notebook que falharam, buscados no próprio Databricks.
Atrasos pelo seu horário-limite
Você define até que horas cada carga precisa terminar. O Vigia avisa quando ainda dá tempo e quando o horário passou.
Sinais antes da falha
Pipeline que ainda não começou no horário de costume ou que está rodando bem mais devagar que nos últimos 30 dias.
02 · Quando algo dá errado
O que chega para a sua equipe.
Incidente com dono e prazo
Severidade, responsável e prazos para reconhecer e resolver em horário útil, com escalonamento entre N1, N2 e N3.
Aviso no Teams, por e-mail e no sino
Escrito para quem decide: qual pipeline, o que ele alimenta e o que pode atrasar. Repetições somam no mesmo incidente, sem uma mensagem por tentativa.
O que resolveu da última vez
Quando o mesmo erro volta, em qualquer pipeline da conta, o incidente já chega com a solução que funcionou antes.
03 · Como conectar
Alguns minutos, sem instalar nada.
- 1
Um comando no Azure Cloud Shell confere as suas permissões e mostra o plano antes de aplicar.
- 2
Com a sua confirmação, ele envia os logs do Data Factory para um workspace do Log Analytics e dá ao Vigia o papel de leitura nesse workspace.
- 3
A primeira coleta chega em até 5 minutos e traz até 31 dias do que o workspace já tiver.
- Acesso
- Log Analytics Reader no workspace. Nenhuma permissão no Data Factory e nenhum segredo guardado.
- Custo no seu Azure
- De R$ 0 a R$ 10 por mês em Log Analytics no seu Azure (cerca de 40 KB por execução, com 5 GB gratuitos por mês).
- Plano
- Disponível em todos os planos, a partir do Essencial.
04 · Perguntas frequentes
Monitoramento do Azure Data Factory: dúvidas comuns.
Os alertas do Azure Monitor não bastam?
Eles avisam que uma métrica mudou. O Vigia transforma a falha em incidente: com responsável, prazo, escalonamento, histórico, o que o pipeline alimenta e a solução que funcionou da última vez. E um pipeline que nunca começou também vira aviso, coisa que uma regra de falha não pega.
Preciso mudar alguma coisa nos meus pipelines?
Não. O Vigia lê os logs que o próprio Data Factory envia ao Log Analytics. Nada muda nos pipelines, nos gatilhos ou nas integration runtimes.
Funciona com vários Data Factories?
Sim. Todos os factories que enviam logs para o workspace conectado entram juntos, e dá para separar por cliente, área ou criticidade com classificações e tags.
O que é considerado atraso?
O que você definir. Nenhum horário-limite vem ligado: você escolhe os pipelines e o horário em que precisam ter terminado, e o Vigia sugere um padrão para começar.