Monitoramento do Azure Databricks
Monitoramento de jobs do Databricks com o erro real, não só "falhou".
O Miner Vigia acompanha os jobs do Databricks e os notebooks que o Data Factory executa, e entrega cada falha com a exceção, a mensagem e o notebook, direto no incidente.
Sem cartão de crédito. Só leitura no seu Azure.
01 · O que o Vigia acompanha
O que o Vigia lê no Azure Databricks.
Jobs do Databricks
Cada job vira um pipeline no Vigia, com status, incidentes, horários-limite e relatórios. Lidos pela API de Jobs a cada coleta.
Notebooks disparados pelo Data Factory
Quando a atividade Databricks falha, o Vigia busca a classe do erro, a exceção e o notebook. Stack trace e código nunca são guardados.
Catálogo e linhagem do Unity Catalog
Tabelas, colunas e dono como o Unity Catalog informa, e quais tabelas e relatórios cada falha afeta. Só metadados, nunca dados.
Duração fora do costume
Job rodando muito mais devagar que nos últimos 30 dias aparece em atenção antes de estourar o horário.
02 · Quando algo dá errado
O que chega para a sua equipe.
Resumo por IA para o N2
Contexto, causa provável e próximo passo. Se você permitir, a IA lê a célula que falhou e sugere a correção, conferida antes de aparecer.
Incidente com dono e prazo
Severidade, responsável e prazos para reconhecer e resolver em horário útil, com escalonamento entre N1, N2 e N3.
O que resolveu da última vez
Quando o mesmo erro volta, em qualquer pipeline da conta, o incidente já chega com a solução que funcionou antes.
03 · Como conectar
Alguns minutos, sem instalar nada.
- 1
Um comando no Azure Cloud Shell adiciona o app Miner Vigia ao workspace e dá Can View nas pastas dos notebooks.
- 2
Você liga "Acompanhar os jobs" e, no plano Enterprise, escolhe os catálogos do Unity Catalog.
- 3
"Verificar acesso" mostra item por item o que o Vigia enxerga.
- Acesso
- Can View nos jobs e nas pastas dos notebooks, BROWSE no Unity Catalog. Nunca SELECT, nunca escrita.
- Custo no seu Azure
- R$ 0 no seu Azure: tudo pelas APIs do Databricks, sem ligar cluster nem SQL warehouse e sem consumir DBU.
- Plano
- Disponível a partir do plano Profissional. Catálogo, linhagem e leitura de código pela IA no Enterprise.
04 · Perguntas frequentes
Monitoramento do Azure Databricks: dúvidas comuns.
O Vigia consome DBU ou precisa de um cluster?
Não. Jobs, erros, catálogo e linhagem são lidos pelas APIs REST do Databricks, sem cluster, sem SQL warehouse e sem consumir DBU.
A IA lê os meus dados ou o meu código?
Nunca lê dados das tabelas. A leitura do código do notebook é opcional, vem desligada, acontece só na hora do resumo e o código não é guardado: fica só a sugestão de correção.
Por que às vezes o erro aparece só como "falhou"?
Execuções disparadas pelo Data Factory seguem a permissão do notebook. Se faltar Can View na pasta (ou se o notebook estiver numa pasta pessoal), o Databricks não mostra o erro ao Vigia.
Preciso do Unity Catalog?
Só para o catálogo e a linhagem. Os alertas de jobs e o erro real dos notebooks funcionam sem ele.