Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina...
Transcript of Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina...
Fundamentos de Inteligencia Artificial
Mineracao de ProcessosApresentacao de framework
Gabriel Marques Tavares
7 de Junho de 2018
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Process Mining
Introducao
• Data explosion
• Dados digitais nao estruturados
• Dificuldade em lidar com tais dados
• Process Mining: uso de dados de evento para extracao deinformacoes relacionadas com processos organizacionais
• Descobrir, monitorar e melhorar modelos de processos a partirde uma base de dados (log de eventos)
• Exemplos: saque em caixa eletronico, atendimento emhospital, geracao de e-ticket
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Process Mining
Introducao
Desafio
Extrair informacoes e valor significativos a partir de um log deeventos.
Objetivo
Prover maior compreensao de um determinado processo, porexemplo: entender necessidades de consumidores, testar sistemasem determinadas circunstancias, antecipar problemas.
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Background
Data Mining
• Analise de dados com objetivo de encontrar e organizarrelacoes de maneira util
• Extracao de informacoes
• Dados se organizam de maneira diferente a dados de processos
• Exemplo:
Drinker Smoker Weight Age ClassYes Yes 120 44 Young
No No 70 96 Old
Yes No 72 88 Old
Yes Yes 55 52 Young
No Yes 94 56 Young
No No 62 93 Old
... ... ... ... ...
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Background
Data Mining
• Aprendizado supervisionado: classificacao e regressao
• Aprendizado nao-supervisionado: clusterizacao
• Exemplo: arvore de decisao
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Background
Business Process Management (BPM)
• Combina conhecimentos de tecnologia da informacao egerencia e aplica em processos organizacionais
• Potencial de aumentar a produtividade e diminuir custos
• Analise e automacao de processos
• Relacionado a softwares de controle e suporte de processosoperacionais
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Background
Business Process Management
• Ciclo BPM:
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Process Mining
Definicao
• Interseccao entre Data Mining (aprendizado de maquina) eBusiness Process Management (analise de processos)
• Campo de estudo relativamente novo
• Descobre, monitora e melhora processos pela extracao deconhecimento a partir de um log de eventos gerado por umsistema
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Process Mining
Visao Geral
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Exemplo de log de eventos
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Exemplo de log de eventos
• Evento contem informacoes relacionadas a uma atividadeexecutada em um determinado tempo
• Conteudo obrigatorio: Case ID — Atividade — Tempo
• Conceitos: case, trace, atividade, evento
• Pode conter informacoes extras: custo associado — autor —ID do evento
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Modelos de representacao de processos (notacoes)
• Existem varios modelos utilizados
• Facil conversao entre eles
• Exemplos: Sistemas de Transicoes; Petri Nets; Workflow Nets;YAWL; Business Process Modeling Notation (BPMN);Event-Driven Process Chains (EPCs); Causal Nets
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Notacoes: Petri Net
• Modelo mais antigo (classico)
• Mais utilizado em sistemas
• Permite modelagem de concorrencia (concomitancia)
• Grafo bipartido que consiste de lugares e transicoes
• Percorrido atraves de tokens
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Notacoes: Petri Net - Exemplo
• Tratamento de uma solicitacao de compensacao de umacompanhia aerea
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Pilares do Process Mining
• O log de eventos pode ser utilizado para conduzir tres tipo dePM
• Process Discovery: descobre um modelo representativo doprocesso
• Conformance Checking: compara modelo com log de eventos
• Process Enhancement: melhora o modelo utilizando o log deeventos
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Process Discovery
• Utiliza como entrada o log de eventos e produz um modelosem informacoes a priori
• Pode descobrir informacoes relacionadas a resources casoestejam presentes no log
• Area mais pesquisada em PM
• Existem diversos algoritmos: α-algorithm; Inductive miner;Heuristic miner
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
α-algorithm
• Um dos primeiros algoritmos a lidar com concomitancia
• Simples
• E capaz de descobrir modelos para maioria dos processos
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
α-algorithm
• Log de eventos traduzido
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
α-algorithm
• Petri net resultante — Acao do α-algorithm
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
α-algorithm
• Generalizacao. Ex.: 〈a, d , c , e, f , b, d , e, g〉• Balanco entre overfitting e underfitting
• Overfitting : modelo muito especıfico que so permite ocomportamento observado
• Underfitting : modelo muito generalizado que permitecomportamento nao relacionado ao observado
• Nao modelar concorrencia resulta em modelos espaguetes
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
α-algorithm - Pontos fracos
• Problemas com ruıdos (frequencias nao sao analisadas)
• Comportamento incompleto
• Cria lugares redundantes
• Baixo poder de generalizacao
• Dificuldade em modelar loops pequenos
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Conformance Checking
• Compara um modelo ja existente com um log de eventos domesmo processo
• Checa se a realidade (log) se alinha com o modelo
• Detecta, localiza e explica variacoes
• Mede a severidade dos desvios
• Interessante para deteccao de ruıdos e anomalias
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Exemplo Conformance Checking
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Possibilidades
• 1. O modelo nao captura o comportamento real (“modeloesta errado”)
• 2. Realidade desvia do modelo (“log de eventos esta errado”)
• Modelo descritivo
• Modelo normativo
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Conceitos
Process Enhancement
• Melhora um modelo existente utilizando o log de eventos
• Muda ou expande o modelo
• Reparacao: se duas atividades sao modeladassequencialmente, mas na realidade acontecem em qualquerordem, o modelo deve ser corrigido para refletir talcomportamento
• Extensao: adiciona uma nova perspectiva ao modelo,correlacionando com o log. Exemplo: mostrar bottlenecks,tempos, frequencia
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
Framework - Conceitos
• Stream mining (mineracao de fluxos)
• Instancias chegam em tempo real
• Limitacao de memoria e tempo
• Adaptacao do modelo
• Mudanca de conceito (concept-drift)
• Utilizacao do DenStream
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
Framework
• Objetivo: lidar com as multiplas tarefas de Process Mining emum ambiente stream levando em consideracao composicao dotrace e tempo inter-atividades
• Desafios: construir/adaptar o modelo e ao mesmo tempo lidarcom concept-drift e encontrar anomalias; lidar com casesincompletos, o que impossibilita o uso de tecnicas tradicionais
• Proposta: representacao de traces e processos em forma degrafo, extrair metricas de cases, clusterizar cases,diferenciando comportamento comum de anomalo
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
Concept-Drift in Event Stream Framework (CDESF)
GDtrace
...
Process Graph
GDtime
Distances
Event Stream
Cases:
Transformation
Eventcur
A
B
C
D
EF
Tracecur Graph
AB
E
Comparison
DistanceComputation
Memory
Updating
Cases
Last Event
Stream Processing
DenStream Clustering
c-micro-cluster
p-micro-clustero-micro-cluster
Stream Process
Discovery
StreamConformance
Checking
Stream Process
Enhancement
Anomaly Detection Drift Detection
1
2
3
4
5
CP
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
CDESF - Grafo modelo de processo
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
CDESF - Clusterizacao
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
CDESF - Exemplo
• Vıdeo
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
CDESF - Concept-drift
0.05
0.00
0.05Co
re ID
: 1
0.05
0.00
0.05
Core
ID: 1
0
0.05
0.00
0.05
Core
ID: 1
3
0 1000 2000 3000 4000 5000 6000 7000 8000Events
0.05
0.00
0.05
Core
ID: 6
0
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
Referencias
• [van der Aalst, 2011]
Tavares Fundamentos de Inteligencia Artificial
Fundamentos de Inteligencia Artificial
Framework
van der Aalst, W. M. P. (2011).Process Mining: Discovery, Conformance and Enhancement ofBusiness Processes.Springer Publishing Company, Incorporated, 1st edition.
Tavares Fundamentos de Inteligencia Artificial