Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina...

34
Fundamentos de Inteligˆ encia Artificial Minera¸c˜ ao de Processos Apresenta¸c˜ ao de framework Gabriel Marques Tavares 7 de Junho de 2018 Tavares Fundamentos de Inteligˆ encia Artificial

Transcript of Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina...

Page 1: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Mineracao de ProcessosApresentacao de framework

Gabriel Marques Tavares

7 de Junho de 2018

Tavares Fundamentos de Inteligencia Artificial

Page 2: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Process Mining

Introducao

• Data explosion

• Dados digitais nao estruturados

• Dificuldade em lidar com tais dados

• Process Mining: uso de dados de evento para extracao deinformacoes relacionadas com processos organizacionais

• Descobrir, monitorar e melhorar modelos de processos a partirde uma base de dados (log de eventos)

• Exemplos: saque em caixa eletronico, atendimento emhospital, geracao de e-ticket

Tavares Fundamentos de Inteligencia Artificial

Page 3: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Process Mining

Introducao

Desafio

Extrair informacoes e valor significativos a partir de um log deeventos.

Objetivo

Prover maior compreensao de um determinado processo, porexemplo: entender necessidades de consumidores, testar sistemasem determinadas circunstancias, antecipar problemas.

Tavares Fundamentos de Inteligencia Artificial

Page 4: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Background

Data Mining

• Analise de dados com objetivo de encontrar e organizarrelacoes de maneira util

• Extracao de informacoes

• Dados se organizam de maneira diferente a dados de processos

• Exemplo:

Drinker Smoker Weight Age ClassYes Yes 120 44 Young

No No 70 96 Old

Yes No 72 88 Old

Yes Yes 55 52 Young

No Yes 94 56 Young

No No 62 93 Old

... ... ... ... ...

Tavares Fundamentos de Inteligencia Artificial

Page 5: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Background

Data Mining

• Aprendizado supervisionado: classificacao e regressao

• Aprendizado nao-supervisionado: clusterizacao

• Exemplo: arvore de decisao

Tavares Fundamentos de Inteligencia Artificial

Page 6: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Background

Business Process Management (BPM)

• Combina conhecimentos de tecnologia da informacao egerencia e aplica em processos organizacionais

• Potencial de aumentar a produtividade e diminuir custos

• Analise e automacao de processos

• Relacionado a softwares de controle e suporte de processosoperacionais

Tavares Fundamentos de Inteligencia Artificial

Page 7: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Background

Business Process Management

• Ciclo BPM:

Tavares Fundamentos de Inteligencia Artificial

Page 8: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Process Mining

Definicao

• Interseccao entre Data Mining (aprendizado de maquina) eBusiness Process Management (analise de processos)

• Campo de estudo relativamente novo

• Descobre, monitora e melhora processos pela extracao deconhecimento a partir de um log de eventos gerado por umsistema

Tavares Fundamentos de Inteligencia Artificial

Page 9: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Process Mining

Visao Geral

Tavares Fundamentos de Inteligencia Artificial

Page 10: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Exemplo de log de eventos

Tavares Fundamentos de Inteligencia Artificial

Page 11: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Exemplo de log de eventos

• Evento contem informacoes relacionadas a uma atividadeexecutada em um determinado tempo

• Conteudo obrigatorio: Case ID — Atividade — Tempo

• Conceitos: case, trace, atividade, evento

• Pode conter informacoes extras: custo associado — autor —ID do evento

Tavares Fundamentos de Inteligencia Artificial

Page 12: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Modelos de representacao de processos (notacoes)

• Existem varios modelos utilizados

• Facil conversao entre eles

• Exemplos: Sistemas de Transicoes; Petri Nets; Workflow Nets;YAWL; Business Process Modeling Notation (BPMN);Event-Driven Process Chains (EPCs); Causal Nets

Tavares Fundamentos de Inteligencia Artificial

Page 13: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Notacoes: Petri Net

• Modelo mais antigo (classico)

• Mais utilizado em sistemas

• Permite modelagem de concorrencia (concomitancia)

• Grafo bipartido que consiste de lugares e transicoes

• Percorrido atraves de tokens

Tavares Fundamentos de Inteligencia Artificial

Page 14: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Notacoes: Petri Net - Exemplo

• Tratamento de uma solicitacao de compensacao de umacompanhia aerea

Tavares Fundamentos de Inteligencia Artificial

Page 15: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Pilares do Process Mining

• O log de eventos pode ser utilizado para conduzir tres tipo dePM

• Process Discovery: descobre um modelo representativo doprocesso

• Conformance Checking: compara modelo com log de eventos

• Process Enhancement: melhora o modelo utilizando o log deeventos

Tavares Fundamentos de Inteligencia Artificial

Page 16: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Process Discovery

• Utiliza como entrada o log de eventos e produz um modelosem informacoes a priori

• Pode descobrir informacoes relacionadas a resources casoestejam presentes no log

• Area mais pesquisada em PM

• Existem diversos algoritmos: α-algorithm; Inductive miner;Heuristic miner

Tavares Fundamentos de Inteligencia Artificial

Page 17: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

α-algorithm

• Um dos primeiros algoritmos a lidar com concomitancia

• Simples

• E capaz de descobrir modelos para maioria dos processos

Tavares Fundamentos de Inteligencia Artificial

Page 18: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

α-algorithm

• Log de eventos traduzido

Tavares Fundamentos de Inteligencia Artificial

Page 19: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

α-algorithm

• Petri net resultante — Acao do α-algorithm

Tavares Fundamentos de Inteligencia Artificial

Page 20: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

α-algorithm

• Generalizacao. Ex.: 〈a, d , c , e, f , b, d , e, g〉• Balanco entre overfitting e underfitting

• Overfitting : modelo muito especıfico que so permite ocomportamento observado

• Underfitting : modelo muito generalizado que permitecomportamento nao relacionado ao observado

• Nao modelar concorrencia resulta em modelos espaguetes

Tavares Fundamentos de Inteligencia Artificial

Page 21: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

α-algorithm - Pontos fracos

• Problemas com ruıdos (frequencias nao sao analisadas)

• Comportamento incompleto

• Cria lugares redundantes

• Baixo poder de generalizacao

• Dificuldade em modelar loops pequenos

Tavares Fundamentos de Inteligencia Artificial

Page 22: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Conformance Checking

• Compara um modelo ja existente com um log de eventos domesmo processo

• Checa se a realidade (log) se alinha com o modelo

• Detecta, localiza e explica variacoes

• Mede a severidade dos desvios

• Interessante para deteccao de ruıdos e anomalias

Tavares Fundamentos de Inteligencia Artificial

Page 23: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Exemplo Conformance Checking

Tavares Fundamentos de Inteligencia Artificial

Page 24: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Possibilidades

• 1. O modelo nao captura o comportamento real (“modeloesta errado”)

• 2. Realidade desvia do modelo (“log de eventos esta errado”)

• Modelo descritivo

• Modelo normativo

Tavares Fundamentos de Inteligencia Artificial

Page 25: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Conceitos

Process Enhancement

• Melhora um modelo existente utilizando o log de eventos

• Muda ou expande o modelo

• Reparacao: se duas atividades sao modeladassequencialmente, mas na realidade acontecem em qualquerordem, o modelo deve ser corrigido para refletir talcomportamento

• Extensao: adiciona uma nova perspectiva ao modelo,correlacionando com o log. Exemplo: mostrar bottlenecks,tempos, frequencia

Tavares Fundamentos de Inteligencia Artificial

Page 26: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

Framework - Conceitos

• Stream mining (mineracao de fluxos)

• Instancias chegam em tempo real

• Limitacao de memoria e tempo

• Adaptacao do modelo

• Mudanca de conceito (concept-drift)

• Utilizacao do DenStream

Tavares Fundamentos de Inteligencia Artificial

Page 27: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

Framework

• Objetivo: lidar com as multiplas tarefas de Process Mining emum ambiente stream levando em consideracao composicao dotrace e tempo inter-atividades

• Desafios: construir/adaptar o modelo e ao mesmo tempo lidarcom concept-drift e encontrar anomalias; lidar com casesincompletos, o que impossibilita o uso de tecnicas tradicionais

• Proposta: representacao de traces e processos em forma degrafo, extrair metricas de cases, clusterizar cases,diferenciando comportamento comum de anomalo

Tavares Fundamentos de Inteligencia Artificial

Page 28: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

Concept-Drift in Event Stream Framework (CDESF)

GDtrace

...

Process Graph

GDtime

Distances

Event Stream

Cases:

Transformation

Eventcur

A

B

C

D

EF

Tracecur Graph

AB

E

Comparison

DistanceComputation

Memory

Updating

Cases

Last Event

Stream Processing

DenStream Clustering

c-micro-cluster

p-micro-clustero-micro-cluster

Stream  Process

Discovery

StreamConformance

Checking

Stream Process

Enhancement

Anomaly Detection Drift Detection

1

2

3

4

5

CP

Tavares Fundamentos de Inteligencia Artificial

Page 29: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

CDESF - Grafo modelo de processo

Tavares Fundamentos de Inteligencia Artificial

Page 30: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

CDESF - Clusterizacao

Tavares Fundamentos de Inteligencia Artificial

Page 31: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

CDESF - Exemplo

• Vıdeo

Tavares Fundamentos de Inteligencia Artificial

Page 32: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

CDESF - Concept-drift

0.05

0.00

0.05Co

re ID

: 1

0.05

0.00

0.05

Core

ID: 1

0

0.05

0.00

0.05

Core

ID: 1

3

0 1000 2000 3000 4000 5000 6000 7000 8000Events

0.05

0.00

0.05

Core

ID: 6

0

Tavares Fundamentos de Inteligencia Artificial

Page 33: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

Referencias

• [van der Aalst, 2011]

Tavares Fundamentos de Inteligencia Artificial

Page 34: Mineração de Processos Apresentação de framework · Business Process Management (BPM) Combina conhecimentos de tecnologia da informa˘c~ao e ger^encia e aplica em processos organizacionais

Fundamentos de Inteligencia Artificial

Framework

van der Aalst, W. M. P. (2011).Process Mining: Discovery, Conformance and Enhancement ofBusiness Processes.Springer Publishing Company, Incorporated, 1st edition.

Tavares Fundamentos de Inteligencia Artificial