AGILE DATA INSIGHTSDecisões de Negócios Guiadas por Dados

A n d r e s s a S i v o l e l l a

AGILE DATA INSIGHTSDecisões de Negócios Guiadas por Dados

A n d r e s s a S i v o l e l l a

3

4

+

$ 59 $ 125 $ 125

5

+

$ 59 $ 125 $ 12516% 84%0%

6

+

$ 59 $ 125 $ 12516% 84%0%

$ 59

+

$ 125

???

7

+

$ 59 $ 125 $ 12516% 84%0%

$ 59

+

$ 12564% 32%

8

+

$ 59 $ 125 $ 125

A -B B

Escolha Relativa (Decoy)

PSICOLOGIA COGNITIVA

9

Psicologia Cognitiva Comportamento Tomada de Decisão

10

Mas, Andressa, o que isso tem a ver com

Data Insights?

11

Amazon Patents “Anticipatory” Shipping

12

Entendi! Só que, pessoas mudam de opinião

constantemente, né? Como faz?

13Read D & Van Leeuwen - Harvard University

Frutasou

Chocolate?

Escolher Hoje

Comer Semana que vem

14Read D & Van Leeuwen - Harvard University

Frutasou

Chocolate?

Escolher Hoje

Comer Semana que vem

14

74% 26%

15

Frutasou

Chocolate?

Escolher e comer agora

70%30%

16https://www.washingtonpost.com/news/storyline/wp/2014/12/04/people-around-you-control-your-mind-the-latest-evidence/

People around you control your mind

17

18

19

20

1,996 vôos

257,000 passageiros

65,000 transações

21

Dados

Experimentos Pequenos

30%Data Insights

22

23

Data Insights

PROCESSO

24

Lots of ideasWORKSHOPBusiness priority +

ideation

LIGHTWEIGHTTESTING

Few best ideasBESTIDEASMADEBETTER

DESIGN TEST

BUILD

REFINE

DAYS DAYS WEEKS

Ideação com base nas prioridades do negócio

Muitas Ideias Melhores IdeiasValidação de Hipóteses

Melhores Ideias Aprimoradas

DIAS DIAS SEMANAS

CRIAR

REFINAR

TESTARPROJETAR

ABORDAGENS

25

Testar

$ investimentoinicial

Aprender

Investir

Operacionalizar

InsightAcionável

Testar

$$$ investimentoinicial

Aprender

Investir

Operacionalizar

InsightAcionável

ThoughtWorks Métodos TradicionaisVS

NÍVEIS DE MATURIDADE EM DATA

26

Valo

r

Complexidade

Paridade

Diferenciação

O que aconteceu?

Análise Descritiva

Por que aconteceu?

Análise Diagnóstica

O que vai acontecer?

Análise Preditiva

O que fazer quando acontecer?

Análise Prescritiva

NÍVEIS DE MATURIDADE EM DATA

27

Valo

r

Complexidade

Paridade

Diferenciação

O que aconteceu?

Análise Descritiva

Por que aconteceu?

Análise Diagnóstica

O que vai acontecer?

Análise Preditiva

O que fazer quando acontecer?

Análise Prescritiva

27

BI Tradicional

Analytics Avançado

CENÁRIO ATUAL

28

✴ Volume, Velocidade e Variedade Analytics Avançado

CENÁRIO ATUAL

29

✴ Volume, Velocidade e Variedade Analytics Avançado

✴ Oportunidade de Inovação

CENÁRIO ATUAL

30

✴ Volume, Velocidade e Variedade Analytics Avançado

✴ Oportunidade de Inovação

✴ Desafios:

• Processamento

• Armazenamento

• Análise

CENÁRIO ATUAL

31

✴ Volume, Velocidade e Variedade Analytics Avançado

✴ Oportunidade de Inovação

✴ Desafios:

• Processamento

• Armazenamento

• Análise

✴ BI Tradicional não lida com desafios

CENÁRIO ATUAL

32

✴ Volume, Velocidade e Variedade Analytics Avançado

✴ Oportunidade de Inovação

✴ Desafios:

• Processamento

• Armazenamento

• Análise

✴ BI Tradicional não lida com desafios

✴ Ferramentas proprietárias

• Dificuldade para integração contínua

É, NÃO É, FAZ, NÃO FAZ

33

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

É, NÃO É, FAZ, NÃO FAZ

34

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

É, NÃO É, FAZ, NÃO FAZ

35

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

É, NÃO É, FAZ, NÃO FAZ

36

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

Foco em estatística e experimentação

Foco em relatórios e Dashboards

É, NÃO É, FAZ, NÃO FAZ

37

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

Foco em estatística e experimentação

Foco em relatórios e Dashboards

Aprendizado de Máquina OLAP

É, NÃO É, FAZ, NÃO FAZ

38

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

Foco em estatística e experimentação

Foco em relatórios e Dashboards

Aprendizado de Máquina OLAP

Ferramentas Open Source (poucas proprietárias)

Ferramentas proprietárias (poucas Open Source)

É, NÃO É, FAZ, NÃO FAZ

39

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

Foco em estatística e experimentação

Foco em relatórios e Dashboards

Aprendizado de Máquina OLAP

Ferramentas Open Source (poucas proprietárias)

Ferramentas proprietárias (poucas Open Source)

Suporta à ausência de dados Requer dados completos

É, NÃO É, FAZ, NÃO FAZ

40

Analytics Avançado BI Tradicional

Baseada em Ciência EstatísticaBaseada em sistemas de suporte a

decisão (CRM, ERP, …)

Computação em Nuvem, massivamente paralela, bancos de

dados não relacionaisBancos de dados relacionais

Data Lake Data Warehouse

Foco em estatística e experimentação

Foco em relatórios e Dashboards

Aprendizado de Máquina OLAP

Ferramentas Open Source (poucas proprietárias)

Ferramentas proprietárias (poucas Open Source)

Suporta à ausência de dados Requer dados completos

Dados (des)estruturados Dados estruturados

41

E onde está o Agile no termo

“Agile Data Insights"?

ESTA É A MARÍLIA…

42Gerente de Projetos

OUTUBRO DE 2015…

43

JANEIRO DE 2016

44

JULHO DE 2016

45

MARÍLIA E A ARQUITETURA ATUAL

46

Você está demitido!

NOVA ABORDAGEM

47

VS

NA PRÁTICA…

48

Por onde eu começo?

ALINHAMENTO VIA INCEPTION

49

ALINHAMENTO VIA INCEPTION

50

Riscos Valor de Negócio

FAZ PARTE DE DATA INSIGHTS…

51

ARQUITETURA E ENGENHARIA DE DADOS

Definição de estruturas e modelos de dados, escolha e

implementação das tecnologias adequadas

VISUALIZAÇÃO DE DADOS

Design colaborativo, prototipação, testes e avaliação de feedbacks para visualização

efetiva dos dados

CIÊNCIA DE DADOS

Criação de modelos que permitam dar o passo de uma

abordagem descritiva para uma preditiva.

ARQUITETURA EMERGENTE

52

Sistemas operacionais se comunicam uns com os outros através de serviços, ignorando o lago de dados

Sistemas operacionais alimentam o lado com dados utilizando seus próprios esquemas

Cientistas de dados investigam o lago em busca de insights em potencial

Os "lakeshore marts” são responsáveis pela curadoria e organização dos dados para fins de análise

ESTRUTURA

53

Data Insights (Ciência de Dados)

Estrutura (Eng. de Dados)

Aplicação (Visualização)

NA PRÁTICA…

54

Árvore de Decisão

NA PRÁTICA…

55

Árvore de Decisão

Regressão Linear

NA PRÁTICA…

56

Árvore de Decisão

Regressão Linear

Rede Neural

NA PRÁTICA…

57

Árvore de Decisão

Regressão Linear

Rede Neural

Modelo Ensemble

AGILE DATA INSIGHTS

58

EngenhariaDe Dados Aprendizado

Lean

Ferramentas e técnicas para

melhor manipularos dados de acordo

com os seusobjetivos

específicos, prazo e arquitetura.

Meça o valor e utilize os

resultados para melhorar o

processo oumudar o curso emuma direção mais

vantajosa.

CONHECIMENTO ACIONÁVEL E

INSIGHT

Técnicas analíticasavançadas para

solucionarproblemascomplexos.

EntregaÁgil

CiênciaDe Dados

Entregar valor de negócio antecipada e

frequentemente. Construa sua

plataforma ao longodo tempo e não tudo

de uma vez só. Suas perguntas

=

Resultados rápidos

InsightsAcionáveis

59

TECNOLOGIAS

60

METODOLOGIAS

CANVAS

61

ESTÓRIAS DE USUÁRIOS

62

Como um <papel>

Eu quero <objetivo>

Para então <valor>

PAREAMENTO

63

TIMES AUTO-GERENCIÁVEIS

64

OUTRAS PRÁTICAS

65

✴ Stand-ups

✴ Showcases

✴ Atividades de Team Building

✴ Retrospectivas Semanais

RADAR TÉCNICO

66

@asivolella asivolella@thoughtworks.com

Andressa Sivolella