Post on 17-Apr-2015
1
Reflexões sobre Probabilidade, Estatística e Modelamento Matemático
Por: Armando Z. Milioni
Instituto Tecnológico de Aeronáutica
São José dos Campos, SP
Agosto 2012
2
Resumo do que fizemos
Jogamos 30 dados ao mesmo tempo
3
Resumo do que fizemos
Jogamos 30 dados ao mesmo tempoDefinimos que o resultado de cada dado seria:
Sucesso, para os casos {4, 5 e 6} Fracasso, para os casos {1, 2 e 3}
4
Resumo do que fizemos
Jogamos 30 dados ao mesmo tempoDefinimos que o resultado de cada dado seria:
Sucesso, para os casos {4, 5 e 6} Fracasso, para os casos {1, 2 e 3}
Fizemos isso 30 vezes
5
Resumo do que fizemos
Jogamos 30 dados ao mesmo tempoDefinimos que o resultado de cada dado seria:
Sucesso, para os casos {4, 5 e 6} Fracasso, para os casos {1, 2 e 3}
Fizemos isso 30 vezesNotamos que (em média, aproximadamente)
Um (qualquer) dos 30 lançamentos tinha o dobro ou mais de Sucessos do que outro lançamento (qualquer).
Um dos 30 lançamentos tinha 20 ou mais Sucessos Um dos 30 lançamentos tinha 10 ou menos Sucessos
6
Resumo do que fizemos
Jogamos 30 dados ao mesmo tempoDefinimos que o resultado de cada dado seria:
Sucesso, para os casos {4, 5 e 6} Fracasso, para os casos {1, 2 e 3}
Fizemos isso 30 vezesNotamos que (em média, aproximadamente)
Um (qualquer) dos 30 lançamentos tinha o dobro ou mais de Sucessos do que outro lançamento (qualquer).
Importante: isso ocorre por obra “do acaso”
7
Substitua o que fizemos conforme abaixoAo invés de 30 lançamentos, 30 pessoas
Habilitações semelhantes e treinamentos idênticos
8
Substitua o que fizemos conforme abaixoAo invés de 30 lançamentos, 30 pessoas
Habilitações semelhantes e treinamentos idênticos
Ao invés de 30 dados, 30 dias de “teste”
9
Substitua o que fizemos conforme abaixoAo invés de 30 lançamentos, 30 pessoas
Habilitações semelhantes e treinamentos idênticos
Ao invés de 30 dados, 30 dias de “teste”Resultados individuais a cada dia de teste:
Sucesso, com probabilidade 50% Fracasso, com probabilidade 50%
10
Substitua o que fizemos conforme abaixoAo invés de 30 lançamentos, 30 pessoas
Habilitações semelhantes e treinamentos idênticos
Ao invés de 30 dados, 30 dias de “teste”Resultados individuais a cada dia de teste:
Sucesso, com probabilidade 50% Fracasso, com probabilidade 50%
Ao término do período Alguém terá 20 ou mais Sucessos, o dobro de outro
alguém, que terá 20 ou mais Fracassos
11
O exemplo que acabamos de estudar é uma variação de um problema analisado no livro
“O Andar do Bêbado”
Autor: Leonard Mlodinow
12
PORTANTO:
ESTE CURSO É SOBRE:
“A MODELAGEM
E A
COMPREENSÃO
DO ACASO”
13
Ainda para compreender este CursoAlgumas curiosidades (erros) da mídia
Modelamento matemático: 10 mandamentos
14
15
16
17
18
19
20
21
22
PERGUNTA NATURAL:
SE ESSES EXEMPLOS APARECEM
NA MÍDIA, QUE SEGURANÇA TEMOS
DE QUE RACIOCÍNIOS SEMELHANTES
NÃO APAREÇAM, POR EXEMPLO
EM RELATÓRIOS TÉCNICOS?
23
PORTANTO:
ESTE CURSO TAMBÉM É SOBRE:
“OS FUNDAMENTOS DE PROBABILIDADE
E ESTATÍSTICA QUE NOS PERMITEM
COMPREENDER O ACASO E SEPARÁ-LO
DE REAIS RELAÇÕES DE CAUSA E EFEITO”
24
Modelos Matemáticos - 10 Mandamentos
Fonte:
“Operations Research - Principles and Practice”
Ravindran, Phillips e Solberg
(várias edições)
25
Modelos Matemáticos - 10 Mandamentos
1 - Don’t build a complicated model when a simple one will suffice
26
Modelos Matemáticos - 10 Mandamentos
1 - Don’t build a complicated model when a simple one will suffice
2 - Beware of molding the problem to fit technique
27
Modelos Matemáticos - 10 Mandamentos
1 - Don’t build a complicated model when a simple one will suffice
2 - Beware of molding the problem to fit technique
3 - The deduction phase of modeling must be conducted rigorously
28
Mandamento 3 - Fase de Dedução do Modelo
Credit Scoring
Natureza do Problema
Metodologia
29
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Dados cadastrais dos clientes antigos
30
Critério de distinção:Bons e Maus pagadores
31
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
32
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Reta discrimando as 2 populações:Análise Discriminante Linear
33
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Reta discrimando as 2 populações:Análise Discriminante Linear
34
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Reta discrimando as 2 populações:Análise Discriminante Linear
Candidato Novo parece ser um mau risco
35
Perguntas:
Fronteira linear – Por que?
Alternativas?
36
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Fronteira Convexa do tipo "Piecewise Linear"
Candidato Novo parece agora ser um bom risco
37
Reflexões interessantes
Muitas metodologias (análise discriminante; modelos logísticos; neurais, neuro-fuzzy, etc)
Pouca discussão em torno da distinção entre bons e maus pagadores
Conseqüências de um novo critério?
38
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Dados cadastrais dos clientes antigos
39
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
40
Pergunta:
Para cada critério de distinção adotado, é sempre possível estabelecer a fronteira que separa as populações a partir da amostra?
41
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Sofisticado, mas:Correto?
42
Discriminando Risco: Bons e Maus pagadores
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
0 2 4 6 8 10 12 14 16 18
No. de anos no mesmo emprego
Rela
ção
Salá
rio
/ P
resta
ção
Bons Pagadores Maus pagadores
Sofisticado, mas:Correto?
Candidato novo é um bom ou um mau risco?
43
Reflexões adicionais:
Hipótese de existência da fronteira: sempre verdadeira?
O que é mais importante:O modelo?
ouO critério?
44
Modelos Matemáticos - 10 Mandamentos
4 - Models should be validated prior to implementation
45
Modelos Matemáticos - 10 Mandamentos
4 - Models should be validated prior to implementation
5 - A model should never be taken too literaly
46
Modelos Matemáticos - 10 Mandamentos
4 - Models should be validated prior to implementation
5 - A model should never be taken too literaly
6 - A model should neither be pressed to do, nor criticized for failing to do, that for which it was never intended
47
Modelos Matemáticos - 10 Mandamentos
7 - Beware of overselling the model
48
Modelos Matemáticos - 10 Mandamentos
7 - Beware of overselling the model
8 - Some of the primary benefits of modeling are associated with the process of developing the model
49
Modelos Matemáticos - 10 Mandamentos
7 - Beware of overselling the model
8 - Some of the primary benefits of modeling are associated with the process of developing the model
9 - A model cannot be any better than the information that goes into it (Gigo)
50
Modelos Matemáticos - 10 Mandamentos
7 - Beware of overselling the model
8 - Some of the primary benefits of modeling are associated with the process of developing the model
9 - A model cannot be any better than the information that goes into it (Gigo)
10 - Model cannot replace decision makers
51
Primeiros Fundamentos
Probabilidade:
Latim “Probare” – provar, testar
Estatística:
Latim: “Statisticum Collegium” – palestra sobre assuntos do estado
52
Introdução a Probabilidade e Estatística
População Amostra
Probabilidade
Estatística (ou. Estatística Indutiva Paramétrica,
ou ainda, Inferência Estatística)
53
Planejamento do Curso
Por: Armando Z. Milioni
Instituto Tecnológico de Aeronáutica
São José dos Campos, SP
Agosto 2012
54
QUATRO SEMANAS
Semana 1:
Fundamentos de Teoria de ProbabilidadeSemana 2:
Variáveis AleatóriasSemana 3:
Variáveis Aleatórias e Estimação de ParâmetrosSemana 4:
Intervalos de Confiança e Teste de Hipóteses
55
Livro Texto e Avaliação
Probabilidade e Estatística para Engenharia e Ciências – Jay L. Devore
Quatro séries de exercícios (grupos de 3)
Exame final individual, com base nas séries
56
Semana 1:Fundamentos de Teoria de Probabilidade1. Estatística Descritiva: Fundamentos
2. Definição de Função Probabilidade (história)
3. Propriedades dos Axiomas
4. Cálculo de Probabilidades
5. Função Probabilidade Condicional
6. Teoremas Fundamentais e Independência
57
1 - Estatística Descritiva: FundamentosMedidas de Locação
Média, Mediana, Média Aparada, Moda
Medidas de Dispersão
Desvio Padrão, Variância
Histogramas
58
2 - Definição de Função probabilidade (história)Elementos Fundamentais
Experimento, Espaço Amostral, Eventos, Evento Impossível, Eventos Mutuamente Exclusivos
Evolução histórica do Conceito
Definições clássica e frequentista
Definição Axiomática
59
3 - Propriedades da Definição AxiomáticaP(Φ) = 0
Axioma (iii) válido para sequências finitas
P(A) + P(Ac) = 1
P(A) = P(A ∩ B) + P(A ∩ Bc)
P(A U B) = P(A) + P(B) – P(A ∩ B)
60
4 - Cálculo de Probabilidades
Alguns problemas clássicos
Truques simples com o uso da hipótese clássica
Loterias
O exemplo que dá origem à V.A.Binomial
Saindo dos espaços amostrais finitos
O jogo de Crap
61
5 - Função Probabilidade CondicionalDefinição
Também é uma função probabilidade
Utilidade:
Probabilidade de A antes de B
A solução do problema do jogo de Crap
62
6 - Teoremas Fundamentais e IndependênciaTeorema da Probabilidade Total
Teorema de Bayes (1701-1761)
Independência
Exemplos Clássicos
Inpe / Satélite
Exames clínicos
O problema de Monty Hall