ESELAW’09 M ARCOS ANTÔNIO UILHERME H. TRAVASSOSgbd/download/files/meetings/... · Testes...
Transcript of ESELAW’09 M ARCOS ANTÔNIO UILHERME H. TRAVASSOSgbd/download/files/meetings/... · Testes...
A UTILIZAÇÃO DE MÉTODOS
ESTATÍSTICOS NO PLANEJAMENTO E
ANÁLISE DE ESTUDOS EXPERIMENTAIS
EM ENGENHARIA DE SOFTWARE (FONTE:
ESELAW’09 MARCOS ANTÔNIO P. & GUILHERME H. TRAVASSOS)
Aluna: Luana Peixoto Annibal1
ESELAW 2009
OBJETIVO
� Apresentar técnicas estatísticas utilizadas no planejamento e análise de estudos experimentais em ES
� Breve introdução aos conceitos de estudos experimentais e estatística
� Indicações concretas da aplicabilidade destas � Indicações concretas da aplicabilidade destas técnicas
� Abordagem prática das técnicas estatísticas com exemplos reais
2
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
3
ESELAW 2009
EXPERIMENTAÇÃO E ES
� As engenharias (Engenharia de Software) baseiam no uso de pesquisas científicas para construir produtos e serviços economicamente viáveis
� Pesquisas científicas� Pesquisas científicas� Propostas inovadoras� Avaliação dos resultados atingidos pela aplicação
destas inovações
4
ESELAW 2009
EXPERIMENTAÇÃO E ES
� Existem diferentes métodos de avaliação para pesquisa� Métodos científicos
� Modelos são construídos a partir da observação do mundo
� Método de engenharia
� Técnicas atuais são analisadas, são identificadas fraquezas, inovações são propostas e comparadas com as fraquezas, inovações são propostas e comparadas com as técnicas anteriores
� Método experimental
� Modelos são construídos e avaliados através de estudos experimentais
� Método analítico� Teorias formais são propostas e seus resultados são
comparados com observações do mundo real 5
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
6
ESELAW 2009
ESTUDOS EXPERIMENTAIS
Identificação das variáveis
7
ESELAW 2009
Variáveis controláveis
ESTUDOS EXPERIMENTAIS
Levantamento de Hipóteses e materiais
de estudo
Levantamento de objetivo e grupo de
estudo
8
ESELAW 2009
Validação das hipóteses (análise estatística)
Treinamento e execução pelos participantes
PLANEJAMENTO E HIPÓTESE
� Planejamento
� Formulação da hipótese
� Identificação das variáveis independentes (fatores)
� Elemento de causa� Fatores – variáveis controláveis
� Identificação das variáveis dependentes (resposta)
Afetadas durante o processo de experimentação� Afetadas durante o processo de experimentação
� Seleção dos participantes
� Projeto de estudo
� Seleção dos métodos de análise
� Definição dos instrumentos
� Análise de ameaças (validity threats)
9
ESELAW 2009
PLANEJAMENTO E HIPÓTESE
� Hipóteses
� Uma hipótese é uma teoria ou suposição que pode
explicar um determinado comportamento de interesse
da pesquisa
� Estudos experimentais tem como objetivo coletar dados em um ambiente controlado para rejeitar ou não uma hipótesehipótese
� Utilizando a técnica Y os desenvolvedores concluem a
atividade de análise de requisitos em menos tempo e com um
conjunto de requisitos mais completo do que utilizando a
técnica X
� Variáveis independentes� Técnica utilizada, caracterização dos desenvolvedores,
caracterização da aplicação
� Variáveis dependentes� Tempo de execução e % de requisitos correlatos encontrados
10
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
11
ESELAW 2009
VARIÁVEIS E SEUS VALORES
� Variáveis podem ser qualitativas e quantitativas
� Os valores das variáveis são coletados em escalas � Nominal
� Representa diferentes tipos de elementos� Diferentes linguagens de programação – Java, C++, C#, Pascal, ...)
� Ordinal� Representa diferentes tipos de elementos de maneira ordenada, mas sem
qualquer interpretação numéricaqualquer interpretação numérica� Diferentes níveis de CMMI (nível 1, ..., nível5)
� Intervalar� Distâncias são estabelecidas a partir de um zero arbitrário (ano zero ≠ zero
absoluto)� Escala de Likert (muito alto, alto, médio, baixo, muito baixo) – impossível
averiguar a distância entre esses no mundo real, mas assume-se que seja próxima
� Razão� Seus valores permitem que interpretar razões, ordenações e distâncias
(proximidade) entre o valores consecutivos� Um software com X linhas é 2 vezes menor que um software com 2x
linhas de código12
ESELAW 2009
VARIÁVEIS E SEUS VALORES
Mais informação
13
ESELAW 2009
VARIÁVEIS E SEUS VALORES
� Exemplo
� Utilizando a técnica Y os desenvolvedores concluem a atividade de análise de requisitos em menos tempo e com um conjunto de requisitos mais completo do que utilizando a técnica X
� Variáveis independentesTécnica utilizada� Técnica utilizada� Escala nominal
� Caracterização dos desenvolvedores e da aplicação� Escala nominal ou ordinal
� Variáveis dependentes� Tempo de execução
� Escala razão
� % de requisitos correlatos encontrados� Escala razão 14
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
15
ESELAW 2009
TABULAÇÃO DOS RESULTADOS
16
ESELAW 2009
Medidas de tendência central, dispersão e dependência podem ser utilizadas em conjunto com a análise gráfica para que o analista tenha um melhor “entendimento” sobre os dados
VISUALIZAÇÃO GRÁFICA
� São mais fácil e rápidos de entender em comparação a dados tabulados� Cuidado com as conclusões
� Métodos do representação gráfica � Histograma� Histograma cumulativo
Depende do tipo de variável: contínua ou
discreta� Histograma cumulativo� Gráfico em pizza� Diagrama de dispersão
� Cada eixo representa uma variável
� Identificação de outliers e sua possível eliminação
� Gráfico de controle� Observação do comportamento dos dados quantitativos� Caracterizado por três linhas – linha média, limite superior
(ICL) e limite inferior (LCL)� Comportamento sob controle � valores oscilando em torno da
linha média e dentro da faixa entre o UCL e o LCL 17
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
18
ESELAW 2009
ESTATÍSTICA DESCRITIVA
� Descreve características relevantes dos dados coletados e sua distribuição
� Medidas de tendência central� Média
� Somatório dos dados dividido por sua quantidade
� Mediana� Valor do meio de um conjunto de dados
� Moda� Valor de maior frequência (mais comum)
� Valor mínimo
� Valor máximo
� Percentil� É o valor que divide a amostra na porcentagem X
� Quartil� Os valores que representam a amostra no percentil 25%, 50% e
75% - respectivamente 1º, 2º e 3º quartil19
ESELAW 2009
MEDIDAS DE DISPERSÃO
� Faixa� Diferença entre o maior e menor valor da amostra
� Variância �� Quão longe está do valor esperado
� Desvio padrãoDesvio padrão� Raiz quadrada da variância
20
ESELAW 2009
DISTRIBUIÇÃO DE FREQUÊNCIA
� Distribuições clássicas� Normal, uniforme, beta ...
� Distribuição normal� Importante para alguns métodos estatísticos� Formato de sino
Pode-se levantar hipótese dessa distribuição ao analisar um � Pode-se levantar hipótese dessa distribuição ao analisar um histograma
� Curva � Média� Largura � Desvio padrão
21
ESELAW 2009
MEDIDAS DE DEPENDÊNCIA
� Quando duas ou mais variáveis estão relacionadas em um estudo, é útil calcular o grau de dependência entre elas
� Essas medidas determinam a força e a direção do relacionamento entre as variáveis� Mais comum é o coeficiente de correlação� Mais comum é o coeficiente de correlação� Uma correlação de valor -1
� Um alto valor em uma variável ocorre em conjunto com um baixo valor da segunda
� Uma correlação de valor 1� Um alto valor em uma variável ocorre em conjunto com
um alto valor da segunda � Uma correlação próxima a 0
� Não podemos inferir nenhum relacionamento entre as variáveis 22
ESELAW 2009
EXEMPLO DE CORRELAÇÃO
23
ESELAW 2009
MEDIDAS DE CORRELAÇÃO
� Correlação de Pearson � Quantifica a correlação entre duas variáveis� Força de associação linear� Aplicados a valores que parecem seguir uma
distribuição normal
� Correlação de Spearman� Baseia se no ranking dos valores coletados� Aplicados aos valores que parecem não seguir uma
distribuição normal� Relação em formato de curva (não linear)
24
ESELAW 2009
ANÁLISE DE REGRESSÃO
� Fornece uma equação que descreve a natureza do relacionamento
� Análise de Regressão Linear Simples� Predizer o valor de variáveis dependentes baseado
no valor de apenas uma variável independenteno valor de apenas uma variável independente
25
ESELAW 2009
ESTATÍSTICA DESCRITIVA
26
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
27
ESELAW 2009
REMOÇÃO DE OUTLIERS
� Outliers � valores extremos� Podem representar erros
� De aplicação, digitação, interpretação, etc
� São removidos antes de se aplicar as técnicas de inferência estatística
� É importante verificar sua origem� Podem ser informações válidas
Podem ser visualmente identificadas através de gráficos � Podem ser visualmente identificadas através de gráficos de dispersão e box-plots� A uma distância X (percentil, desvio, quartil) da média ou mediana
28
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
29
ESELAW 2009
TIPOS DE ESTUDOS EXPERIMENTAIS
30
ESELAW 2009
TESES DE HIPÓTESE
� Definição das hipóteses� Sempre lida com algum tipo de risco, que implica em
um erro de análise� Erro de tipo I
� O teste estatístico indica um relacionamento entre causa e efeito e o relacionamento real não existe
� Rejeita H0 quando esta é verdadeira
� Erro de tipo II� Não indica relacionamento entre causa e efeito, mas existe
este relacionamento� Não rejeita H0 quando esta é falsa
� Hipótese Nula (H0) é normalmente construída de forma a minimizar erros do tipo I� É a hipótese que o analista quer rejeitar com maior
significância possível31
ESELAW 2009
TESES DE HIPÓTESE
� Procedimentos
� Fixar o nível de significância do tese (definir H0)
� Obter uma estatísticas que tenha distribuição
conhecida sob H0 (estimador do parâmetro)
� Através das estatísticas de teste e do nível de
significância, construir a região crítica
Usando as informações amostrais, obter o valor da � Usando as informações amostrais, obter o valor da
estatística (estimativa)
� Se valor da estatística pertencer à região crítica,
rejeita-se H0, aceitando-se a hipótese alternativa
� Caso contrário, não se rejeita H0 e nada pode se
afirmar a respeito sobre H1
32
ESELAW 2009
NÍVEL DE SIGNIFICÂNCIA
� Indica a probabilidade de cometer um erro tipo I� Os níveis de significâncias (Y) mais utilizados são 5%,
10%, 1%, 0.1%� Chamado de p-value
� É o menor nível de significância que se pode rejeitar a hipótese nula
33
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
34
ESELAW 2009
TIPOS DE TESE DE HIPÓTESE
� Dois grupos� Testes paramétricos
� Utilizam fórmulas fechadas� Presumem distribuições de frequência� Seguem as premissas de normalidade e homocedasticidade
(variáveis com variâncias similares)
� Teste não-paramétricos (menos poderoso)� Teste não-paramétricos (menos poderoso)� Não atendem aos pressupostos de teses paramétricos� Presumem distribuições de probabilidade
35
ESELAW 2009
PRÉ-TESTE PARAMÉTRICOS
� Teste de normalidade� Teste de Shapiro-Wilk
� Calcula o valor W para avaliar se a amostra segue a distribuição normal� Valor W pequeno indica não normalidade
� Utilizado com amostras com menos de 50 valores
Teste de homocedasticidade� Teste de homocedasticidade� Teste de Levene
� Considere uma variável Y, com N valores divididos em k grupos, onde Ni é o número de valores no grupo i
� O teste de Levene aceita a hipótese de que as variâncias são homogêneas se o valor W for menor do que o valor da distribuição F
� Os valores da distribuição F estão disponíveis em tabelas e softwares estatísticos
36
ESELAW 2009
TIPOS DE TESE DE HIPÓTESE
37
ESELAW 2009
AGENDA
� Experimentação e ES� O processo de experimentação� Escalas numéricas e operações aplicáveis� Tabulação, preparação e análise visual dos dados� Medidas de tendência, dispersão e dependência
Análise de outliers e quartis� Análise de outliers e quartis� Testes estatísticos aplicáveis aos tipos de estudo� Testes paramétricos e não paramétricos� Exemplos
38
ESELAW 2009
EXEMPLO
� O exemplo baseia-se na análise da utilização de uma técnica para detecção de defeitos em requisitos de software
� Esta técnica foi desenvolvida originalmente na língua inglesa e tinha-se dúvida se deveria ser traduzida para o português para ser utilizada no contexto dos cursos de pós-graduação em no contexto dos cursos de pós-graduação em engenharia de software da COPE/UFRJ
� Desta forma, o objetivo principal deste estudo experimental é verificar se existem diferenças significativas na utilização da técnica nas versões em inglês e português, em relação ao tempo, número de discrepâncias e defeitos encontrados
39
ESELAW 2009
EXEMPLO
� Estudo experimental� 19 participantes� 2 grupos
� Primeiro grupo (EP)� 11 participantes e técnica para o Inglês
� Segundo grupo (PP)� 8 participantes e técnica para o Português
40
ESELAW 2009
TESTE T
� Utilizado para duas amostras independentes� Variáveis são quantitativas� Não são conhecidas as variâncias populacionais� Amostras independentes – cada participante integrou
exclusivamente um grupo
� As análises foram feitas utilizando o pacote estatístico SPSS
41
ESELAW 2009
ANÁLISE PARA A VARIÁVEL TEMPO
� Outliers moderados
� Aparente grande
variabilidade entre as
duas amostras
� Mas a correta conclusão
é obtida por um teste
estatístico apropriado
42
ESELAW 2009
ANÁLISE PARA A VARIÁVEL TEMPO
� O Teste T para duas amostras independentes
exige que as amostras sigam uma distribuição
normal
� Desta forma, tem-se um primeiro teste de hipótese
a ser feito, considerando um nível de significância a ser feito, considerando um nível de significância
de 5%, sendo:
� H0: A distribuição é normal
� H1: A distribuição não é normal
43
ESELAW 2009
TESTE DE NORMALIDADE
� Teste de Kolmogorov-Smimov para amostras com mais de 30 elementos
� Teste de Shapiro-Wilk para amostras com menos de 50 elementos
� No teste de Shapiro-Wilk, ambos os valores de significância (Sig) é superior a 0.05 (p-value 5%), portanto não há indícios para rejeitar H0� A distribuição da amostra para a variável Tempo é normal
44
ESELAW 2009
TESTE DE HOMOCEDASTICIDADE
� Teste de Levene� Teste de hipótese com um nível de significância de
5%� H0: as variâncias são iguais ([2 GrupoEP = [ 2GrupoPP)� H1: as variâncias são diferentes ([2 GrupoEP ≠ [ 2GrupoPP)
� Como o valor de significância assume valor maior que p-value (o.o5) então não rejeita H0� As variâncias são iguais 45
ESELAW 2009
ANÁLISE PARA A VARIÁVEL TEMPO
� Teste paramétricos sobre a variável tempo� Teste de hipótese com nível de significância de 5%
� H0: As médias são iguais (µGrupoEP = µGrupoPP)� H1: As médias são diferentes
� Como o valor de significância Sig.(2-tailed) = 0.513 para a condição de igualdade das variâncias é maior que o p-value (0.05). Assim não se rejeita H0� Concluindo-se que as médias são iguais
� Outra maneira é analisando que o valor zero está entre os valores superior e inferior do intervalo de confiança 46
ESELAW 2009
CONCLUSÃO
� Não há diferenças significativas em relação à variável tempo na utilização de técnica de detecção de defeitos na suas versões em inglês em e em português para esse grupo de pesquisadores
47
ESELAW 2009
REFERÊNCIA
� The Use of Statistical Methods for Planning and Analyzing Experimental Studies in Software Engineering Area –Guilherme Horta Travassos (Associate Prof. -COPPE/UFRJ) and Marco Antônio Pereira Araújo (PhD COPPE/UFRJ). ESELAW’09
48
ESELAW 2009