Metodologia da Pesquisa Cientfica

Metodologia da Pesquisa CientficaAula 07: Tticas para Projeto de ExperimentosProfessor: Alexandre DuarteWeb: http://alexandre.ci.ufpb.br/ensino/mpc

Louis Pasteur e a gerao espontnea

Louis Pasteur e a gerao espontnea

Louis Pasteur e a gerao espontnea

Louis Pasteur e a gerao espontnea

Louis Pasteur e a gerao espontnea

Tipos de HiptesesExistencial: Uma entidade ou fenmeno existe Composicional: Uma entidade ou fenmeno composta por um nmero de componentes Correlacional: Existe uma associao especfica entre duas grandezas quantificveis

Causal: Um determinado comportamento possui um mecanismo causador/explicadorCondies para inferncia causalCorrelao

Direo

Eliminao de potencias causas comuns

ABABCEliminando causas comunsControle: mantenha potencias causas comuns constantes de forma que elas no possam afetar o resultado (Bacon, 1620)

Randomizao: Varia de forma aleatria os nveis de potenciais causas comuns de forma que elas no possam afetar sistematicamente o resultado (Fisher, 1925)

Modelagem: Mea, modele e remova matematicamente o os efeitos de potenciais causas comuns (Rubin 1974; Spirtes, Glymour & Scheines 1993; Pearl 2000)Exemplo: Avaliando um sistema de RIA Google conduziu recentemente um estudo laboratorial para avaliar a satisfao de seus usurios com os resultados das buscasPesquisadores conceberam a hiptese de que documentos mais longos tem a classificados de forma mais precisa do que documentos mais curtos porque os seus tpicos podem ser estimados com maior precisoPara testar o efeito causas eles dividiram aleatoriamente os usurios em dois grupos (A e B). O grupo A recebeu resultados de buscas sem qualquer alterao. O grupo B recebeu resultados alterados sistematicamente para favorecer documentos mais longos.O grupo B reportou uma taxa de satisfao significativamente mais alta do que o grupo A

O que podemos concluir deste experimento?

Modelos causais alternativosDocs mais longosMelhor classificaoMaior satisfaoModelos causais alternativosDocs mais longosMelhor classificaoMaior satisfaoOs desafios do projeto experimentalEncontrar dependncias causais entre as variveis que caracterizam o algoritmo, tarefa e ambiente...

QuandoMltiplas variveis influenciam o comportamentoInteraes ocorrem entre os efeitos das variveis independentesH confounding factors entre as variveis dependentes e independentesExistem variveis ocultasAs amostras de dados tm tamanho limitadoConfoundingDuas ou mais variveis so ditas confounded se elas variam juntas de uma forma que torna impossvel determinar qual varivel responsvel pelo efeito observadoVantagens do projeto experimental em Cincia da ComputaoRecuperao de estado: em vrios cenrios possvel recriar estados arbitrrios. Portanto, podemos reutilizar os mesmo subjects e isso diminui a necessidade de projetos aleatrios

Grandes amostras: vrios experimentos na rea podem criar amostras extremamente grandes. Portanto, dependemos menos de anlise estatstica para amostras reduzidas

ExceesExperimentos com humanos/usurios (ex. Engenharia de software)Experimentos in-place em infraestruturas especficas (ex. monitoramento de redes)Desafios do projeto experimental em Cincia da ComputaoEspaos amostrais muito grandes: sendo a cincia do artificial temos poucas limitaes naturais sobre os objetivos de estudo. Desta forma, geralmente temos mais potenciais variveis independentes e dependentes Sistemas extremamente complexos: muitas vezes no fica claro como conjuntos de variveis independentes devem ser variadas e quais variveis dependentes devem ser medidas

Expectativa de controle: observadores externos acreditam que o controle sobre o comportamento torna inferncias causais mais simples do que elas realmente so.TerminologiaUnidades (ou Sujeitos/Subjects)Entidades sujeito dos experimentosTratamentosA experincia propriamente ditaResultadosO resultado das experinciasEm computao so medidas do comportamento (ex. Preciso e cobertura) ConfiguraoA situao especfica em que a experincia realiza e os resultados observados Em computao representa os aspectos ambientais imutveis Terminologia: Unidades ou SubjectsTipicamente, uma pessoa, um ecossistema, um pedao de cho ou alguma outra entidade que recebe um tratamento

Em Computao: uma entidade observada em uma amostra que interage com um algoritmo ou sistema em avaliao para produzir um comportamento O usurio de uma ferramenta de engenharia de softwareUma consulta submetida a um sistema de RIA rede na qual um protocolo de roteamento aplicadoUm conjunto de dados analisado por um algoritmo de aprendizagem de mquina

Terminologia: TratamentoTipicamente, uma situao, estresse ambiental, pesticida, tipo de semente, ou alguma outra mudana aplicada a uma unidade pelo experimentador

Em Computao: uma ou mais variaes de um algoritmo, sistema ou ambiente aplicados a uma unidadeDiferentes mtricas de similaridade em um sistema de RIDiferentes protocolos de roteamento aplicados em uma redeDiferentes algoritmos de aprendizagem aplicados em um conjunto de dados

Tratamentos representam variveis independentes (aquelas cujo valor podemos manipular explicitamente)Validade experimentalValidade por concluso estatsticaExiste alguma correlao entre o tratamento e o resultadoValidade internaA correlao observada reflete de fato um relacionamento causal entre tratamento e resultadoValidade externaAs relaes causais inferidas podem ser generalizadas para outras unidades, tratamentos e resultados

Ameaas validade estatsticaBaixo poder estatsticoAmostra de tamanho insuficiente para identificar associaes estatsticas reaisMedies no confiveisAlta varincia ou medio tendenciosa

Implementao no-confivel do tratamentoVariao no-intencional no funcionamento do tratamento

Variao externa na configuraoAlterao no-intencional no ambiente experimental

Ameaas validade internaSeleoSeleo no aleatria das unidades pode introduzir causas comuns

HistriaAlteraes externas em confounding com o tratamento

MaturaoAlteraes internas em confounding com o tratamento

RegressoA escolha de casos extremos leva a alteraes que aparentam ser efeitos do tratamento mas so na verdade artefatos da prpria seleoAmeaas validade internaAtritoPerda ou descarte de sujeitos ao longo do experimento

InstrumentaoAlterao no intencional no ambiente de medioAmeaas validade interna: SeleoA distribuio das unidades que passaro pelo tratamento pode representar um efeito confounding

Exemplo:Avaliamos nossa ferramenta comparando o cdigo escrito por duas turmas do mesmo curso de engenharia de software ministradas no mesmo semestre onde uma das turmas usou a ferramenta e a outra no.

Sintoma:Projetos experimentais onde os sujeitos recebem tratamentos diferentes mas no so selecionados aleatoriamenteDeteco do problemaVeja com ceticismo projetos onde a unidades recebem diferentes tratamentos mas no so selecionadas aleatoriamente

24Ameaas validade interna: HistriaA histria de execuo do experimento pode influenciar a varivel dependente

Exemplo:Comparamos a acurcia da recuperao solicitando aos usurios que escrevessem suas prprias consultas e as submetessem ao Google. Depois eles escreveram consultas e submeteram ao nosso sistema.

Sintoma:Fluxo de informao entre os tratamentosAmeaas validade interna: MaturaoO amadurecimento ao longo do experimento um fator de confounding

Exemplo: Comparamos nossos resultados com os de Smith e Jones (2003). Replicamos a avaliao deles utilizando uma massa de dados atual coletada de um sistema real.

Sintoma:Resultados comparando tratamentos aplicados em momentos muito distantes no tempo

Ameaas validade interna: RegressoRegresso em direo mdia: tendncia de casos com valores extremos se moverem em direo mdia em rodadas subsequentes devido a variaes meramente aleatrias

Exemplo:Selecionamos conjuntos de dados onde o algoritmo existente se comportou de forma extremamente ruim e ento comparamos seu desempenho com o nosso algoritmo

Sintoma:Projetos experimentais que focam valores extremosAmeaas validade interna: AtritoPerda ou descarte de sujeitos durante a execuo do experimento

Exemplos:Durante a avaliao dos sistemas nossa soluo travou com algumas entradas, que foram excludas dos resultados finais.

Alguns estudantes desistiram do curso onde nossa ferramenta foi avaliada. Os resultados desses estudantes foram desconsiderados na avaliao final.

Sintoma:Grandes perdas de sujeitos ou perdas desbalanceadas entre os diferentes grupos Ameaas validade interna: InstrumentaoA medio em si pode ser um fator de confounding.

Exemplo:Sem o conhecimento os usurios, sua velocidade de codificao na IDE padro foi gravada durante um ms. No meio deste perodo, sua velocidade tambm foi gravada com uma outra IDE em um ambiente laboratorial

Sintomas:Tcnicas de medio divergentesPotencial para medies tendenciosasFluxo de informao entre os tratamentosAmeaas validade externaInterao da relao causal com UnidadesVariaes do tratamentoResultadosConfiguraes

Mediao dependente do contextoUma varivel que media a relao causal pode no estar presente em outros contextosAmeaas validade externaExemplosTodos os experimentos de teste do nosso novo protocolo e troca de mensagens foram realizados utilizando redes construdas de acordo com o algoritmo de Watts e Strogatz para redes de mundo pequeno.Avaliamos nosso novo algoritmo de classificao utilizando 15 conjuntos de dados escolhidos aleatoriamente no repositrio da UCI

Projetos fatoriaisSo projetos experimentais onde duas ou mais variveis independentes so variadas sistematicamente para cobrir todas as possveis combinaes de valores.Projetos fatoriais

Dicas para projetos fatoriaisUse um nmero pequeno de nveis para cada varivel independenteUse um nmero pequeno de repeties para cada ponto no hipercubo fatorialUse projetos-piloto para identificar Efeitos principais: O comportamento de muitos sistemas computacionais dominado por algumas poucas variveis independentes (regra dos 95/5) Focar em determinar estas primeiro.Intervalo de variao: Muitas variveis independentes s produzem efeitos interessantes em uma faixa especifica de variao focar em determinar tais faixasInteraes: Exame a interao entre as duas ou trs variveis independentes mais forteItere