Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse
-
Upload
luana-lobao -
Category
Documents
-
view
1.139 -
download
1
description
Transcript of Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse
![Page 1: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/1.jpg)
Processo de Teste Iterativo eAutomatizado
Experiência em Data Warehouse
Instituto Nokia de Tecnologia
X Simpósio Brasileiro de Qualidade de Software – X SBQS
QUALIDADE
Verificação
Defeito
SCRUM
Data Warehouse
Luana Lobão, Eliane Collins, Ronaldo Martins, Leandro Leão & Vicente Lucena
Curitiba – PR , Jun 2011
Migração
![Page 2: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/2.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia2
Agenda
![Page 3: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/3.jpg)
“Sistema que extrai, limpa, organiza e fornece dados de uma determianda origem para uma base de dados feita a partid do modelo dimensional. Em seguida implementa consulta e análise nos dados a fim de auxiliar á tomada de decisão”[Kimbal, 2004]
Manipulação de bases “legadas”; Modelagem dimensional; Processo de ETL; OLAP.
Instituto Nokia de Tecnologia3
Introdução
![Page 4: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/4.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia4
Agenda
![Page 5: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/5.jpg)
Maintenance Monitoring Tool – MMT
Reunir e organizar dados sobre o ciclo de vida de equipamentos de produção;
Ambiente de DW da CognosIBM, Oracle 10g;
Um recurso para execução de testes;
Sem ferramentas para automação teste, até então;
Automação de teste solicitada;
Necessidade de consistência dos dados em todo o fluxo de desenvolvimento;
Instituto Nokia de Tecnologia5
Contexto do Ambiente
![Page 6: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/6.jpg)
Instituto Nokia de Tecnologia – INdT
É uma instituição independente e sem fins lucrativos comprometida com a realização de pesquisa e desenvolvimento de soluções tecnológicas através do desenvolvimento de aplicações, novas tecnologias e conceitos;
A área onde a experiência foi desenvolvida foi Tecnologias de Produto e Manufatura (PMT).
Instituto Nokia de Tecnologia6
Contexto do Ambiente
![Page 7: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/7.jpg)
SCRUM Metodologia ágil e flexível, centrada no
trabalho em equipe; Utilizada para o desenvolvimento incremental
e iterativo de qualquer produto.
Instituto Nokia de Tecnologia7
Contexto do Ambiente
![Page 8: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/8.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia8
Agenda
![Page 9: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/9.jpg)
Processo de Teste de DW no PM&T; V&V de dados feita manualmente apenas na
etapa de relatórios;
Instituto Nokia de Tecnologia9
Processo de Teste Manual
![Page 10: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/10.jpg)
Artefatos principais: Plano de Teste, Especificação de Casos de Teste e Relatório de Execução de Casos de Teste;
Testador fazia parte da equipe scrum;
Aprendizado de ferramentas de ETL da Cognos (Data Manager); Conduzido pelos desenvolvedores.
Instituto Nokia de Tecnologia10
Processo de Teste Iterativo e Automatizado
![Page 11: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/11.jpg)
Ciclo de cada Sprint:
Estudo no Data Manager para automaçao de teste – 1º sprint e quando era solicitado algo novo teste
Configuração do ambiente de teste – 1º sprint
Planejamento dos casos de teste das estórias do sprint;
Escrever scripts sql de teste automáticos; Executar testes automáticos; Gerar relatórios de execução de testes; Cadastrar defeitos; Validar defeitos e executar regressão de testes
(suíte automática.Instituto Nokia de Tecnologia11
Processo de Teste Iterativo e Automatizado
![Page 12: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/12.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia12
Agenda
![Page 13: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/13.jpg)
Processo de Teste de DW no PM&T; V&V de dados feita a cada processo de ETL
feito entre bases;
Instituto Nokia de Tecnologia13
Execução – Estratégia de Execução
![Page 14: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/14.jpg)
Verificar o mapeamento dos campos presentes entre as áreas de legado/stage;
Verificar se houve valores duplicados no processo de ETL de carga de dados entre as bases (do Legado para stage e do stage para o Data Mart);
Verificar os tipos de dados dos campos correspondentes nos diferentes níveis (Legado, stage e Data mart);
Verificar a quantidade de dados no processo de ETL de carga de dados entre as bases (do Legado para stage e do stage para o Data mart);
Verificar se os Jobs (Scripts que controlam a execução da carga, tanto na stage quanto no Data mart) estavam funcionando de acordo com a especificação, ou seja, se iniciavam no tempo pré-configurado.
Instituto Nokia de Tecnologia14
Execução – Planejamento
![Page 15: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/15.jpg)
Exemplo de script SQL de teste;
Instituto Nokia de Tecnologia15
Execução – Automação dos testes
![Page 16: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/16.jpg)
Instituto Nokia de Tecnologia16
![Page 17: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/17.jpg)
Relatório de execução resumido gerado a cada execução de script de teste automatizado;
Cada teste automático atualizava a tabela de resultados, ao final, os dados desta tabela era exportado e organizado;
Instituto Nokia de Tecnologia17
Execução – Geração dos resultados
![Page 18: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/18.jpg)
Feito na ferramenta TRAC:
Instituto Nokia de Tecnologia18
Execução – Cadastro de Defeitos
![Page 19: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/19.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia19
Agenda
![Page 20: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/20.jpg)
80% dos defeitos encontrados foram detectados pelas execuções automáticas;
A maior parte do processo de ETL foi testada: Na migração de dados do legado para o stage foi
alcançada 100% de cobertura com execuções de teste; Dados do stage para o data mart obtiveram 80% de
cobertura com testes automáticos;
De todos os defeitos encontrados, 15% destes eram defeitos recorrentes;
A suíte de teste de todo o Projeto continha 136 casos de teste. Destes apenas 3% não foram automatizados.
Instituto Nokia de Tecnologia20
Resultados
![Page 21: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/21.jpg)
Introdução Contexto do Ambiente Processo de Teste
Processo Manual Processo Iterativo e Automatizado
Execução Resultados Conclusão
Instituto Nokia de Tecnologia21
Agenda
![Page 22: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/22.jpg)
Ganhos na qualidade do processo de desenvolvimento e teste;
Retrabalho de desenvolvimento muito reduzido;
Correção de bugs ainda no sprint corrente;
Execução e relatório de execução gerados automaticamente;
Acurácia dos dados em todo o processo de migração entre as bases de dados;
Confiabilidade nas informações geradas nos relatórios de negócio.
Instituto Nokia de Tecnologia22
Conclusão
![Page 23: Experiência em Processo de Teste Iterativo e Automatizado para Data Warehouse](https://reader036.fdocumentos.tips/reader036/viewer/2022062419/55760abdd8b42a0d5e8b48de/html5/thumbnails/23.jpg)
Instituto Nokia de Tecnologia23
Perguntas ?
QUALIDADE
Verificação
Defeito
SCRUM
Data Warehouse
Migração