Introdução ao Teste de Software

Introdução aoIntrodução aoTeste de SoftwareTeste de Software

Ricardo A. Ramos

[Baseado na apresentação do LABS –ICMC-USP -> http://www.labes.icmc.usp.br]

Organização Organização

� Introdução� Teste de Software

� Terminologia e Conceitos Básicos

Introdução ao Teste de Software 2

� Técnicas e Critérios de Teste� Automatização da Atividade de Teste� Estudos Empíricos

� Perspectivas

IntroduçãoIntrodução

� Qualidade de Software

Conformidade com requisitos funcionaise de desempenho, padrões de desenvolvimento

documentados e características

� Corretitude� Confiabilidade� Testabilidade

documentados e característicasimplícitas esperadas de todo software

profissionalmente desenvolvido.

� Garantia de Qualidade de Software� Conjunto de atividades técnicas aplicadas

durante todo o processo de desenvolvimento

� Objetivo� Garantir que tanto o processo de desenvolvimento

quanto o produto de software atinjam os níveis de qualidade especificados

� VV&T – Verificação, Validação e Teste

� Validação : Assegurar que o produto final corresponda aos requisitos do usuário

� Verificação : Assegurar consistência, completitude e

Estamos construindo o produto certo?

� Verificação : Assegurar consistência, completitude e corretitude do produto em cada fase e entre fases consecutivas do ciclo de vida do software

� Teste : Examina o comportamento do produto por meio de sua execução

Estamos construindo corretamente o produto?

TerminologiaTerminologia

� Defeito Erro Falha� Defeito: deficiência mecânica ou algorítmica

que, se ativada, pode levar a uma falhaErro: item de informação ou estado de

� Erro: item de informação ou estado de execução inconsistente

� Falha: evento notável em que o sistema viola suas especificações

Defeitos no Processo de Defeitos no Processo de DesenvolvimentoDesenvolvimento

� A maior parte é de origem humana� São gerados na comunicação e na

transformação de informações

� Continuam presentes nos diversos produtos de software produzidos e liberados (10 defeitos a cada 1000 linhas de código)

� A maioria encontra-se em partes do código raramente executadas

Defeitos no Processo de Defeitos no Processo de DesenvolvimentoDesenvolvimento

� Principal causa: tradução incorreta de informações

� Quanto antes a presença do defeito for revelada, menor o custo de correção do

revelada, menor o custo de correção do defeito e maior a probabilidade de corrigi-lo corretamente

� Solução: introduzir atividades de VV&T ao longo de todo o ciclo de desenvolvimento

Teste e DepuraçãoTeste e Depuração

� TesteProcesso de executacao de um programa com

o objetivo de revelar a presença de erros.

Contribuem para aumentar a confiança de que o

� Depuração

Conseqüência não previsível do teste.Após revelada a presença do erro, este

deve ser encontrado e corrigido.

Contribuem para aumentar a confiança de que o software desempenha as funções especificadas.

Teste de Software Teste de Software

� Fundamental em todos os ramos de engenharia� Software: produto da Engenharia de Software

� Atividade essencial para ascensão ao nível 3

� Atividade essencial para ascensão ao nível 3 do Modelo CMM/SEI

� Atividade relevante para avaliação da característica funcionalidade(ISO 9126,14598-5)

Teste de SoftwareTeste de Software

Objetivo: revelar a presença de erros

� Inexistência de erro:� Software é de alta qualidade?� Conjunto de casos de teste T é de baixa qualidade?

� Defeitos e erros não revelados� Falhas se manifestam durante a utilização

pelos usuários� Erros devem ser corrigidos durante a

� Erros devem ser corrigidos durante a manutenção

� Alto custo

� Falhas graves� Qualidade e confiabilidade suspeitas� Modificação do projeto� Novos testes

� Erros de fácil correção� Funções aparentemente funcionam bem� Qualidade e confiabilidade aceitáveis� Testes inadequados para revelar a presença de

erros graves� Novos testes

� Limitações� Não existe um algoritmo de teste de propósito

geral para provar a corretitude de um programa� Em geral, é indecidível se dois caminhos de um

mesmo programa ou de diferentes programas

mesmo programa ou de diferentes programas computam a mesma função

� É indecidível se existe um dado de entrada que leve à execução de um dado caminho de um programa; isto é, é indecidível se um dado caminho é executável ou não

Atividades deTeste

Configuraçãode Software

Avaliação

Resultadosde Teste

Depuração

Configuraçãode Teste Resultados

Esperados

Dados da Taxade Erros

Modelo deConfiabilidade

Depuração

Correções

ConfiabilidadePrevista

� Fases de Teste� Teste de Unidade

� Identificar erros de lógica e de implementaçãoem cada módulo do software, separadamente

� Teste de Integração� Identificar erros associados às interfaces entre os

módulos do software

� Teste de Sistema� Verificar se as funções estão de acordo com a

especificação e se todos os elementos do sistema combinam-se adequadamente

� Etapas do Teste� Planejamento� Projeto de casos de teste� Execução do programa com os casos de teste

� Execução do programa com os casos de teste� Análise de resultados

� Caso de teste� Especificação de uma entrada para o programa e

a correspondente saída esperada� Entrada: conjunto de dados necessários para uma

execução do programa

execução do programa� Saída esperada: resultado de uma execução do

programa� Oráculo

� Um bom caso de teste tem alta probabilidade de revelar um erro ainda não descoberto

� Projeto de casos de teste� O projeto de casos de teste pode ser tão difícil

quanto o projeto do próprio produto a ser testado� Poucos programadores/analistas gostam de teste

� Poucos programadores/analistas gostam de teste e, menos ainda, do projeto de casos de teste

� O projeto de casos de teste é um dos melhores mecanismos para a prevenção de defeitos

� O projeto de casos de teste é tão eficaz em identificar erros quanto a execução dos casos de teste projetados

� Maneira sistemática e planejada para conduzir os testes� Técnicas e Critérios de Teste

� Conjunto de Casos de Teste T

� Conjunto de Casos de Teste T� Características desejáveis

� Deve ser finito� Custo de aplicação deve ser razoável

Técnicas e Critérios de TesteTécnicas e Critérios de Teste

� Critério de Teste C� Objetivo

� Obter, de maneira sistemática, um conjunto T decasos de teste que seja efetivo quanto à meta principal de teste (revelar a presença de erros no programa)

de teste (revelar a presença de erros no programa)

� Propriedadesi) incluir todos os desvios de fluxo de execuçãoii) incluir pelo menos um uso de todo resultado

computacionaliii) T mínimo e finito

� Critério de Seleção de Casos de Teste� Procedimento para escolher casos de teste

para o teste de P

� Critério de Adequação

� Critério de Adequação� Predicado para avaliar T no teste de P� T é C-adequado ⇔ todo elemento requerido

por C é exercitado por pelo menos porum t, t ∈ T

� Técnica Funcional� Requisitos funcionais do software

� Critério Particionamento em Classes de Equivalência

� Técnica Estrutural

� Estrutura interna do programa� Critérios Baseados em Fluxo de Dados

� Técnica Baseada em Erros� Erros mais freqüentes cometidos durante o

processo de desenvolvimento de software� Critério Análise de Mutantes

Automatização da Atividade de TesteAutomatização da Atividade de Teste

� Ferramentas de Teste

Para a aplicação efetiva de um critério de teste faz-se necessário o uso de ferramentas automatizadas que

apóiem a aplicação desse critério.

� Contribuem para reduzir as falhas produzidas pela intervenção humana� Aumento da qualidade e produtividade da atividade de

teste� Aumento da confiabilidade do software

� Facilitam a condução de estudos comparativos entre critérios

� Critérios Estruturais: Fluxo de Dados� Asset, Proteste – programas em Pascal� xSuds – programas em C, C++ e Cobol� Poke-Tool – programas em C, Cobol e Fortran

� Critérios Baseados em Mutação� Mothra – programas em Fortran� Proteum – programas em C (unidade)� Proteum/IM – programas em C (integração)� Proteum/RS – especificações

� xSuds (Software Understanding & Diagnosis System)� xAtac: teste� xSlice: depuração

� xSlice: depuração� xVue: manutenção� xProf: melhoria de performance� xDiff: comparação de código

Estado da Arte X Estado da Prática

Técnica Funcional (Caixa Preta)Técnica Funcional (Caixa Preta)

� Baseia-se na especificação do software para derivar os requisitos de teste

� Aborda o software de um ponto de vista macroscópico

macroscópico� Envolve dois passos principais:

� Identificar as funções que o software deve realizar (especificação dos requisitos)

� Criar casos de teste capazes de checar se essas funções estão sendo executadas corretamente

Técnica FuncionalTécnica Funcional

� Problema� Dificuldade em quantificar a atividade de teste:

não se pode garantir que partes essenciais ou críticas do software foram executadas

� Dificuldade de automatização

� Critérios da Técnica Funcional� Particionamento em Classes de Equivalência� Análise do Valor Limite� Grafo de Causa-Efeito

Técnica Funcional: ExemploTécnica Funcional: Exemplo

� Particionamento em Classes de Equivalência� Divide o domínio de entrada do programa em

classes de dados (classes de equivalências)

classes de dados (classes de equivalências)� Os dados de teste são derivados a partir das classes

de equivalência

� Passos� Identificar classes de equivalência

� Condições de entrada� Classes válidas e inválidas

� Definir os casos de teste� Enumeram-se as classes de equivalência� Casos de teste para as classes válidas� Casos de teste para as classes inválidas

� Especificação do programa Identifier

O programa deve determinar se um identificador é válido ou não em Silly Pascal (uma variante do Pascal). Um identificador

válido deve começar com uma letra e conter apenas letras ou

válido deve começar com uma letra e conter apenas letras ou dígitos. Além disso, deve ter no mínimo um caractere e no

máximo seis caracteres de comprimento.

� Exemplo

abc12 (válido); cont*1 (inválido);

1soma (inválido);a123456 (inválido)

� Classes de equivalência

Tamanho t do identificador

Condições de Entrada Classes Válidas Classes Inválida s

1 ≤ t ≤ 6(1)

t > 6(2)

Primeiro caractere c é uma letra

Só contém caracteres válidos

Sim(3)

Não(4)

Sim(5)

Não(6)

� Exemplo de Conjunto de Casos de Teste� T0 = {(a1,Válido), (2B3, Inválido), (Z-12, Inválido), (A1b2C3d, Inválido)}

(1, 3, 5) (4) (6) (2)

Técnica Funcional: Análise de valorTécnica Funcional: Análise de valor--limitelimite

� Observações da prática profissional mostram que grande parte dos erros ocorre nas fronteiras do domínio de entrada

� Completa a técnica de classes de equivalência

� Completa a técnica de classes de equivalência� Casos de teste são selecionados nas bordas da

classe.� Também deriva casos de testes para a saída.

Técnica Funcional: Análise de valorTécnica Funcional: Análise de valor--limitelimite

� Se os limites da condição de entrada forem a e b, projetar c.t. para os valores imediatamente acima e abaixo de a e b.

� Se uma condição de entrada especifica vários valores , projetar casos de teste para os valores imediatamente acima e abaixo do valor mínimo e do valor máximo.

� Aplicar as mesmas diretrizes para os valores de saída.� Se as estruturas de dados internas do programa têm limites

especificados, projeto um caso de teste para exercitar a estrutura de dados no seu limite.

� Classes de equivalência

Tamanho t do identificador

Condições de Entrada Classes Válidas Classes Inválida s

t =1, 6(1)

t =0, 7(2)

Primeiro caractere c é uma letra

Só contém caracteres válidos

� Exemplo de Conjunto de Casos de Teste� T0 = { (a, Válido), (Abcdef, Válido), ( , Inválido), (abcdefg, Inválido}

(1) (1) (2) (2)

Técnica Estrutural (Caixa Branca)Técnica Estrutural (Caixa Branca)

� Baseada no conhecimento da estrutura interna (implementação) do programa

� Teste dos detalhes procedimentais� A maioria dos critérios dessa técnica utiliza

� A maioria dos critérios dessa técnica utiliza uma representação de programa conhecida como grafo de programa ou grafo de fluxo de controle

Técnica EstruturalTécnica Estrutural

� Grafo de Programa� Nós: blocos “indivisíveis”

� Não existe desvio para o meio do bloco� Uma vez que o primeiro comando do bloco é

� Uma vez que o primeiro comando do bloco é executado, os demais comandos são executados seqüencialmente

� Arestas ou Arcos: representam o fluxo de controle entre os nós

/* 01 */ {/* 01 */ char achar;/* 01 */ int length, valid_id;/* 01 */ length = 0;/* 01 */ printf (“Identificador: “);/* 01 */ achar = fgetc (stdin);/* 01 */ valid_id = valid_s(achar);/* 01 */ if (valid_id)/* 02 */ length = 1;/* 03 */ achar = fgetc (stdin);

Identifier.c (função main) 01

/* 03 */ achar = fgetc (stdin);/* 04 */ while (achar != '\n')/* 05 */ {/* 05 */ if (!(valid_f(achar)))/* 06 */ valid_id = 0;/* 07 */ length++;/* 07 */ achar = fgetc (stdin);/* 07 */ }/* 08 */ if (valid_id && (length >= 1) && (length < 6) )/* 09 */ printf (“Valido\n“);/* 10 */ else/* 10 */ printf (“Invalido\n“);/* 11 */ }

Técnica EstruturalTécnica Estrutural

Grafo de Programa� Detalhes considerados

� nó

� arco� caminho

� simples (2,3,4,5,6,7) � completo

(1,2,3,4,5,6,7,4,8,9,11)

� fluxo de controleGrafo de Programa do identifier

Gerado pela View-Graph

Técnica Baseada em ErrosTécnica Baseada em Erros

� Os requisitos de teste são derivados a partir dos erros mais freqüentes cometidos durante o processo de desenvolvimento do software

software� Critérios da Técnica Baseada em Erros

� Semeadura de Erros� Teste de Mutação

� Análise de Mutantes (unidade)� Mutação de Interface (integração)

� Hipótese do Programador Competente

Programadores experientes escrevem programascorretos ou muito próximos do correto.

Teste de MutaçãoTeste de Mutação

� Efeito de Acoplamento

Casos de teste capazes de revelar erros simples sãotão sensíveis que, implicitamente, também são

capazes de revelar erros mais complexos.

M...M...M02M01 M...M...M...

S(t) = P(t) ∧ P(t) ≠ Mi(t) ⇒P não contém o erro modelado por Mi(t)

M...M...M... M...M...M...

M...Φ(P)

� Status após a execução de P e Mi

M...M...M...M...

Mutantes Mortos∃ t / P(t) ≠ Mi(t)

M... M... M...M...M...M... M... M...M...

M...Φ(P)

M...Mutantes Vivos∀ t ∈ T ⇒ P(t) = Mi(t)

MutantesNão-Equivalentes

MutantesEquivalentes

M01 M02 M03 M04 M05 M06

M07 M08 M09 M10 M11

op3M12 M13 M14 M15 M16

M17 M18 M19 M20 M21 M22

Não-Equivalentes Equivalentes

Análise de MutantesAnálise de Mutantes

� Passos da Análise de Mutantes1- Geração de Mutantes

Para modelar os desvios sintáticos mais comuns,operadores de mutação são aplicados a um programa,

transformando-o em programas similares: mutantes .

Mutantes

Operadoresde MutaçãoP

Programaem Teste

� Seleção dos operadores de mutação� Abrangente

� Capaz de modelar a maior parte dos erros

� Pequena cardinalidade

� Pequena cardinalidade� Problemas de custo

� Quanto maior o número de operadores utilizados, maior o número de mutantes gerados

� Exemplo de MutantesMutante Gerado pelo Operador OLAN

if (valid_id * (length >= 1) && (length < 6) )printf ("Valido\n");

Mutante Gerado pelo Operador ORRN

if (valid_id && (length >= 1) && (length <= 6) )printf ("Valido\n");

elseprintf ("Invalido\n");

� Passos da Análise de Mutantes2 - Execução do Programa

� Execução do programa com os casos de teste

3 - Execução dos Mutantes

� Execução dos mutantes com os casos de teste� Mutante morto� Mutante vivo

4 - Análise dos Mutantes Vivos� Mutante equivalente� Inclusão de novos casos de teste

Escore de mutação: ms(P,T) =M(P) - EM(P)

DM(P,T)

� Ferramenta Proteum� Critério Análise de Mutantes� Linguagem C� Outras Características

� Importação de casos de teste� Inserção e remoção de casos de teste dinamicamente� Casos de teste podem ser habilitados ou desabilitados� Seleção dos operadores a serem utilizados

� 71 operadores: comandos, operadores, variáveis e constantes

� Geração de relatórios

� Ferramenta Proteum� Interface gráfica

� Mais fácil� Constante interação com o testador

� Scripts� Possibilitam a condução de uma sessão de teste de

modo programado� Domínio dos conceitos de mutação e dos programas

que compõem as ferramentas

� Proteum: Interface Gráfica

� Proteum: Criando uma Sessão de Teste

� Proteum: Gerando Mutantes

� Status após T0 (a) e T2 (b)

(a) (b)

� T0 = { (a1, Válido), (2B3, Inválido), (Z-12, Inválido), (A1b2C3d, Inválido)}� T1 = T0 ∪ {(1#, Inválido), (%, Inválido), (c, Válido)}� T2 = T1 ∪ {(#-%, Inválido)}

� Proteum: Visualização de Mutantes

� Status após T3 (a) e T4 (b)

(a) (b)

� T3 = T2 ∪ {(zzz, Válido), (aA, Válido), (A1234, Válido), (ZZZ, Válido),(AAA, Válido), (aa09, Válido), ([, Inválido), ({, Inválido),(x/, Inválido), (x:, Inválido), (x18, Válido), (x[[, Inválido), (x{{, Inválido)}

� T4 = T3 ∪ {(@, Inválido), (`, Inválido), (x@, Inválido), (x`, Inválido)}

� Mutantes VivosMutante Gerado pelo Operador VTWD

if (valid_id && (length >= 1) && ( PRED(length) < 6) )printf ("Valido\n");

elseprintf ("Invalido \n");

Mutante Gerado pelo Operador ORRN

if (valid_id && (length >= 1) && (length <= 6) )printf ("Valido\n");

elseprintf ("Invalido\n");

printf ("Invalido \n");

t = {(ABCDEF, Válido)} Saída obtida = Inválido

/* 01 */ {/* 01 */ char achar;/* 01 */ int length, valid_id;/* 01 */ length = 0;/* 01 */ printf ("Digite um possível identificador\n ");/* 01 */ printf ("seguido por <ENTER>: ");/* 01 */ achar = fgetc (stdin);/* 01 */ valid_id = valid_s(achar);/* 01 */ if (valid_id)/* 02 */ length = 1;

Identifier.c (função main)Versão Corrigida

/* 02 */ length = 1;/* 03 */ achar = fgetc (stdin);/* 04 */ while (achar != '\n')/* 05 */ {/* 05 */ if (!(valid_f(achar)))/* 06 */ valid_id = 0;/* 07 */ length++;/* 07 */ achar = fgetc (stdin);/* 07 */ }/* 08 */ if (valid_id && (length >= 1) && (length <= 6) )/* 09 */ printf ("Valido\n");/* 10 */ else/* 10 */ printf ("Invalido\n");/* 11 */ }

� Status após T5 no programa corrigido

� T5 = T4 ∪ {(ABCDEF, Válido)}

ConclusõesConclusões

� A atividade de teste é fundamental no processo de desenvolvimento de software� Qualidade do produto

� Alto custo da atividade de teste

Alto custo da atividade de teste� Desenvolvimento e aplicação de técnicas e

critérios de teste� Desenvolvimento e utilização de

ferramentas de teste� Estudos teóricos e empíricos para

comparar os diversos critérios

PerspectivasPerspectivas

� Estratégias de Teste� Teste de Integração� Teste Orientado a Objeto� Teste de Especificação

� Teste de Especificação� Teste de Sistemas Reativos� Ambiente Integrado para Teste, Depuração e

Manutenção de Software� Teste de programas orientados a aspectos� Teste com o apoio de orientação a aspectos

Introdução ao Teste de Software › ... › ES_I_2010_2 › TesteSoftware.pdf · Teste de...

Documents

Transcript of Introdução ao Teste de Software › ... › ES_I_2010_2 › TesteSoftware.pdf · Teste de...

Palestra teste de software Univel

Aula18 Teste Software

Teste de Software, Teste de performance, Teste de Aplicações

Es06 teste de software

Processo de Teste de Software

PHPUnit e teste de software

Técnicas de teste caixa-aberta para a validação de software Teste Estrutural de Software.

Teste de Software Conceitos iniciais. Teste de Software O que é Teste de Software?

Qualidade e Teste de Software

Teste de Software - Unesp

Teste de Software - arquivos.info.ufrn.brarquivos.info.ufrn.br/.../TesteDeSoftware_WorkshopSINFO2014.pdf · Desafios do Teste de Software Atividades Realizadas em 2014 Atividades

slides teste de software

Teste de software

Monografia Teste de Software

Roteiros de Teste - software

Teste de Software (palestra corporativa)

Teste de Sistemas de Software

Teste de Software Parte 1

Teste de Software - edisciplinas.usp.br · Teste de Software Engenharia de Software Profa. Dra. Elisa Yumi Nakagawa 1º semestre de 2015 . Tópicos da Aula ! Teste de Software ! Terminologia