Teste Formal de Usabilidade

Professor: Luiz Agner

Alunos: Fernanda Sarmento e Lucien Evangelista

PUC - Rio | Pontifícia Universidade Católica do Rio de Janeiro

Pós-graduação em Ergodesign de Interfaces: Usabilidade e Arquitetura de Informação

Junho/2016

Atividade proposta 1: Mini-seminários- Textos: capítulos selecionados de “Handbook of Usability Testing” de Rubin e Chsinell

- Apresentação oral com apoio visual

- Duração: até 20 minutos [20 telas]

Sobre o livro- Handbook = Livro "como fazer", com passo a passo;

- Vem sendo atualizado desde 1994;

- Sobre os autores:

- Jeffrey Rubin: pioneiro no ramos, com mais de

30 anos de experiência em ergonomia e

usabilidade, autor da primeira ediçao do livro;

- Dana Chisnell: pesquisadora independente e

consultora de usabilidade, comunicaçao

técnica e desenvolvimento desde 1982;

Capítulo 12Comunicar Descobertas e Recomendações

Contexto do capítulo4 passos envolvidos na análise do teste e na elaboração de recomendações:

1. Compile e resuma os dados.

2. Analise os dados.

3. Desenvolva descobertas e recomendações.

4. Produza o relatório final.

Capítulo 11

Capítulo 12

Estrutura do capítulo12. Comunique Descobertas e Recomendações

12.1. O que é uma descoberta?

12.2. Dê forma às descobertas

12.3. Faça um esboço do relatório

12.3.1. Por que Escrever um Relatório?

12.3.2. Organize o Relatório

12.4. Desenvolva recomendações

12.4.1. Concentre-se em Soluções que Terão o Impacto Mais Amplo

12.4.2. Ignore Considerações Políticas para o Primeiro Esboço

12.4.3. Forneça Recomendações de Curto e Longo Prazo

12.4.4. Indique áreas nas quais há necessidade de mais pesquisas

12.4.5. Seja completo/profundo

12.4.6. Disponibilize material de apoio para os revisores

12.5. Refine o formato do relatório

12.6. Crie um vídeo ou uma apresentação dos destaques

12.6.1. Cuidados em relação aos destaques

12.6.2. Passos para produzir um vídeo de destaques

O que é…?

Resultados Dados coletados e analisados

Descobertas Inferências feitas a partir da análise e

síntese dos resultados

Recomendações Visão do time envolvido para

solucionar os problemas

531

469+

Descubra as descobertas!Etapas:

1. Escreva as descobertas

2. Amplie a discussão de cada descoberta com citações narrativas dos participantes e ilustrações (como

capturas de tela)

3. Retorne ao início da seção de resultados do relatório para redigir um trecho descrevendo descobertas

globais e conclusões gerais.

4. Organize e agrupe as descobertas de alguma forma que faça sentido. Eis alguns grupos possíveis:

a. Tarefa

b. Questão de pesquisa

c. Parte de produto

d. Como a equipe é organizada (arquitetura da informação, comunicação visual, design de interação,

base de dados, comunicação técnica ou design de informação, etc.)

Descubra as descobertas!Uma vez que os grupos tenham sido criados, organizar a partir de

critérios estabelecidos:

1. Local x global (um problema específico x um problema mais geral

ou fundamental)

2. Impacto nos usuários (perda de tempo ou dados, ferimentos ou

possíveis mortes)

3. Frequência

4. Viabilidade

5. Onde, no produto, o problema ocorreu

6. Tarefa

7. Custo para consertar

8. Nível de constrangimento para o usuário

Dica: Uma boa forma de organizar é começar pelos problemas mais gerais/globais e

depois detalhar os pontos específicos. Seja como for, LISTE AS DESCOBERTAS e

depois organize.

Tarefa 1 Tarefa 2

Prob Glob 2 Prob Glob 2

Tarefa 3

Prob Glob 1 Prob Glob 1 Prob Esp 1

Prob Glob 3 Prob Esp 1

Prob Esp 1

Prob Esp 2

Esboço do relatório

Descobertas RecomendaçõesResultados

Testes RelatórioEsboço

1. Registre tudo imediatamente após os testes, mas dê uma pausa antes de começar a redigir as descobertas;

2. O todo é maior que a soma das partes. Os problemas identificados podem influenciar uns aos outros,

sendo necessária uma visão que considere todos esses aspectos;

3. Conhecimento sobre ergonomia, psicologia, entre outros são úteis para ajudar a analisar e interpretar os

dados. O esboço é um bom momento para consultar especialistas ou pessoas mais experientes.

4. É normal que algumas melhorias sejam implementadas antes do relatório final, mas isso não é desculpa:

sempre produza o relatório final, mesmo que ele seja curto e posterior ao fato. Muitas vezes ele é o único

documento com registro do que ocorreu;

5. A qualidade do seu relatório é um reflexo de como você encara o desafio: se vê apenas como uma

“amarração de pontas”, assim será; se tentar fazer dele um show de estatísticas, dificilmente terá atenção.

Crie um relatório que considere o público, seja acessível e compreensível por si mesmo.

Mãos à obra!Objetivos de se fazer um relatório:

1. Documentar descobertas e recomendações;

2. Registrar que o estudo ocorreu e quais eram suas metas e objetivos;

3. Explorar problemas metodológicos ou erros de protocolo que podem ter influenciado os resultados;

4. Dar direcionamento para designers e desenvolvedores sobre como remediar problemas de design;

5. Reportar para a administração os destaques relacionados aos negócios.

Ou seja: apoiar e iniciar a mudança, direcionar a ação, prover um registro histórico e educar.

Como organizar?O relatório sempre deve conter:

1. Introdução

a. Por que o teste foi feito?

b. Como tudo foi preparado?

2. Desenvolvimento

a. O que aconteceu?

3. Conclusão

a. Implicações do que aconteceu

b. Qual é a sua recomendação em função disso?

Sugestão de modeloA sugestão a seguir serve para testes de avaliaçao ou exploratórios*:

1. Sumário Executivo

Sinopse da logística do teste, principais descobertas, recomendações, futuras pesquisas necessárias e

principais benefícios da realização do teste.

Dica #1: Manter em uma página

Dica #2: Criar uma tabela de perguntas e respostas (imagem)

Exemplos de perguntas:

Que tipos de informações eles esperam encontrar no site? Em que profundidade?

O quão facilmente e com sucesso os participantes encontram as ferramentas?

Quão satisfeitos os participantes estão com a experiência de usar cada uma das ferramentas?

Que comentários que os participantes têm sobre o valor das ferramentas?

As ferramentas são úteis e desejáveis, bem como utilizáveis?

*caso tenha interesse em modelos e esteja fazendo teste de validação ou comparação sugere-se consultar o Common Industry Format que é parte do padrão ISO 25062

Sugestão de modelo2. Método

Descreva a natureza de pesquisa, como foi organizada, características dos participantes e método de coleta

de dados. Se o seu plano de teste tiver sido bem feito, basta repetí-lo aqui com pequenos ajustes de tempo

verbal e de questões que podem ter sido alteradas durante o percurso.

3. Resultados

Inclua um resumo dos resultados quantitativos (tarefas completas, erros, notas, etc.), e qualitativos (tipos de

erros, etc.), utilizando a forma mais concisa e legível possível. Não inclua aqui o material “cru”, se for

necessário, pode colocá-lo como anexo.

4. Descobertas e Recomendações

Toda a informação analisada deve ser apresentada aqui sob forma de descoberta, juntamente com as

recomendações, quando apropriado. Devem ser destacados os princpais pontos de forma que sejam

compreensíveis sem necessidade de ler o texto de apoio.

Dica: Apresentar também descobertas positivas para tornar o público mais receptivo às negativas.

Atenção às recomendaçõesBem acompanhado: Descobertas e conclusões podem ser fruto do trabalho de uma única pessoa, mas as

recomendações não deveria ser um trabalho solitário. Busque equipes multidisciplinares para construir as

soluções. Perspectivas diferentes são essenciais.

Todos devem comprar o desafio: É importante alinhar os resultados que serão divulgados com os

desenvolvedores e designers envolvidos no projeto, negociando e tornando-os parte do processo. Apenas enviar o

relatório pode ser ineficaz.

Alto impacto: As recomendações interagem umas com as outras, mas certamente tem impacto/importância

diferentes. Concentre-se em soluções que terão o impacto mais amplo no produto (p.ex.: uma mudança em um

menu fixo x mudança no botão de uma página).

Xô, pessimildo: Pensar em tudo que pode não ser possível ou realizável desde o princípio pode gerar travas

desnecessárias. Por isso, ignore considerações políticas no primeiro esboço das recomendações (mas não deixe de

fazer esse filtro posteriormente).. Você ficará surpreso com as possibilidades de uma ideia aparentemente

imposível que é discutida ao invés de simplesmente engavetada.

Atenção às recomendaçõesHoje e amanhã: Com frequencia os testes apresentaram resultados que não poderão ser implementados a tempo,

mesmo assim forneça recomendações de curto e longo prazo.

. Curto-prazo: mudanças que podem ser feitas sem alterar a programação.

. Longo-prazo: mudanças que são necessárias para sucesso a longo-prazo. É importante que a organização

esteja ciente de que mudanças do tipo “tapa-buraco” são uma tentativa de lançar o produto no prazo previsto com

o mínimo de problemas, mas não são a solução de todos os problemas.

O que falta: É comum que o resultado de uma pesquisa de usabilidade sejam novas perguntas, Caso isso ocorra,

exponha as limitações do estudo atual e indique as áreas nas quais há necessidade de mais pesquisas

Seja completo/profundo: Reveja as questões de pesquisa e garanta que todos os pontos foram identificados e

endereçados.

Se quiser tem mais: A maioria das vezes é desnecessário incluir o material cru, mas se você acredita que ele será

útil para os leitores, coloque-o como apêndice. Importante: cuidado com nomes caso existam questões ligadas à

privacidade.

Pode ser melhor?Pesquisa: Peça o feedback das pessoas que recebem o relatório (Conseguiu a informação que desejava? O formato

estava bom?)

Criar um vídeo: Cabe ressaltar que o vídeo NÃO é capaz de reproduzir o entendimento gerado em pessoas que

acompanham os testes. Trechos de pesquisas podem ser ilustrativos, mas representam apenas um pequeno

fragmento de uma extensa entrevista, portanto, é preciso muito cuidado na produção deles e qual é o objetivo de

comunicação dos mesmos.

Dica: Fazer uma planilha que organiza o roteiro para servir como

objeto de discussão, uma vez que é mais fácil mexer e reorganizar a

planilha do que um arquivo de vídeo (imagem).

Obrigado!fernanda.davila.melo.sarmento@gmail.com

luciencastro90@gmail.com