Modelo de Dissertação - Univalisiaibib01.univali.br/pdf/Franciela Nissola.pdf · ERGOLIST...

FRANCIELA NISSOLA

FRAMEWORK PARA APOIO A ELABORAÇÃO DE LISTAS DE

VERIFICAÇÃO PARA INSPEÇÃO DA USABILIDADE

Itajaí (SC), agosto de 2014

UNIVERSIDADE DO VALE DO ITAJAÍ

CURSO DE MESTRADO ACADÊMICO EM

COMPUTAÇÃO APLICADA



por

Franciela Nissola

Dissertação apresentada como requisito parcial à

obtenção do grau de Mestre em Computação

Aplicada.

Orientadora: Fabiane Barreto Vavassori Benitti,

Dra.

Itajaí (SC), agosto de 2014

FOLHA DE APROVAÇÃO

Esta página é reservada para inclusão da folha de assinaturas, a ser disponibilizada pela

Secretaria do Curso para coleta da assinatura no ato da defesa.

Dedico este trabalho com carinho aos meus pais, Lourdes e Genir, pelo amor e apoio incondicional

que sempre me foi oferecido.

“A mente que se abre para uma nova ideia jamais voltará ao seu tamanho original”.

Albert Einstein

AGRADECIMENTOS

Em especial a Deus, nesta etapa importante da minha vida, pela realização deste meu sonho.

A minha orientadora, professora Fabiane Barreto Vavassori Benitti, pela orientação.

Aos meus pais, Lourdes e Genir, por nunca medirem esforços em apoiar meus estudos.

Ao Dhiego Tosatti, por ser fundamental na conclusão deste mestrado.

Ao meu colega Jefferson Seide Molléri, por toda a ajuda recebida durante o mestrado.

Aos colaboradores desta pesquisa pelas avaliações de usabilidade realizadas.

Aos amigos que fiz no mestrado e que guardo no meu coração: Jefferson, Ana, Gisele,

Douglas, Chaiene e André.



Franciela Nissola

Agosto / 2014

Orientadora: Fabiane Barreto Vavassori Benitti, Dra.

Área de Concentração: Computação Aplicada

Linha de Pesquisa: Engenharia de Software

Palavras-chave: Usabilidade, Avaliação, Framework, Checklist.

Número de páginas: 185

RESUMO

A usabilidade de software é tratada como fator chave para o desenvolvimento de aplicações

bem sucedidas. Essa importância foi adquirida ao longo dos anos e pode ser evidenciada pela

grande diversidade de pesquisas encontradas na área. Nestas pesquisas, diversos modelos de

avaliação da usabilidade já foram propostos e uma série de atributos específicos para avaliação pode

ser encontrada nestes modelos. As pesquisas também apresentam modelos e atributos para

avaliação de ambientes de execução específicos. Entretanto, a avaliação da usabilidade ainda é uma

tarefa complexa nas empresas, tendo em vista que as pesquisas divergem nos atributos para

avaliação, gerando dificuldades no momento da seleção de quais atributos deve-se avaliar. Além

disso, muitas vezes estes atributos não vêm acompanhados de recomendações objetivas para

avaliação. Neste contexto, este projeto contribui com a área da usabilidade, fornecendo aos

envolvidos com a inspeção, um framework que apoie a seleção de atributos de inspeção da

usabilidade, fornecendo questões, recomendações e métricas que poderão auxiliar com a avaliação

de cada atributo, de acordo com o ambiente de execução. Para o desenvolvimento deste framework,

fez-se necessária especificação, planejamento e implementação de uma ferramenta computacional

que contemple o framework proposto, objetivando gerar maior facilidade e motivação de aplicação

de práticas de usabilidade em processos de desenvolvimento de software. A abordagem GQM (bem

como avaliação através de questionário) foi utilizada a fim de avaliar a contribuição obtida com a

adoção de um framework que apoie a elaboração de listas de verificação para a inspeção da

usabilidade via checklists, demonstrando incremento da facilidade e motivação nas avaliações de

usabilidade e apresentando-se adequado para ser utilizado em avaliações de usabilidade durante

processos de desenvolvimento de software.

FRAMEWORK TO SUPPORT THE ELABORATION OF

CHECKLISTS FOR INSPECTION OF USABILITY

Franciela Nissola

Agosto / 2014

Advisor: Fabiane Barreto Vavassori Benitti, Dra.

Area of Concentration: Applied Computer Science

Research Line: Software Engineering

Keywords: Usability, Evaluation, Framework, Checklist

Number of pages: 185

ABSTRACT

Software usability is seen as a key factor for the development of successful applications.

This importance has increased over the years, and can be seen in the wide range of studies in the

area. In these studies, models for assessing usability have been proposed, and a number of specific

attributes for evaluation can be found in them. The studies also present models and attributes for

assessing specific execution environments. However, assessment of usability is still a complex task

in businesses, given that the studies differ as to the attributes for evaluation, creating difficulties

when it comes to selecting which attributes to evaluate. Also, these attributes are often not

accompanied by recommendations for objective evaluation. In this context, this project seeks to

contribute to the field of usability, providing those involved with the evaluation with a framework

to support the selection of attributes for inspection usability, and offering questions,

recommendations and metrics that can assist in the evaluation of each attribute, according to the

execution environment. To develop this framework, the specification, design and implementation of

a computational tool that addresses the proposed framework are needed, aiming to improve the ease

of application and motivation of usability practices in software development processes. The GQM

approach (as well evaluations through questionnaires) was used to evaluate the contribution

obtained through the adoption of a framework that supports the development of checklists for

inspection usability, demonstrating increased ease and motivation in the assessments of usability,

and proving suitable for use in usability assessments during software development processes.

LISTA DE ILUSTRAÇÕES

Figura 1. Estrutura de lista de verificação de um método de avaliação (mede-pros) ........................ 48

Figura 2. Processo de seleção de estudos primários .......................................................................... 59 Figura 3. Técnicas de avaliação da usabilidade ................................................................................. 61 Figura 4. Quantidade de estudos avaliados por ano ........................................................................... 62 Figura 5. Atividades realizadas para geração de componentes .......................................................... 76 Figura 6. Fontes de informação para concepção do framework ........................................................ 78

Figura 7. Estrutura de relacionamento entre componentes do framework ........................................ 80 Figura 8. Validação da prática P1 – Seleção de Ambiente de execução. .......................................... 83 Figura 9. Validação da prática P2 - Características e Atributos. ....................................................... 84

Figura 10. Validação da prática P3 - Questão. ................................................................................... 85 Figura 11. Validação da prática P4 – Recomendações/Métricas. ...................................................... 86 Figura 12. Situação atual do framework proposto ............................................................................. 87 Figura 13. Adição de ambiente de execução ao framework proposto ............................................... 88

Figura 14. Adição de características e atributos ao framework proposto .......................................... 88 Figura 15. Identificação de estudos utilizados para teste de instanciação com o framework ............ 89 Figura 16. Informações geradas a partir das cinco instanciações do framework ............................... 91 Figura 17. Modelo de dados da ferramenta ........................................................................................ 98

Figura 18. Tela inicial – acesso administrador ................................................................................ 100 Figura 19. Cadastro de ambiente de execução ................................................................................. 102

Figura 20. Cadastro de características .............................................................................................. 102 Figura 21. Detalhes do cadastro de características .......................................................................... 103

Figura 22. Vinculação entre componentes ....................................................................................... 104 Figura 23. Lista de vínculos entre características e atributos .......................................................... 105

Figura 24. Lista de checklists ........................................................................................................... 106 Figura 25. Nova execução de checklist ............................................................................................ 107 Figura 26. Nova execução de checklist – definição de atributos ..................................................... 108

Figura 27. Execução de avaliação .................................................................................................... 109 Figura 28. Execução de avaliação – resultados................................................................................ 109 Figura 29. Avaliação subjetiva – distribuição de métricas .............................................................. 120

Figura 30. Checklists de usabilidade por papel do desenvolvimento de software ........................... 127 Figura 31. Cenário de questões respondidas .................................................................................... 137

Figura 32. Distribuição de respostas por questão ............................................................................ 139 Figura 33. Distribuição de respostas conforme objetivo .................................................................. 139

Quadro 1. Técnicas de avaliação da usabilidade ................................................................................ 41 Quadro 2. Requisitos Gerais .............................................................................................................. 93

Quadro 3. Requisitos para gestão de informação de componentes .................................................... 94 Quadro 4. Requisito para gestão de execuções .................................................................................. 95

Quadro 5. Requisitos não funcionais ................................................................................................. 96 Quadro 6. Objetivo 1 (G1) ............................................................................................................... 117 Quadro 7. Objetivo 2 (G2) ............................................................................................................... 117

Quadro 8. Objetivo 3 (G3) ............................................................................................................... 117 Quadro 9. Questões para avaliação do framework .......................................................................... 118 Quadro 10. Métricas para avaliação subjetiva do framework proposto ........................................... 119 Quadro 11. Atributos de avaliação do framework ........................................................................... 120

Quadro 12. Interpretação da avaliação da facilidade no framework* .............................................. 121 Quadro 13. Interpretação da avaliação da motivação no framework* ............................................. 121

Quadro 14. Interpretação da avaliação da adequação no framework* ............................................. 121 Quadro 15. Interpretação da avaliação subjetiva da abordagem ...................................................... 141 Quadro 16. Comentários realizados pelos participantes .................................................................. 142 Quadro 17. Aspectos comparativos entre soluções similares .......................................................... 149

LISTA DE TABELAS

Tabela 1. Atributos de usabilidade em diferentes modelos, padrões e definições ............................. 51

Tabela 2. Checklists de usabilidade encontrados na revisão ............................................................. 53 Tabela 3. Critério de inclusão e exclusão de estudos ......................................................................... 58 Tabela 4. Legenda para mapeamento de características e atributos .................................................. 65 Tabela 5. Características e atributos mapeados ................................................................................. 66 Tabela 6. Estudos primários selecionados por ambiente de execução ............................................... 77

Tabela 7. Quantidade de informações por componente ..................................................................... 90 Tabela 8. Resumo de apêndices relacionados a componentes de usabilidade ................................. 110 Tabela 9. Características de usabilidade .......................................................................................... 111

Tabela 10. Atributos de usabilidade ................................................................................................. 112 Tabela 11. Vinculação - Características X Atributos ....................................................................... 113 Tabela 12. Perfil de Participantes nas avaliações de usabilidade .................................................... 129 Tabela 13. Resumo de avaliações de usabilidade por disciplina e empresa .................................... 130

Tabela 14. Avaliação de usabilidade 01 ........................................................................................... 130 Tabela 15. Avaliação de usabilidade 02 ........................................................................................... 131 Tabela 16. Avaliação de usabilidade 03 ........................................................................................... 131 Tabela 17. Avaliação de usabilidade 04 ........................................................................................... 132

Tabela 18. Avaliação de usabilidade 05 ........................................................................................... 132 Tabela 19. Avaliação de usabilidade 06 ........................................................................................... 133



Tabela 24. Avaliação de usabilidade 11 ........................................................................................... 135 Tabela 25. Avaliação de usabilidade 12 ........................................................................................... 136 Tabela 26. Avaliação de usabilidade 13 ........................................................................................... 136

Tabela 27. Avaliação do framework proposto ................................................................................. 145

LISTA DE ABREVIATURAS E SIGLAS

ASSESPRO Associação das Empresas Brasileiras de Tecnologia da Informação,

Software e Internet

CENPRA Centro de Pesquisas Renato Archer

CNS Chamada Nacional SOFTEX

CTI Centro de Tecnologia da Informação Renato Archer

ERGOLIST Checklist de Avaliação da Usabilidade

FCM Factors, Criteria and Metrics

GE General Electric

GQM Goal, Question, Metric

IHC Interação Humano-Computador

ISO International Organization of Standardization

JSF Java Server Faces

MEDE-PROS Método de Avaliação da Qualidade de Produto de Software

MFMOD Framework de Métodos para o Desenvolvimento de Modelos de Capacidade

de Processo

MVC Model, View, Controller

PNAFAM Programa Nacional de Apoio a Gestão Administrativa e Fiscal dos

Municípios Brasileiros

QUIM Quality in Use Integrated Measurement

SBC Sociedade Brasileira de Computação

SQUARE Software Product Quality Requirements and Evaluation

SQL Structured Query Language

UFSC Universidade Federal de Santa Catarina

UNIVALI Universidade do Vale do Itajaí

SUMÁRIO

1 INTRODUÇÃO .................................................................................... 14

1.1 PROBLEMA DE PESQUISA........................................................................... 17

1.1.1 Solução Proposta ............................................................................................. 22

1.1.2 Delimitação de Escopo .................................................................................... 25

1.1.3 Justificativa ...................................................................................................... 26

1.2 OBJETIVOS ...................................................................................................... 28

1.2.1 Objetivo Geral ................................................................................................. 28

1.2.2 Objetivos Específicos ...................................................................................... 28

1.3 METODOLOGIA .............................................................................................. 29

1.3.1 Metodologia da Pesquisa ................................................................................ 29

1.3.2 Procedimentos Metodológicos ........................................................................ 32

1.4 ESTRUTURA DA DISSERTAÇÃO ................................................................ 34

2 FUNDAMENTAÇÃO TEÓRICA ...................................................... 36

2.1 A INTERAÇÃO HUMANO-COMPUTADOR E A USABILIDADE .......... 36

2.1.1 A Importância da Usabilidade ....................................................................... 37

2.1.2 Avaliação da Usabilidade ............................................................................... 38

2.1.3 Técnicas de Avaliação da Usabilidade .......................................................... 40

2.1.4 Normas, Métodos e Modelos Relativos à Usabilidade. ................................ 43

2.1.5 Decomposição da Usabilidade ........................................................................ 50

2.1.6 Trabalhos Relacionados – Checklists de Usabilidade ................................. 52

2.1.7 Limitações de Checklists de Usabilidade da Literatura .............................. 54

3 ESTADO DA ARTE ............................................................................ 56

3.1 MAPEAMENTO SISTEMÁTICO DA LITERATURA ............................... 57

3.1.1 Planejamento do Mapeamento Sistemático .................................................. 57

3.1.2 Condução e Extração ...................................................................................... 58

3.1.3 Resultados e Discussões .................................................................................. 62

3.2 CONSIDERAÇÕES .......................................................................................... 67

4 DESENVOLVIMENTO ...................................................................... 70

4.1 VISÃO GERAL DO FRAMEWORK PROPOSTO ...................................... 72

4.2 ESTRATÉGIA DE DESENVOLVIMENTO DO FRAMEWORK .............. 73

4.2.1 Conceituação de componentes do framework .............................................. 78

4.2.2 Procedimentos para geração do framework proposto ................................ 79

4.3 FRAMEWORK PROPOSTO .......................................................................... 82

4.4 INSTANCIAÇÃO DO FRAMEWORK PROPOSTO ................................... 87

4.5 FERRAMENTA DE APOIO ............................................................................ 92

4.6 ESPECIFICAÇÃO DA FERRAMENTA........................................................ 92

4.6.1 Requisitos Funcionais ..................................................................................... 92

4.6.2 Requisitos Não Funcionais ............................................................................. 96

4.6.3 Escopo Não Atendido Pelo Framework Proposto ........................................ 96

4.7 PROJETO DA FERRAMENTA ...................................................................... 97

4.7.1 Tecnologias Utilizadas no Framework Proposto ......................................... 99

4.8 DEMONSTRAÇÃO DA FERRAMENTA .................................................... 100

4.8.1 Etapa 1 – cadastro de componentes ............................................................ 101

4.8.2 Etapa 2 – vinculação de componentes ......................................................... 103

4.8.3 Etapa 3 – geração de checklist ..................................................................... 105

4.9 COMPONENTES DE USABILIDADE ENCONTRADOS ........................ 110

4.10 CONSIDERAÇÕES ........................................................................................ 114

5 AVALIAÇÃO ..................................................................................... 116

5.1 MODELO DE AVALIAÇÃO ......................................................................... 116

5.1.1 Planejamento da avaliação – método GQM ............................................... 117

5.1.2 Planejamento da avaliação – método GQM ............................................... 122

5.2 EXECUÇÃO .................................................................................................... 123

5.2.1 Iniciando o processo de avaliação ................................................................ 124

5.2.2 Perfil dos participantes ................................................................................. 127

5.2.3 Perfil de projetos/produtos de software avaliados ..................................... 129

5.2.4 Avaliações realizadas .................................................................................... 130

5.3 RESULTADOS ................................................................................................ 137

5.3.1 Método GQM ................................................................................................. 138

5.3.2 Avaliação de uso ............................................................................................ 141

5.4 SÍNTESE DOS RESULTADOS ..................................................................... 145

5.5 COMPARATIVO ENTRE SOLUÇÕES SIMILARES ............................... 149

5.6 CONSIDERAÇÕES ........................................................................................ 150

6 CONCLUSÕES .................................................................................. 152

6.1 PRINCIPAIS CONTRIBUIÇÕES ................................................................. 153

6.2 SUGESTÃO PARA TRABALHOS FUTUROS ........................................... 154

REFERÊNCIAS ..................................................................................... 156

APÊNDICE A – ESTUDOS PRIMÁRIOS DO MAPEAMENTO 167

APÊNDICE B – LISTA DE CARACTERÍSTICAS ....................... 171

APÊNDICE C – LISTA DE ATRIBUTOS ...................................... 172

APÊNDICE D – CARACTERÍSTICAS E ATRIBUTOS .............. 175

APÊNDICE E – AMBIENTE, CARACTERISTICA, ATRIBUTO E

QUESTÃO 180

APÊNDICE F – QUESTÃO E RECOMENDAÇÃO ..................... 181

APÊNDICE G – QUESTIONÁRIO DE AVALIAÇÃO DO

FRAMEWORK PROPOSTO ............................................................... 182

14

1 INTRODUÇÃO

A usabilidade é uma característica de um determinado produto relacionada à facilidade de

uso, rapidez de aprendizado, controle e gestão de erros, solucionando as tarefas que se propõe a

realizar, com eficiência, eficácia e principalmente oferecendo um alto grau de satisfação para seus

usuários (NIELSEN, 1993; ISO 9241, 2002).

Considerada um fator determinante de sucesso ou insucesso de qualquer produto de

software, a usabilidade permite gerar maior eficiência por parte dos usuários na realização de suas

tarefas, auxilia na redução dos custos com treinamento e permite que a inserção de sistemas de

software no ambiente de trabalho dos usuários seja realizada de forma mais positiva e menos

traumática (SILVA FILHO, 2008).

Devido a estes fatores acima citados e por tratar-se de um importante critério de aceitação

para aplicações interativas em geral, a usabilidade vem sendo tema de pesquisa por parte da

indústria de desenvolvimento de software que, ao longo dos anos, investiu e investe em técnicas e

ferramentas para projetos e avaliações que apoiem a melhoria deste atributo de qualidade

(MATTERA et al., 2006).

Desde o surgimento das primeiras pesquisas já se passaram mais de 20 anos e os aspectos de

usabilidade abordados pelos pesquisadores são os mais diversos, remetendo com isso a importância

que a usabilidade de software possui (HOLLINGSED; NOVICK, 2007). Dentre os vários aspectos

abordados nestas pesquisas, pode-se citar a preocupação com a avaliação da usabilidade. Cada vez

mais a literatura reconhece a usabilidade como um atributo de qualidade que deve ser verificado nos

softwares que estão em desenvolvimento ou mesmo naqueles que já se encontram em uso

(JURISTO; FERRE, 2006; LÁRUSDÓTTIR, 2009; HUMAYOUN, 2011).

Nas pesquisas que possuem como tema central a avaliação da usabilidade, é possível

encontrar diversos modelos de avaliação (SIGNORE, 2005; SEFFAH et al., 2006; WINTER;

WAGNER; DEISSENBOECK, 2008), cada qual com seu conjunto específico de atributos para

avaliar. Entretanto, estes modelos apresentam conjunto de atributos distintos para avaliação. É

possível encontrar nas pesquisas um mesmo atributo de usabilidade abordado em vários modelos ou

somente em algum modelo específico, ou ainda, é possível encontrar um mesmo atributo de

usabilidade com nomenclaturas diferenciadas, porém com o mesmo conceito, sendo abordado em

15

mais de um modelo. O Capítulo 3, denominado “Estado da arte”, apresenta um mapeamento

sistemático da literatura realizado pelo autor, com o objetivo de evidenciar este cenário.

Ainda, em relação a nomenclaturas diferenciadas, é possível observar nestas pesquisas a

utilização de diversos termos para classificar ou nomear os aspectos relacionados com a avaliação

da usabilidade. As pesquisas verificadas utilizam termos como: critério (BOEHM; BROWN;

LIPOW, 1976), atributo (NIELSEN, 1993), fator (FITZPATRICK, 2000) ou característica

(SPRIESTERSBACH; SPRINGER, 2004) para descrever as informações relacionadas com a

usabilidade. Nesta pesquisa, optou-se por manter os termos encontrados nas pesquisas quando

citadas, e a partir da estruturação do framework, optou-se por utilizar o termo atributo. Entretanto, é

importante destacar que todos estes termos citados acima são equivalentes para aspectos

relacionados à avaliação de usabilidade.

Um dos primeiros modelos de avaliação da usabilidade, o modelo de Eason, foi proposto em

1984 e caracterizou usabilidade em três seções: características de usuário, características do sistema

e reação do usuário. Mais tarde, Shackel (1991, apud MADAN, 2012) apontou quatro

características importantes da usabilidade: eficácia, capacidade de aprendizado, flexibilidade e

atitude. Também há o modelo de Nielsen (1993) que caracteriza a usabilidade baseando-se em

cinco atributos: capacidade de aprendizado, eficiência, memorização, erros e satisfação ou a ISO

9241-11 (2002) que utiliza eficácia, eficiência e satisfação para sua caracterização e a ISO 9126

(2003) que estabeleceu os seguintes atributos de usabilidade: compreensibilidade, aprensibilidade,

operacionalidade, atratividade e conformidade.

Mais recentemente, e a partir das normas ISO/IEC 9126 e ISO/IEC 14598, foi criada a

família de normas ISO/IEC 25000(2005), também chamada de projeto SQuaRE (Software Product

Quality Requirements and Evaluation). O objetivo desta família de normas é eliminar falhas,

ambiguidades e conflitos presentes nas normas a partir das quais foi criada, visando cobrir dois

processos principais: especificação de requisitos e avaliação da qualidade de software. A ampliação

de características da ISO 9126 em relação a ISO2500, para a usabilidade são: adição da sub-

característica de Proteção a erros do usuário, adição da sub característica de Acessibilidade e

mudança do nome Atratividade para Estética da Interface com o Usuário (ISO/IEC, 2011).

Verifica-se nas pesquisas encontradas na literatura, já citadas anteriormente, que a avaliação

da usabilidade obteve destaque e relevância ao longo dos anos. Atualmente, observa-se também que

16

estas pesquisas têm evoluído para um nível em que contextos específicos de software são

considerados para a avaliação. Um exemplo é a abordagem de avaliação proposta por Ferreira

(2007), na qual o contexto específico de uso são os dispositivos móveis. O mesmo ocorre para

ambiente web, em que a evolução das tecnologias e a migração de softwares para a web

contribuíram para o surgimento de métodos de avaliação específicos para este ambiente de

execução1 (FERNANDEZ; INSFRAN; ABRAHÃO, 2011).

As atividades ligadas à avaliação da usabilidade visam identificar os problemas de

usabilidade em interfaces humano-computador e contribuir para a sua eliminação. Esta identificação

de problemas de usabilidade pode ocorrer de três formas: através de técnicas prospectivas que

buscam a opinião do usuário em relação à interação com o sistema, através de técnicas objetivas ou

empíricas que buscam constatar problemas a partir da observação do usuário na forma com que este

interage com o sistema, e por fim, através de técnicas preditivas ou diagnósticas que buscam prever

erros de projeto de interfaces sem a necessidade da participação direta do usuário (CYBIS, 2003).

Técnicas prospectivas baseiam-se em aplicação de questionários e entrevistas com os

usuários. Técnicas objetivas ou empíricas, que também contam com a participação direta de

usuários, basicamente se referem a ensaios de interação ou sessões com sistemas espiões. Por fim,

técnicas preditivas ou diagnósticas dispensam a participação direta do usuário na avaliação e se

baseiam em verificações e inspeções de versões do software que são executadas por projetistas ou

especialistas em usabilidade. Para os tipos de avaliação que dispensam a participação do usuário,

tem-se: avaliações analíticas, avaliações heurísticas e inspeções por checklist (CYBIS, 2003).

Na utilização da técnica preditiva ou diagnóstica de inspeção por checklist as vistorias são

baseadas em listas de verificação através das quais profissionais não necessariamente especialistas

em ergonomia, como por exemplo: analistas e programadores, diagnosticam de forma rápida

problemas gerais e repetitivos encontrados nas interfaces (JEFFRIES et al. 1991). Assim para que

sejam alcançados resultados uniformes e abrangentes, os checklists devem ser bem elaborados, pois

nesta técnica de avaliação, diferentemente das avaliações heurísticas (nas quais a qualidade da

avaliação depende da experiência do avaliador), a qualidade dos checklists e não dos avaliadores é

1 No contexto deste trabalho, o termo ambiente de execução é referenciado como o local onde a aplicação será

executada, como por exemplo, em dispositivo móvel, desktop, web, etc.

17

determinante para a qualidade da avaliação, tendo em vista que os conhecimentos ergonômicos

devem estar presentes no próprio checklist (BARROS, 2003).

Assim, o cenário encontrado nas pesquisas existentes na área da usabilidade, sendo algumas

delas citadas neste projeto, apresenta atributos de avaliação da usabilidade distintos dependendo do

autor que os aborda e do ambiente específico de execução que a aplicação encontra-se. Os atributos

de avaliação dos ambientes de execução específicos também são distintos entre os autores e as

pesquisas verificadas. Além disso, podem ser utilizadas diversas técnicas de avaliação da

usabilidade para avaliar os diversos atributos propostos nos ambientes de execução específicos,

sendo que a técnica de inspeção por checklist tem o diferencial de poder ser empregada por

avaliadores não especialistas em ergonomia, facilitando assim sua aplicação a qualquer momento e

por vários papéis envolvidos com o processo de desenvolvimento de software.

Portanto, dentro do contexto abordado, este trabalho apresenta sua contribuição na área de

avaliação de usabilidade de software, visando contribuir com a elaboração de uma estrutura de

framework, de apoio na geração de listas de verificação para inspeção da usabilidade via checklist,

composto de características, atributos, questões, métricas e recomendações de usabilidade e

considerando diferentes ambientes de execução.

1.1 PROBLEMA DE PESQUISA

A usabilidade é uma das características da qualidade de software que cada vez mais ganha

relevância nos meios de pesquisa, tornando-se um dos fatores fundamentais para a avaliação da

qualidade (HOLLINGSED; NOVICK, 2007).

Já faz algum tempo que a usabilidade tem sido considerada em vários modelos de qualidade

de software, sendo que cada modelo conta com seu conjunto específico de atributos para a

avaliação. Nas pesquisas existentes na literatura acerca da usabilidade, podem-se encontrar vários

atributos de avaliação sendo apresentados por vários autores em diferentes modelos. Um exemplo, o

modelo de Boehm (BOEHM; BROWN; LIPOW, 1976) possui estrutura hierárquica constituída de

fatores de qualidade, decompostos em critérios de qualidade e por fim estes critérios são

decompostos em características mensuráveis. Este modelo possui um conjunto de características

mais amplo que o proposto por McCall (1977, apud SEFFAH, 2006) e incorpora 19 critérios de

qualidade que abrangem utilidade do produto, manutenção e portabilidade. Neste modelo ainda são

18

incluídas características de desempenho de hardware que estão ausentes no modelo de McCall

(1977, apud SEFFAH, 2006). Para este modelo, também não é especificado um ambiente de

execução próprio para a aplicação destes fatores, sendo utilizado para sistemas de software de

maneira geral (BOEHM; BROWN; LIPOW, 1976).

Outro exemplo, o modelo referenciado como GE (General Eletric) ou modelo FCM

(Factors, Criteria and Metrics), proposto por Jim McCall (1977, apud SEFFAH, 2006) é estruturado

em uma hierarquia de 11 fatores de qualidade, 25 critérios de qualidade e 41 métricas de qualidade

específicas. Este modelo apresenta estrutura hierárquica para a avaliação da usabilidade de uma

maneira geral para sistemas de software e não é considerado como fator relevante o ambiente de

execução do sistema que está sendo avaliado (SEFFAH et al., 2006).

Por fim, o modelo QUIM (Medição integrada da qualidade), baseado na ISO 9241-11,

fornece um repositório de fatores, critérios e métricas de usabilidade destinada a auxiliar na geração

de planos de medição de usabilidade. É composto de 10 fatores de usabilidade, sendo que cada fator

de QUIM é dividido em critérios de avaliação. O modelo QUIM não aborda um ambiente de

execução específico para utilizar os fatores para avaliação (SEFFAH et al., 2006).

Essa diferença em relação aos vários atributos de usabilidade sendo propostos por vários

autores, também fica evidente quando verificados os atributos de usabilidade aplicados em

ambientes de execução específicos. Para ambiente web, diversos modelos de avaliação de

usabilidade já foram propostos (FITZPATRICK, 2000; SIGNORE, 2005; ANDREATOS, 2006;

KHAN, 2008; WAH, 2011; NABIL;MOSAD; HENFNY, 2011). Dentre estes modelos já criados,

pode-se citar o modelo proposto por Fitzpatrick (2000) que propõe um conjunto de cinco fatores de

qualidade específicos para a web, apresentados como uma lista de facilitadores. De acordo com o

autor, utilizar fatores específicos de usabilidade de acordo com o ambiente de execução torna a

avaliação da qualidade de usabilidade mais condizente, tem-se maior garantia de investimentos e

ainda, os profissionais envolvidos na produção de software para este ambiente podem utilizar estes

fatores como ponto de direção para criação de sistemas que executam na web, com mais qualidade.

Os fatores de qualidade para o ambiente de execução web, propostos pelo autor são: visibilidade,

inteligibilidade, credibilidade, engajabilidade e diferenciação (FITZPATRICK, 2000).

Ainda para o ambiente de execução web, pode-se citar o modelo de Nabil, Mosad e Henfny

(2011), que determina os fatores que avaliam a qualidade de uma aplicação web, baseando-se em

19

visões de uso. As visões de uso propostas pelos autores são: desenvolvedor, visitante e proprietário.

Cada visão possui uma lista específica de fatores e subfatores.

Para os dispositivos móveis tem-se o mesmo cenário, com vários atributos de usabilidade

sendo apresentados por vários autores (SPRIESTERSBACH; SPRINGER, 2004; FERREIRA,

2007; SOUZA, 2007). A utilização de dispositivos móveis ganhou força nos últimos anos, devido

ao crescimento acelerado da internet e da produção tecnológica deste tipo de equipamento. Essa

situação fez com que dispositivos móveis venham se consolidando como ferramenta de trabalho e

apoio as tarefas dos usuários, favorecendo com isso o desenvolvimento contínuo deste tipo de

aplicação. Em consequência também cresce a preocupação da boa usabilidade para este tipo de

equipamento (SOUZA, 2007).

Um dos modelos citados anteriormente, o modelo de Spriestersbach e Springer (2004)

propõe uma lista de características para o ambiente de execução dos dispositivos móveis, esta lista

possui orientações especificas para desenvolvimento de um projeto voltado para os dispositivos

móveis. Estas características estão relacionadas a fatores de qualidade da norma ISO 9126, são elas:

usabilidade – saída (considerando o fator de formato), usabilidade – entrada (design do formulário),

usabilidade na navegação, limitações de rede, conexões wireless, mudanças de contexto, curtos

tempos de utilização e desenvolvimento de aplicativos para dispositivos heterogêneos

(SPRIESTERSBACH; SPRINGER, 2004).

Todas estas diferentes maneiras modelos de avaliação citadas, bem como os inúmeros

atributos de avaliação propostos nestes modelos, surgiram como forma de contribuição à evolução

da avaliação da usabilidade, proporcionando às organizações desenvolvedoras de software um

conjunto variado de atributos que podem ser aplicadas a tipos de projeto específicos (BAK et al.

2008). Embora fiquem evidenciadas através das pesquisas que a introdução de práticas de

usabilidade em projetos de software seja benéfica, tendo em vista o aumento substancial na

qualidade e redução de problemas de interação, muitas empresas ainda não aplicam tais práticas

durante o desenvolvimento de seus softwares ou mesmo em software que já se encontram em uso

(BONIFÁCIO et al. 2010).

Pesquisas mostram que a inclusão de práticas de usabilidade no desenvolvimento de

software não é algo trivial. Quando mencionado acréscimo de práticas as já existentes, sabe-se que

a preocupação maior das empresas encontra-se em não comprometer a produtividade. Acredita-se

20

também que as empresas aceitariam realizar tais integrações caso não houvesse adicional de custo

aos seus processos, houvesse melhoria na qualidade do produto e as integrações fossem simples

(NIELSEN, 2005).

Além disso, a dificuldade de aplicação de práticas de usabilidade em projetos de

desenvolvimento de software é agravada pela estrutura encontrada nas empresas, que por diversas

vezes, contam com um quadro profissional bastante heterogêneo do ponto de vista da experiência

(SILVA FILHO, 2008). Sem contar que a própria complexidade do tema gera dificuldade entre os

envolvidos (LALLEMAND, 2011) na escolha da técnica de avaliação a ser utilizada, tendo em vista

as várias técnicas existentes (PADILHA, 2004).

Dessa forma, devido a grande diversidade de atributos de avaliação da usabilidade propostos

através de inúmeros modelos de avaliação e da dificuldade da escolha da técnica que melhor se

adequa ao software que será avaliado, grande parte das iniciativas para a aplicação de práticas de

usabilidade em projetos de software é realizada por especialistas ou consultores em usabilidade,

realizando este tipo de avaliação muitas vezes de maneira esporádica e não necessariamente durante

o desenvolvimento do software (SCHAFFER, 2004).

Este cenário, muitas vezes gera um gap entre a contribuição dos especialistas em usabilidade

em relação à capacidade de absorção pelos envolvidos com o desenvolvimento de software em

relação ao conhecimento oferecido por estes profissionais. Assim, a aplicabilidade de práticas de

usabilidade pelos envolvidos com o desenvolvimento de software (analistas, programadores, etc.)

fica comprometida por existirem poucas estratégias que orientem as organizações a transformar o

conhecimento tácito em usabilidade em práticas rotineiras na organização (SCHAFFER, 2004).

Uma das técnicas de avaliação da usabilidade que pode ser utilizada no intuito de diminuir

este gap existente entre especialistas em ergonomia e envolvidos com o desenvolvimento de

software é a técnica da Inspeção via checklist. Neste tipo de técnica é a qualidade da ferramenta de

checklist que determina a qualidade e possibilidade de avaliação tendo em vista que o conhecimento

em usabilidade está embutido no próprio checklist utilizado (JEFFRIES et al. 1991).

Checklists possuem como objetivo garantir que uma determinada tarefa seja executada de

forma objetiva, eficiente e padronizada. Em relação à objetividade, o foco está em não desperdiçar

tempo com atividades que não contribuem diretamente com o que está sendo avaliado. Já em

21

relação à eficiência o foco está em garantir que todos os passos de um procedimento sejam

efetuados sem que o executor tenha que confiar em sua própria memória. Por fim, em relação à

padronização, o foco está em estabelecer como padrão, as melhores práticas e que estas sejam

realizadas por todos os envolvidos na criação do produto (SILVA FILHO, 2008).

A técnica de inspeção por checklist compreende basicamente uma lista de questões

formuladas a partir de regras, princípios e recomendações de usabilidade, que pode ser aplicada

como mecanismo de avaliação de usabilidade durante o projeto de interface por desenvolvedores e

analistas, bem como após o desenvolvimento de interfaces através da participação dos usuários no

processo de avaliação (WINCLER; PIMENTA, 2001). De acordo com Nielsen (1994), a inspeção

pode ser facilmente integrada com os mais variados esquemas de produção de software, sem ter que

modificar como os sistemas são desenvolvidos e gerenciados, de modo a obter grandes benefícios

de inspeção da usabilidade ao longo de todo o processo de desenvolvimento.

As inspeções por checklist não exigem equipamentos especiais e um único inspetor pode

encontrar vários defeitos de usabilidade em pouco tempo. Trata-se de métodos de avaliação

executados por especialistas em usabilidade ou mesmo profissionais do desenvolvimento de

software (TRIACCA; INVERSINI; BOLCHINI, 2005).

Profissionais envolvidos com o desenvolvimento de software (analistas, desenvolvedores)

que não são especialistas em usabilidade possuem dificuldades em estabelecer os atributos que

deverão ser avaliados de acordo com o software em questão, bem como através de qual técnica essa

avaliação deverá ocorrer. Sendo assim, quando executado por este tipo de profissional, os checklists

se mostram eficazes devido à pontualidade com que se apresentam quanto à verificação de

problemas de usabilidade. Entretanto, isso ainda não é suficiente para ajudar estes inspetores

novatos na execução deste tipo de atividade. Faz-se necessário proporcionar direcionamentos e

procedimentos a ser seguidos para que a inspeção seja executada com sucesso (BONIFÁCIO et al.

2010).

Inspetores novatos têm dificuldades em analisar regras ergonômicas durante a avaliação, por

isso, é necessário que os checklists utilizados sejam bastante claros e objetivos (WINCLER;

PIMENTA, 2001). Os inspetores precisam ser direcionados quando recebem listas de verificação

para inspeção da usabilidade, sendo necessário que as questões abordadas nestes checklists auxiliem

no encontro dos defeitos, em qualquer momento, durante o projeto de software. Assim, a inspeção

22

da usabilidade deve seguir um processo definido com uma sequencia de passos a ser executado para

a realização da avaliação (SANTOS; CONTE, 2011).

De acordo com Cybis (2007), é necessário fornecer aos inspetores novatos, que não possuem

elevados conhecimentos em usabilidade, listas de verificação bem elaboradas, que apresentam

questões objetivas e número suficiente de questões para avaliação. Ainda, quanto às questões, é

importante que estas sejam efetivamente aplicáveis ao sistema em avaliação.

Resumindo, checklists bem elaborados podem produzir resultados mais uniformes e

abrangentes no que diz respeito à identificação de problemas de usabilidade, pois os envolvidos

com a avaliação são conduzidos a avaliar a interface através de uma mesma lista de questões

(CYBIS, 2003).

Dessa forma, os resultados que são obtidos aplicando a técnica de inspeção por checklist

dependem mais da organização e do conteúdo presente nestas ferramentas (checklists) do que da

experiência dos inspetores propriamente dito. Faz-se necessário que os checklists sejam criados

evitando-se questões subjetivas que exijam do inspetor um nível de competência em usabilidade

que este não possui (CYBIS, 2003).

Baseando-se neste cenário abordado, as perguntas de pesquisa deste projeto são:

Um framework que apoie a elaboração de listas de verificação para a inspeção da

usabilidade via checklist pode facilitar e motivar a adoção de práticas de usabilidade em

projetos de software?

Um framework composto de diferentes características e atributos de usabilidade

encontrados na literatura, considerando ambientes de execução específicos, mostram-se

adequado para ser aplicado como prática de usabilidade em projetos de

desenvolvimento de software?

1.1.1 Solução Proposta

Devido à importância adquirida ao longo dos anos, a usabilidade é atualmente tratada como

fator chave para o desenvolvimento de aplicações bem sucedidas (MADAN; DUBEY, 2012). Essa

importância fez surgir diferentes modelos de avaliação da usabilidade (MADAN; DUBEY, 2012).

Estes modelos já se encontram tão evoluídos, que atributos de avaliação são propostos já

23

considerando o ambiente específico de execução (FITZPATRICK, 2000; SPRIESTERSBACH;

SPRINGER, 2004; QI et al., 2010; NABIL; MOSAD; HENFNY, 2011).

Assim, com o apoio deste cenário, constituído de inúmeras pesquisas já realizadas na área de

usabilidade, em especial as pesquisas com foco em ambiente de execução específico, um framework

que apoie na elaboração de listas de verificação para inspeção da usabilidade via checklist foi

desenvolvido. Este framework considera ambientes de execução específicos para avaliação.

De maneira geral, um framework pode ser definido como “uma estrutura real ou conceitual

destinada a servir como suporte ou guia para a construção de algo que expande a estrutura em algo

útil” (ROUSE, 2005). Já para Fontoura, Pree e Rumpe (2001), “framework é uma coleção de

diversos componentes independentes com cooperação pré-definida entre eles, com a finalidade de

realizar uma determinada tarefa”. E por fim, para Johnson & Foote (1998, apud FAYAD, 1999), um

framework é uma estrutura ainda não completa que pode ser especializada para produzir aplicações

personalizadas.

A construção e utilização de frameworks é cada vez mais comum e importante para a

engenharia de software (GAMMA et al., 1995; MATTSSON; BOSCH, 1997). A base da

construção de um framework deve ser a reusabilidade (FAYAD, SCHMIDT, JOHNSON, 1999).

Um framework deve ser facilmente adaptável, podendo ser reutilizado para a criação de novas

aplicações em contextos distintos, fornecendo assim solução para problemas similares (FAYAD;

SCHMIDT; JOHNSON, 1999; FLORES; AGUIAR, 2008). De acordo com Pinto (2000), as

maiores vantagens na utilização de frameworks encontram-se em fatores como a modularidade,

extensibilidade e reusabilidade de elementos, sendo possível pensar na reutilização em nível de

artefatos resultantes do processo de desenvolvimento, tais como: ideias, conceitos, requisitos e

projetos construídos (GIMENES; HUZITA, 2005).

A adoção do conceito de um framework para apoiar na elaboração de checklists de usabilidade,

considerando características e atributos para diferentes ambientes de execução oferecem vantagens

que vão além da reusabilidade. A utilização da estrutura de um framework oferece uma estrutura de

informação padronizada, facilitando posteriormente o acréscimo de informação em relação a

características, atributos ou mesmo ambientes de execução, sem que para isso seja necessário alterar

sua estrutura inicial. Além disso, a estrutura do framework irá orientar os inspetores através da

24

apresentação dos atributos de usabilidade de acordo com o ambiente de execução que a aplicação se

encontra.

Como o conceito de framework orienta para a reutilização, o framework de apoio à

elaboração de listas de verificação para inspeção da usabilidade via checklitst, proposto nesta

pesquisa, irá apresentar características e atributos de avaliação genéricos, ou seja, aplicáveis aos três

ambientes de execução abordados e posteriormente, para cada ambiente de execução, serão

apresentadas características e atributos específicos para um ambiente de execução.

O framework aqui proposto, apresentado como solução para as dificuldades de seleção de

atributos de usabilidade por inspetores novatos, conta com no mínimo dois tipos de usuários

distintos interagindo com a estrutura de informação. Usuários do tipo “Administrador” responsáveis

pela configuração necessária do ambiente de framework (quanto a acessos e usuários) e pelas

entradas e edições de dados (características, atributos, questões, métricas e recomendações)

necessárias para compor a estrutura do framework. Um segundo tipo de usuário, denominado

“Inspetor”, irá usufruir das listas de verificação geradas a partir da estrutura de informação do

framework.

Por fim, a viabilidade desta solução proposta também se encontra amparada na existência de

modelos consolidados de avaliação da usabilidade (SEFFAH et al., 2006; WINTER; WAGNER;

DEISSENBOECK, 2008) que serão utilizados para alimentação de dados para o framework

proposto. Um modelo consolidado auxilia no processo de avaliação de usabilidade, pois traz

consigo a incorporação de diferentes pontos de vista sobre a usabilidade de um determinado

ambiente (SEFFAH et al., 2006). Assim, os modelos consolidados existentes fornecem subsídios e

informações para a criação de um framework composto de características e atributos de usabilidade

propostos nas diferentes pesquisas.

Com base no contexto existente, as hipóteses de pesquisa são:

O framework de apoio à elaboração de listas de verificação para inspeção da usabilidade

via checklist contribui para o incremento da facilidade na adoção de práticas de

usabilidade em projetos de desenvolvimento de software;

25

O framework de apoio à elaboração de listas de verificação para inspeção da usabilidade

via checklist contribui para o incremento da motivação na adoção de práticas de


A aplicação de um framework composto de características, atributos, questões, métricas

e recomendações, considerando ambientes de execução específicos, mostram-se

adequado para ser aplicado em projetos de desenvolvimento de software.

1.1.2 Delimitação de Escopo

Este trabalho apresenta um framework para apoiar na elaboração de listas de verificação

para inspeção da usabilidade, constituído de características, atributos, questões, métricas e

recomendações que consideram o ambiente de execução específico para apresentação da

informação. O framework considera os seguintes ambientes de execução: desktop, web e

dispositivos móveis. Descarta-se do escopo desta pesquisa, bem como deste framework, ambientes

de execução diferentes dos citados, tais como TV Digital. Os ambientes de execução citados nesta

pesquisa serão abordados de forma generalizada, não especificando o tipo de equipamento em cada

ambiente de execução abordado.

O framework apresenta características, atributos, questões, métricas e recomendações com

base na literatura existente. O framework não sugeriu novas métricas de avaliação, além das que

foram explicitamente encontradas a partir da metodologia definida neste projeto, ou seja, se

métricas de avaliação da usabilidade foram encontradas nos estudos considerados, então foram

anexadas ao framework (caso não fossem encontradas métricas de avaliação, o projeto não as

propôs).

Pesquisas mostram que a inclusão de práticas de usabilidade em processos de

desenvolvimento de software não é algo trivial (NIELSEN, 2005). Portanto, devido à delimitação

de escopo desta pesquisa, não estão inclusos aspectos relacionados à adequação deste framework

em processos de desenvolvimento de software para inserção de práticas relacionadas à inspeção da

usabilidade. Também não faz parte do escopo desta pesquisa a indicação do momento mais

adequado para a aplicação de práticas de usabilidade durante o processo de desenvolvimento de

software.

26

Ainda, em relação à execução da inspeção da usabilidade, o framework proposto apresenta

as questões relacionadas com a avaliação de usabilidade para cada atributo, sendo que o inspetor

terá as opções: “Sim”, “Não”, “Não Aplicável” e “Avaliação Prejudicada” como alternativas de

resposta para as questões do checklist. Um campo de “Observações” foi fornecido para o caso de o

inspetor desejar registrar alguma questão para o atributo específico que está sendo avaliado,

deixando como trabalho futuro o respectivo tratamento/análise destas observações da execução.

Não foram adicionados pesos para as respostas das questões do checklist, bem como não foram

gerados resultados quantitativos acerca das respostas inseridas nestas execuções.

1.1.3 Justificativa

A relevância da solução proposta encontra-se em fornecer aos interessados e envolvidos

(gerentes de projeto, analistas, desenvolvedores, testadores, clientes) com a inspeção da usabilidade

de software, um framework que apoie a seleção de atributos e a respectiva geração de listas de

verificação para avaliação destes atributos, considerando o ambiente de execução específico que a

aplicação se encontra. Trata-se de uma proposta de relevância tendo em vista que a atividade de

definição dos atributos de avaliação, bem como a forma de avaliação destes atributos, aplicados no

processo de desenvolvimento de software é uma tarefa complexa nas empresas (SAURO;

KINDLUND, 2005).

Existem diversos modelos de avaliação da usabilidade sendo propostos por diferentes

autores que possuem atributos de avaliação distintos entre si. A mesma situação ocorre quando

verificados ambientes de execução específicos, em que também se tem diversos atributos de

avaliação sendo sugeridos por diversos autores (SOUZA, 2007; MADAN; DUBEY, 2012). Com

isso, os envolvidos com a avaliação da usabilidade enfrentam dificuldades no momento da escolha

dos atributos corretos a aplicar em suas avaliações, pois muitas vezes não possuem conhecimento

de especialistas em usabilidade para realizar tais escolhas (HORNBAEK; LAW, 2007).

Com base nas pesquisas (métodos, modelos e checklists) encontradas na literatura, algumas

citadas na Seção 1.1, torna-se possível observar determinada falta de estruturação mais completa de

informações acerca da avaliação de atributos de usabilidade propostos por estas pesquisas. Na

literatura relacionada com a usabilidade, é possível encontrar pesquisas que apresentam

características e atributos de avaliação de usabilidade, entretanto, não indicam ao leitor a forma

como estes atributos devem ser avaliados, ou seja, não apresentam questões para a respectiva

27

avaliação. Também é possível encontrar pesquisas que apresentam atributos de avaliação e não

indicam para qual ambiente de execução se aplicam ou mesmo, não indicam métricas ou

recomendações para uma melhor avaliação do atributo proposto. Por vezes, em algumas pesquisas,

faz-se necessário uma expertise do leitor em relação à avaliação da usabilidade ou mesmo estas

pesquisas não indicam que determinado atributo somente se aplica a um determinado recurso de

software específico.

Sendo assim, no intuito de facilitar o trabalho dos envolvidos com a avaliação da usabilidade

e que não possuem conhecimento de especialista, este trabalho foca a técnica de inspeção via

checklist tendo em vista que neste tipo de técnica é a qualidade dos checklists que determina a

qualidade da avaliação. Checklists bem elaborados devem produzir resultados mais uniformes e

abrangentes em relação à identificação de problemas de usabilidade, pois os inspetores (que

poderão ser qualquer um dos papéis envolvidos com o processo de desenvolvimento de software)

serão conduzidos no exame da interface através de uma mesma lista de questões a responder

referente à usabilidade do projeto/produto avaliado (CYBIS, 2003).

Outra questão a ser destacada, é que como as inspeções via checklists não exigem

especialistas em interfaces humano-computador, os custos com a avaliação são reduzidos

(JEFFRIES et al. 1991). Sua sistematização garante resultados mais estáveis mesmo quando

aplicada separadamente por diferentes avaliadores, isso porque as questões/recomendações

constantes no checklist sempre serão efetivamente verificadas. Como consequência disso, ocorre

uma facilidade na identificação de problemas de usabilidade tendo em vista a especificidade das

questões do checklist e a redução da subjetividade normalmente associada aos processos de

avaliação (CYBIS, 2000).

Dessa forma, a solução proposta é viável por dois principais motivos: primeiro a existência

de muitas pesquisas na área da usabilidade, fornecendo, portanto, várias características, atributos e

listas de verificação para a avaliação, sendo que as pesquisas existentes também fornecem atributos

de avaliação para ambientes de execução específicos. O segundo motivo que viabiliza esta solução

proposta é a possibilidade de utilização do framework entre todos os envolvidos com o processo de

desenvolvimento de software. Assim, a solução proposta avaliou pesquisas existentes e desenvolveu

um framework consolidando os diversos aspectos citados na literatura para apoiar na elaboração de

listas de verificação utilizadas nas inspeções de usabilidade por checklist.

28

O diferencial da solução proposta encontra-se em fornecer um framework que apoie a

elaboração de listas de verificação, a partir da seleção de atributos, para inspeção da usabilidade,

utilizando checklists e considerando ambientes de execução específicos, com o intuito de contribuir

para o incremento da facilidade e da motivação da adoção de práticas de usabilidade para projetos

de software, bem como avaliar se o framework proposto se mostra adequado para ser aplicado em

projetos de software.

Este framework conta com estruturação otimizada, fornecendo aos usuários envolvidos com

a avaliação, uma estruturação de informações que facilite a respectiva avaliação de atributos de

usabilidade, apresentado para isso questões, métricas e recomendações associados aos atributos para

que estes componentes sirvam de apoio à realização de avaliações de usabilidade. As pesquisas

realizadas por este estudo mostram que atualmente não há na literatura um framework de avaliação

que considere ambiente de execução específico e apresente uma estruturação de informações mais

completa, composta de características, atributos, questões, métricas e recomendações em um

mesmo modelo/framework, gerando motivação por parte do pesquisador em contribuir para o

processo de inspeção da usabilidade.

1.2 OBJETIVOS

Esta seção formaliza os objetivos do trabalho, conforme descrito a seguir.

1.2.1 Objetivo Geral

Desenvolver um framework de apoio à geração de listas de verificação para inspeção da

usabilidade considerando ambientes de execução específicos.

1.2.2 Objetivos Específicos

1. Identificar características e atributos atualmente considerados relevantes para a

usabilidade de sistemas, considerando os seguintes ambientes específicos de execução:

desktop, web e dispositivos móveis;

29

2. Oferecer uma estrutura de framework constituída de características, atributos, questões,

métricas e recomendações para utilização na geração de listas de verificação para

inspeções de usabilidade via checklist;

3. Desenvolver uma ferramenta para inserção dos dados que compõem a estrutura de

informação do framework, bem como fornecer nesta ferramenta funcionalidades

específicas para a geração de listas de verificação para inspeção da usabilidade de acordo

com configurações de características, atributos e ambiente de execução indicados pelo

inspetor;

4. Com o apoio da ferramenta desenvolvida, avaliar o framework proposto em projetos e

produtos de software que atuem nos ambientes de execução contemplados por esta

pesquisa.

1.3 METODOLOGIA

Quando verificada a literatura existente para orientação de pesquisas cientificas é possível

encontrar diversas maneiras de classificar uma pesquisa (SILVA; MENEZES, 2001; GIL, 2002).

Nestas classificações, os autores procuram apresentar a relação entre o problema de pesquisa e o

tipo de pesquisa sendo realizada. Assim, objetivando esclarecer os métodos de pesquisa utilizados

no desenvolvimento deste projeto, e enquadrar o trabalho proposto nas formas de classificação de

pesquisa existentes, este tópico inicia com a apresentação da metodologia da pesquisa utilizada e

posteriormente aborda os procedimentos metodológicos utilizados, contendo o plano de trabalho

para este projeto de pesquisa.

1.3.1 Metodologia da Pesquisa

Para que os objetivos de uma investigação científica sejam atingidos, faz-se necessário um

“conjunto de procedimentos intelectuais e técnicos” (GIL, 1999) denominados métodos científicos.

Um método científico é o conjunto de processos ou operações mentais que devem ser empregados,

ou seja, uma linha de raciocínio adotada no processo de investigação (LAKATOS; MARCONI,

1991; GIL, 1999).

A elaboração de um projeto de pesquisa e o desenvolvimento da própria pesquisa científica

deve estar embasada em planejamento cuidadoso, reflexões conceituais sólidas e conhecimentos já

30

existentes para que os resultados sejam satisfatórios e, portanto, o uso de um método científico faz-

se necessário (SILVA; MENEZES, 2001). Este projeto propõe a construção de um framework que

apoie na elaboração de listas de verificação para inspeções de usabilidade através de checklists.

Posterior à construção, será avaliado a facilidade, motivação e adequação da aplicação do

framework em projetos/produtos de software.

Na condução e avaliação desta pesquisa, dois métodos serão adotados: método indutivo e

método dedutivo. Para a construção do framework, o método indutivo foi adotado. Este método foi

proposto pelos empiristas: Bacon, Hobbes, Locke e Hume e considera que o conhecimento é

fundamentado na experiência, não levando em conta princípios preestabelecidos. No raciocínio

indutivo, a generalização é derivada de observações de casos da realidade concreta, sendo que as

constatações particulares levam a elaboração de generalizações (LAKATOS; MARCONI, 1991;

GIL, 1999).

Com base nessas características do método indutivo, pode-se estabelecer uma relação com o

problema proposto neste projeto, no qual se tem inúmeras características e atributos de usabilidade

por ambiente de execução propostos por diversos autores. Nestas várias listas de características e

atributos de avaliação da usabilidade, muitas vezes encontra-se uma mesma característica ou

atributo de avaliação da usabilidade sendo abordado em diferentes ambientes de execução.

Com base nisso e com o apoio de um framework pretende-se generalizar características e

atributos comuns aos ambientes de execução avaliados e especializar características e atributos que

fazem parte apenas de um ambiente de execução específico, bem como avaliar o framework

proposto. Para esta vinculação de características e atributos e para a avaliação do framework

proposto, o método dedutivo será utilizado.

O método dedutivo parte de uma informação mais geral descendo para uma informação mais

particular e parte de princípios reconhecidos como verdadeiros e indiscutíveis, possibilitando chegar

a conclusões de maneira puramente formal, em virtude de sua lógica. Trata-se do método proposto

pelos racionalistas (Descartes, Spinoza, Leibniz), segundo os quais somente a razão possibilita o

encontro com o conhecimento verdadeiro, que por sua vez, decorre de princípios a priori evidentes

e irrecusáveis. O protótipo do raciocínio dedutivo é o silogismo, que consiste numa construção

lógica que, a partir de duas preposições chamadas premissas, retiram uma terceira, logicamente

implicadas, denominada conclusão (LAKATOS; MARCONI, 1991; GIL, 1999).

31

Com base nestes métodos, a proposta de pesquisa descrita neste projeto partiu de um cenário

em que os modelos consolidados de avaliação da usabilidade até então propostos, não apresentam

especificações e ou restrições para utilização em ambiente de execução específico e podem ser

avaliados através de diversas técnicas de avaliação da usabilidade, gerando dificuldades entre os

envolvidos na avaliação, quanto escolha das características e atributos de acordo com o ambiente de

execução, bem como quanto a escolha da técnica de avaliação a ser utilizada.

Com base neste cenário, as hipóteses pretendem avaliar se um framework que apoie a

elaboração de listas de verificação para a avaliação da usabilidade através de inspeções via checklist

irá facilitar e motivar a adoção de práticas de usabilidade em um projeto de software, bem como

avaliar se o framework proposto é realmente adequado para ser aplicado como prática de

usabilidade em projetos/produtos de software.

Sob o ponto de vista de sua natureza, este trabalho caracteriza-se como pesquisa aplicada.

De acordo com Barros e Lehfeld (2000, apud VILAÇA, 2010), a pesquisa aplicada tem como

objetivo gerar conhecimento para aplicação de seus resultados, contribuindo, portanto, para fins

práticos, visando à solução mais ou menos imediata para o problema encontrado na realidade. Desta

forma esta pesquisa pretende contribuir de forma prática com os envolvidos com a avaliação da

usabilidade durante projetos de software.

Sob o ponto de vista da forma de abordagem do problema, foi utilizada a pesquisa

qualitativa. Este tipo de pesquisa consiste em trabalhos onde a interpretação dos fenômenos e a

atribuição de resultados é à base do processo de pesquisa. Assim sendo, não devem ser traduzidos

em números e não requerem o uso de métodos e técnicas estatísticas (SILVA; MENEZES, 2001).

De acordo com Godoy (1995) a pesquisa qualitativa inicia em questões de interesse mais amplo, os

quais vão se definindo na medida em que o estudo se desenvolve.

Este trabalho possui características da abordagem qualitativa tendo em vista que não requer

o uso de métodos e técnicas estatísticas, ou de qualquer modelo analítico onde a interpretação dos

fenômenos e a atribuição de significados fazem parte do processo de pesquisa. O framework para a

avaliação da usabilidade considerando o ambiente de execução é a fonte direta para a coleta de

dados, sendo o pesquisador, o instrumento-chave.

32

De acordo com o problema já abordado (Seção 1.1), a avaliação do framework proposto

ocorreu através do método GQM (Goal, Question, Metric) proposto por Basili, Caldeira e Rombach

(1994) e aplicação de questionário. A avaliação qualitativa guiada pelo método GQM consiste na

definição de objetivos, a partir das quais são extraídas questões de pesquisa associadas a métricas

com o intuito de obter um resultado mensurável. As avaliações foram aplicadas em empresas que

desenvolvem projetos de software na cidade de Blumenau (Santa Catarina).

Por fim, sob o ponto de vista de seus objetivos, essa pesquisa é considerada exploratória. A

pesquisa exploratória proporciona maior familiaridade com o problema objetivando torna-lo

explícito ou a construir hipóteses. Em sua maioria, este tipo de pesquisa envolve levantamento

bibliográfico e documental, entrevistas e estudos de caso e são desenvolvidas no intuito de

proporcionar visão geral acerca de um assunto. Este tipo de pesquisa é realizado costumeiramente

quando o tema escolhido é pouco explorado. Muitas vezes, pesquisas exploratórias possuem como

primeira etapa uma investigação mais ampla. Se o tema escolhido é bastante genérico é necessária

uma revisão de literatura para seu esclarecimento, sendo que o produto final passa a ser um

problema mais esclarecido (GIL, 2002).

Assim, a pesquisa aqui proposta é considerada exploratória, pois são definidas hipóteses

através das quais se busca soluções para o problema de pesquisa. A solução tem como base um

estudo bibliográfico a fim de explorar o tema como um todo e avaliar o que realmente já existe de

pesquisas em relação a modelos, características e atributos de usabilidade. Ainda, dentro dos

objetivos exploratórios está contemplado um mapeamento sistemático da literatura, com o objetivo

de compreender o estado da arte no que se refere a modelos de avaliação da usabilidade e servir de

base para a elaboração do framework.

1.3.2 Procedimentos Metodológicos

A seguir tem-se o plano de trabalho contendo as etapas realizadas para o desenvolvimento

da pesquisa proposta.

Etapa 1. Revisão bibliográfica: esta etapa forneceu base científica para o

desenvolvimento do projeto e entendimento do tema. Visando dar suporte ao

objetivo específico um, compreendeu a execução das seguintes atividades:

33

a) Pesquisa bibliográfica: busca com seleção e leitura de artigos em bases de

dados e livros, referente aos seguintes assuntos: usabilidade, normas de

usabilidade, modelos de usabilidade já propostos e atributos de usabilidade

propostos nos modelos existentes na literatura;

Etapa 2. Mapeamento sistemático: com o objetivo de identificar e analisar

características e atributos de avaliação da usabilidade foi realizado um mapeamento

sistemático da literatura almejando uma visão do estado da arte do tema. Essa etapa

atendeu o objetivo específico um e compreendeu a execução das seguintes

atividades:

a) Planejar o mapeamento sistemático: desenvolvimento do protocolo de busca,

especificação de objetivos e questões de pesquisa, critérios para inclusão e

exclusão dos estudos encontrados;

b) Executar o mapeamento sistemático: identificação, seleção e avaliação de

estudos primários juntamente com a extração dos dados dos estudos

encontrados;

c) Análise do resultado: normalização dos dados encontrados, realização de

síntese e descrição de evidências.

Etapa 3. Proposta de um framework: esta etapa atendeu o objetivo específico 2 e ao

objetivo específico 3 e compreendeu a execução das seguintes atividades:

a) Estruturação do framework: com base no resultado da fundamentação teórica

apresentada e do mapeamento sistemático, estruturar o framework de forma a

representar cada ambiente de execução que se encontra no escopo desta

proposta;

b) Desenvolvimento de solução de suporte ao framework: programar uma

aplicação que auxilie os envolvidos com a da usabilidade durante projetos de

software, na seleção dos atributos que serão inspecionados, por conseguinte

gerando uma lista de verificação para cada um dos atributos selecionados,

apoiando na inspeção da usabilidade via checklist.

34

c) Testar a solução: realizar um piloto para geração de uma lista de atributos de

avaliação de usabilidade com o apoio da aplicação.

Etapa 4. Avaliação do framework proposto: esta etapa atende o objetivo específico 4 e

compreende a execução das seguintes atividades:

a) Planejar avaliação do framework proposto: realizar o planejamento da

avaliação do framework proposto considerando a avaliação através de dois

métodos: avaliação com questionário e GQM (Goal-Question-Metric);

b) Avaliação do framework proposto: realizar a avaliação do framework

proposto através de aplicação de questionário e através do método GQM. A

motivação e a facilidade de aplicação do framework proposto em processos

de desenvolvimento de software serão avaliadas através do método GQM. A

adequação do framework proposto em processos de desenvolvimento de

software tem sua avaliação baseada em aplicação de questionário e também

através do método GQM;

c) Análise dos resultados: sumarizar e descrever os resultados da aplicação do

framework durante projetos de desenvolvimento de software.

1.4 ESTRUTURA DA DISSERTAÇÃO

Este trabalho é composto de cinco capítulos. O Capítulo 1, Introdução, apresenta e

contextualiza o tema abordado neste trabalho, detalhando a problematização e escopo, bem como

apresentando a solução proposta, os objetivos específicos a serem alcançadas, limitações do

trabalho e por fim a metodologia de pesquisa e desenvolvimento.

O Capítulo 2 apresenta a Fundamentação Teórica, abordando assuntos relacionados com a

interação humano-computador e a ligação desta com a usabilidade. Conceitos, importância, normas

e um conjunto de atributos relacionados com a avaliação usabilidade, encontrado nas diversas

pesquisas, são apresentados com o objetivo de facilitar o entendimento do contexto deste trabalho.

O Capítulo 3 apresenta o Estado da Arte sobre atributos de usabilidade considerados nas

pesquisas para avaliações de interfaces. A sumarização de informações acerca de atributos de

35

usabilidade, técnicas utilizadas para a avaliação e modelos de avaliação abordados nas pesquisas

são apresentados. Um mapeamento dos atributos encontrados nestas pesquisas é realizado a fim de

estabelecer um conjunto inicial de características e atributos a ser utilizado para a composição do

framework proposto.

O Capítulo 4 apresenta o Desenvolvimento, identifica as necessidades de mecanização do

processo de seleção de atributos de avaliação da usabilidade para diferentes ambientes de execução

e propõe uma ferramenta de apoio concebida sob o conceito de um framework que facilite e

contribua com a avaliação da usabilidade realizada por envolvidos com projetos de

desenvolvimento de software e que não possuem conhecimentos relacionados à usabilidade. São

listados ainda os requisitos funcionais e não funcionais da ferramenta para que possa ser

implementado o framework proposto.

O Capítulo 5 apresenta a Avaliação, descreve o procedimento adotado na elaboração de uma

avaliação fundamentada nos aspectos de motivação, facilidade e adequação em relação ao

framework proposto. São detalhadas ainda as hipóteses, métricas e resultados esperados com a

avaliação.

Por fim, o Capítulo 6, Conclusão, apresenta uma síntese do trabalho desenvolvido, relaciona

os objetivos identificados incialmente com os resultados obtidos até o momento e aborda

perspectivas para trabalhos futuros.

36

2 FUNDAMENTAÇÃO TEÓRICA

Este capítulo apresenta a fundamentação teórica do trabalho. Na fundamentação teórica são

abordados assuntos relacionados à interação humano-computador e sua respectiva ligação com a

usabilidade. A importância da usabilidade é destacada e alguns conceitos relacionados à usabilidade

são fornecidos para facilitar o entendimento do contexto deste trabalho. Por fim, algumas das

normas relacionadas com a usabilidade são apresentadas e uma decomposição de atributos de

usabilidade abordados por alguns autores é apresentada.

2.1 A INTERAÇÃO HUMANO-COMPUTADOR E A USABILIDADE

Para apoiar a construção de interfaces adequadas, tanto para sistemas computacionais quanto

produtos, em meados de 1980, um termo denominado ergonomização da Interação Humano-

Computador (IHC) surgiu. A IHC é uma maneira de descrever um campo de estudo focado na

relação entre computadores e seres humanos abordando principalmente as dificuldades e limitações

dos usuários (MEMÓRIA, 2004).

Esta relação entre os computadores e os seres humanos é intermediada pela interface das

aplicações. A interface envolve todos os aspectos de um sistema com o qual o usuário mantém

contato e interage (MORAN, 1981). Segundo Pressman (2001), uma interface de usuário apropriada

proporciona uma comunicação adequada entre usuário e sistema, sendo um modo potencial de

evitar que tal interface seja rejeitada pelo usuário.

Com o intuito de criar interfaces mais amigáveis, a IHC fornece aos pesquisadores e aos

desenvolvedores de sistemas, explicações e previsões para fenômenos de interação e resultados

práticos para o design de interfaces (HEWETT, 1992). Essa interação que ocorre entre o ser

humano e o sistema computacional pode ser apresentada através de vários formatos: elementos

visuais de telas, componentes físicos, comandos visuais e voz, gestos, sensores capazes de captar

informações sobre o contexto, entre outros (IPIÑA; MENDONÇA; HOPPER, 2002).

A IHC é uma área multidisciplinar que envolve as áreas de Ciências da Computação,

Psicologia, Fatores Humanos, Linguística, entre outras. Refere-se a uma disciplina que não se

dedica apenas ao estudo de computação ou do ser humano, mas de uma disciplina que sintetiza a

comunicação entre estas duas entidades (SILVA FILHO, 2003).

37

Dentro deste contexto de Ergonomização de Interação encontra-se a usabilidade de

interfaces, que pode ser compreendida como a capacidade de um sistema de ser utilizado com

facilidade e eficiência pelo usuário (SANTOS, 2006). Muitas pesquisas relacionadas com a

usabilidade já foram realizadas e os aspectos de usabilidade levantados nestas pesquisas são os mais

diversos, destacando assim a importância que a usabilidade de software apresenta (HOLLINGSED;

NOVICK, 2007).

2.1.1 A Importância da Usabilidade

As necessidades de melhoria de interfaces vão além da facilidade de uso. De acordo com

Moraes (2002) faz-se necessário minimizar o tempo que os usuários gastam com a aprendizagem,

minimizar também a irritação destes quando não capazes de navegar nos programas, reduzir a

subutilização dos recursos disponíveis e a possibilidade de erros na operação aumentando assim o

rendimento do trabalho.

Experiências negativas geram aborrecimentos e frustrações para os usuários, fazendo com

que este se sinta diminuído, trazendo para si a culpa de não conseguir realizar tarefas que,

hipoteticamente, outros usuários conseguem. Interfaces de uso frequente e profissional podem levar

usuários à ansiedade e ao estresse devido a sequencia de experiências negativas e a pressão de

utilização (CYBIS, 2003).

Segundo Cybis (2003), o desenvolvimento de sistemas com boa usabilidade pode criar

impacto positivo nas tarefas do usuário. Este impacto está relacionado com a eficiência, eficácia e

produtividade, proporcionando ao usuário menos esforço e mais satisfação na execução de suas

tarefas. Uma interface difícil de ser utilizada gera o aumento da carga de trabalho do usuário e traz

consigo consequências negativas que podem ir desde a resistência ao uso, passando pela

subutilização do sistema e em algumas vezes gerar o abandono do sistema. Os prejuízos de

subutilização ou abandono podem ser bastante elevados dependendo da escala em que o software é

empregado.

De acordo com Nielsen (1993), a usabilidade pode retornar o investimento à empresa ao

transmitir a ideia de qualidade, evitar prejuízos para os clientes por evitar custos de manutenção ou

melhoria nos produtos. Interfaces adaptáveis irão permitir a diferentes usuários, em diferentes

ambientes físicos, tecnológicos e organizacionais o alcance de objetivos com mais facilidade.

38

Para Johnson (2001, p.20):

...nosso único acesso a esse universo paralelo de zeros e uns se dá através do conduto da

interface do computador, o que significa que a região mais dinâmica e mais inovadora do

mundo contemporâneo só se revela para nós através dos intermediários anônimos do

design de interfaces.

Avanços tecnológicos relacionados ao uso de computadores somente serão possíveis caso os

projetos de interface apresentar eficiência para promover este avanço. Na teoria, muitas empresas e

muitos profissionais, reconhecem a importância da usabilidade, porém na prática parece haver um

desconhecimento sobre como atingir essa usabilidade (LALLEMAND, 2011). Faz-se necessário

conhecer os conceitos e definições relacionados com a usabilidade, bem com as técnicas de

avaliação da usabilidade disponíveis para assim ir ao encontro do desenvolvimento avançado de

aplicações.

2.1.2 Avaliação da Usabilidade

O objetivo de fazer uma avaliação de usabilidade é detectar possíveis problemas que

usuários podem encontrar nas condições reais de uso. Sendo assim, seguindo as definições de

usabilidade já apresentadas anteriormente, antes de qualquer avaliação de usabilidade é preciso

conhecer quem é o usuário do sistema, quais as tarefas que ele realiza e em que tipo de ambiente de

execução ele trabalha.

A aplicação de práticas de avaliação da usabilidade pode ser realizada em qualquer fase do

desenvolvimento de software. Na fase inicial servirá para identificar parâmetros ou elementos a

serem implementados no sistema. Na fase intermediária é útil na validação ou refinamento do

projeto e por fim, na fase final, assegura que o sistema atenda aos objetivos e as necessidades dos

usuários. Assim, recomenda-se que a aplicação de práticas de avaliação da usabilidade seja

realizada pelo menos a partir da fase de refinamento ou validação do projeto (PADILHA, 2004).

De acordo com Cybis (2003), a avaliação da usabilidade tem como objetivos gerais: (i) a

validação da eficácia da interação humano-computador diante da efetiva realização de tarefas por

parte dos usuários, (ii) a verificação da eficiência desta interação diante dos recursos empregados e,

(iii) a obtenção de indícios da satisfação ou da insatisfação que ela possa trazer ao usuário.

39

Para Liljegren (2004), a avaliação da usabilidade, deve ser composta de três etapas:

encontrar problemas, determinar a severidade e propor soluções. Os problemas são encontrados

através da aplicação de técnicas de avaliação, a severidade pode ser determinada de acordo com a

frequência, impacto e persistência com que o problema ocorre. Por fim, a proposta de solução pode

ser feita por um especialista, após análise de resultados obtidos.

Um problema de usabilidade refere-se a qualquer característica que interfira na habilidade

do usuário em completar suas tarefas de forma efetiva e eficiente. Um problema é um aspecto do

sistema sobre o usuário que torna o sistema desagradável, ineficiente, oneroso ou impossível de

permitir a realização de objetivos de usuário em uma situação típica de uso (RAVDEN; JOHNSON,

1989).

Ainda, de acordo com Cybis (2003), atividades ligadas a esta perspectiva de avaliação da

usabilidade visam identificar os problemas de usabilidade em interfaces humano-computador e

contribuir para a sua eliminação. Entre os objetivos a serem atingidos pelas avaliações, tem-se:

Constatar, observar e registrar problemas de usabilidade durante a interação do

usuário com o sistema;

Calcular métricas objetivas para eficácia, eficiência e produtividade do usuário

durante a interação com o sistema;

Diagnosticar características de projeto que atrapalhem a interação entre o usuário e o

sistema;

Prever dificuldades de aprendizado em relação à operação com o sistema;

Prever tempos de execução de tarefas informatizadas;

Conhecer a opinião do usuário em relação ao sistema;

Sugerir as ações de re-projeto mais evidentes diante dos problemas diagnosticados.

A avaliação da usabilidade de interfaces pode ser realizada de diferentes maneiras, as quais

se enquadram basicamente em: avaliações envolvendo participação de usuários, avaliações

utilizando métodos de inspeção e estudos de campo. Nas avaliações que envolvem a participação

40

direta do usuário, encontram-se desde simples coleta de opinião sobre o nível de satisfação na

utilização de determinada interface, até o nível de análise de dados comportamentais, através da

realização de experimentos controlados (ensaios de interação). Métodos de inspeção tratam de um

conjunto de técnicas de avaliação baseadas em conhecimento, com os quais os avaliadores

examinam aspectos de usabilidade em uma interface seguindo critérios estabelecidos em cada um

dos tipos de inspeção. Estudos de campo baseiam-se na observação dos usuários utilizando uma

determinada interface, por dias ou por semanas, em seu ambiente de trabalho normal (PREECE et

al. 2005).

Para obter bons resultados, faz-se necessário planejamento adequado da avaliação e

aplicação de técnicas adequadas. No planejamento da avaliação, citado anteriormente, e na escolha

das técnicas, é importante avaliar as condições do ambiente e para que tipo de pessoas seja aplicado.

2.1.3 Técnicas de Avaliação da Usabilidade

A usabilidade é tema de estudo há algum tempo em diversas áreas do conhecimento. Ao

longo dos anos, uma série de técnicas para a avaliação da usabilidade foram desenvolvidas e

aplicadas de acordo com características e dificuldades dos objetos em estudo. Estudos mostram que

algumas técnicas são mais eficazes no encontro de problemas de usabilidade, em diversas situações

e com bastante êxito (SILVA FILHO, 2008).

As classificações para os tipos de avaliação da usabilidade são referenciadas por diversos

autores, tais como Nielsen e Mack (1994), Moço (1996), Heemann (1997), Medeiros (1999), Cybis

(2000), entre outros, que utilizam nomenclaturas diferenciadas para cada tipo de avaliação de

interfaces, todavia, de acordo com Padilha (2004), o principal critério de avaliação de interfaces é a

participação ou não do usuário nas avaliações.

Para escolher uma técnica de avaliação, faz-se necessário examinar suas qualidades no

confronto com os recursos disponíveis e as expectativas de resultados da avaliação de usabilidade

(CYBIS, 2000). O Quadro 1 apresenta uma comparação entre tipos de avaliação da usabilidade,

envolvidos, técnicas utilizadas e objetivos de avaliação.

41

Quadro 1. Técnicas de avaliação da usabilidade

TIPO DE

AVALIAÇÃO ENVOLVIDOS TÉCNICA/METODOLOGIA

OBJETIVO

(tipo de diagnóstico)

Técnicas

Prospectivas

Baseada na opinião do

usuário sobre a interação

com o sistema

Questionários

São uteis para obter informações quando existir um

grande número de usuários ou quando estes estiverem

geograficamente distribuídos, segmentados por perfil

ou por amostragem.

Avaliar a satisfação ou insatisfação

relativo ao sistema e sua operação.

Ensaios de Interação

Simulação de uma situação real de trabalho em campo

ou em laboratório da qual participam usuários

representativos da população-alvo do sistema.

Revelar problemas ligados a

utilização real do sistema e obter

dados objetivos sobre a produtividade

na interação. Revelam barreiras e

obstáculos gerais, iniciais e

definitivos.

Monitoramento com sistemas espiões

Sistemas de Software residentes na máquina do

usuário executando em paralelo ao aplicativo em teste.

Capturar e registrar a interação do

usuário não causando

constrangimentos.

Avaliação via Checklist

Trata-se de inspeções a requisitos propostos por

padrões de qualidade. Baseiam-se em listas de

verificação, guidelines e normas.

Possibilidade de ser realizada por projetistas, não

exige especialistas em interfaces humano-computador

pois o conhecimento ergonômico está contido no

checklist.

Grande quantidade de problemas

intermediários e menores; facilita a

identificação de problemas, reduz o

nível de subjetividade e custos.

Avaliação Heurística

Analise de conformidade do sistema diante de padões

de qualidade ou heurísticas definidas por especialistas.

A avaliação da usabilidade se da apartir de regras

heurísticas, experiências, conhecimentos ou habilidade

pessoais ou de grupos.

Todos os tipos de problemas

ergonômicos do software, inclusive

os falsos.

Problemas gerais e iniciais (ligados a

intuitividade do sistema).

Técnicas

Preditivas

/Diagnósticas

Sem participação do

usuário.

Basedo no conhecimento

e na experiência dos

avaliadores e em modelos

formais

Técnicas

Objetivas/

Empíricas

Participação direta dos

usuários.

Baseados na Observação

da Interação.

Avaliação Analítica

Confronto entre as lógicas de operação do projetista e

de um usuário novato. Empregado nas primeiras

etapas da concepção da interface.

Fonte: Adaptado de Padilha (2004).

Dentre as técnicas de avaliação da usabilidade citadas no Quadro 1, esta pesquisa optou por

utilizar a técnica preditiva de inspeção por checklist. Essa escolha ocorreu devido aos benefícios

que um checklist bem elaborado pode proporcionar aos envolvidos (analistas, desenvolvedores, etc.)

com aplicação de práticas de usabilidade em projetos de desenvolvimento de software que muitas

vezes não possuem conhecimentos em ergonomia.

2.1.3.1 Inspeções Ergonômicas Via Checklist

Um checklist é uma ferramenta que possui uma lista de questões a responder sobre a

usabilidade de um projeto/produto no qual o conhecimento ergonômico relacionado com a

usabilidade já está embutido no próprio checklist. Através da utilização de um checklist é possível

42

avaliar a qualidade de um software verificando a conformidade da interface em relação às

recomendações ergonômicas originárias de pesquisas aplicadas. Um checklist trata de aspectos

avaliativos gerais e também questões específicas. Versões personalizadas ou especializadas de um

checklist podem ser desenvolvidas a partir de recomendações genéricas (PADILHA, 2004).

Neste tipo de técnica, é a qualidade da ferramenta de checklist que determina a qualidade e a

possibilidade de avaliação, portanto, checklists bem elaborados devem produzir resultados mais

uniformes e abrangentes no que diz respeito à identificação de problemas de usabilidade tendo em

vista que os inspetores são conduzidos a examinar a interface através de uma mesma lista de

questões para ser respondidas em relação à usabilidade do projeto (CYBIS, 2003).

Os resultados que são obtidos quando esta técnica é utilizada dependem, portanto, da

organização e do conteúdo dessas ferramentas. Muitas vezes a sistematização é prejudicada devido

a questões subjetivas, que exigem do inspetor, muitas vezes novato na aplicação de práticas de

usabilidade, um nível de competência em usabilidade que ele não possui (CYBIS, 2003). Através de

guidelines ou questões adequadas ao tipo de interface em avaliação, a tendência é que as avaliações

sejam mais completas que em outros métodos, pois se pode fazer uma avaliação mais abrangente e

sistemática de várias características e propriedades da interface e não apenas a detecção do maior

número de problemas, como ocorre em alguns casos como a avaliação heurística, onde os resultados

da avaliação muitas vezes sofrem a influência das preferências pessoais e da forma como o

avaliador percorre a interface (JEFFRIES et al. 1991).

Nas inspeções via checklist, os inspetores, em sessões individuais, fazem a conferência da

interface comparando-a com o que é recomendado por um conjunto de guidelines. A aplicação

desta técnica pode ser através de um conjunto de recomendações na forma afirmativa (guidelines)

ou um checklist, onde as recomendações são organizadas no formato de questões, facilitando

significativamente o processo de avaliação. Não é recomendado que guias de recomendação ou

checklists sejam muito extensos, pois caso isso ocorrer, ficarão pouco práticos e irão desprender

muito tempo dos avaliadores com a interpretação (VALIATI, 2008). Nestes checklists, as questões

podem vir acompanhadas de notas explicativas, de exemplos ou até mesmo de um glossário a fim

de esclarecer possíveis dúvidas associadas às questões (CYBIS, 2003).

De acordo com Cybis (2000), a avaliação realizada por meio de checklists apresenta as

seguintes características:

43

Dispensa profissional de ergonomia (conhecimento ergonômico no checklist);

Facilita identificação de problemas devido à especificidade das questões;

Reduz nível de subjetividade e por consequência aumenta a eficácia;

Diminui custos (não há necessidade de profissional especializado);

Sistematiza a avaliação garantindo resultados mais estáveis mesmo quando aplicada

separadamente por diferentes avaliadores.

De acordo com Jeffries (et al. 1991), trata-se de uma das técnicas que apresenta um dos

menores custos de aplicação. Este baixo custo é em decorrência de diversos fatores, tais como: não

necessitar de especialista em IHC, não envolver usuários reais e consumir o menor tempo possível

durante sessões de teste e tratamento de dados. Poderia ser enquadrado como um dos métodos de

engenharia de usabilidade descontada, porém o fato de sua produtividade estar restrita a

abrangência e qualidade das guidelines/listas de verificação consideradas na avaliação. Entretanto,

mesmo com significativas vantagens relacionadas a custo e tempo, este tipo de avaliação muitas

vezes se torna efetivamente pouco mencionada e utilizada, devido à restrita quantidade de

guidelines que abordam particularidades e características pertinentes a tipos específicos de

interface.

2.1.4 Normas, Métodos e Modelos Relativos à Usabilidade.

Fundada em 23 de fevereiro de 1947, a Organização Internacional para a padronização (ISO,

em inglês: International Organization of Standardization), é uma entidade que reúne os grêmios de

padronização e normalização em 158 países. A ISO objetiva promover o desenvolvimento das

atividades e nivelamento nos serviços e produtos, resultando em acordos internacionais publicados

como padrões internacionais, também chamadas de normas ISO (ISO, 2011). Existem algumas

normas relacionadas com a usabilidade, que apresentam orientações para o desenvolvimento de

software.

44

2.1.4.1 ISO 9241

Na avaliação da usabilidade de sistemas interativos, tem-se também a ISO 9241 “Requisitos

ergonômicos para trabalho de escritórios com computadores” que foi criada em 1998 pela

International Standard Organization e adotada pela ABNT em agosto de 2002 sob a forma de

NBR-9241. Trata-se da primeira norma que definiu oficialmente a usabilidade como sendo a

medida pelo qual um sistema pode ser usado por um usuário específico para alcançar objetivos

específicos e em um contexto de uso específico, com eficácia, eficiência e satisfação (NBR 9241-

11).

Esta norma estabelece de uma forma ampla diretriz para sistemas computacionais com o

objetivo de permitir que o usuário atinja seu objetivo e satisfação de sua necessidade em um

contexto de uso particular. O contexto de uso do sistema é compreendido pela descrição dos

seguintes itens: usuários, tarefas, equipamentos e ambientes (DIAS, 2003).

As recomendações existentes na ISO 9241 foram definidas a partir de uma revisão da

literatura existente e através de evidências empíricas, sendo então utilizadas pelos projetistas e

avaliadores de interfaces (CYBIS, 2003). A parte 10 desta norma, intitulada “Princípios de

Diálogo”, merece destaque para esta pesquisa, por se ater aos princípios da usabilidade no diálogo

mantido entre as interfaces e o usuário de um software. Estes princípios, segundo a própria norma

aborda, podem ser aplicados genericamente no projeto de interfaces, independente da técnica

especifica de diálogo que esteja sendo trabalhada no momento.

A definição proposta na norma salienta o fato de que a usabilidade não é uma propriedade

isolada do produto, mas dependente de usuário, tarefas e contexto de uso do sistema. Esta norma

explica como elencar as informações necessárias para a especificação ou avaliação da usabilidade

em termos de medidas de desempenho do usuário e de sua satisfação. Orientações sobre como

descrever o contexto de uso do produto e medidas relevantes de usabilidade são apresentadas.

2.1.4.2 ISO/IEC 9126 e ISO/IEC 25000

A norma ISO/IEC 9126 (2001) intitulada: “Engenharia de Software: Qualidade do produto”

trata da avaliação de qualidade de um produto de software, teve seu início em 1991 com a definição

de características para a avaliação de um software como um produto, traz consigo o conceito de

“qualidade em uso” que trata da capacidade do produto de software em permitir a usuários

45

específicos atingir metas especificadas. Como o escopo de avaliação de software sofreu um rápido

crescimento, no ano de 2000 a norma sofreu algumas atualizações que faltavam em 1991

(MAUDA, 2012). Apresenta métricas baseadas em normas de qualidade, engenharia de software e

requisito de usabilidade para medir a qualidade de um produto de software de qualquer aplicação.

Tais métricas são colocadas através de um conjunto de questões que deve ser observadas durante a

avaliação (ISO 9126, 2001).

Semelhante à definição de usabilidade encontrada na ISO 9241, na norma ISO/IEC 9126

também existe referência ao contexto de uso para definição da usabilidade. Tratada como um dos

componentes de qualidade de software, nesta norma a usabilidade é definida como a capacidade de

compreensão do software pelo usuário, capacidade de aprendizado, capacidade de ser operado e

atrativo para o usuário quando utilizado sob condições específicas. Trata-se de uma definição bem

próxima da visão de Nielsen e Jordan, que citam a usabilidade relacionada à facilidade de uso e ao

aprendizado (BETIOL, 2004).

As seis características citadas na norma ISO/IEC 9126 são: funcionalidade, confiabilidade,

usabilidade, eficiência, manutenibilidade e portabilidade. Todas estas características citadas são, por

sua vez, subdivididas em subcaracterísticas. Neste caso, para o trabalho aqui proposto, é importante

destacar que as subcaracterísticas de usabilidade são: inteligibilidade, apreensibilidade,

operacionalidade, atratividade e conformidade relacionada à usabilidade (ISO 9126, 2001).

Posteriormente, no ano de 1999, o comitê técnico da ISO realizou a revisão das normas

ISO/IEC 9126 e ISO/IEC 14598, convergindo as duas em uma única família para que falhas,

ambiguidades e conflitos pudessem ser eliminados. A família dessa norma é a ISO 25000, também

conhecida como Projeto SQuaRE. O objetivo geral do projeto está em confeccionar uma família de

normas logicamente organizadas, com o intuito de cobrir dois pontos principais: especificação de

requisitos e avaliação da qualidade de software, ambos utilizando-se de um processo de medição

(ISO/IEC 25000, 2005).

Um processo de avaliação de qualidade deve contemplar as várias etapas existentes dentro

de um ciclo de vida de um software e assim a norma realizou a divisão deste intervalo: ISO/IEC

2500n com a Divisão da Gestão da Qualidade, ISO/IEC 2501n com a Divisão do Modelo de

Qualidade, ISO/IEC 2502n com a Divisão de Métricas de Qualidade, ISO/IEC 2503n com a Divisão

de Requisitos de Qualidade, ISO/IEC 2504n com a divisão da avaliação da qualidade e por fim a

46

ISO/IEC 25050 – 25099 que possui a extensão de padrões SQuaRE . Cada uma destas divisões é

composta de um conjunto de documentos e trata de um assunto particular (ISO/IEC 25000, 2005).

A norma ISO/IEC 25010 (ISO/IEC 25000, 2005) apresenta o modelo de qualidade para

software atualizando o modelo definido na norma ISO/IEC 9126. Este modelo auxilia a avaliação

por vários atores de um projeto de software como gerentes, desenvolvedores, usuários. A maioria

das mudanças está relacionada com as características e subcaracterísticas do modelo de qualidade

(ISO/IEC 25000, 2005). Em relação à usabilidade, interesse deste projeto, as mudanças são:

Adição da subcaracterísticas “Proteção a erros do usuário”;

Adição da subcaracterísticas “Acessibilidade”;

Mudança de nome “Atratividade” para “Estética de Interface com o Usuário”.

2.1.4.3 MEDE-PROS®

A ASSESPRO Nacional (Associação das Empresas Brasileiras de Tecnologia da

Informação, Software e Internet) e o CenPRA (Centro de Pesquisas Renato Archer), firmaram em

1993 uma parceria objetivando conscientizar e incentivar a capacitação tecnológica das empresas

que produzem software, que estavam associadas à ASSESPRO, criando o Prêmio ASSESPRO de

Qualidade de software “Melhor software do Ano” (CARNEIRO; MOURA, 2004).

Com o intuito de aumentar a confiabilidade do julgamento técnico do prêmio, o CENPRA

desenvolveu, em 1993 o MEDE-PROS®, uma metodologia de avaliação da usabilidade registrada

junto a Fundação Biblioteca Nacional (MEDE-PROS, 1997) e pertencente ao Centro de Pesquisa

Renato Archer – CenPRA (SILVA JUNIOR, 2008).

Quando desenvolvido, este método tinha seus critérios baseados apenas na norma NBR

ISO/IEC 9126 e apresentava 43 questões de verificação. Mais tarde, em 2000, o método passou para

540 questões sendo que os critérios passaram a ser baseados em outras normas, tais como: ISO/IEC

9126, 14598-5, 12119, 9241 e IEEE 1063, além também de toda a experiência adquirida pelo

CENPRA ao longo dos anos (CARNEIRO; MOURA, 2004).

Este método passou a ser referência nacional na avaliação de qualidade de produtos de

software, passando a ser utilizado não somente para o prêmio, mas também para a qualificação do

47

PNAFAM (Programa Nacional de Apoio a Gestão Administrativa e Fiscal dos Municípios

Brasileiros), para as CNS (Chamada Nacional SOFTEX de 1997) e na avaliação de produtos de

software de empresas com o objetivo de qualificar os seus produtos (CARNEIRO;MOURA, 2004).

Trata-se de um modelo utilizado nas avaliações de qualidade de produto de software em

várias ocasiões nas quais o CTI (Centro de Tecnologia da Informação Renato Archer) desenvolveu

atividades sob demanda (GUERRA; COLOMBO, 2008). O MEDE-PROS® é formado por três

componentes: listas de verificação, manual do avaliador e um modelo de relatório de avaliação.

A lista de verificação é uma ferramenta de avaliação da qualidade de produtos de software

formada por cinco módulos que permite avaliar um produto de forma completa. Destes cinco

módulos, dois são de pacote e descrição do produto e verificam se as informações disponíveis ao

comprador, antes da compra efetuada, estejam em conformidade com os requisitos da norma NBR

ISO/IEC 12119, um terceiro módulo, de documentação, verifica se os requisitos de qualidade

definidos pela ISO/IEC 12119 e 9126 e ANSI IEEE 1063 estão presentes no produto de software

que se encontra em avaliação. O quarto módulo verifica se os requisitos de software definidos pela

norma ISO/IEC 9126 estão presentes no produto avaliado. Por fim, o quinto módulo, de interfaces,

verifica se os requisitos de qualidade definidos pelas normas ISO/IEC 9126, 9241-10, 11, 12, 14 e

16 e pelo ERGOLIST também estão presentes no produto avaliado (CARNEIRO; MOURA, 2004).

Cada um destes módulos citados é dividido em características de qualidade que são

avaliadas segundo um ou mais quesitos, sendo que cada quesito é um atributo que deve ser

observado por um avaliador em um contexto definido (GUERRA, COLOMBO, 2008). Dessa

forma, com a lista de verificação apresentada pelo MEDE-PROS®, é possível avaliar elementos

que compõe um produto de software, tais como: embalagem, descrição do produto, documentação,

interface e software (SILVA JUNIOR, 2008). A Figura 1 apresenta a estrutura da lista de

verificação de um método de avaliação no MEDE-PROS®.

48

Figura 1. Estrutura de lista de verificação de um método de avaliação (mede-pros)

Fonte: Adaptado de Guerra e Colombo (2008).

O módulo de interface no MEDE-PROS® é composto de características e subcaracterísticas.

As características citadas são usabilidade (formada pelas subcaracterísticas: inteligibilidade e

operacionalidade), funcionalidade (formada pelas subcaracterísticas: adequação, acurácia e

segurança de acesso) e confiabilidade (formada pelas subcaracterísticas: maturidade e tolerância a

falhas). Todas estas características e subcaracterísticas são avaliadas por um total de 66 questões.

As listas de verificação são compostas de questões com proposições lógicas sobre um

determinado atributo a ser verificado. Sendo assim, cada proposição que compõe um atributo é o

mais objetiva possível, envolvendo apenas um aspecto do atributo, sendo que as possíveis respostas

para as questões são: “S” – Sim, para as proposições verdadeiras; “N” – Não, para as proposições

falsas; “NA” – Não Se Aplica, para as sentenças que referenciam um aspecto que não se enquadra

ao produto avaliado e por fim, “AP” – Avaliação Prejudicada, para aquelas sentenças em que o

avaliador não está em condições de avaliar (SILVA JUNIOR, 2008).

O manual do avaliador, segundo componente do MEDE-PROS® apresenta um conjunto de

informações utilizadas em conjunto com as listas de verificação, durante a avaliação da qualidade

de um produto de software, fornecendo diretrizes e recomendações para a execução de um processo

de avaliação. Trata-se de um manual composto de explicações e exemplos de alguns atributos

presentes nas listas de verificação para que seja possível uma melhor compreensão do aspecto a ser

avaliado, convenções utilizados no checklist, diretrizes para a execução da avaliação, regras e

49

obrigações dos avaliadores e informações acerca do preenchimento do checklist (SILVA JUNIOR,

2008).

Por fim, o último componente do MEDE-PROS®, o “Relatório de Avaliação”, é um laudo

técnico sobre a qualidade do produto de software avaliado do ponto de vista de um usuário final.

Trata-se do resultado da avaliação, destacando os aspectos do produto de software que atendem as

normas de qualidade de software, bem como os aspectos a serem revistos, originados pelas não

conformidades encontradas durante o período de avaliação.

2.1.4.4 ERGOLIST

O LabIUtil (Laboratório de Utilizabilidade) é um laboratório, vinculado ao Departamento de

Informática e Estatística e ao Departamento de Produção de Sistemas da Universidade Federal de

Santa Catarina (UFSC), que fornece serviços de avaliação de qualidades ergonômicas de

dispositivos com interfaces humano-computador. Tem como principal objetivo auxiliar na criação e

manutenção das qualidades ergonômicas, buscando: facilidade de aprendizagem, facilidade de uso e

adequação a tarefa dos dispositivos interativos informatizados (ERGOLIST, 2008).

O ERGOLIST, disponibilizado via internet, possui como principal objetivo disponibilizar

informações, serviços e oportunidades de comunicação para auxiliar no projeto (design) e na

avaliação de interfaces humana-computador ergonômico. Composto por uma base de conhecimento

em ergonomia é formado pela união de várias recomendações escolhidas considerando alguns

critérios: importância e pertinência da recomendação, existência de material explicativo sobre a

recomendação e sua aderência a um critério ergonômico e a uma característica de interface

(ERGOLIST, 2008).

O ERGOLIST foi desenvolvido por diversos profissionais do Laboratório de Utilizabilidade

e conta com dezoito critérios elementares: Presteza, Agrupamento por Localização, Agrupamento

por Formato, Feedback, Legibilidade, Concisão, Ações Mínimas, Densidade Informacional, Ações

Explícitas, Controle do Usuário, Flexibilidade, Experiência do Usuário, Proteção contra Erros,

Mensagens de Erro, Correção de Erros, Consistência, Significados e Compatibilidade.

Para que o Ergolist possa ser utilizado, basta que o avaliador acesso seu endereço na

internet: http://www.labiutil.inf.ufsc.br/ergolist, onde existem informações sobre a ferramenta e o

usuário posteriormente define qual o módulo que será acessado:

50

Módulo 1 – Checklist: auxilia o avaliador a realizar uma inspeção sistemática da

qualidade ergonômica da interface com o usuário de seu sistema. O checklist

apresentado no site é dividido em 18 critérios de avaliação;

Módulo 2 – Questões: possibilita o conhecimento das questões que formam o

checklist. Os 18 critérios de avaliação apresentam um total de 194 questões;

Módulo 3 – Recomendações: encontram-se recomendações ergonômicas que podem

auxiliar nas decisões de projetos de interface com o usuário. Os 18 critérios de

avaliação apresentam um total de 194 recomendações.

Também fica disponível para o usuário, acesso a glossário de termos, enunciados das

questões e informações complementares.

2.1.5 Decomposição da Usabilidade

A usabilidade é comumente compreendida como um atributo que avalia a qualidade de uso

de uma aplicação (HUSSAIN; FERNELEY, 2008). Trata-se de um fator importante inserido em

quase todos os modelos de qualidade de software. Uma definição adequada da usabilidade pode agir

como uma diretriz para o desenvolvimento eficiente de sistemas de software (DUBEY; RANA,

2011).

Conforme já citado nesta pesquisa, devido à importância tão ampla da usabilidade, pode-se

encontrar na literatura um grande número de pesquisas acerca do tema. Estas pesquisas vêm ao

encontro das necessidades de software de qualidade que o mercado passou a exigir, tornando-se

necessário apoiar a construção de software de qualidade em definições precisas acerca deste tema,

bem como de atributos que apoiem a respectiva avaliação (DUBEY; RANA, 2010).

As pesquisas encontradas na literatura abordam diferentes definições para a usabilidade,

bem como diferentes atributos para avalia-la (DUBEY; RANA, 2011). A Tabela 1 pretende

apresentar alguns dos atributos de usabilidade propostos na literatura.

51

Tabela 1. Atributos de usabilidade em diferentes modelos, padrões e definições

Ano Pesquisadores Atributos

2012 Dubey et al. Eficácia, eficiência, satisfação e capacidade de aprendizado.

2010 Alonso-Rios et

al.

Capacidade de ser conhecido, operacionalidade, eficiência, robustez,

segurança, satisfação subjetiva.

2009 Sauro e Lewis Tempo de tarefa, taxa de conclusão, erros, satisfação no pós-tarefa e

satisfação no pós testes.

2006 Seffah et al. Eficiência, eficácia, produtividade, satisfação, capacidade de aprendizado,

segurança, confiabilidade, acessibilidade, universalidade e utilidade.

2003 Bass e John Modificabilidade, escalabilidade, reusabilidade, desempenho e segurança.

Campbell e

Aucoin

Facilidade de aprendizado, facilidade de uso, facilidade para relembrar,

tolerância a erros e subjetivamente agradável.

Abran et al. Eficiência, eficácia, satisfação, capacidade de aprendizado e segurança.

2002 Brinck et al. Funcionalmente correto, eficiente de usar, fácil de aprender, fácil de

lembrar, tolerante a erros, subjetivamente agradável.

2001 Battleson et al. Facilidade de aprendizado, facilidade para relembrar, poucos erros e

suporte.

Seffah,

Donyaee e

Kececi

Eficácia, eficiência, satisfação, produtividade, segurança,

internacionalidade e acessibilidade.

ISO 9126-1 Inteligibilidade, capacidade de aprendizado, operacionalidade,

atratividade e concordância com a usabilidade.

1998 ISO 9241-11 Eficácia, eficiência e satisfação.

Lecerof e

Paternò

Necessidades do usuário, eficiência, sentimentos subjetivos do usuário,

capacidade de aprendizado e segurança do sistema.

1997 Wixon e

Wilson

Capacidade de aprendizado, eficiência, taxa de erro, memorização,

primeira impressão, uso de recursos avançados, satisfação, flexibilidade e

evolução.

1994 Preece Capacidade de aprendizado, rendimento, atitude e flexibilidade.

1993 Hix e Hartson Desempenho inicial, desempenho a longo prazo, capacidade de

aprendizado, capacidade de retenção, uso avançado de recursos, primeira

impressão e satisfação do usuário a longo prazo.

Nielsen Capacidade de aprendizado, eficiência, memorização, poucos erros e

satisfação.

1992 IEEE Std.

1061

Compreensibilidade, facilidade de aprendizado, operabilidade e

comunicabilidade.

1991 Shackel e

Richardson

Eficácia, capacidade de aprendizado, flexibilidade e atitude do usuário.

1989 Booth Utilidade, eficácia, capacidade de aprendizado e atitude.

1977 McCall’s Operacionalidade, treinamento e comunicabilidade.

Este conjunto de pesquisas e publicações encontradas nesta revisão bibliográfica

contextualiza a usabilidade através de vários pontos de vista e com um conjunto diferente de

52

atributos em cada pesquisa. A própria literatura informa que não há um consenso em relação à

definição do escopo de atributos relacionados com a usabilidade (SEFFAH et al., 2006).

Além desta diversidade de atributos, outro fator a ser verificado é que estas pesquisas não

apresentam de forma clara como estes atributos estão relacionados ou como seleciona-los para

aplicações em particular de acordo com o ambiente de execução. Esta dificuldade na seleção dos

melhores atributos em relação ao tipo de aplicação que será avaliada gera muitas vezes desperdício

de esforço e tempo por parte dos envolvidos com o processo de desenvolvimento de software.

Devido à falta de uma estrutura consistente e consolidada de atributos, demanda-se tempo

para selecionar os melhores atributos em contexto de uso específicos (SEFFAH et al., 2006), bem

como a melhor técnica para aplicação da inspeção da usabilidade no contexto de desenvolvimento

de um software. As pesquisas acerca da usabilidade possuem qualidade e fornecem benefícios na

sua aplicação, no entanto, apresentam soluções isoladas e não permitem uma visão integrada da

qualidade de software (WAGNER; DEISSENBOECK, 2007).

2.1.6 Trabalhos Relacionados – Checklists de Usabilidade

Conforme verificado através da literatura existente, evidenciado principalmente na Tabela 1,

diversos pesquisadores ao longo dos últimos anos já propuseram listas de atributos para a avaliação

da usabilidade. Pode-se verificar, através do levantamento bibliográfico informal realizado, que não

há um padrão para os atributos abordados pelos pesquisadores. Também foi possível verificar nestas

pesquisas que diversas técnicas de avaliação da usabilidade foram utilizadas para a avaliação destes

atributos.

Esta pesquisa pretende propor um framework para apoio à elaboração de listas de

verificação para inspeção da usabilidade. A inspeção da usabilidade será realizada utilizando a

técnica de inspeção por checklist. Dessa forma, uma revisão informal sobre checklist de usabilidade

foi realizada com o intuito de verificar a estrutura de informação abordada pelos checklists

existentes na literatura.

A revisão informal sobre checklists de usabilidade foi realizada utilizando-se do Google

Scholar, uma ferramenta da Google que permite efetuar pesquisa de trabalhos acadêmicos, literatura

escolar, jornais de universidades e artigos variados. Para a revisão informal sobre checklists de

53

usabilidade, foi definido um protocolo de busca mais sucinto utilizando-se de termos como

checklist, avaliação, inspeção e usabilidade.

O protocolo de pesquisa utilizado no Google Scholar foi: (checklist and evaluation and

inspection and usability). Na aplicação deste protocolo, houve restrição de busca por período: entre

2008 até 2013. A pesquisa foi realizada em toda a web e não somente em páginas em Português.

Após a aplicação do protocolo com os filtros citados, os 50 primeiros registros foram verificados.

O objetivo desta revisão informal foi avaliar se os checklists encontrados apresentam todos

os componentes que se pretende contemplar no framework proposto nesta pesquisa. Ou seja,

verificar a estruturação que se apresentam em relação a características, atributos, questões, métricas

e recomendações.

O cenário encontrado acerca de checklists de usabilidade mostrou-se bastante reduzido em

relação à estruturação de componentes utilizado. Através dos 50 primeiros registros retornados pelo

Google Scholar, foi possível encontrar somente quatro pesquisas que utilizaram a técnica da

inspeção por checklist como técnica de avaliação dos atributos de usabilidade propostos. A Tabela 2

resume as informações dos checklists encontrados na revisão informal realizada.

Tabela 2. Checklists de usabilidade encontrados na revisão

Título Ano

Ambiente de

execução

Possui

questões?

Possui

recomendações?

Possui

métricas?

Perfil de

avaliadores

Conhecimentos

em usabilidade

Número de

avaliadores

Permite

extensibilidade?

A framework for evaluating

the usability of mobile

phones based 2009

Dispositivos

Móveis Sim Não Não

Profissionais

de

usabilidade Sim 8 Sim

UseLearn: A novel

checklist and usability

evaluation method for

eLearning 2010 Web Sim Não Não

Alunos de

graduação

(biologia) Não 105 Sim

Evaluating teamwork

support in tabletop

groupware applications 2008 Tabletop Sim Não Não

Alunos de

universidade Sim 12 Sim

A decision support system

for usability evaluation of

web-based 2011 Web Sim Não Não

Alunos de

universidade Não 179 Não

Todos os quatro checklists verificados apresentavam algumas questões para avaliar alguns

atributos citados, entretanto, sem maiores explicações para compreensão da questão, ou seja, não

apresentavam recomendações para a respectiva avaliação de determinado atributo. Métricas para a

respectiva avaliação do atributo também não foram encontradas.

54

2.1.7 Limitações de Checklists de Usabilidade da Literatura

Este capítulo apresentou uma fundamentação teórica acerca da usabilidade, destacando a

importância desta no desenvolvimento de software. Também foram apresentadas técnicas, normas e

checklists para avaliação da usabilidade que foram criadas ao longo dos anos pela literatura e

pesquisas realizadas nesta área. Dois checklists desenvolvidos por pesquisadores brasileiros para a

avaliação da usabilidade foram apresentados de forma mais detalhada, o MEDE-PROS® e o

ERGOLIST.

O MEDE-PROS®, não é um método de avaliação especialista, portanto, não se especializa

em nenhuma área de domínio de sistemas aplicativos. Trata-se de um método de avaliação genérico.

Sendo assim, devido a sua característica genérica, a avaliação depende da experiência do avaliador,

a avaliação fica “amarrada” à experiência do avaliador na área de domínio do aplicativo que será

avaliado ou na documentação do usuário, fornecida juntamente com o produto de software, sendo

necessário, por diversas vezes, treinar os avaliadores no uso de produtos avaliados, sendo que a

documentação de software, na grande maioria das vezes está desatualizada e, portanto, prejudica a

cobertura da avaliação.

Assim, para o MEDE-PROS®, caso o avaliador é especialista na área de domínio da

aplicação certamente a avaliação será mais produtiva, no entanto, na maioria das vezes não há

disponível avaliador com o perfil necessário e que conheça o método de avaliação (CARNEIRO;

MOURA, 2004). Diante disso, para que a avaliação seja positiva em relação à interpretação das

orientações, faz-se necessário um especialista em usabilidade, gerando muitas vezes um custo extra

para a empresa que resolver utiliza-lo.

Outro ponto a ser destacado é o fato de que esta metodologia não é diretamente focada em

um cliente que irá adquirir um software, mas sim para a empresa de software que queira avaliar a

qualidade de seu produto (DUARTE FILHO, 2011).

O ERGOLIST por sua vez, compõe uma técnica de avaliação rápida, destinando-se a apoiar

a inspeção da interface e descobrir seus defeitos ergonômicos mais flagrantes. Entretanto, este

checklist é genérico e apresenta critérios de inspeção sem indicação do(s) ambiente(s) de execução

para o qual se aplicam, muitas vezes prejudicando avaliações realizadas com o uso do ERGOLIST,

tendo em vista que muitas vezes as questões não se aplicam ao produto avaliado (SANTOS, 2010).

55

Outro aspecto negativo identificado no ERGOLIST foi o grande número de itens que

compõe o checklist utilizado. Esse elevado número torna-se ainda mais agravante quando verificado

que não há um mecanismo que possibilite salvar as informações para que posteriormente seja

possível retornar o checklist a partir do ponto onde se havia parado. A falta de um direcionamento

conforme ambiente de execução, citado anteriormente, faz com que um elevado número de questões

seja assinalado como “Não aplicável” e consequentemente aumenta desnecessariamente a carga de

trabalho do usuário que está realizando a inspeção.

Por fim, os checklists encontrados na revisão informal realizada continham a relação

característica x atributo ou a relação atributo x questão e por sua vez eram específicos para um

ambiente de execução, mas não informavam se determinado atributo ou questão poderia ser

utilizado para avaliação noutro ambiente de execução, por exemplo. As questões, na grande maioria

das vezes não apresentavam métricas ou recomendações para a avaliação da usabilidade, deixando,

portanto, a carga do avaliador realizar a interpretação das questões.

56

3 ESTADO DA ARTE

Ainda não há um consenso entre os pesquisadores para um modelo que descreva claramente

todas as características da usabilidade. Essa lacuna de conhecimento é uma das razões pela qual a

maioria dos estudos de usabilidade ou são simplificados ou são realizados estudos específicos em

determinados contextos (MOSQUEIRA-REY; ALONSO-RÍOS; MORET-BONILLO, 2009).

Outro aspecto relacionado com a usabilidade que deve ser destacado é a grande quantidade

de pesquisas encontradas nesta área. Tem-se um extenso conjunto de características, atributos e

modelos de avaliação da usabilidade disponíveis (SIGNORE, 2005; SEFFAH et al., 2006;

WINTER; WAGNER; DEISSENBOECK, 2008), conforme pode ser observado no Capítulo 2.

Cada um destes modelos de avaliação apresenta seu conjunto específico de atributos, sendo que um

mesmo atributo pode ter sido abordado em diversos modelos ou ser desconsiderado. Outra situação

encontrada também nestas publicações são atributos de usabilidade apresentados com

nomenclaturas diferenciadas, porém com o mesmo conceito ou conceitos semelhantes entre os

modelos. Com base neste cenário, um mapeamento sistemático da literatura vem contribuir com a

sintetização dos atributos utilizados para a avaliação da usabilidade nos ambientes de execução

web, desktop e dispositivos móveis, abordados nas pesquisas realizadas entre 2005 e 2012.

Os termos: característica, atributo, métrica e recomendação, citadas são utilizadas para

classificar os diversos aspectos, informações e qualidades relacionadas com a usabilidade, obtidas

através deste mapeamento sistemático. Optou-se por utilizar uma estrutura de hierarquia para a

apresentação das características, atributos, métricas e recomendações de usabilidade encontradas

nos artigos avaliados, tendo em vista que outros modelos na literatura também utilizam estrutura

hierárquica para apresentar informações relacionadas com a usabilidade (Modelo QUIM, Seffah et

al., 2006).

Assume-se neste mapeamento sistemático da literatura, que as características estão no topo

da estrutura hierárquica citada, representando uma visão mais abrangente da qualidade relacionada

com a usabilidade. Os atributos encontram-se abaixo das características e representam a informação

de forma mais granular. Neste mapeamento sistemático, uma característica poderá ou não estar

relacionada a um ou mais atributos e um mesmo atributo pode estar relacionado a mais de uma

característica. Por fim, na base da estrutura hierárquica, estão às métricas que representam a

57

informação utilizada para a avaliação da usabilidade apresentadas de forma mais objetiva e as

recomendações, que tem por objetivo orientar o desenvolvimento de interfaces através de boas

práticas (como por exemplo: disposição/estrutura de menu, padrão de apresentação para links, cor

de fonte para textos, etc.).

3.1 MAPEAMENTO SISTEMÁTICO DA LITERATURA

A principal razão para a realização de um mapeamento sistemático da literatura é aumentar a

qualidade do material utilizado sobre o assunto de interesse, aumentando o sucesso de investigação,

evitando duplicação desnecessária de esforço e erros. Um mapeamento sistemático segue uma

sequencia definida de passos metodológicos que por sua vez oferecem um elevado valor científico

para os resultados obtidos. Na execução de um mapeamento sistemático, tem-se o estabelecimento

de critérios, estratégias de busca e a descrição de todos os elementos previamente necessários para

que seja realizada uma condução metódica das atividades (KITCHENHAM, 2007). Assim, as

seções seguintes detalham cada etapa realizada.

3.1.1 Planejamento do Mapeamento Sistemático

Objetivando mapear característica e atributos de avaliação da usabilidade nos ambientes de

execução web, desktop e dispositivos móveis, estabeleceu-se a seguinte pergunta de pesquisa:

Quais atributos estão relacionados à usabilidade de produtos de software quando

considerados diferentes ambientes de execução (dentre os contemplados nesta

pesquisa: web, desktop e dispositivos móveis)?

Para responder a questão de pesquisa foram utilizadas quatro bases de dados, a citar: (i)

ACM Digital Library; (ii) IEEExplore Digital Library; (iii) ScienceDirect; (iv) SpringerLink. Em

cada uma das bases de dados a seguinte string de busca foi executada: (usability) AND (attribute

OR factor OR criteria OR metric OR measurement OR method OR evaluation OR requirement)

AND (web OR internet OR www OR desktop OR ‘mobile device’).

A linguagem adotada na pesquisa foi o inglês por ser o idioma predominante nos estudos da

área. Referente à confiabilidade do conteúdo apresentado nos estudos, considera-se que os trabalhos

já passaram por processos de avaliação e revisão prévia que permitiram sua inclusão nas bases

58

pesquisadas. O processo se deu através de busca de estudos primários (experimentos, estudos de

caso) publicados em proceedings, journals e periódicos disponíveis nas bases de dados

internacionais. Após obter as referências dos estudos recuperados nessas quatro bases, foram

adotados alguns critérios de seleção e exclusão que ajudassem a limitar os artigos que pudessem

auxiliar a responder as perguntas de pesquisa (conforme Tabela 3).

Tabela 3. Critério de inclusão e exclusão de estudos

CRITÉRIOS DE INCLUSÃO

CI1. Estudos disponíveis em alguma fonte na web (dentre as fontes citadas aqui);

CI2. Estudos que atendam, em algum nível, a questão de pesquisa. Serão selecionados estudos

que apresentam atributos de usabilidade, aplicado a um produto de software, relacionado com

pelo menos um dos ambientes de execução contemplados pela pesquisa;

CI3. Estudos que apresentam evidência de aplicação dos atributos propostos;

CI4. Estudos que apresentam conceituação dos atributos propostos (a conceituação pode estar no

próprio estudo primário ou em local apontado/direcionado pelos autores);

CI5. Estudos completos publicados em anais e periódicos a partir de 2005;

CRITÉRIOS DE EXCLUSÃO

CE1. Estudos que não apresentem atributos de usabilidade em pelo menos um dos ambientes de

execução contemplados pela pesquisa ou não explicite o ambiente de execução;

CE2. Estudos que não conceituem os atributos utilizados;

CE3. Estudos que apresentem um domínio de aplicação específico, como por exemplo, e-gov, e-

commerce, ou focarem em um perfil específico de usuário, como exemplo, terceira idade,

dificuldade de visão, etc.

CE4. Não serão selecionados resumos de estudos;

CE5. Estudos em que não consta a evidência da aplicação;

CE6. Quando um estudo possuir publicações em múltiplos proceedings ou journals a versão mais

completa do estudo será utilizada;

3.1.2 Condução e Extração

A condução do mapeamento sistemático foi realizada no período de Setembro de 2012 até

março de 2013, consistindo na execução do protocolo de busca. O processo de condução observou

as etapas retratadas na Figura 2, partindo de potenciais 345 estudos, restando 65 estudos

selecionados. A condução dos estudos foi feita em três etapas:

1. Seleção e catalogação preliminar dos estudos coletados: a seleção preliminar das

publicações será feita a partir da aplicação da string de busca nas fontes de busca

selecionadas;

59

2. Seleção dos documentos relevantes: a seleção preliminar utilizando a string de busca não

garante que todo o material que foi coletado seja utilizado no contexto da pesquisa. Sendo

assim, após a identificação das publicações obtidas através dos mecanismos de busca, serão

analisados os estudos seguindo os critérios de inclusão e exclusão estabelecidos;

3. Extração das informações dos documentos relevantes: após a definição da lista final de

documentos relevantes, serão extraídas as informações necessárias relacionadas ao objetivo

da pesquisa.

Figura 2. Processo de seleção de estudos primários

Dentre os 65 estudos selecionados para leitura completa, tem-se o seguinte cenário de

ocorrências em cada uma das bases de dados avaliadas: IEEEXPLORE Digital Library: 45,16%,

ACM Digital Library: 22,58%, Sciencedirect: 19,35% e Springer Link: 12,91%.

A partir do conjunto de estudos primários selecionados para efetuar a extração de dados, as

seguintes informações foram extraídos para análise:

Título: identifica o estudo selecionado;

Ano: fornece uma visão temporal da abordagem de atributos de avaliação da

usabilidade;

60

Base de Dados: identifica a origem do estudo selecionado;

Ambiente de Execução: identifica o ambiente de execução para os atributos

apresentados no estudo avaliado. Neste tópico, os estudos foram classificados como:

(i) web, (ii) desktop e (iii) dispositivo móvel;

Tipo de Referência: identifica as fontes utilizadas para embasar o modelo de

avaliação de usabilidade apresentado no estudo;

Estrutura abordada no modelo: identifica a estrutura apresentada pelo estudo

avaliado quanto à apresentação de atributos de usabilidade;

Lista de atributos: compilação dos atributos de avaliação da usabilidade citados nos

estudos avaliados;

Métricas ou recomendações: identifica se o estudo avaliado apresenta métricas ou

recomendações para orientar a avaliação da usabilidade;

Técnica de avaliação: identifica a técnica empregada para avaliar o modelo ou atributos de

usabilidade abordados em cada estudo avaliado. Foi utilizada a classificação de técnicas de

avaliação proposta por Cybis (2003), conforme apresentado na Figura 3;

61

Figura 3. Técnicas de avaliação da usabilidade

Contexto: identifica o contexto de aplicação do estudo de usabilidade. Neste tópico,

os estudos foram classificados como: (i) não explicitado, (ii) acadêmico/universitário

e (iii) empresarial;

Participantes: identifica o número de pessoas que avaliaram os atributos ou modelo

de usabilidade apresentado.

No processo de seleção de estudos a técnica de snowball foi aplicada. A aplicação deste tipo

de técnica consiste em adicionar na pesquisa que está sendo realizados, estudos referenciados pelos

estudos primários selecionados que possam contribuir com a pesquisa (JALALI; WHOLIN, 2012).

Sendo assim, quando um estudo primário (dentre os 31 selecionados) referenciou outro estudo que

contivesse modelos, métricas ou recomendações que poderiam contribuir com a pesquisa, este

estudo referenciado também foi incluído. No apêndice A encontra-se a listagem com os 31 estudos

primários selecionados pelo mapeamento sistemático juntamente com os nove estudos incluídos

empregando a técnica de snowball, acrescentando nove estudos (#35, #36, #37, #38, #39, #40, #41,

#42, #43).

62

3.1.3 Resultados e Discussões

Esta seção apresenta os principais resultados obtidos a partir dos 31 estudos primários

selecionados. A Figura 4 apresenta a quantidade de estudos que foram selecionados para extração

de dados em cada um dos anos do intervalo de tempo considerado neste mapeamento sistemático

(2005-2012). Ao longo dos anos observa-se que de forma constante foram publicados estudos nesta

área e a produção de pesquisa se manteve, destacando a importância que esta área de pesquisa

remete.

Figura 4. Quantidade de estudos avaliados por ano

Através da Figura 4 pode-se perceber que a ocorrência de estudos relacionados ao ambiente

de execução web se manteve praticamente constante durante o período de tempo avaliado. Esta

quantidade de estudos relacionados ao ambiente de execução web pode ser atribuída, dentre outros

fatores, ao crescimento da Web, sua popularização e sua importância como meio de comunicação

global. Também pode ser verificado (Tabela 5) que se trata do ambiente de execução que mais

aborda atributos relacionados com a usabilidade. Em contrapartida, o ambiente de execução desktop

possui a menor incidência de estudos relacionados à definição de um conjunto de atributos para a

avaliação da usabilidade.

Em relação aos dispositivos móveis, espera-se um crescimento de estudos relacionados a

este ambiente de execução, considerando o crescimento destes ambientes (relatório do Cisco prevê

que dispositivos móveis vão superar número de pessoas em 2013 e que até 2017 haverá 1,4

dispositivos por habitante) (CISCO, 2013).

63

Em relação aos ambientes de execução abordados nos 31 estudos avaliados, tem-se o

seguinte cenário: 71% dos estudos são relacionados ao ambiente web, 23% aos dispositivos móveis

e 6% relacionados ao ambiente desktop.

Nas pesquisas, quanto à utilização de modelos ou normas de referência para os atributos de

avaliação abordados, tem-se o seguinte cenário:

a) Sem indicação de modelo ou norma de referência: 41,93% dos estudos avaliados

apresentaram uma lista de atributos que foram avaliados, utilizando uma das técnicas

abordadas na Figura 3, em um projeto/produto de software. Entretanto, estes estudos

não indicavam o modelo ou norma de referência do qual os atributos eram

provenientes;

b) Com modelo ou norma de referência adaptado: 32,26% dos estudos avaliados

adaptaram um modelo ou norma de avaliação do qual os atributos eram provenientes.

Neste grupo destaca-se a utilização da ISO9241, heurísticas de Nielsen e ISO25000;

c) Com modelo de referência: 25,81% dos estudos avaliados utilizaram um modelo ou

norma existente na literatura sem alteração ou adaptação. Neste grupo destaca-se a

utilização da ISO9241, heurísticas de Nielsen e Microsoft Usability Guidelines

(MUG).

O cenário encontrado quanto à referência de modelos ou atributos de avaliação apresentada

por este mapeamento, reforça o problema já citado quanto à grande quantidade de estudos

apresentados em que cada autor aborda sua lista específica de atributos e os avalia não relacionando

esta lista com modelos já existentes, adaptando-os ou melhorando-os.

Ainda, verificou-se que estes 31 estudos avaliados não abordam uma estrutura específica

(por exemplo, em modelo de framework ou categorização) para os atributos apresentados. A

estrutura encontrada nestes estudos, quanto à apresentação dos atributos de avaliação da

usabilidade, é em formato de uma simples lista de atributos.

Quanto ao contexto de aplicação dos estudos avaliados, observa-se que a maioria dos

estudos selecionados não indica qual o contexto em que os atributos foram aplicados. Dentre os

estudos avaliados neste mapeamento sistemático: 74,19% dos estudos não deixa explícito qual o

64

contexto de aplicação dos atributos abordados. O restante, 25,81%, utiliza o ambiente

acadêmico/universitário como contexto de aplicação dos atributos abordados. O contexto de

aplicação empresarial não foi utilizado em nenhum dos estudos selecionados neste mapeamento.

Este cenário remete a necessidade de ampliação de pesquisas em relação à avaliação de

características e atributos de usabilidade em contextos empresariais, favorecendo assim a aplicação

de forma prática das pesquisas realizadas.

Durante a avaliação dos artigos selecionados para a extração de dados, foi verificada a

presença de recomendações objetivas para auxiliar a avaliação de características e atributos

apresentados. Porém, o cenário encontrado não é favorável quanto à obtenção de tais

recomendações. Dos 31 artigos avaliados, 83,87% dos artigos não apresentam

métricas/recomendações objetivas de da usabilidade. Somente 16,13% dos estudos avaliados

apresentam algum tipo de recomendação de usabilidade.

Para a extração de informações relacionadas a recomendações e métricas, foram

considerados os 31 estudos obtidos através de mapeamento sistemático mais os 9 estudos obtidos

através da aplicação da técnica snowball. Nestes 40 estudos avaliados, foram encontradas 28

características distintas de avaliação da usabilidade. Destes, tem-se o seguinte cenário de

ocorrências por ambiente de execução:

a) Web: 28 características;

b) Desktop: 05 características;

c) Dispositivos móveis: 11 características.

A Tabela 5 apresenta a lista completa de características e atributos por ambiente de

execução, obtidos através do mapeamento sistemático realizado. Quando encontrados atributos

vinculados a estas características, estes atributos são apresentados em uma segunda coluna, na

mesma linha da característica para a qual pertencem, conforme mostra a Tabela 5.

Foi utilizada a nomenclatura das características e atributos abordados nos estudos com

algumas pequenas adaptações quando uma mesma característica ou atributo era abordado em mais

de um estudo onde apresentavam nomenclatura diferenciada, porém com apresentação do mesmo

conceito.

65

A Tabela 4 apresenta a legenda a ser utilizada para a Tabela 5 com os ambientes de

execução que foram considerados neste mapeamento sistemático da literatura. Na Tabela 5,

juntamente com a nomenclatura de características e atributos, tem-se também a apresentação da

informação das referências que citaram tais características ou atributos (referências são identificas

através da cerquilha (#) concatenados com a numeração da referência bibliográfica utilizada que

constam no Apêndice A. Destas, 31 referências obtidas pelo mapeamento sistemático e 9

referências obtidas pela técnica snowball) facilitando ao leitor encontrar a indicação de qual estudo

abordou quais características e atributos, bem como é possível verificar a quantidade de referências

que cada característica ou atributo possui. Caso uma característica ou atributo foi abordado tanto em

um estudo primário dentre os avaliados, quanto em um estudo obtido pela técnica snowball, ambas

as referências foram adicionadas ao mapeamento da Tabela 5.

Tabela 4. Legenda para mapeamento de características e atributos

Web

Mobile Devices

Desktop

66

Tabela 5. Características e atributos mapeados

Informações Textuais #25 #28 #43

Consistência da interação #39 #3 #28 #41 #43

Gestão de Erros #41 #19

Universalidade #40 #4

Utilidade #40 #4

Carga de Trabalho (Memória) #41 #19 #25 #30

Operacionalidade #41 #19 #36 #4 #7

Adaptabilidade #6 #41 #19 #8 #12 #30 #36 #4 #7Comunidade #8 #12

Refinamento #8 #12

Produtividade #40 #4

Capacidade de Aprendizado #40 #4 #6 #16 #20 #35 #3 #36 #4 #7 #11 #14 #15 #41 #19 #24 #27

Segurança #40 #4 #22 #35 #3 #4 #7 #11 #14 #15 #41 #19 #24 #25 #27

Confiabilidade #40 #4 #16 #22

Acessibilidade #40 #4 #36 #7

Brevidade #41 #19

Minimalista #35 #3 #4 #7 #11 #14 #15 #19 #24 #25 #27

Ajuda #35 #3 #4 #7 #11 #14 #15 #19 #24 #27 #28

Documentação #35 #3 #4 #7 #11 #14 #15 #19 #24 #27

Correção de erros #41 #19

Facilidade de uso #4 #6 #7 #8 #9 #12 #24 #27

Objetivo #8 #12

Estrutura #8 #12

Visibilidade do Estado do Sistema #35 #3 #4 #7 #11 #14 #15 #19 #24 #27

Flexibilidade #35 #3 #5 #7 #11 #14 #19 #24 #27

Dispositivos #43

Multimodal #3

Mapeamento entre sistema e mundo real #35 #3 #4 #7 #11 #14 #15 #19 #24 #27

Liberdade #35 #3 #4 #7 #11 #14 #15 #19 #24 #27

Som #43

Componentes #43

Ícones #28 #43

Eficiência #42 #2 #35 #3 #40 #4 #5 #6 #7 #9 #10 #11 #13 #14 #16 #17 #18 #19 #20 #21 #24 #26 #27 #29 #30 #31 #6 #17

Eficácia #42 #2 #40 #4 #5 #7 #10 #11 #13 #14 #17 #18 #20 #21 #24 #26 #29 #30 #31

Satisfação #42 #2 #40 #4 #5 #6 #7 #10 #13 #14 #16 #17 #18 #20 #21 #24 #26 #29 #30 #31

Comandos #43

Mensagens #43

Janelas #43

Fonte #43

Animações e Transições #43

Elementos gráficos #43

Cores #28 #43

Escopo #30

Importância do código #41 #19

Emoção #8 #12

Promoção #8 #12

Compatibilidade #41 #19

Recursos visuais

Simetria #1

Equilibrio #1

Contraste #1

Interface/Layout #23 #43

Funcionalidade #23

Conteúdo de qualidade #8 #12 #22 #23

Coordenação #23

Padrões #35 #3 #4 #7 #11 #14 #15 #19 #24 #27 #25 #36

Design estético #35 #3 #36 #4 #7 #11 #14 #15 #19 #24 #27 #43

CARACTERÍSTICAS ATRIBUTOSIntegração da Comunicação #22

Controle Do usuário #41 #19 #22 #23 #35 #3 #4 #7 #11 #14 #15 #19 #24 #27

Navegabilidade/Orientação #5 #22 #28 #41 #19

67

Existem diversas formas de avaliar a usabilidade de uma aplicação e, no contexto desta

dissertação, os 31 estudos avaliados foram classificados conforme Figura 4. O resultado deste

mapeamento sistemático mostrou que dentre os estudos avaliados, a técnica da avaliação mais

utilizada foi à aplicação de questionários com os usuários. Trata-se de uma técnica bastante

pertinente tendo em vista que o usuário é a pessoa que mais conhece o software, sendo assim, nada

mais condizente que buscar suas opiniões para orientar revisões de projeto (CYBIS, 2003).

Também foi verificada a quantidade de pessoas envolvidas nas avaliações de usabilidade

dos estudos analisados. Constatou-se que tais avaliações ocorreram ou sobre uma lista de atributos

ou sobre um modelo (composto de características e atributos) de avaliação da usabilidade e a

quantidade de pessoas envolvidas nestas avaliações não obedeceu a um padrão em relação à

quantidade apresentada. Para o grupo de estudos que avaliou uma lista de atributos, tem-se desde

avaliações realizadas por grupos de quatro pessoas até avaliações com grupo composto de 215

pessoas. O mesmo ocorre para o grupo de estudos que avaliou um modelo de usabilidade, tendo-se

desde grupos com sete pessoas até grupo com 179 pessoas envolvidas na avaliação da usabilidade

proposta.

3.2 CONSIDERAÇÕES

O mapeamento sistemático da literatura descrito neste artigo abordou características,

atributos e métricas/recomendações de usabilidade encontradas em cada um dos ambientes de

execução avaliados nas pesquisas entre 2005 e 2012 em quatro bases de dados da área.

Este mapeamento sistemático da literatura tornou ainda mais evidente a grande quantidade

de características e atributos abordados pelos diversos autores nas diversas pesquisas relacionadas à

usabilidade, tendo em vista que se verificou um total de 28 características distintas e 76 atributos

que podem ser utilizados pelos envolvidos com uma avaliação de usabilidade em um dos ambientes

de execução citados.

A grande quantidade de características e atributos de avaliação da usabilidade também é

diversificada quando verificados estudos de avaliação para um mesmo ambiente de execução.

Dentre os estudos avaliados, não foi encontrado um padrão ou um conjunto de características e

atributos únicos para avaliação dentre os vários autores que verificam ambientes de execução

específicos.

68

Poucos estudos apresentam métricas ou recomendações objetivas para apoiar na avaliação

da usabilidade. Dentre os 40 estudos avaliados (31 selecionados e 9 adicionados por snowball),

somente cerca de 12,5% apresentam métricas ou recomendações para auxiliar, através de boas

práticas, o desenvolvimento de interfaces.

Dessa forma, a escolha de características e atributos que melhor se aplicam em determinada

avaliação, dentre este diversificado grupo encontrado, não é uma tarefa trivial, tendo em vista que

muitas vezes os envolvidos com a avaliação não possuem conhecimentos necessários na área de

usabilidade que possam auxiliar e facilitar este trabalho de avaliação e, por conseguinte, a melhor

escolha.

Ainda, quando os envolvidos com a avaliação da usabilidade possuem um conjunto de

características e atributos para avaliar, por vezes não fica claro o que e como deve ser avaliada a

interface ou mesmo como a interface deve ser construída para atender determinadas características e

atributos.

Diante deste cenário de complexidade na escolha de características, atributos de usabilidade,

muitas vezes as empresas não aplicam formas de avaliação da usabilidade em seus

projetos/produtos de software por não possuir pessoal especializado que selecione a melhor forma

de avaliação, bem como os melhores atributos para avaliação, produzindo, por vezes softwares com

baixa usabilidade.

Por fim, os resultados obtidos com este mapeamento sistemático deixam ainda mais evidente

a necessidade de um modelo de avaliação da usabilidade que oriente os envolvidos com a avaliação,

apresente orientações objetivas para a avaliação das interfaces e indique o ambiente de execução

para o qual as orientações são válidas. Outro aspecto observado está relacionado a aplicação da

avaliação da usabilidade em contextos empresariais, tendo em vista que o mapeamento sistemático

realizado não retornou nenhum estudo relacionado a este contexto, tem-se a necessidade de

expansão nas pesquisas a fim de gerar uma visão mais ampla da informação relacionada aos

atributos de avaliação da usabilidade.

Por fim, faz-se importante analisar as ameaças inerentes ao processo adotado neste

mapeamento, que consiste, principalmente, no fato de ocorrer o descarte de três estudos por não se

ter acesso aos textos completos. Outra ameaça decorre da condução do mapeamento, a qual foi

69

realizada por apenas um pesquisador, já as etapas de planejamento e discussão envolveram dois

pesquisadores. Para minimizar esta ameaça foi realizada após a conclusão da condução uma análise

dos títulos descartados e, em casos específicos, também do resumo, por um segundo pesquisador

(como forma de revisão). Também se deve considerar que o resultado apresentado restringe-se a

uma string de busca específica em um conjunto de quatro fontes de dados limitado a busca por

termos em inglês. A ampliação dos termos, língua e bases de dados pode revelar novas

características, atributos, métricas e recomendações.

70

4 DESENVOLVIMENTO

A usabilidade de software, criada a partir do contexto de ergonomização de interação, possui

relevante importância para os usuários na execução de suas tarefas. Entretanto, para que a boa

usabilidade de software seja observada, faz-se necessário o desenvolvimento de aplicações que

atendam a padrões de usabilidade. Estes padrões podem ser obtidos através de avaliações de

usabilidade realizadas com o apoio de técnicas, normas, métodos e modelos de avaliação existentes

na literatura. Atualmente, devido a grande importância que a usabilidade de software possui,

existem diversas pesquisas na área que abordam um conjunto variado de técnicas de avaliação, bem

como diversos atributos que podem ser utilizados para averiguar se padrões de usabilidade estão

sendo seguidos. Tais pesquisas evoluíram tanto que atualmente existem atributos de avaliação para

ambientes de execução específicos (Capítulo 2).

De acordo com as pesquisas verificadas e a evidência gerada pelo mapeamento sistemático

realizado (Capítulo 3), muitos atributos de avaliação da usabilidade são comuns a mais de um

ambiente de execução. Com base neste cenário gerado pelas pesquisas, pretende-se verificar

atributos que são aplicáveis (sem distinção) a mais de um ambiente de execução para que possam

ser generalizados, bem como verificar atributos que se aplicam de forma singular a determinado

ambiente de execução para que sejam especializados. Para apoiar neste processo de generalização e

especialização de atributos de usabilidade encontrados na literatura, um framework é proposto.

Frameworks são cada vez mais comuns e importantes (GAMMA et al., 1995).Os

frameworks vêm sendo aplicados no desenvolvimento de softwares já há algum tempo, entretanto, a

definição de framework ainda não é de senso comum. Diversas definições para os frameworks são

encontradas na literatura: Fayad, Schimidt, Johnson (1999) conceituam framework como um design

reutilizável de um sistema de software representado por um conjunto de classes abstratas e pela

forma como suas instancias interagem. Ainda, de acordo com os autores, um framework é o

esqueleto de uma aplicação que pode ser customizada por um desenvolvedor da aplicação. Para

Pinto (2000), um framework é um software parcialmente completo projetado para ser instanciado e

para Mattsson (2000), framework é uma arquitetura desenvolvida com o objetivo de atingir a

máxima reutilização, representada como um conjunto de classes abstratas e concretas, com enorme

potencial de especialização. Por fim, para os autores Pree, Fontoura e Rumpe (2001), framework é

71

uma coleção de diversos componentes independentes com uma cooperação pré-definida entre eles,

com o objetivo de realizar determinada tarefa.

Um framework é uma abstração de um domínio de aplicações (JOHNSON, 1997). Trata-se

de uma aplicação semiacabada que por vezes, pode ser um sistema inteiro ou mesmo um subsistema

que procura descrever os objetos e suas interfaces, fornecendo informações sobre seus fluxos de

controle e mapeando responsabilidades entre os objetos (WIRFS-BROCK; JOHNSON, 1990;

FAYAD; SCHIMIDT; JOHNSON, 1999). Ao desenvolver um framework, busca-se a generalidade

em relação a conceitos e funcionalidades do domínio tratado. É fundamental que a estrutura

produzida seja flexível, isto é, apresente características de alterabilidade e extensibilidade

(CARNEIRO, 2003).

A alterabilidade reflete a capacidade do framework em alterar suas funcionalidades, em

função de uma necessidade específica. É necessária a seleção de soluções de projeto adequadas para

implementação de conceitos gerais de domínio, de modo que a estrutura resultante apresente

alterabilidade requerida. A questão da extensibilidade esta relacionada com a manutenabilidade do

framework. A estrutura de um framework deve ser construída em ciclos iterativos tendo em vista

que a evolução desta estrutura se estende por toda a sua vida útil, pois à medida que é utilizado,

novos recursos podem ser agregados. Na definição de abstrações, deve-se ter a preocupação em

prever futuras atualizações para o framework, inclusive a possibilidade de estender limites do

domínio tratado sem que para isso ocorra grandes mudanças na estrutura, o que por si só já

representa uma grande vantagem (SILVA, 2000).

Ainda, em relação às vantagens obtidas com a utilização de frameworks encontram-se a

modularidade, a extensibilidade e a reusabilidade de elementos (FAYAD; SCHMIDT; JOHNSON,

1999; PINTO, 2000). Ser reusável é a característica de um elemento em ser genérico facilmente

adaptado e reutilizado para criar novas aplicações em diferentes contextos, visando à solução de

problemas similares (FAYAD; SCHMIDT; JOHNSON, 1999). Essa característica é uma pré-

condição para a melhoria da qualidade do software e redução de custos (PREE, 1996). Entretanto,

as vantagens obtidas com a utilização de frameworks vão além da reusabilidade tendo em vista que

quando utilizado um framework, tem-se, tipicamente a incorporação no projeto de uma

padronização das estruturas reutilizadas.

72

Portanto, com base nos conceitos acima citados e nas vantagens que estão relacionadas com

a utilização de frameworks, esta pesquisa aborda o desenvolvimento de um framework utilizado

como ferramenta de apoio à aplicação de práticas de usabilidade em projetos de desenvolvimento de

software através de inspeções por checklist. Este framework fornece atributos que podem ser

inspecionados em cada um dos ambientes de execução contemplados nesta pesquisa, bem como

apresenta questões, métricas e recomendações vinculadas a estes atributos, a fim de apoiar e

facilitar a inspeção da usabilidade durante projetos de desenvolvimento de software, tornando o

trabalho dos envolvidos com inspeções (analistas, gerentes de projeto, etc.), que não

necessariamente são especialistas em ergonomia, menos complexos.

Para especificar as contribuições que o framework proposto irá gerar para os envolvidos com

a inspeção da usabilidade, este capítulo está organizado da seguinte forma: a Seção 4.1 apresenta

um método de desenvolvimento de framework encontrado na literatura, no qual esta pesquisa

extraiu algumas informações; a Seção 4.2 apresenta uma visão geral do framework proposto nesta

pesquisa; a Seção 4.3 especifica a estratégia de abordagem utilizada para a concepção do framework

proposto, composta do processo que originou as informações para os componentes, fontes de

informação para os componentes, conceituação dos componentes utilizados no framework, bem

como regras para a geração do framework proposto; na Seção 4 o framework proposto criado é

apresentado e as práticas para sua instanciação são abordadas; na Seção 4.5 o framework é

instanciado; na Seção 4.6 a ferramenta de apoio é apresentada; na Seção 4.7 a especificação da

ferramenta de framework é realizada através da definição de requisitos funcionais e não funcionais,

bem como alguns itens de escopo que não serão atendidos pelo framework proposto são

apresentados. Por fim, na Seção 4.8 o projeto da ferramenta é apresentado através de diagramas e

tecnologias utilizadas são abordadas.

4.1 VISÃO GERAL DO FRAMEWORK PROPOSTO

Este framework é desenvolvido como um conjunto de componentes que possuem uma

relação pré-definida a fim de elaborar listas de verificação para inspeção da usabilidade via

checklist. A partir de configurações (seleção do ambiente de execução ou seleção de

características/atributos para avaliação), realizadas no framework, listas de verificação poderão ser

instanciadas e adotadas para inspecionar a usabilidade durante projetos de desenvolvimento de

73

software. Essa abordagem de componentes com relações pré-definidas já foi utilizada para

estruturar outros frameworks, como pode ser verificada em Zoucas (2010).

Construído com o intuito de organizar os diversos atributos de usabilidade encontrados nas

pesquisas (para cada ambiente de execução, dentre os contemplados), o framework orienta os

envolvidos com a inspeção da usabilidade, através da apresentação de atributos que deverão ser

considerados na avaliação. O framework foi gerado a partir da abstração de um conjunto de

componentes que juntos irão gerar informações necessárias para a elaboração de listas de

verificação para inspeção da usabilidade via checklist. No framework proposto por Zoucas (2010),

também pode ser verificada a preocupação em gerar orientação para os envolvidos com

desenvolvimento de modelos de capacidade de processo na utilização do framework.

A utilização do framework não depende da premissa de que seus usuários conheçam

previamente os componentes definidos por ele (características, atributos, questões, métricas ou

recomendações). A seleção dos componentes adequados para realizar a avaliação da usabilidade

não é um fator crítico para a aplicabilidade deste método, tendo em vista que os conceitos de cada

componente são detalhados neste projeto. Esta seleção de componentes dependerá do(s) ambiente(s)

de execução que o usuário deseja avaliar bem como, da(s) característica(s) e atributo(s) que deverão

ser avaliados.

O foco do framework não está em definir um conjunto fechado de características e atributos

de avaliação para cada ambiente de execução. O propósito deste framework está em oferecer um

arcabouço de componentes já aplicados na prática para apoiar na definição de atributos para

inspeção da usabilidade em diferentes ambientes de execução.

4.2 ESTRATÉGIA DE DESENVOLVIMENTO DO FRAMEWORK

Para a construção do framework proposto primeiramente foram identificados os ambientes

de execução que iriam fazer parte da pesquisa. Foram inicialmente definidos três ambientes de

execução: web, desktop e dispositivos móveis.

Posterior à definição dos ambientes de execução, realizou-se uma busca e seleção, na

internet, de pesquisas relacionadas com a avaliação da usabilidade, a fim de levantar um escopo

maior de informações acerca da maneira como as avaliações de usabilidade vêm sendo conduzidas

74

pelas pesquisas. Esta busca e seleção retornou um conjunto de estudos que foram avaliados pelo

pesquisador quanto à maneira de conduzir a avaliação da usabilidade (técnicas de avaliação) e os

atributos de usabilidade propostos para a avaliação. Neste ponto da pesquisa, já se fazia evidente a

existência de estudos com a aplicação de um mesmo atributo de usabilidade para ambientes de

execução distintos bem como, a grande diversidade de atributos propostos entre as pesquisas. A

mesma a estratégia, de busca de estudos presentes na literatura acerca do tema da pesquisa do

framework, foi utilizada por Zoucas (2010) na sua proposta de framework.

Com estas informações, uma fundamentação teórica acerca dos atributos de avaliação da

usabilidade considerados nas pesquisas (para os ambientes de execução já citados) foi realizada.

Através desta fundamentação teórica, percebeu-se a existência de pesquisas que abordam atributos

de usabilidade, desde 1977 (verificar seção de “Decomposição da Usabilidade” que apresenta um

mapeamento de atributos, considerados em pesquisas realizadas entre os anos de 1977 e 2012).

Nestas pesquisas foi possível encontrar: listas de atributos, normas de avaliação, métodos e modelos

de avaliação da usabilidade e foi possível constatar a existência de diversos modelos consolidados

de avaliação da usabilidade para ambientes de execução específicos também.

Esta fundamentação teórica realizada reforçou ainda mais a diversidade de atributos de

usabilidade abordados nas pesquisas, mesmo quando verificado um ambiente de execução em

particular e mostrou também que por vezes, alguns atributos possuíam conceitos iguais, porém com

nomenclaturas diferentes.

Como estas pesquisas resultaram na referência a algumas normas de avaliação da

usabilidade, realizou-se um levantamento de informações das principais normais de avaliação que

apresentam atributos de usabilidade. Métodos e modelos de avaliação da usabilidade, que foram

abordados em alguns estudos da fundamentação teórica também foram adicionados como fonte de

informação. Questões para avaliação de atributos de usabilidade também foram encontrados na

fundamentação teórica.

Após este levantamento de informações acerca do cenário encontrado em relação a atributos

de usabilidade, um mapeamento sistemático da literatura foi executado, a fim de obter as pesquisas

realizadas e publicadas nas principais bases de dados entre 2005 e 2012 nos três ambientes de

execução considerados. Este mapeamento sistemático da literatura trouxe consigo atributos de

usabilidade, métricas e recomendações.

75

Com uma lista de atributos gerada a partir de cada uma das 31 referências selecionadas pelo

mapeamento sistemático mais 9 referências obtidas através da técnica snowball, foi realizada a

normalização da informação. A normalização da lista de atributos de cada referência foi feita em

dois momentos. Primeiramente, foram verificadas as referências que apresentam atributos de

usabilidade com conceitos semelhantes, porém com nomenclatura diferenciada. Como o

mapeamento sistemático realizado selecionava apenas pesquisas que apresentassem conceitos para

os atributos apresentados, foi possível realizar esta normalização de informação. Para estes casos

pequenas adaptações nas nomenclaturas foram realizadas para que assim pudesse ser unificado o

atributo.

Algumas referências traziam consigo o conceito de atributo mais geral (que esta pesquisa

nomeou como característica) vinculado a atributos mais específicos. Nestes casos, a normalização

considerou e manteve esta vinculação abordada pela pesquisa. Verificou-se em algumas pesquisas a

presença de métricas e recomendações de usabilidade que foram mapeadas para que posteriormente

pudessem ser utilizadas na montagem do framework proposto.

Assim, ao final da fundamentação teórica e do mapeamento sistemático realizado (ver

passos executados na Figura 5), foi possível identificar os seguintes componentes para a

estruturação do framework: Ambientes de Execução, Características, Atributos, Questões, Métricas

e Recomendações. A seguir, cada um destes componentes é conceituado para esta pesquisa.

76

Figura 5. Atividades realizadas para geração de componentes

Conforme já citado anteriormente, o framework aqui proposto é formado de componentes

que possuem relação pré-definida e que juntos apoiam a elaboração de listas de verificação para

inspeção da usabilidade. Estes componentes foram obtidos baseando-se na necessidade de estruturar

as informações levantadas durante a fundamentação teórica e mapeamento sistemático realizado.

A fundamentação teórica realizada apresentou diversas normas, métodos, modelos de

avaliação da usabilidade, atributos e checklists de avaliação em diversas pesquisas, conforme

detalhado a seguir:

Normas: ISO/IEC 9126 (ISO 9126, 2001), ISO/IEC 25000 (ISO/IEC 25000, 2005) e

ISO 9241 (NBR 9241-11);

Modelos/métodos/Questões: modelo de Boehm, Brown e Lipow (1976), FCM

(Factors, Criteria and Metrics) de Jim McCall (1977), Eason (1984), Nielsen (1993),

Fitzpatrick (2000), Spriestersbach e Springer (2004), MEDE-PROS® (CARNEIRO;

MOURA, 2004), Signore (2005), Signore (2005), modelo QUIM (SEFFAH et al.,

77

2006), Andreatos (2006), Winter, Wagner e Deissenbock (2008), Khan(2008),

ERGOLIST (ERGOLIST, 2008), QI (et al., 2010), Wha (2011), modelo de Nabil,

Mosad e Henfny (2011) e modelo de Madan e Dubey (2012);

Atributos: McCall’s (1977), Booth(1989), Shackel & Richardson(1991), IEEE Std.

1061 (1992), Hix & Hartson(1992), Nielsen(1993), Preece (1994), Wixon & Wilson

(1997), ISO 9241-11(1998), Lecerof & Paternò(1998), Battleson (et al. 2001), ISO

9126-1(2001), Seffah, Donyaee & Kececi (2001), Brinck (et al., 2002), Bass &

John(2003), Campbell & Aucoin(2003), Abran (et al., 2003), Seffah (et al., 2006),

Sauro & Lewis (2009), Alonso-Rios (et al., 2010) e Dubey (et al., 2012);

Checklists de avaliação da usabilidade: Heo (et al. 2009), Oztekin (et al. 2010),

Pinelle & Gutwin (2008) e Oztekin (2011)

Faz-se necessário ressaltar que as referências citadas para “Modelos/métodos/Questões”

foram analisadas objetivando verificar a estrutura da informação para a apresentação de modelos,

métodos e questões, mas que tais referências também apresentam atributos para a avaliação da

usabilidade. O mapeamento sistemático realizado mapeou 31 estudos primários, a partir dos quais

se podem obter os seguintes componentes: atributos, métricas, modelos e recomendações para

avaliar atributos de usabilidade (distribuídos nos três ambientes de execução contemplados pela

pesquisa), conforme apresenta a Tabela 6.

Tabela 6. Estudos primários selecionados por ambiente de execução

DESKTOP

Ahmad, Sulaiman e Johari (2010); Mayz, Curtino, De la Rosa (2012);

DISPOSITIVOS MÓVEIS

Ryan e Gonsalves (2005); Massey, Khatri e Ramesh (2005); Holzinger e Errath (2007); Al-Wabil

(et al., 2010); Vigo (et al., 2010); Oyomno (et al., 2011); Coursaris (et al., 2012);

WEB

Mureen (et al., 2006); Tirapat e Achalakul (2006); Anandhan (et al., 2006); West e Lehman

(2006); Hao-Yun Kao (2007); Conte (et al., 2007); Fang, Holsapple (2007); Massey, Khatri e

Montoya-Weiss (2008); Granic, Mitrovic e Marangunic (2008); Schreiber (et al. 2008); Talarico

Neto (et al. 2009); Delice e Güngör (2009); Conte et al. (2009); Fernandez, Abrahão e Insfran

(2010); Yusof, Khaw e Ch’ng (2010); Freeman e Bowden (2010); Lindgaard (et al. 2011); Davis

e Shipman (2011); Oztekin (2011); Fernandez (et al. 2012); Punchoojit e Chintakovid (2012);

Fernandez, Abrahão, Insfran (2012);

78

No mapeamento sistemático realizado, a técnica de snowball (JALALI; WHOLIN, 2012) foi

utilizada e resultou em mais nove pesquisas relacionadas com a apresentação de atributos, métricas,

modelos, recomendações de usabilidade: Bastien e Scapin (1993), Nielsen (1995), Keeker (1997),

ISO9241 (1998), Raman (2003), Reeves (2004), ISO25000 (2005), Fernandez et al. (2010). A

Figura 6 sintetiza as fontes de informação utilizadas para a concepção do framework proposto (As

referências citadas utilizando-se de colchetes e cerquinha, exemplo: [#1], encontram-se no

Apêndice A).

Figura 6. Fontes de informação para concepção do framework

4.2.1 Conceituação de componentes do framework

A versão atual do framework proposto é formada de seis componentes conceituados a

seguir:

1. Ambientes de execução: o framework proposto define ambiente de execução como o

local (físico e lógico) em que a aplicação de software é executada. Um ambiente de

execução é constituído de um conjunto de variáveis específicas e, portanto, possui

particularidades inerentes a sua organização, que podem também ser chamadas de

propriedades contextuais. Trata-se do local em que os utilizadores efetuam a

interação com o sistema;

79

2. Características: representam uma visão mais abrangente da qualidade de informação

relacionada com a usabilidade. As características são aspectos que esta pesquisa

definiu como uma espécie de agrupamento de atributos mais granulares relacionados

com a usabilidade. Características, no contexto desta pesquisa, podem também ser

consideradas como uma espécie de atributos de qualidade de software de ordem

superior que podem ser decompostas em vários atributos mais específicos. Uma

característica deve ser dividida em pelo menos um atributo;

3. Atributos: representam a informação relacionada com a usabilidade de maneira mais

especifica e granular. Na estrutura deste framework, um atributo pode ser avaliado

por questões de usabilidade específicas e poderá ter também métricas e

recomendações relacionadas a ele;

4. Questões: são perguntas relacionadas ao atributo que está sendo avaliado;

5. Métricas: o conceito de métrica está relacionado com a identificação e medição dos

principais parâmetros que afetam o atributo de usabilidade verificado. No contexto

deste framework, métricas aplicadas à usabilidade referem-se à obtenção de

indicadores quantitativos relacionados à facilidade de utilização de um objeto, são

utilizadas para a avaliação do atributo de forma mais objetiva;

6. Recomendações: orientam o desenvolvimento/avaliação de interface através de boas

práticas, como por exemplo: disposição/estrutura de menu, padrão de apresentação

para links, cor de fonte para textos, etc.

Atualmente, esta é à base de componentes do framework proposto, gerado objetivando

atender a extensões futuras sem que para isso seja necessário alterar sua estrutura.

4.2.2 Procedimentos para geração do framework proposto

A partir da componentização realizada sobre a informação, estabeleceram-se algumas regras

para associações entre os componentes abordados:

R1. Não se faz obrigatória a vinculação de um atributo a uma característica;

R2. A criação de uma característica necessita da vinculação de no mínimo um atributo;

80

R3. Um atributo obrigatoriamente estará vinculado a no mínimo um ambiente de execução;

R4. Um ambiente de execução poderá estar vinculado a mais de um atributo;

R5. Uma questão é criada a partir da vinculação de um atributo a um ambiente de execução;

R6. Uma métrica obrigatoriamente estará vinculada a uma questão;

R7. Uma recomendação obrigatoriamente estará vinculada a uma questão;

R8. Uma questão poderá ter mais de uma métrica;

R9. Uma questão poderá ter mais de uma recomendação;

R10. A remoção de uma questão irá remover métricas e recomendações vinculadas a ela.

A Figura 7 apresenta a estruturação de relacionamento entre os componentes mapeados para

este framework.

Figura 7. Estrutura de relacionamento entre componentes do framework

81

Esta estrutura componentizada de informações, estruturada para atender ao framework

proposto, somente foi possível devido à existência de informações para cada componente. Assim,

faz-se necessário informar as fontes de informação utilizadas nesta pesquisa:

1. Ambiente de execução: estabelecido no escopo desta pesquisa;

2. Característica/Atributo: as características e atributos utilizados nesta pesquisa tem

origem a partir de quatro fontes principais fontes:

1. Fundamentação teórica realizada, na qual se verificou (sem método cientifico de

busca) 21 estudos gerados entre 1977 e 2012 que apresentar 42 atributos

distintos. É importante destacar que nesse momento não foi realizada

normalização de atributos (ou seja, avaliação dos casos em que o conceito é

semelhante, porém a nomenclatura é distinta);

2. Mapeamento sistemático realizado a partir dos 31 estudos selecionados nas bases

de dados, mais 9 estudos obtidos pela técnica snowball, que retornaram 28

características e 76 atributos distintos;

3. Ergolist: retornou um total de 18 atributos;

4. MED-PROS®: retornou um total de 3 características para a usabilidade,

composta de 7 atributos.

3. Questão: questões para avaliação de atributos foram encontradas na fundamentação

teórica realizada, também foram encontradas questões através do método de avaliação

MEDE-PROS® (CARNEIRO;MOURA, 2004) e do checklist ERGOLIST (ERGOLIST,

2008). Por fim, a revisão informal acerca de checklists de usabilidade realizada na

ferramenta Google Scholar também forneceu questões para a composição do framework;

4. Métrica: as métricas utilizadas foram encontradas no mapeamento sistemático realizado,

a partir da referência Davis e Shipman (2011);

5. Recomendação: as recomendações utilizadas foram encontradas na fundamentação

teórica, através do checklist ERGOLIST e MED-PROS®, no mapeamento sistemático

82

realizado, a partir das referências: Keeker (1997), Talarico Neto (et al., 2009),

Fernandez, Insfran e Abrahão (2009), Oztekin (2011) e em Microsoft(2013).

4.3 FRAMEWORK PROPOSTO

O framework proposto possui atualmente seis componentes relacionados entre si. Para

adicionar informações ao repositório deste framework o estudo deverá ser validado, através do

cumprimento de três regras de informação:

1. Abordagem de no mínimo um atributo;

2. Conceituação para o(s) atributo(s) abordado(s);

3. Especificação do ambiente de execução utilizado para avaliar atributo(s) no estudo.

A estratégia de instanciação do framework é detalhada através de cada uma das práticas de

instanciação descritas a seguir.

P1. Ambiente de execução: esta prática relaciona-se com a identificação no framework, do

ambiente de execução utilizado no estudo a ser inserido. A identificação do ambiente de execução

norteia o mapeamento das demais informações que serão adicionadas. A Figura 8 apresenta o fluxo

de atividades que deverão ser verificadas para esta prática. É importante destacar que, devido a

flexibilidade de extensão do framework, caso o ambiente de execução do estudo a ser inserido ainda

não se encontra no repositório do framework, poderá ser incluído.

83

Figura 8. Validação da prática P1 – Seleção de Ambiente de execução.

P2. Característica/Atributo: a execução da prática P2 tem como pré-requisito a execução

da prática P1 e estabelece as validações necessárias para inclusão de informações relacionadas às

características e atributos, obtidas no estudo que está sendo inserida no repositório de informações

do framework. A Figura 9 contém atividades que deverão ser verificadas para esta prática. Neste

passo da instanciação, até quatro tipos de informação podem ser inseridas no framework proposto:

1. Atributo: inclusão do atributo e sua conceituação no repositório;

2. Característica: inclusão da característica e sua conceituação no repositório;

3. Atributo X Ambiente de execução: inclusão de relação de vinculação entre o atributo

e o ambiente de execução (abordado no estudo que está sendo incluído);

4. Característica X Atributo: inclusão de relação de vinculação entre característica e

atributo (abordado no estudo que está sendo incluído).

84

Figura 9. Validação da prática P2 - Características e Atributos.

85

P3. Questão: a execução da prática P3 tem como pré-requisito a execução da prática P2 e

estabelece as validações necessárias para inclusão de questões, obtidas no estudo que está sendo

inserida no repositório de informações do framework. A Figura 10 contém atividades que deverão

ser verificadas para esta prática. Neste passo da instanciação, até dois tipos de informação podem

ser inseridas no framework proposto:

1. Questão: inclusão da questão;

2. Questão x ambiente de execução/atributo: inclusão de relação de vinculação entre a

questão e o ambiente de execução/atributo (inferido no estudo que está sendo

incluído).

Figura 10. Validação da prática P3 - Questão.

86

P4. Recomendação/Métrica: a execução da prática P4 tem como pré-requisito a execução

da prática P3 e estabelece as validações necessárias para inclusão de recomendações ou métricas

para uma questão. A Figura 11 contém atividades que deverão ser verificadas para esta prática.

Neste passo da instanciação, até dois tipos de informação podem ser inseridas no framework

proposto:

1. Recomendação/métrica: inclusão da recomendação ou métrica no framework;

2. Recomendação/métrica x Questão: inclusão de relação de vinculação entre a

recomendação ou métrica e a questão (inferido no estudo que está sendo incluído).

Figura 11. Validação da prática P4 – Recomendações/Métricas.

87

4.4 INSTANCIAÇÃO DO FRAMEWORK PROPOSTO

Nesta seção, pretende-se a apresentar a instanciação do framework proposto, avaliando desta

forma à aplicação das práticas de instanciação citadas na seção anterior com alguns estudos.

Conforme já citado no início da seção anterior, para que seja possível a instanciação do framework

proposto, o estudo deverá respeitar algumas regras de validação específicas.

O primeiro exemplo utilizado será um dos estudos do mapeamento sistemático, identificado

como #8 Este estudo foi obtido através de seleção pelo mapeamento sistemático realizado. O estudo

intitulado: “From the Web to the Wireless Web: Technology Readiness and Usability” dos autores

Anne P. Massey, Vijay Khatri e V. Ramesh da Indiana University aborda a interface de aplicações

mobile e tem interesse em entender como a disponibilidade de tecnologia para os consumidores

afeta avaliações de usabilidade.

Para a inserção deste estudo ao repositório do framework, as práticas já citadas na seção

anterior serão seguidas. Considerando que no momento atual o framework possui em seu

repositório os ambientes de execução Web e Desktop, a prática 1 será utilizada para a inserção do

ambiente de execução: Dispositivos móveis. Conforme citado, a situação atual do framework conta

com dois ambientes de execução, conforme pode ser verificado na Figura 12:

Figura 12. Situação atual do framework proposto

A P1. Ambiente de execução é executado o fluxo descrito anteriormente na Figura 10 é

iniciado. O ambiente de execução abordado na pesquisa é obtido: dispositivos móveis. A avaliação

atual do framework estabelece que este ambiente de execução deverá ser adicionado ao framework.

A Figura 13 apresenta o estado do framework após a aplicação da prática P1. O fluxo chega ao seu

final em "FimPratica P1".

88

Figura 13. Adição de ambiente de execução ao framework proposto

Posteriormente a P2. Característica/Atributo é iniciada. Neste estudo, tem-se a seguinte

estrutura de características e atributos: Característica “Facilidade de Uso”, composta dos atributos:

feedback, objetivo e estrutura; Característica “Adaptabilidade”, composta dos atributos:

personalização, comunidade e refinamento;

O fluxo obtém a lista de características e atributos para este estudo. Como se pode verificar

existem desdobramentos de atributos, ou seja, têm-se atributos compostos de atributos mais

específicos. Conforme se verificou, o ambiente de execução acabou de ser inserido no repositório

do framework e, portanto, não possui as características da Facilidade de Uso e Adaptabilidade

citada acima, que deverão ser inseridas juntamente com seus atributos mais específicos. A Figura 14

apresenta o estado do framework após a inserção de características e atributos do estudo após a

execução da P2. O fluxo chega ao seu final em "FimPratica P2".

Figura 14. Adição de características e atributos ao framework proposto

Em continuação a execução do processo de instanciação do framework, as práticas P3 e P4

foram instanciadas pelo pesquisador, porém não retornaram informações relacionadas a questões,

recomendações ou métricas.

Faz-se necessário destacar que quando encontradas características ou atributos que

referenciam recursos específicos (como por exemplo: reconhecimento de voz ou interfaces

89

multimodais), será associado a esta característica ou atributo uma ou mais marcações indicando

para qual (is) recurso(s) específico(s) se aplica. O objetivo da inclusão desta informação esta em

orientar os inspetores em como chegar a características e atributos específicos para determinado

recurso. Como trabalho futuro, pode-se adicionar a necessidade de programar uma funcionalidade

de filtro para que seja possível para o inspetor, no momento da geração do checklist, configurar a

informação de recurso específico, como forma de consulta para apresentação de características e

atributos para inspeção.

Neste formato passo-a-passo (como exemplificado em algumas práticas acima), um conjunto

de cinco estudos foi avaliado (envolvendo no mínimo um de cada ambiente de execução dos

contemplados na pesquisa) a fim de verificar se as práticas propostas atendem ao escopo necessário

de informações. Os estudos utilizados estão identificados na Figura 15.

Execução

ID (Mapeamento)

Autor(es)

Título

Ambiente de Execução

Execução

ID (Mapeamento)

Autor(es)

Título


Execução

ID (Mapeamento)

Autor(es)

Título


Execução

ID (Mapeamento)

Autor(es)

Título


Execução

ID (Mapeamento)

Autor(es)

Título


Web usability testing – CARE methodology

Web

4

#21

Marianella Aveledo Mayz, Diego Mauricio Curtino, Agustín De la Rosa

Avoiding laboratories to collect usability data: two software applications

Desktop

Wan Fatimah Wan Ahmad, Suziah Sulaiman, Farah Syahidah Johari

Usability Management System (USEMATE): A Web-Based Automated System for Managing Usability

Testing Systematically

Desktop

5

#9

Arthi Anandhan, Senthil Dhandapani, Hassan Reza, Karthik Namasivayam

#8

Dispositivos Móveis

#3

Americo Talarico Neto, Thiago Jabur Bittar, Renata P. M. Fortes, Katia Felizardo

Developing and evaluating Web multimodal interfaces - a case study with Usability Principles

Web

3

#18

From the Web to the Wireless Web: Technology Readiness and Usability

Anne P. Massey, Vijay Khatri, V. Ramesh

1

2

Figura 15. Identificação de estudos utilizados para teste de instanciação com o framework

A instanciação do framework para este conjunto de estudos gerou diversas informações

como pode ser verificado na Tabela 7 e alimentou a estrutura de componentes do repositório do

framework conforme apresenta a Figura 16.

90

Tabela 7. Quantidade de informações por componente

Componente Quantidade

Ambiente de execução 3

Características 4

Atributos 31

Relação Característica x Atributo 12

Relação Ambiente de Execução x Atributo D. Móveis:13 / Web:16 / Desktop:3 /Total:32

Questões D. Móveis:0 / Web:9 / Desktop:0 / Total:9

Recomendações D. Móveis:0 / Web:2/ Desktop:0 / Total:2

É importante destacar que as características, atributos e questões, apresentadas na Figura 16,

foram criados a partir da instanciação de cinco estudos de teste utilizados por esta pesquisa.

Entretanto, ao longo das inserções dos demais estudos no framework proposto, nomenclaturas e

descrições de questões podem ter sofrido alterações. O mesmo se aplica a vinculações realizadas

entre características e atributos e entre atributos e questões apresentadas.

A alteração de nomenclaturas, vinculações ou de ajustes em descrições de questões ocorre

devido ao crescimento normal de fontes de informação existentes no framework e, portanto, estes

ajustes se fazem necessários para atender a um escopo maior de fontes de informação. A cada

inserção de dados no framework referente a novos estudos poderão ocorrer alterações de

nomenclatura ou de vinculações que serão adaptadas com o objetivo de melhor atender as

avaliações de usabilidade.

91

AMBIENTE DE EXECUÇÃO CARACTERÍSTICA ATRIBUTO

[#8] Relevância

[#8] Uso da Mídia

[#8] Profundidade

[#8] Conteúdo Apropriado

[#8] Objetivos

[#8] Estrutura

[#8] Feedback

[#8] Comunidade

[#8] Personalização

[#8] Refinamento

[#8] Desafio

[#8] Ritmo

[#8] Promoção

[#8] Relevância

[#8] Uso da Midia

[#8] Profundidade

[#8] Conteúdo Apropriado

[#8] Objetivos

[#8] Estrutura

[#8] Feedback

[#8] Comunidade

[#8] Personalização

[#8] Refinamento

[#8] Desafio

[#8] Ritmo

[#3] Visibilidade do Estado do Sistema

[#3] Mapeamento entre o Sistema e o Mundo Real

[#3] Liberdade

[#3] Controle ao Usuário

[#3] Consistência

[#3] Padrões

[#3] Prevenção de erros

Questão: [#3] A utilização de sistemas de interface multimodal pode favorecer o surgimento de erros quando comparado com

sistemas de interface gráfica habitual? (A principal característica de uma sistema multimodal é a sua capacidade em combinar

diferentes tipos de entradas individuais, processa-las utilizando uma técnica de integração e retornar um resultado contendo algum

signif icado específ ico para a aplicação)

Questão: [#3] O sistema permite que o usuário possa reverter uma ação realizada?

[#3] Reconhecer em vez de relembrar

Questão: [#3] Na utilização do sistema, é possível perceber a maneira como cada tipo de w idget da interface pode ser utilizada?

Questão: [#3] Na utilização de sistemas de interface multimodal, é apresentado alguma representação visual para auxiliar na

identif icação do modo como a interação deve ocorrer? (A principal característica de uma sistema multimodal é a sua capacidade em

combinar diferentes tipos de entradas individuais, processa-las utilizando uma técnica de integração e retornar um resultado contendo

algum signif icado específ ico para a aplicação)

[#3] Flexibilidade

[#3, #18, #21, #9] Eficiência

[#3] Design estético

[#3] Minimalista

[#3] Gestão de Erros

Questão: [#3] As mensagens de erro são apresentadas em uma linguagem não técnica?

Questão: [#3] As mensagens de erro sugerem alguma solução?

Questão: [#3] Em interfaces apoiadas por voz, as mensagens de ajudam facilitam a interação com o sistema?

Recomendação: [#3] Mensagens de ajuda, em interfaces de voz, devem apresesentar possiveis enunciados reconhecidos pela

gramática, para facilitar a interação.

Questão: [#3] São utilizados recursos de sistema (contador de erros, distinção de tipos de erro, etc) para a apresentação de

mensagens de sistema mais adequadas?

Recomendação: [#3] O sistema poderia usar o recurso de contador de erros e a distinção dos tipos de erros, disponível na

tecnologia de reconhecimento de voz, para proporcionar mensagens de sistema mais adequadas, facilitando a recuperação de uma

ação caso ocorra algum erro ou mesmo facilitar o entendimento do que deve ser feito para uma tarefa que gerou erro.

[#3] Ajuda

Questão: [#3] A ajuda por comando de voz presta a assistência necessária na interação com o sistema?

Questão: [#3] A informação de ajuda do sistema é fácil de ser acessada?

Questão: [#3] A informação de ajuda é focada para o usuário do sistema?

[#3] Documentação

[#9] Facilidade de Uso

[#18, #21] Eficácia

[#18, #21] Satisfação

[#18, #21] Eficiência

[#18, #21] Desktop

[#3, #9] Web

[#8] Dispositivos

Móveis

[#8] Conteúdo de

Qualidade

[#8] Facilidade de

Uso

[#8] Feito para o

Meio

[#8] Emoção

Figura 16. Informações geradas a partir das cinco instanciações do framework

92

4.5 FERRAMENTA DE APOIO

Através da conceituação dos componentes (realizada na Seção 4.2.1), das regras para a

geração do framework (na Seção 4.2.2) e das relações estabelecidas entre os componentes (como

pode ser verificado na Figura 7) é possível identificar as contribuições desejáveis em uma

ferramenta que atenda ao conceito de framework, com o objetivo de fornecer apoio na gestão de

atributos por ambiente de execução e obter a estrutura de informação necessária para aplicar os

conceitos de generalização (para os atributos comuns a mais de um ambiente de execução) e

especialização (para os atributos específicos de um ambiente de execução) aos atributos de

usabilidade encontrados nas pesquisas.

Além das contribuições citadas, a ferramenta fornece ao usuário funcionalidades para

impressão/geração (em tela) de checklists para inspeção da usabilidade a partir de configurações de

informação realizadas no próprio framework (por exemplo, selecionando o(s) ambiente(s) de

execução que deseja avaliar atributos ou selecionando os atributos que deseja avaliar). Conforme já

citado, a automatização de uma ferramenta com o conceito de framework é benéfica tendo em vista

que além de apoiar na gestão de atributos de usabilidade, fornece também o gerenciamento de

outras informações acerca destes atributos (características, questões, recomendações, métricas, etc.)

e fornecer também uma visão mais ampla dos atributos em vários ambientes de execução.

4.6 ESPECIFICAÇÃO DA FERRAMENTA

A componentização de informações relacionadas a atributos de avaliação da usabilidade

apresentadas na abordagem do framework proposto neste estudo servem de fundamento para a

especificação dos requisitos funcionais e não funcionais da ferramenta computacional de apoio à

condução de inspeções da usabilidade por checklist.

4.6.1 Requisitos Funcionais

A fim de descrever as funcionalidades adequadas para a ferramenta de apoio ao framework,

os requisitos foram especificados. Abaixo são descritas as funcionalidades da ferramenta

compreendidas em duas principais fases: a gestão de informações para os componentes do

framework, utilizadas por usuários do tipo “Administrador” e a geração de execuções (cheklists)

para inspeções de usabilidade, utilizadas por usuários do tipo “Inspetor”. São descritas as

93

funcionalidades da ferramenta, entradas e saídas de dados, além de comportamentos específicos que

definem o sistema. A seguir, têm-se os requisitos funcionais da ferramenta computacional,

subdivididos de acordo com a função que exercem.

Requisitos Gerais compreende as funcionalidades fundamentais a um sistema computacional

multiusuário, mesmo não atendendo nenhuma funcionalidade do framework quanto à gestão da

informação ou geração de listas de verificação da avaliação da usabilidade. O Quadro 2 apresenta os

requisitos gerais da ferramenta.

Quadro 2. Requisitos Gerais

ID DESCRIÇÃO

RF 1.1 Autenticação/Login do Usuário

Um usuário deve ser capaz de autenticar-se (login) em uma interface de autenticação,

utilizando de login e senha previamente cadastrada.

Não será armazenado histórico de login para os acessos.

RF 1.2 Cadastro de Usuário

Será possível registrar uma pessoa como Usuário, através de um formulário de registro.

Informações sobre o usuário deverão ser mantidas:

(i) código

(ii) nome

(iii) email

(iv) login

(v) senha

(vi) perfil de acesso

(vii) status

Cada usuário é identificado através do login.

O login deverá ser único na base de dados.

A senha deverá ser do tipo alfanumérica de 8 dígitos.

Cada usuário terá a identificação do perfil a qual pertence, sendo possível para

determinado usuário estar vinculado a apenas um perfil.

Requisitos para gestão de informações de componentes do framework compreendem as

funcionalidades necessárias para a gestão de informações de componentes utilizados pelo

framework proposto para posterior geração da lista de atributos para a inspeção da usabilidade. O

Quadro 3 apresenta os requisitos de gestão de informações dos componentes da ferramenta.

94

Quadro 3. Requisitos para gestão de informação de componentes

ID DESCRIÇÃO

RF 2.1 Manter Ambiente de Execução

O sistema deve armazenar as seguintes informações sobre um ambiente de execução:

(i) código

(ii) descrição

RF 2.2 Manter Característica

O sistema deve armazenar as seguintes informações sobre uma característica:

(i) código

(ii) descrição

(iii) conceituação

(iv) recurso específico

(vi) lista de referências

RF 2.3 Manter Atributo

O sistema deve armazenar as seguintes informações sobre um atributo:

(i) código

(ii) descrição

(iii) conceituação

(iv) recurso específico

(v) lista de referências

RF 2.4 Manter Questão

O sistema deve armazenar as seguintes informações sobre uma questão:

(i) código

(ii) descrição

(iii) lista de referências

RF 2.5 Manter Recomendação

O sistema deve armazenar as seguintes informações sobre uma recomendação:

(i) código

(ii) descrição


RF 2.6 Manter Métrica

O sistema deve armazenar as seguintes informações sobre uma métrica:

(i) código

(ii) descrição


RF 2.7 Manter Vinculação de Característica e atributo

O sistema deve armazenar as seguintes informações sobre a vinculação realizada entre

um atributo a uma característica:

(i) característica

(ii) atributo


RF 2.8 Manter Vinculação de Ambiente de Execução e Atributo


um atributo a um ambiente de execução:

(i) ambiente de execução

(ii) atributo


95

RF 2.9 Manter Vinculação de Questão para a relação de Característica, Atributo e



uma questão e a relação desta com característica, atributo e ambiente de execução:

(i) ambiente de execução

(ii) característica

(iii) atributo

(iv) questão

(v) lista de referências

RF 2.10 Manter Vinculação de Questão e Métrica


uma métrica e uma questão:

(i) questão

(ii) métrica


RF 2.11 Manter Vinculação de Recomendação para a Questão


uma recomendação e uma questão:

(i) questão

(ii) recomendação


Requisitos para gestão de execuções de inspeção da usabilidade via sistema compreendem as

funcionalidades necessárias para a geração de execuções de checklist para inspeção da usabilidade,

executados via sistema. A ferramenta deverá apresentar em tela o checklist gerado para que o

inspetor possa realizar seu preenchimento via sistema. O Quadro 4 apresenta os requisitos para

gestão da execução.

Quadro 4. Requisito para gestão de execuções

ID DESCRIÇÃO

RF 3.1 Execução de inspeção da usabilidade

Deve haver uma função que permita a geração de uma execução de checklist via

sistema.

A execução de checklist será gerada a partir de configurações realizadas pelo usuário.

As configurações para a geração do checklist compreendem:

1º passo: preenchimento de dados de execução

2º passo: seleção de atributo(s) que serão avaliados de acordo com o ambiente de

execução do sistema que será avaliado.

O sistema deverá armazenar a execução gerada, bem como as respostas indicadas pelo

inspetor para cada questão. O checklist gerado poderá ser executado via sistema web.

Para cada questão de cada atributo apresentado na execução de checklist, o sistema

96

deverá apresentar as seguintes opções de resposta:

S - “Sim”

N - “Não”

“NA” – Não Se Aplica

“AP” – Avaliação Prejudicada

Além disso, deverá estar disponível, para cada questão de cada atributo, um campo

para que o usuário possa inserir observações e/ou comentários acerca de sua resposta.

4.6.2 Requisitos Não Funcionais

Declara as restrições relacionadas aos requisitos funcionais da abordagem proposta e

especificam particularidades para implementação de um sistema. O Quadro 5 apresenta os

requisitos não funcionais da ferramenta.

Quadro 5. Requisitos não funcionais

ID DESCRIÇÃO

RNF 1 A aplicação será desenvolvida no padrão MVC (Model-View-Controler).

RNF 2 A aplicação será desenvolvida utilizando a linguagem de programação Java.

RNF 3 O sistema deverá ser desenvolvido com componentes JSF (Java Server Faces).

RNF 4 A aplicação irá utilizar base de dados MySQL.

RNF 5 A aplicação será desenvolvida para utilização no sistema operacional Windows.

RNF 6 A aplicação será desenvolvida para utilização no Navegador Chrome.

RNF 7 O sistema deverá armazenar na base de dados às respostas inseridas para cada questão,

no momento da transição de atributos.

RNF 8 A aplicação irá fornecer documentação on-line somente acerca dos seguintes conceitos:

Ambiente de execução, Característica, Atributo, Questão, Métrica, Recomendação,

Disciplina do projeto que está sendo avaliado, Papel do inspetor dentro do projeto que

está sendo avaliado.

RNF 9 A geração da lista de verificação para inspeção da usabilidade por checklist, quando

realizada de forma manual e não via sistema, será em no formato PDF.

4.6.3 Escopo Não Atendido Pelo Framework Proposto

Não está contemplado no escopo de desenvolvimento de funcionalidades desta ferramenta

processo de desenvolvimento e/ou adaptação para uma língua e cultura de um país específico, ou

seja, internacionalização ou localização. Quanto ao uso da ferramenta, não está contemplado, nesta

versão inicial, o desenvolvimento de interface compatível com dispositivos móveis, ficando restrita

ao navegador Chrome, conforme já citado. Não será criado instalador para a ferramenta. Por fim,

não será criado material de treinamento para os usuários da ferramenta.

97

4.7 PROJETO DA FERRAMENTA

A partir da identificação dos requisitos funcionais, elaborou-se o projeto de

desenvolvimento da ferramenta computacional: Framework de Usabilidade - uma ferramenta

automatizada para apoiar a aplicação de práticas de usabilidade em projetos de desenvolvimento de

software. Utilizou-se um modelo de dados para apresentar o sistema proposto, conforme ilustra a

Figura 17. Este diagrama permitiu a criação do banco de dados que contempla a estrutura da

ferramenta Framework de Usabilidade.

Na Figura 17, a primeira coluna é composta pelas tabelas que armazenam os

componentes primários que formam o framework proposto, ou seja: ambiente, atributo,

característica, métrica, questão e recomendação. A segunda coluna de tabelas é formada pelas

vinculações existentes, ou seja: a relação de um ambiente de execução com um atributo, a relação

de uma característica com um atributo, a relação de um ambiente com um atributo e uma questão e,

por fim, as possíveis relações de uma questão com uma métrica e uma questão relacionada com

uma recomendação. Ao final, na terceira coluna tem-se a tabela que armazena os possíveis usuários

que utilizam o checklist, as execuções de checklist e as respostas informadas em cada execução.

98

Figura 17. Modelo de dados da ferramenta

99

Este diagrama esquemático permitiu a criação do banco de dados que contempla a estrutura

da ferramenta Framework de usabilidade. A implementação das classes realiza o comportamento do

framework proposto além de automatizar o processo de inspeção por checklist.

4.7.1 Tecnologias Utilizadas no Framework Proposto

Para o desenvolvimento da ferramenta foram utilizadas diversas tecnologias: a

implementação foi realizada com a linguagem de programação Java. Na implementação foi

utilizado também JSF (Java Server Faces), um framework MVC baseado em Java. A utilização

deste framework apoia a construção de interfaces de usuário baseadas em componentes para

aplicações web.

O JSF possui um modelo de programação dirigido a eventos, abstraindo os detalhes da

manipulação dos eventos e organização dos componentes, permitindo que o programador se

concentre na lógica da aplicação. Essas características resultaram em um software de plataforma

web, disponível de forma online, para ser utilizado por diversos envolvidos com a aplicação de

práticas de usabilidade em projetos de desenvolvimento de software.

Os dados modelados de acordo com o modelo de dados apresentado na Figura 17 são

mantidos em uma estrutura MySQL, um sistema de gerenciamento de banco de dados que utiliza

SQL (linguagem de consulta estruturada, do inglês: Structured Query Language). Por tratar-se de

um banco de dados bem difundido, o MySQL foi adotado por contemplar recursos para consultas

complexas, possuir desempenho e estabilidade adequados, ser de fácil manuseio e possuir controle

transacional.

Para a modelagem do framework também foi utilizada a ferramenta Enterprise Architect, um

ambiente de modelagem que contempla o pleno desenvolvimento do ciclo de vida do produto,

ferramentas para modelagem de negócios, engenharia de sistemas, arquitetura corporativa,

gerenciamento de requisitos, projeto de software, geração de código, etc.

As tecnologias acima citadas foram selecionadas a fim de atender os seguintes critérios:

suporte a fase de gerenciamento e armazenamento de informações relacionadas aos dados obtidos

nas pesquisas avaliadas a fim de alimentar os componentes que formam o framework, participação

de diversos avaliadores na execução de checklists de usabilidade, disponibilidade da ferramenta

100

para a comunidade de pesquisa; além de fundamentar-se em tecnologias open-source, que favorece

a distribuição livre da ferramenta e a criação de trabalhos derivados.

4.8 DEMONSTRAÇÃO DA FERRAMENTA

Com base no modelo de framework proposto na Seção 4.3, a ferramenta Framework de

Usabilidade permite, tanto a manutenção de usuários que possam participar como avaliadores na

condução de inspeções de usabilidade utilizando o checklist proposto, bem como a gestão dos

componentes utilizados para a estruturação do framework e a própria execução de checklist.

Dois perfis de usuários foram criados a fim de atender e disponibilizar funcionalidades

específicas acerca do framework de acordo com o perfil. Através de um login individual, o usuário

que possui acesso à ferramenta como Administrador poderá realizar a gestão de novos usuários

(através do menu “Acesso”), cadastrar componentes (através do menu “Componentes”), realizar as

respectivas vinculações entre os componentes (através do menu “Vínculos”), bem como realizar as

avaliações de checklist (através do menu “Checklist”).

A Figura 18 ilustra a tela inicial apresentada para o usuário pós login, com todos os menus

que este perfil de usuário tem acesso. Caso o usuário acessar a ferramenta com perfil de avaliador,

somente poderá realizar avaliações de checklist (através do menu “Checklist”).

Figura 18. Tela inicial – acesso administrador

101

A partir do acesso ao sistema, o usuário logado, com perfil de administrador, poderá

cadastrar diversos componentes e vincula-los entre si, conforme regras de estruturação do

framework, para posteriormente utilizar essas informações na geração de um checklist de

usabilidade.

4.8.1 Etapa 1 – cadastro de componentes

Antes do cadastro de componentes propriamente ditos, uma premissa para qualquer inserção

de dados no framework é o encontro de um estudo/pesquisa relacionada com a usabilidade que

atenda as regras de informação citadas na Seção 4.3, ou seja: este estudo/pesquisa deverá apresentar

atributos de usabilidade (no mínimo um atributo para a avaliação da usabilidade) e ainda apresentar

o conceito utilizado para os(s) atributos(s) abordados. O ambiente de execução utilizado para a

avaliação deverá estar explícito no estudo/pesquisa utilizado.

Um estudo que atenda estas regras é considerado um estudo válido para inserção na base de

dados do framework. A partir dele, o usuário deverá identificar o tipo do primeiro componente a

ser inserido, ou seja, verificar se se trata de ambiente de execução, característica, atributo, métrica

ou recomendação. Com o tipo de componente identificado, a prática de validação (citada na Seção

4.3) correspondente ao tipo de componente que se pretende inserir, deverá ser executada. Ao final

da execução da prática tem-se a confirmação ou negação de inserção do(s) componente(s) no

framework. Excepcionalmente, para o tipo de componente: ambiente de execução optou-se por

cadastrar previamente os ambientes contemplados até então nesta pesquisa, conforme pode ser

verificado na Figura 19.

102

Figura 19. Cadastro de ambiente de execução

A fim de exemplificar de forma mais detalhada o processo de cadastro de componentes, bem

como apresentar as funcionalidades disponíveis para manutenção destes componentes, a Figura 20

apresenta a tela de manutenção de característica. Todos os componentes possuem uma tela

específica para manutenção em cadastro. Uma listagem referente aos dados do componente já

cadastrado é apresentada no acesso à tela.

Figura 20. Cadastro de características

103

Para cada registro desta listagem, funcionalidades para edição e exclusão são apresentadas.

Para o cadastro de um novo registro para o componente, um botão abaixo desta listagem é

apresentado para que o usuário preencha com os dados de cadastro do componente e possa realizar

nova inserção. Com o objetivo de apresentar um exemplo, a Figura 21 apresenta os campos que o

usuário deverá informar para realizar o cadastro de características, por exemplo. Cada componente

possui uma lista de atributos própria conforme detalhado na Seção 4.6.1 que deverá ser informado

pelo usuário em cada cadastro realizado.

Figura 21. Detalhes do cadastro de características

Cada componente deverá ser cadastrado em tela própria. O acesso a estas telas para o

cadastro de componentes deverá ser realizado pelo menu, no item “Componentes”.

4.8.2 Etapa 2 – vinculação de componentes

Uma segunda etapa de cadastros do framework é o estabelecimento de relação de vínculos

entre os componentes que formam o framework. Caso o estudo/pesquisa válido encontrado pelo

usuário apresentar vinculações entre os componentes (ou seja, estabelecimento de vínculos entre

104

característica e atributo, ambiente de execução e atributo, ou atributo/ambiente e questão, essa

vinculação será mantida no framework). Caso verificado, através da aplicação das práticas de

validação de inserção dos componentes, que é necessário realizarem a vinculação entre

componentes, o usuário poderá inserir essa vinculação, conforme a Figura 22 apresenta um

exemplo.

Figura 22. Vinculação entre componentes

Na Figura 23 tem-se a apresentação de exemplos de vinculação entre características e

atributos, sendo que conforme já citado, as telas de manutenção de componentes segue um mesmo

padrão de funcionalidades para listagem, alteração, remoção (caso esta ainda não tenha sido

utilizada em nenhuma execução de checklist) e adição de dados.

105

Figura 23. Lista de vínculos entre características e atributos

4.8.3 Etapa 3 – geração de checklist

Por fim, após os componentes devidamente cadastrados conforme exemplificado na Seção

4.8.1, bem como a realização da vinculação entre estes componentes, conforme exemplificado na

Seção 4.8.2, tem-se então a possibilidade da geração de um checklist de avaliação da Usabilidade

com base na seleção de ambiente de execução e atributos de avaliação.

Conforme citado anteriormente e somente a titulo de informação, caso o usuário logado no

sistema possuir perfil de administrador, estarão disponíveis todos os itens de menu para acesso.

Caso o usuário logado no sistema possuir perfil de avaliador, somente estará disponível o menu para

execução de checklist e o menu para logoff do sistema.

Acessando a tela de Execução de Checklists, os checklists cadastrados serão apresentados

conforme pode ser verificado no exemplo apresentado na Figura 24. Caso o usuário possuir perfil

de Administrador, todos os checklists criados até então serão listados para o usuário em tela. Caso o

usuário possuir perfil de Avaliador, somente serão apresentados os checklists de avaliação da

usabilidade criados para seu usuário.

106

Figura 24. Lista de checklists

A listagem de checklists de usabilidade realizados exemplificada na Figura 24 contém:

informação do código identificador do checklist de execução representado pela coluna “ID”,

empresa para a qual o checklist de avaliação da usabilidade foi realizado representado pela coluna

“Empresa”, projeto para o qual o checklist de avaliação da usabilidade foi realizado representado

pela coluna “Projeto”.

Para cada registro de checklist de avaliação da usabilidade listado nesta tela, é possível

realizar a manutenção de dados de execução do checklist (através da coluna “Alterar”), bem como

realizar a exclusão do checklist realizado, caso necessário (através da coluna “Excluir”) e responder

as questões relacionadas com o checklist de execução (através da coluna “Questões”).

Se o usuário deseja cadastrar nova execução de Checklist, deve clicar no botão “Nova

Execução de Checklist” disponível na tela. O sistema abre nova tela para inserção das informações

de cadastro/execução do checklist, para que o usuário preencha com os dados necessários para o

cadastro de uma nova execução de checklist conforme exemplifica a Figura 25.

107

Figura 25. Nova execução de checklist

O usuário informa os dados de execução que identificam o checklist de avaliação da

usabilidade e na parte inferior da tela, navega pela árvore de componentes para marcar/checar todos

os atributos de usabilidade que deseja avaliar.

A árvore de componentes de usabilidade sempre será apresentada com três níveis de

informação. O primeiro nível da árvore listada apresentará os ambientes de execução cadastrados e

somente serão apresentados os ambientes que possuem no mínimo um atributo de avaliação de

usabilidade vinculado naquele ambiente. O segundo nível apresenta a característica relacionada com

cada atributo listado. Caso algum atributo não esteja vinculado a uma característica, este atributo

será listado dentro de um agrupador identificado como “Atributos sem vínculo com

Características”. Por fim, no terceiro nível estão os atributos que deverão ser avaliados pelo usuário

Avaliador, através das questões de usabilidade. A Figura 26 exemplifica uma tela com os dados de

execução inseridos pelo usuário bem como a navegação e seleção de dois atributos para avaliação

da usabilidade.

108

Figura 26. Nova execução de checklist – definição de atributos

Com os dados de execução do checklist inseridos e os atributos de usabilidade

marcados/checados, o usuário clica no botão “Gerar Execução de Checklist”. Nesse momento, o

sistema verifica todos os atributos selecionados pelo usuário e gera as questões relacionadas a estes

atributos (de acordo com informações de vinculação existente no framework). O usuário é

direcionado para a tela de listagem de execuções de checklist (exemplificado na Figura 24).

Para iniciar o processo de execução do checklist propriamente dito e responder as questões

de usabilidade geradas para os atributos selecionados, o usuário clica no botão “Responder

Questões” apresentadas na coluna “Questões” para o registro de checklist que deseja executar. O

sistema apresenta a tela de questões para o checklist avaliado, conforme exemplificado na Figura 27

para que o usuário possa iniciar sua avaliação de checklist de usabilidade.

Para cada atributo de avaliação da usabilidade selecionado (conforme Figura 26) são

apresentadas as questões vinculadas e as opções de resposta em cada questão. Um campo de

observação é disponibilizado para o usuário, com o intuito de este registrar qualquer informação

relacionada à avaliação do atributo em questão.

Para cada questão apresentada serão disponibilizados dois links: “Métricas” e

“Recomendações”. Caso a questão avaliada possua métricas ou recomendações para avaliação

109

associadas, o usuário poderá acessar essa informação a partir destes links. Ao final da execução e

preenchimento das respostas (ou a qualquer momento) o usuário poderá salvar os dados, através do

botão “Salvar respostas” e continuar mais tarde. No momento que o usuário salvar as respostas

preenchidas, o sistema volta para a listagem de checklists criados de acordo com o usuário logado.

Figura 27. Execução de avaliação

O checklist também disponibiliza um totalizador para as questões geradas e respondidas que

pode ser acessado a qualquer momento, através do botão “Resultado Final”. A Figura 28 apresenta

um exemplo de totalizador gerado.

Figura 28. Execução de avaliação – resultados

110

4.9 COMPONENTES DE USABILIDADE ENCONTRADOS

Após o desenvolvimento da ferramenta computacional de apoio para a geração de checklists

de avaliação da usabilidade, foram verificadas as fontes de informação (referências) informadas na

Seção 4.2.2. A partir de cada uma destas referências, as quatro práticas citadas na Seção 4.3 foram

aplicadas, com o objetivo de extrair os componentes presentes nestas referências e inseri-los no

framework, respeitando, nesta inserção, as 10 regras citadas na Seção 4.2.2.

Todas estas fontes de informação resultaram, ao final da aplicação das práticas, em um

grande conjunto de componentes para inserção no framework. Os apêndices B, C, D, E, F foram

criados objetivando apresentar ao usuário a informação encontrada acerca dos componentes, de

forma mais completa. A Tabela 8 apresenta um resumo da estruturação da informação nestes

apêndices.

Tabela 8. Resumo de apêndices relacionados a componentes de usabilidade

Componente

Característica Apêndice B

Atributo

Questão

Recomendação

Métrica

Característica x Atributo

Ambiente x Característica x Atributo x Questão

Questão x Recomendação

http://usabilidade.kinghost.net/AmbienteAtributoQuestao.xls

http://usabilidade.kinghost.net/QuestaoRecomendacao.xls

Lista completa de dados relacionados ao componente

Apêndice C

http://usabilidade.kinghost.net/Questao.xls

http://usabilidade.kinghost.net/Recomendacao.xls

http://usabilidade.kinghost.net/Metrica.xls

Apêndice D

O componente denominado característica, conforme já citado, representa uma visão mais

abrangente da qualidade da informação relacionada com a usabilidade. Para este componente, com

base nas referências utilizadas, foram normalizados ao final do processo cerca de vinte e quatro

características distintas de usabilidade. É importante destacar que, ao final do processo, a

pesquisadora criou a 25ª característica denominada “Atributos avulsos” a fim de torna-la um

agrupador de atributos que não possuíam vinculação com características e objetivando com isso,

demonstrar essa situação explicitamente aos inspetores de usabilidade. A Tabela 9 apresenta a lista

completa de características inseridas no framework.

111

Tabela 9. Características de usabilidade

Acessibilidade Gestão de Erros

Adequação Inteligibilidade

Ajuda Mapeamento entre sistema e mundo real

Atributos "avulsos" Multimodal

Capacidade de Aprendizado Navegabilidade/Orientação

Carga de Trabalho (Memória) Operacionalidade

Confiabilidade Produtividade

Consistência na interação Recursos visuais

Controle Do usuário Satisfação

Eficácia Segurança

Eficiência Universalidade

Facilidade de uso Utilidade

CARACTERÍSTICAS

Flexibilidade

A lista completa de todas as características de usabilidade com seu respectivo conceito

encontra-se no Apêndice B. Caso o leitor deseje verificar a lista completa de características, com

informações acerca da conceituação e referências que citaram tais características, poderá utilizar o

link: http://usabilidade.kinghost.net/Caracteristica.xls.

Para o componente denominado atributo, que representa a informação acerca da usabilidade

de forma mais granular, foram normalizados um total de oitenta atributos distintos de usabilidade. A

Tabela 10 apresenta a lista de atributos inseridos no framework.

112

Tabela 10. Atributos de usabilidade

Acessibilidade Flexibilidade

Ações Mínimas Fonte

Adptação ao Meio Funcionalidade

Agrupamento e distinção de Itens Garantia

Ajuda Ícones

Animações e Transições Importância do Código

Aplicabilidade Informações Textuais

Atratividade/Agradabilidade Inteligibilidade

Auto-Descritivo Interface/Layout

Capacidade de Aprendizado Internacionalização

Carga de Memória Mínima/Brevidade Janelas

Comandos Legibilidade

Compatibilidade Mensagens

Componentes Navegabilidade/Orientação

Compreensibilidade Número de Erros

Comunicabilidade Objetivo

Comunidade Operacionalidade

Concisão Personalização

Consistência Precisão

Conteúdo de qualidade Presteza

Contraste Prevenção/Proteção de Erros

Controlabilidade/Ação explícita do usuário Previsibilidade

Coordenação Privacidade

Cores Produtividade

Densidade Informacional Promoção

Desempenho Recursos de Segurança

Design Entrada e Saída Reusabilidade

Design estético Satisfação

Dispositivos Simetria/Equilibrio

Eficácia Simplicidade

Eficiência Sincronismo

Elementos gráficos Solicitação

Emoção Som

Escalabilidade Suporte para o usuário reconhecer, diagnosticar e recuperar erros

Estado de interação compartilhada Taxa de Conclusão/Plenitude

Estrutura Tempo de Carga

Experiência do Usuário Tolerância a falhas

Facilidade de Uso Transição visível

Familiaridade/Padrões Utilidade

Feedback Utilização de recursos

ATRIBUTOS

A lista completa de atributos, juntamente com o conceito associado, encontra-se no

Apêndice C. Caso o leitor deseje verificar a lista completa de atributos, com informações acerca da

conceituação e referências que citaram tais atributos, poderá utilizar o link:

http://usabilidade.kinghost.net/Atributo.xls.

113

Algumas referências apresentaram características e atributos de usabilidade vinculados, ou

seja, a informação acerca da avaliação da usabilidade trouxe componentes com visão mais

abrangente (características) associados com informações mais granulares (atributos). Essa

vinculação de componentes, mesmo com a aplicação das práticas, foi mantida e resultou na

normalização, de 136 vinculações distintas.

Além disso, um total de 16 vinculações entre atributos e a característica denominada

“Atributos avulsos” foi realizada pela pesquisadora. Por fim, duas vinculações acerca do atributo de

Informações Textuais também foram realizadas pela pesquisadora, baseando-se nos conhecimentos

obtidos acerca dos estudos realizados. Ao final, tem-se um total de 154 vinculações realizadas.

Devido a grande quantidade de vinculações geradas, a Tabela 11 apresenta um pequeno conjunto de

vinculações entre características e atributos. Todos os atributos vinculados à característica

“Acessibilidade” são apresentados.

Tabela 11. Vinculação - Características X Atributos

CARACTERÍSTICA ATRIBUTO

Acessibilidade Ações Mínimas

Acessibilidade Auto-Descritivo

Acessibilidade Carga de Memória Mínima/Brevidade

Acessibilidade Consistência

Acessibilidade Controlabilidade/Ação explícita do usuário


Acessibilidade Legibilidade

Acessibilidade Navegabilidade/Orientação

Acessibilidade Operacionalidade

Acessibilidade Simplicidade

A lista completa de todas as vinculações realizadas entre características e atributos de

usabilidade encontra-se no Apêndice D. Caso o leitor deseje verificar a lista completa de

vinculações entre características e atributos, com informações acerca das referências que citaram

tais vinculações, poderá utilizar o link: http://usabilidade.kinghost.net/CaracteristicaAtributo. xls.

Também foi realizado um total de 1609 vinculações distintas para a relação “Ambiente x

Característica x Atributo x Questão” sendo que destas, um total de 542 vinculações foram feitas

para o ambiente Desktop, 503 vinculações foram feitas para o ambiente dos dispositivos móveis e

564 vinculações foram feitas no ambiente web. Devido à quantidade de vinculações gerada e devido

114

ao fato de as referências se apresentarem distintas para determinados casos, o Apêndice E traz uma

pequena parte das vinculações. Caso o leitor deseja verificar a lista completa de vinculações entre

ambientes, características, atributos, questões e recomendações, com informações acerca das

referências que citaram tais vinculações, poderá utilizar o link:

http://usabilidade.kinghost.net/AmbienteAtributoQuestao. xls.

Por fim, a relação de questões e recomendações gerou um total de 242 vinculações distintas.

Neste caso, devido à quantidade de informação descritiva nas vinculações geradas (principalmente

nas recomendações), o Apêndice F traz uma pequena parte das vinculações realizadas. Caso o leitor

deseje verificar a lista completa de vinculações entre questões e recomendações, com informações

acerca das referências que citaram tais vinculações, poderá utilizar o link:

http://usabilidade.kinghost.net/QuestaoRecomendacao. xls.

Também foram disponibilizados para leitura completa o cadastro de Questões, disponível no

link: http://usabilidade.kinghost.net/Questao.xls, o cadastro de recomendações, disponível no link:

http://usabilidade.kinghost.net/Recomendacao.xls, métricas, disponível no link:

http://usabilidade.kinghost.net/Metrica.xls e a vinculação entre ambientes de execução e atributos,

disponível no link: http://usabilidade.kinghost.net/AmbienteAtributo. xls

4.10 CONSIDERAÇÕES

A definição de atributos de avaliação da usabilidade é uma tarefa complexa tendo em vista

que existem na literatura diversos modelos de avaliação da usabilidade propostos por diversos

autores com fatores de avaliação distintos entre si. Essa grande diversidade de atributos também é

verificada quando analisados estudos para um mesmo ambiente de execução, encontrando-se

diversos autores abordando fatores de avaliação da usabilidade distintos (SOUZA, 2007; MADAN;

DUBEY, 2012).

Este cenário gera nos envolvidos com a avaliação da usabilidade (que não possuem

conhecimentos específicos em ergonomia) dificuldades no momento da escolha dos atributos

corretos a avaliar (HORNBAEK; LAW, 2007). Portanto, uma ferramenta que possa apoiar na

definição destes atributos para cada ambiente de execução faz-se necessária a fim de facilitar este

trabalho.

http://usabilidade.kinghost.net/Questao.xls

http://usabilidade.kinghost.net/Recomendacao.xls

http://usabilidade.kinghost.net/Metrica.xls

115

Este capítulo abordou estudos realizados pelo autor a fim de contemplar uma estrutura de

framework que possa apoiar em avaliações da usabilidade. Foram especificados requisitos

funcionais e não funcionais que permitem o desenvolvimento de uma ferramenta computacional que

atenda o processo definido na abordagem do framework proposto. O capítulo apresenta também o

projeto e implementação dos recursos que compõe a ferramenta de apoio para geração de checklists

de avaliação da usabilidade, descreve algumas tecnologias utilizadas, bem como um guia de

demonstração de uso. A ferramenta está disponível à comunidade de pesquisa através de uma

interface web (Link: http://usabilidade.kinghost.net/login. jsf), permitindo uso e avaliação da

mesma.

Embora o Capítulo 4 não apresente a completude de toda a implementação realizada, a

ferramenta Checklist de Usabilidade apresentada neste capítulo atende ao objetivo três deste

trabalho, com o projeto e implementação de uma abordagem automatizada de framework de suporte

a geração de checklists para avaliação da usabilidade de acordo com o ambiente de execução.

Caracteriza-se como uma abordagem automatizada por aplicar técnicas computadorizadas para

reduzir o esforço durante o processo de geração de checklists para avaliação da usabilidade.

Pretende-se ainda contribuir com o planejamento e realização de avaliações que possam

indicar se o framework proposto apresentou facilidade na utilização, motivou os envolvidos com a

avaliação da usabilidade em sua utilização e verificar o quão adequado se apresentou para utilização

em avaliações de usabilidade. O Capítulo 5 formula hipóteses através de uma metodologia de

estudos a respeito do suporte da abordagem de framework proposta e detalha a avaliação

pretendida, suas métricas e objetivos a serem evidenciados. Por fim, o Capítulo 5 avalia o

framework através do paradigma de GQM e aplicação de questionário, apresenta resultados e

análise desta avaliação.

116

5 AVALIAÇÃO

Este trabalho apresenta como contribuição à área da usabilidade, um framework de

componentes utilizado para apoiar no processo de seleção de atributos para inspeção da usabilidade

de acordo com o ambiente de execução. A concepção deste framework é apoiada pelo

desenvolvimento de uma ferramenta que deseja auxiliar na definição de atributos de avaliação da

usabilidade por ambiente de execução (Capítulo 4).

Este capítulo apresenta a seguinte organização: a Seção 5.1 detalha o planejamento da

avaliação prevista para o framework e a Seção 5.2 aborda as considerações para a aplicação da

avaliação e resultados esperados.

5.1 MODELO DE AVALIAÇÃO

A avaliação do framework proposto será realizada através do método GQM (Goal, Question,

Metric) proposto por Basili, Caldeira, Rombach et al. (1994) e do desenvolvimento de um

questionário. A avaliação qualitativa guiada pelo método GQM consiste na definição de objetivos, a

partir das quais são extraídas questões de pesquisa associadas a métricas com o intuito de obter um

resultado mensurável. Este modelo de avaliação possui estrutura hierárquica que inicia pela

definição dos objetivos que serão medidos (goals) os quais são refinados em várias questões,

decompondo o problema em componentes principais. As questões compreendem o nível

operacional do modelo refinado em várias métricas objetivas ou subjetivas. Uma única métrica pode

ser utilizada para responder diferentes perguntas sob o mesmo objetivo (BASILI; CALDEIRA;

ROMBACH, 1994).

De acordo com o problema abordado (Seção 1.1), este trabalho pretende avaliar, através do

modelo GQM, se um framework que apoie a elaboração de listas de verificação para inspeção da

usabilidade através de inspeções via checklist poderá facilitar e motivar a adoção de práticas de

inspeção da usabilidade em projetos de desenvolvimento de software.

Além dessas avaliações citadas, este capítulo também apresenta uma avaliação da

ferramenta de apoio através da proposta de desenvolvimento de um questionário, buscando

identificar se o framework proposto mostrou-se adequado para ser aplicado em projetos de

desenvolvimento de software.

117

5.1.1 Planejamento da avaliação – método GQM

Conforme já citado, com a utilização do método GQM (Goal, Question, Metric) proposto

por Basili, Caldeira e Rombach (1994), identifica-se os objetivos da avaliação, elaboram-se as

questões e apontam-se as métricas relacionadas a estas questões.

Portanto, objetivando evidências associadas à questão de pesquisa relacionada com a

facilidade e motivação de utilização de um framework para apoio na elaboração de listas de

verificação e as hipótese relacionadas a esta questão, os objetivos (goals) do modelo GQM foram

elaborados para avaliação, conforme nos apresentado nos Quadros 6, 7 e 8.

Quadro 6. Objetivo 1 (G1)

Analisar O framework proposto

Com o propósito de Definir

Com respeito a Facilidade

No contexto de Adoção de práticas de inspeção da usabilidade em projetos de


Sob o ponto de vista de Envolvidos com o desenvolvimento de software (analistas,

programadores, arquitetos).




Com respeito a Motivação








Com respeito a Adequação





118

Hipóteses: a avaliação foi planejada para testar as seguintes hipóteses (nula e alternativa) a respeito

dos indicadores de produtividade e confiabilidade:

H01: O framework de apoio à elaboração de listas de verificação para inspeção da

usabilidade via checklist contribui para o incremento na facilidade de adoção de práticas de


H02: O framework de apoio à elaboração de listas de verificação para inspeção da

usabilidade via checklist contribui para o incremento na motivação de aplicação de praticas

de usabilidade em projetos de desenvolvimento de software;

H03: A aplicação de um framework composto de características, atributos, questões,

métricas e recomendações, considerando ambientes de execução específicos, mostra-se

adequado para ser aplicado em projetos de desenvolvimento de software.

Seguindo a definição de processo proposta pelo método GQM, no Quadro 9 estão detalhadas

as questões para a avaliação do framework proposto relacionadas a cada objetivo proposto.

Quadro 9. Questões para avaliação do framework

QUESTÃO DESCRIÇÃO OBJETIVO

Q1 O framework proposto contribui como guia, na seleção de atributos

para inspeção da usabilidade?

Facilidade

Q2 A estrutura de informação apresentada pelo framework proposto

contribui na redução do esforço de assimilação de aspectos

relacionados com a inspeção da usabilidade?

Facilidade

Q3 As questões utilizadas no framework para a inspeção dos atributos de

usabilidade contribuem na redução do esforço relacionado à

compreensão de termos próprios da usabilidade?

Facilidade

Q4 A linguagem utilizada pelo framework proposto contribui na redução

do esforço relacionado à compreensão de termos próprios da

usabilidade?

Facilidade

Q5 A estrutura de informação apresentada pelo framework proposto gera

maior facilidade na realização de inspeções de usabilidade, do que a

avaliação feita a partir de documentação ou norma?

Facilidade

Q6 O framework proposto contribui na redução de esforço para

conclusão de tarefas relacionadas com a inspeção da usabilidade de

forma eficiente?

Facilidade

Q7 O framework proposto é fácil de ser utilizado? Facilidade

Q8 A estrutura de informação apresentada pelo framework proposto

contribui para a redução do esforço na seleção de atributos de

usabilidade?

Motivação

119

Q9 O framework pode ser utilizado nas próximas avaliações inspeções

de usabilidade durante projetos de desenvolvimento de software?

Motivação

Q10 O framework proposto pode ser indicado para avaliação da

usabilidade para outros interessados?

Motivação

Q11 O framework proposto contribui como ferramenta útil para a

inspeção da usabilidade durante projetos de desenvolvimento de

software?

Motivação

Q12 Qual a sua impressão subjetiva sobre o percentual de ganho de

tempo que atividade de inspeção da usabilidade obteve com o

emprego do framework quando comparado com a não utilização?

Motivação

Q13 Os mecanismos de seleção de componentes, abordados pelo

framework proposto contribuem para a redução da complexidade na

inspeção da usabilidade entre os envolvidos com projetos de


Adequação

Q14 A estrutura de informações abordada pelo framework se mostrou

adequada para ser aplicada em inspeções de usabilidade durante

projetos de desenvolvimento de software?

Adequação

Q15 As sugestões de questões apresentadas no framework contribuem

como prática adequada em inspeções de usabilidade?

Adequação

Q16 O framework proposto pode ser utilizado como ferramenta de

trabalho para inspeção da usabilidade durante outros projetos de


Adequação

Q17 Qual o grau de concordância subjetiva do framework proposto em

relação à inspeção da usabilidade durante projetos de


Adequação

As questões de pesquisa citadas anteriormente no Quadro 9, são associadas a métricas

apropriadas, conforme pode ser verificado no Quadro 10. Como se trata de avaliações subjetivas, as

métricas são mais informais ou instáveis, exigindo a avaliação de especialistas através de um

questionário. A distribuição das métricas para a avaliação subjetiva das questões é apresentada na

Figura 29.

Quadro 10. Métricas para avaliação subjetiva do framework proposto

MÉTRICA DESCRIÇÃO

M1 Quantidade de pessoas que responderam “Concordo amplamente”

M2 Quantidade de pessoas que responderam “Concordo parcialmente”

M3 Quantidade de pessoas que responderam “Discordo parcialmente”

M4 Quantidade de pessoas que responderam “Discordo amplamente”

120

Figura 29. Avaliação subjetiva – distribuição de métricas

Após o desenvolvimento do modelo de avaliação GQM, é necessário selecionar as técnicas,

ferramentas e os procedimentos apropriados para a coleta dos dados. Neste estudo, os

procedimentos para a obtenção das métricas subjetivas fundamentam-se na realização de um

questionário com pelo menos 10 envolvidos com processo de desenvolvimento de software. Cada

uma das questões possui um conjunto de resultados possíveis, classificados por importância

conforme apresentado no Quadro 14, e o questionário apresentado no Apêndice B.

Cada uma das métricas subjetivas é obtida através da soma das respostas obtidas para a

questão específica. Para possibilitar avaliações subjetivas pelo questionário a ser realizado pelos

envolvidos com processo de desenvolvimento de software, adota-se um conjunto de atributos

classificados por importância, conforme apresentado no Quadro 11.

Quadro 11. Atributos de avaliação do framework

ATRIBUTO CLASSIFICAÇÃO CORRESPONDÊNCIA NUMÉRICA

A1 Concordo Amplamente > 75%

A2 Concordo Parcialmente 51~75%

A3 Discordo Parcialmente 26~50%

A4 Discordo Amplamente < 26%

Sem opinião definida* -

* não contribui para a avaliação, atuando como uma possibilidade ao respondente em isentar-se daquela questão.

121

Assim para que cada uma das questões tenha um valor computado, realiza-se a interpretação

da contribuição da abordagem proposta através de configurações descritas no Quadro 12 para os

fatores de facilidade, alinhados ao objetivo G1; no Quadro 13 para a motivação na utilização do

framework, alinhados ao objetivo G2; e por fim, no Quadro 14 para a adequação na utilização do

framework proposto, alinhados ao objetivo G3. Cada uma das métricas descritas anteriormente

conduz a um atributo de comparação que subtraído a média dos atributos, permite a interpretação

daquela questão específica dentro do contexto avaliado.

Quadro 12. Interpretação da avaliação da facilidade no framework*

EXPRESSÃO INTERPRETAÇÃO

A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na facilidade de

seleção de atributos para avaliação da usabilidade.

A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na facilidade de


A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na facilidade de


A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a facilidade de seleção

de atributos para avaliação da usabilidade.

* lido da seguinte forma: “Se Expressão então Interpretação”.

Quadro 13. Interpretação da avaliação da motivação no framework*


A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na motivação de

utilização do framework em um processo de desenvolvimento de

software.

A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na motivação de


software.

A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na motivação de


software.

A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a motivação de


software.


Quadro 14. Interpretação da avaliação da adequação no framework*


A1 > MÉDIA (A2, A3, A4) O framework proposto contribui amplamente na adequação de


software.

A2 > MÉDIA (A1, A3, A4) O framework proposto contribui de modo parcial na adequação de


122

software.

A3 > MÉDIA (A1, A2, A4) O framework proposto contribui de modo negativo na adequação de


software.

A4 > MÉDIA (A1, A2, A3) O framework proposto impede ou restringe a adequação de


software.


Caso o número de respostas obtidas a partir da avaliação pela comunidade de IHC e

profissionais desenvolvedores não se mostrar suficiente, o framework proposto será encaminhado

para avaliação para contatos vinculados à SBC (Sociedade Brasileira de Computação). Além desta

avaliação junto a profissionais de desenvolvimento de software e pesquisadores da área de IHC,

serão realizados experimentos em três empresas diferentes, com pelo menos uma avaliação por

ambiente de execução dentre os contemplados nesta pesquisa (web, desktop, móvel).

Caso exista uma igualdade no somatório de algum destes atributos, é possível realizar uma

análise estatística sobre a distribuição das respostas obtidas, verificando o desvio padrão a partir da

variação dos dados, obtendo-se a tendência da amostragem para cada um dos valores divergentes,

solucionando assim o impasse.

5.1.2 Planejamento da avaliação – método GQM

A avaliação da adequação do framework proposto será realizada através de questionário

aplicado junto aos participantes após a utilização do framework. Para que possa ser avaliado, o

framework proposto será disponibilizado para acesso na internet, através de acesso com

usuário/senha específicos.

A avaliação do framework proposto quanto a sua adequação será realizada por profissionais

da área de informática, junto a empresas e instituições de desenvolvimento de software, buscando

abranger a aplicação do framework proposto em projetos ou produtos reais, envolvendo no mínimo

uma avaliação para cada ambiente de execução, seguindo algumas etapas:

1. Apresentação do Objetivo do trabalho proposto;

2. Apresentação do Framework proposto de maneira geral;

123

3. Apresentação de conceitos relacionados com a usabilidade, avaliações de

usabilidade e a aplicação de avaliações de usabilidade em processos de

desenvolvimento de software;

4. Apresentação do framework proposto de maneira mais específica, suas

funcionalidades quanto à geração de listas de verificação para avaliação da

usabilidade via checklist;

5. Identificação da empresa em que a avaliação de usabilidade será realizada;

6. Seleção e identificação de projeto/produto, na empresa, em que a avaliação será

aplicada a partir do framework proposto, bem como o ambiente de execução

utilizado;

7. Seleção de colaborador da empresa, envolvido com processo de desenvolvimento

de software que irá participar da avaliação da usabilidade com o apoio do

framework proposto;

8. Definições de configuração (ambiente de execução, características, atributos,

etc.) no framework para geração de lista de verificação para avaliação da

usabilidade;

9. Verificação de questões, métricas e recomendações para cada atributo

selecionado para avaliação;

10. Aplicação de questionário de GQM informado na Seção 5.1.1.

Para cada empresa e projeto/produto verificados estas etapas serão reproduzidas a fim de

obter um conjunto de informações suficientes para avaliação do framework proposto.

5.2 EXECUÇÃO

Para a avaliação do framework proposto nesta pesquisa foram realizadas treze avaliações de

usabilidade em quatro empresas e/ou instituições distintas de desenvolvimento de software. A

avaliação do framework ocorreu em julho de 2014 e contou com a participação de onze pessoas que

124

atualmente atuam em processos de desenvolvimento de software. A seguir, o processo de avaliação

utilizado, bem como o perfil dos participantes e dos produtos/projetos avaliados é detalhado.

5.2.1 Iniciando o processo de avaliação

Após o planejamento da avaliação do framework proposto nesta pesquisa, realizou-se um

contato inicial por e-mail com cada participante (em cada empresa) que possivelmente poderia atuar

como avaliador/inspetor de usabilidade do framework. Um total de quatorze contatos em quatro

empresas distintas foi realizado. Neste contato inicial, uma pequena apresentação do escopo da

pesquisa de mestrado foi realizada, sendo que ao final, um total de onze participantes, oriundos de

quatro empresas distintas, aceitou contribuir com a pesquisa.

Após este contato inicial e objetivando inserir de forma mais detalhada estes onze

participantes na pesquisa, foram realizadas reuniões presenciais objetivando repassar informações e

orientações para a geração de checklists para avaliação da usabilidade. Foi possível realizar reunião

presencial em duas das quatro empresas utilizadas nesta pesquisa, sendo que estas duas empresas

juntas representam 84% das avaliações de usabilidade realizadas. Nas demais empresas o contato

entre a pesquisadora e os participantes foi realizado por chat, e-mail ou telefone.

As reuniões presenciais contribuíram para apresentar aos participantes, de forma mais

detalhada, a pesquisa de mestrado realizada e a ferramenta de apoio à geração de checklists de

usabilidade que foi desenvolvida no projeto de pesquisa. Durante estas reuniões foi possível

esclarecer diversas dúvidas comuns aos participantes acerca do processo de avaliação, acerca dos

papéis do desenvolvimento de software utilizados pela ferramenta, bem como dúvidas das

disciplinas que o projeto ou produto de software se encontra, todas estas informações necessárias

para geração do checklist de usabilidade.

Para os participantes da pesquisa, a seguinte informação a respeito de cada papel no

desenvolvimento de software foi repassada, com o intuito de apoia-los na seleção da informação no

momento da execução do checklist:

Analista de sistemas: responsável pela identificação de requisitos, detalhamento dos

requisitos e desenho da interface do usuário;

125

Analista de Suporte: responsável por fornecer suporte técnico especializado aos

atendentes e usuários do sistema;

Programador: responsável por projetar e implementar uma parte do sistema, em

termos de entidades de software, operações e interações dentro das restrições dos

requisitos;

Arquiteto: responsável por liderar e coordenar as atividades e os artefatos técnicos

necessários para o desenvolvimento da arquitetura do projeto;

Gerente de projeto: responsável por planejar, controlar e alocar recursos, planejar

prioridades, coordenar interações com os clientes e usuários e manter a equipe de

projeto focada.

Analista de teste: responsável por planejar os testes, desenvolver os casos de testes e

coordenar a execução de testes;

Testador: responsável por executar os testes planejados.

Em relação às disciplinas que o projeto/produto se encontra, a seguinte orientação de

conceitos foi repassada:

Requisitos e Análise: corresponde à disciplina que reúne tarefas acerca de

identificação e detalhamento de requisitos para o sistema;

Modelagem de Negócio: corresponde à disciplina que reúne tarefas acerca de

identificação e modelagem de processos de negócio da empresa;

Projeto e Implementação: corresponde à disciplina que reúne tarefas acerca de

desenvolvimento de modelos e implementação da solução de software com base no

detalhamento dos requisitos;

Teste: corresponde à disciplina que reúne tarefas para desenvolver casos de teste e

efetuar o teste de integração e de sistema;

126

Implantação: corresponde à disciplina que reúne tarefas para homologação e

implantação do sistema;

Produto: corresponde a fase em que o software passou por todas as disciplinas, foi

finalizado e encontra-se em uso.

Do ponto de vista da pesquisadora, ambas as reuniões realizadas com as equipes de

desenvolvimento mostraram-se realmente produtivas tendo em vista que serviram para sanar

dúvidas comuns que surgiram entre os participantes. As dúvidas sanadas antes mesmo da realização

da avaliação de usabilidade propriamente dita facilitaram a execução das avaliações evitando ou

minimizando equívocos com conceitos ou informações preenchidas de forma incorreta que

poderiam ocorrer durante as avaliações.

Durante a realização das reuniões, checklists de avaliação da usabilidade foram criados pela

pesquisadora em ambiente de teste com o objetivo de apresentar aos participantes o passo-a-passo

realizado para uma execução de avaliação da usabilidade através de checklists gerados pela

ferramenta. Foi disponibilizado também aos participantes, via e-mail, documento contendo o passo-

a-passo, com telas de exemplo, para a realização de um checklist de avaliação da usabilidade.

Os participantes foram orientados a manter as aplicações avaliadas abertas durante o

preenchimento das respostas do checklist objetivando facilitar a escolha da resposta em cada

questão, bem como o preenchimento de observações para a questão, quando necessário. Ao final de

cada avaliação realizada, a maioria dos participantes prontamente entrou em contato com a

pesquisadora a fim de comunica-la da finalização da avaliação, mesmo que esta comunicação não

fosse obrigatória ou não tivesse sido solicitada.

Cada participante recebeu por e-mail o endereço da aplicação web

(http://www.usabilidade.kinghost.net/) na qual iria realizar a(s) avaliação(ões) de usabilidade.

Juntamente com a informação do endereço da aplicação foi disponibilizado um usuário e senha

específicos de acesso para cada participante que visualizou somente os checklists gerados pelo seu

próprio usuário.

Foi disponibilizada aos participantes, em julho de 2014, cinco dias úteis de acesso a

ferramenta para a realização das avaliações de usabilidade que se mostraram suficientes para as

treze avaliações realizadas.

http://www.usabilidade.kinghost.net/

127

5.2.2 Perfil dos participantes

No contato inicial, citado anteriormente, com os possíveis participantes da pesquisa foi

verificado pela pesquisadora qual o papel do desenvolvimento de software que cada participante

exercia dentro da empresa onde atuava. O objetivo desta coleta de informações (de forma informal)

foi realizar o maior número possível de avaliações de usabilidade para papéis distintos do

desenvolvimento de software, dentre os sinalizados pela ferramenta. Com esta comunicação

informal com os participantes foi possível obter avaliações com checklists de usabilidade para cinco

papéis distintos dentre os sete oferecidos pela pesquisa como opção de seleção para “papel do

inspetor no projeto”.

A Figura 30 apresenta a quantidade de participantes para cada papel do desenvolvimento de

software oferecido pela pesquisa. Como pode ser verificado, somente os papéis “Analista de teste” e

“Testador” não contabilizaram nenhuma execução de checklist de usabilidade na ferramenta

proposta.

Figura 30. Checklists de usabilidade por papel do desenvolvimento de software

É interessante destacar que os papéis do desenvolvimento de software: “Analista de

Sistemas” e “Programador” contabilizaram os maiores números de avaliações de usabilidade, sendo

3 e 4 avaliações respectivamente. Do ponto de vista da pesquisadora, que atualmente trabalha como

analista de sistemas, esse número favorece ainda mais as contribuições geradas para esta pesquisa,

pois estes dois papéis interferem diretamente na produção de interfaces amigáveis, tendo em vista

que os analistas desenham a interface e os programadores as tornam funcionais dentro das restrições

de negócio impostas pelos projetos das empresas envolvidas.

128

As treze execuções de avaliação da usabilidade geradas foram realizadas por onze

participantes de quatro empresas/instituições distintas que atuam do desenvolvimento de software.

Por tratar-se de avaliações de usabilidade feitas por colaboradores atuantes nestas empresas e que

produziram respostas, cenários e opiniões acerca de produtos/projetos de software avaliados, a

identificação dos participantes, empresas, bem como dos produtos/projetos avaliados será mantida

em sigilo.

Objetivando identificar de forma mais completa o perfil dos participantes da pesquisa, a

Tabela 12 apresenta, para cada identificação de participante, o papel desempenhado dentro da

empresa no momento da execução da pesquisa, o tempo de atuação no papel do desenvolvimento de

software informado, a empresa onde atua e os ambientes de execução que cada participante avaliou.

Entre os participantes que realizaram avaliações de usabilidade com o framework proposto

por esta pesquisa foi verificado qual a experiência de cada um destes em relação à utilização de

práticas de avaliação da Usabilidade. Para facilitar a resposta, a pesquisadora relembrou a estes

participantes, quais as principais técnicas de avaliação da usabilidade podem ser utilizadas em

avaliações de usabilidade. Como apoio e fonte de informação, o Quadro 1 foi utilizado.

Dentre os 11 participantes envolvidos, apenas três destes possuíam alguma experiência

anterior com aplicação de práticas de avaliação da usabilidade. Destes participantes com

experiência anterior com avaliação de usabilidade, dois deles, ambos analistas de sistemas,

utilizaram avaliação apoiados por checklists. Um dos participantes, arquiteto de software, participou

de uma avaliação de usabilidade sendo a técnica utilizada de monitoramento com sistema espião.

As empresas avaliadas possuem endereço nas cidades de Blumenau (Santa Catarina). A

empresa identificada pelo número 1 possui em torno de 140 colaboradores (segundo informações

repassadas pelo setor de recursos humanos de cada empresa/instituição verificada), atuando com

desenvolvimento de projetos e produtos de software para empresas do ramo de tabaco, energia

elétrica e construção civil. A empresa identificada pelo número 2 é uma instituição que possui em

torno de 350 colaboradores, sendo que destes, 12 trabalham efetivamente com desenvolvimento de

software para instituição de ensino no departamento de Tecnologia da Informação da empresa. A

empresa identificada pelo número 3 possui em torno de 40 colaboradores e atua com a criação de

sites/portais de internet para empresas de diversos segmentos. Por fim, a empresa identificada como

129

empresa 4, possui em torno de 160 colaboradores e atua com desenvolvimento de projetos de

software para empresa de distribuição de bebidas.

Tabela 12. Perfil de Participantes nas avaliações de usabilidade

PARTICIPANTE

PAPEL DO DESENVOLVIMENTO

DE SOFTWARE

EXPERÊNCIA COM AVALIAÇÃO

DE USABILIDADE EMPRESA

AMBIENTE DE EXECUÇÃO

AVALIADO

Participante 1 Programador Não Empresa 1 Desktop

Participante 2 Gerente de Projetos Não Empresa 1 Web

Participante 3 Programador Não Empresa 1 Web, Dispositivos Móveis

Participante 4 Programador Não Empresa 1 Desktop

Participante 5 Arquiteto Sim Empresa 1 Web, Dispositivos Móveis

Participante 6 Analista de Sistemas Sim Empresa 1 Web

Participante 7 Analista de Sistemas Sim Empresa 2 Web

Participante 8 Analista de Suporte Não Empresa 2 Web

Participante 9 Analista de Sistemas Não Empresa 2 Web

Participante 10 Gerente de Projetos Não Empresa 3 Web

Participante 11 Arquiteto Não Empresa 4 Dispositivos Móveis

5.2.3 Perfil de projetos/produtos de software avaliados

As avaliações de usabilidade geradas através do framework proposto contemplaram os

ambientes de execução web, desktop e dispositivos móveis, conforme pode ser verificado na tabela

12. As treze avaliações de usabilidade foram realizadas tanto em projetos de desenvolvimento de

software em andamento, quanto em produtos de software já finalizados conforme pode ser

verificado na Tabela 13.

Os projetos ou produtos avaliados atendem a diversos setores, dentre os quais se pode citar:

gestão de serviços para equipes de trabalho de empresa de distribuição de energia elétrica, gestão de

produtos de chão de fábrica para empresa multinacional, gestão de lançamento de atividades por

recurso em fábrica de software, gestão de mensagens e autorizações via processos de workflow para

empresa de distribuição de energia elétrica e por fim, sistema acadêmico de cursos, alunos,

disciplinas, matrículas e débitos de alunos.

Das avaliações executadas, 46% delas foram realizadas em produtos de software e o

restante, 54% foi realizada em projetos de software em andamento, os quais encontravam-se na fase

de “Projeto e Implementação” ou na fase de “Teste”. A Tabela 13 apresenta um resumo das

avaliações realizadas por ambiente de execução avaliado e por disciplina em que o projeto/produto

foi avaliado em cada empresa.

130

Tabela 13. Resumo de avaliações de usabilidade por disciplina e empresa

5.2.4 Avaliações realizadas

Esta pesquisa realizou um total de treze avaliações de usabilidade distintas realizadas por

onze participantes, em projetos/produtos de software que contemplaram os ambientes de execução

web, desktop e dispositivos móveis. A seguir, as Tabelas de 14 a 26 apresentam cada uma das treze

avaliações de usabilidade realizadas, bem como detalhes das avaliações realizadas.

Tabela 14. Avaliação de usabilidade 01

Ambiente de Execução Web

Empresa Empresa 2

Participante Participante 7

Tecnologias Envolvidas Java, Hibernate, JSP, Javascript, Spring, Oracle, Jasper Reports/iText, Maven, Git

Disciplina (Projeto ou Produto) Projeto e Implementação

Papel do Inspetor Analista de Sistemas

Nro Características avaliadas 6

Características Avaliadas Gestão de Erros, Navegabilidade/Orientação, Produtividade, Recursos visuais, Segurança, Utilidade

Nro de Atributos Avaliados 11

Atributos Avaliados

Animações e Transições, Componentes, Cores, Ícones, Legibilidade, Mensagens, Número de Erros,

Prevenção/Proteção de Erros, Privacidade, Recursos de Segurança, Utilização de recursos

Nro de Questões Avaliadas 44

Questões Conformes 29

Questões Não Conformes 10

Questões Não Aplicáveis 5

Questões com Avaliação Prejudicada 0

AVALIAÇÃO 1

131


Ambiente de Execução Desktop

Empresa Empresa 2


Tecnologias Envolvidas CoreBuilder/Java

Disciplina (Projeto ou Produto) Produto

Papel do Inspetor Analista de Suporte


Características Avaliadas

Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário, Eficácia,

Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade, Operacionalidade, Recursos visuais, Satisfação,

Segurança, Utilidade


Atributos Avaliados

Ações Mínimas, Animações e Transições, Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de

Aprendizado, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do

usuário, Cores, Design estético, Elementos gráficos, Emoção, Experiência do Usuário, Facilidade de Uso,

Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Mensagens, Navegabilidade/Orientação,

Número de Erros, Precisão, Prevenção/Proteção de Erros, Produtividade, Recursos de Segurança,

Reusabilidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de

Conclusão/Plenitude, Tempo de Carga, Utilização de recursos






AVALIAÇÃO 02



Empresa Empresa 1


Tecnologias Envolvidas PowerBuilder, Oracle


Papel do Inspetor Programador



Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Carga de Trabalho (Memória),

Controle Do usuário, Eficácia, Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade,

Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Satisfação, Segurança


Atributos Avaliados

Acessibilidade, Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade,

Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de Aprendizado, Carga de Memória

Mínima/Brevidade, Comandos, Compatibilidade, Componentes, Compreensibilidade, Comunicabilidade,

Concisão, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação explícita do usuário,

Coordenação, Cores, Densidade Informacional, Desempenho, Design estético, Eficácia, Eficiência, Emoção,

Escalabilidade, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Feedback, Flexibilidade,

Fonte, Funcionalidade, Importância do Código, Informações Textuais, Inteligibilidade, Internacionalização,

Mensagens, Navegabilidade/Orientação, Número de Erros, Operacionalidade, Personalização, Precisão,

Presteza, Prevenção/Proteção de Erros, Produtividade, Promoção, Recursos de Segurança, Reusabilidade,

Satisfação, Simetria/Equilibrio, Som, Suporte para o usuário reconhecer, diagnosticar e recuperar erros,

Taxa de Conclusão/Plenitude, Tempo de Carga, Utilidade, Utilização de recursos






AVALIAÇÃO 03

132



Empresa Empresa 1


Tecnologias Envolvidas Java, PL/SQL


Papel do Inspetor Gerente de Projeto


Características Avaliadas Confiabilidade, Facilidade de uso, Navegabilidade/Orientação, Operacionalidade, Recursos visuais,


Atributos Avaliados

Agrupamento e distinção de Itens, Animações e Transições, Carga de Memória Mínima/Brevidade,

Comandos, Compatibilidade, Componentes, Conteúdo de qualidade, Contraste, Controlabilidade/Ação

explícita do usuário, Cores, Densidade Informacional, Design estético, Emoção, Experiência do Usuário,

Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Funcionalidade, Garantia, Ícones, Importância do

Código, Informações Textuais, Janelas, Legibilidade, Mensagens, Navegabilidade/Orientação,

Personalização, Precisão, Privacidade, Promoção, Simetria/Equilibrio, Solicitação, Som, Tempo de Carga,

Tolerância a falhas, Utilização de recursos






AVALIAÇÃO 04



Empresa Participante 10

Participante Empresa 3

Tecnologias Envolvidas PHP, MySQL


Papel do Inspetor Gerente de Projeto


Características Avaliadas Eficácia, Operacionalidade


Atributos Avaliados Consistência, Feedback, Flexibilidade, Navegabilidade/Orientação, Precisão, Taxa de Conclusão/Plenitude






AVALIAÇÃO 05

133


Ambiente de Execução Dispositivos Móveis

Empresa Participante 11

Participante Empresa 4

Tecnologias Envolvidas Flex, Java e SAP ABAP


Papel do Inspetor Arquiteto



Acessibilidade, Atributos "avulsos", Capacidade de Aprendizado, Confiabilidade, Eficácia, Eficiência,

Flexibilidade, Gestão de Erros, Inteligibilidade, Recursos visuais


Atributos Avaliados

Ações Mínimas, Aplicabilidade, Componentes, Controlabilidade/Ação explícita do usuário, Desempenho,

Design estético, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Flexibilidade,

Funcionalidade, Navegabilidade/Orientação, Precisão, Prevenção/Proteção de Erros, Produtividade,

Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros,

Utilidade, Utilização de recursos






AVALIAÇÃO 06



Empresa Empresa 2


Tecnologias Envolvidas Java EE, Hibernate, Spring, Git, DWR, Prototype, Oracle, Aplication Server




Características Avaliadas Confiabilidade, Flexibilidade, Gestão de Erros, Navegabilidade/Orientação, Segurança


Atributos Avaliados

Agrupamento e distinção de Itens, Consistência, Controlabilidade/Ação explícita do usuário, Experiência do

Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Garantia, Legibilidade,

Navegabilidade/Orientação, Número de Erros, Precisão, Prevenção/Proteção de Erros, Privacidade,

Recursos de Segurança, Solicitação, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa

de Conclusão/Plenitude, Tolerância a falhas






AVALIAÇÃO 07

134



Empresa Empresa 1


Tecnologias Envolvidas Java ME




Características Avaliadas Acessibilidade, Eficiência, Flexibilidade, Operacionalidade


Atributos Avaliados

Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do

usuário, Experiência do Usuário, Feedback, Flexibilidade, Legibilidade, Navegabilidade/Orientação,

Operacionalidade, Simplicidade, Tempo de Carga, Utilização de recursos






AVALIAÇÃO 08



Empresa Empresa 1


Tecnologias Envolvidas Flex, C#.net, sql(Oracle)




Características Avaliadas Facilidade de uso, Produtividade, Utilidade


Atributos Avaliados

Carga de Memória Mínima/Brevidade, Controlabilidade/Ação explícita do usuário, Feedback, Flexibilidade,

Garantia, Precisão, Privacidade, Tempo de Carga, Tolerância a falhas, Utilização de recursos






AVALIAÇÃO 09

135



Empresa Empresa 1


Tecnologias Envolvidas JAVA SE





Acessibilidade, Capacidade de Aprendizado, Carga de Trabalho (Memória), Controle Do usuário, Eficácia,

Eficiência, Flexibilidade, Gestão de Erros


Atributos Avaliados

Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do

usuário, Densidade Informacional, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade,

Navegabilidade/Orientação, Número de Erros, Operacionalidade, Precisão, Taxa de Conclusão/Plenitude,

Tempo de Carga, Utilização de recursos






AVALIAÇÃO 10



Empresa Empresa 1

Participante Particpante 5

Tecnologias Envolvidas SAP NetWeaver / Java EE





Acessibilidade, Atributos "avulsos", Carga de Trabalho (Memória), Flexibilidade, Gestão de Erros,

Inteligibilidade, Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Segurança, Utilidade


Atributos Avaliados

Animações e Transições, Aplicabilidade, Comandos, Consistência, Contraste, Cores, Densidade

Informacional, Eficiência, Emoção, Experiência do Usuário, Feedback, Flexibilidade, Funcionalidade,

Garantia, Importância do Código, Legibilidade, Mensagens, Número de Erros, Precisão, Prevenção/Proteção

de Erros, Recursos de Segurança, Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer,

diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tempo de Carga, Tolerância a falhas,






AVALIAÇÃO 11

136



Empresa Empresa 1


Tecnologias Envolvidas Adobe Flex, PL/SQL e .Net

Disciplina (Projeto ou Produto) Teste




Acessibilidade, Adequação, Capacidade de Aprendizado, Carga de Trabalho (Memória), Confiabilidade,

Controle Do usuário, Facilidade de uso, Flexibilidade, Inteligibilidade, Navegabilidade/Orientação,

Operacionalidade, Recursos visuais, Satisfação, Universalidade


Atributos Avaliados

Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade,

Atratividade/Agradabilidade, Auto-Descritivo, Carga de Memória, Mínima/Brevidade, Comandos,

Compatibilidade, Componentes, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação

explícita do usuário, Coordenação, Cores, Densidade Informacional, Design estético, Emoção, Experiência

do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Importância do Código,

Informações Textuais, Legibilidade, Mensagens, Navegabilidade/Orientação, Personalização, Privacidade,

Promoção, Simetria/Equilibrio, Simplicidade, Solicitação, Som, Tempo de Carga, Tolerância a falhas






AVALIAÇÃO 12



Empresa Empresa 1


Tecnologias Envolvidas Java EE e HTML5





Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário,

Recursos visuais


Atributos Avaliados

Controlabilidade/Ação explícita do usuário, Coordenação, Eficiência, Experiência do Usuário, Facilidade de

Uso, Flexibilidade, Simplicidade, Tempo de Carga






AVALIAÇÃO 13

Foram avaliadas 1349 questões em 13 avaliações de usabilidade geradas pela ferramenta,

por 11 participantes. A Figura 49 apresenta o cenário de questões respondidas, de acordo com cada

opção de resposta.

137

Figura 31. Cenário de questões respondidas

Todos os ambientes de execução propostos pela pesquisa foram avaliados no mínimo por

duas execuções de checklist. Das 25 características criadas pelo framework proposto, apenas quatro

não foram avaliadas. As características que não sofreram avaliação foram: Ajuda, Consistência na

Interação, Mapeamento entre o sistema e o mundo real e Multimodal. Em relação aos 80 atributos

de avaliação da usabilidade propostos pela pesquisa, foi possível avaliar cerca 68 atributos distintos,

que representam 85% dos atributos criados. Os atributos que não foram avaliados foram: Adaptação

ao Meio, Ajuda, Comunidade, Design de Entrada e Saída, Dispositivos, Estado de interação

compartilhada, Estrutura, Interface/Layout, Objetivo, Previsibilidade, Sincronismo e Transição

visível. Através das treze avaliações de usabilidade realizadas não foi possível avaliar

características e atributos criados em sua totalidade, pois a escolha destes, por ambiente de

execução, ficou a cargo exclusivamente dos participantes.

5.3 RESULTADOS

Após a realização das avaliações de usabilidade executadas pelos participantes através dos

checklists gerados pelo framework proposto pela pesquisa, aplicou-se o questionário referenciado

no Apêndice F com o intuito de avaliar este framework.

138

5.3.1 Método GQM

Através do questionário de avaliação do framework proposto, apresentado no apêndice F, os

participantes relataram suas impressões subjetivas a respeito das contribuições obtidas em termos de

facilidade, motivação e adequação em relação à adoção de práticas de inspeção da usabilidade em

projetos de desenvolvimento de software pelos envolvidos com o desenvolvimento de software

(analistas programadores e gerentes de projeto).

O questionário realizado foi repassado a cada um dos onze participantes, após a realização

de suas respectivas avaliações. Neste questionário foi possível verificar que cerca de 81% dos

participantes já leu respeito do tema “Usabilidade”, cerca de 9% participou de outros processos de

avaliação de usabilidade e por fim, cerca de 10% não possui conhecimento algum em usabilidade.

Com relação à distribuição dos resultados entre as questões, ilustrado pela Figura 32,

verificou-se de maneira geral, que os objetivos de facilidade (Q1 à Q7), motivação (Q8 à Q12) e

adequação (Q13 à Q17) avaliados pela pesquisa demonstraram uma concordância ampla entre as

avaliações realizadas pelos participantes.

Em relação ao objetivo da facilidade, somente três participantes discordaram parcialmente

da facilidade obtida em relação à adoção do framework de apoio à elaboração de listas de

verificação para inspeção de usabilidade em projetos de desenvolvimento de software. Em relação à

motivação e a adequação, somente dois participantes discordaram parcialmente, em ambos os casos,

com a motivação obtida com a utilização do framework ou com a adequação deste em relação a

projetos de desenvolvimento de software.

139

Figura 32. Distribuição de respostas por questão

Com relação à distribuição dos resultados entre os objetivos, ilustrado na Figura 33, as

questões relacionadas à facilidade demonstraram uma concordância ampla de 88,3%. As questões

relacionadas à motivação demonstraram uma concordância ampla de 90,0% e por fim, as questões

relacionadas com a adequação também demonstraram uma concordância ampla de 78,2%.

Figura 33. Distribuição de respostas conforme objetivo

140

Para o objetivo da facilidade, conforme pode ser verificado na Figura 33, 5,2% dos

participantes discordaram parcialmente com o fato de que o framework proposto para o apoio à

geração de checklists para a avaliação da usabilidade facilitou a adoção de práticas de inspeção da

usabilidade em projetos de desenvolvimento de software.

O objetivo da motivação demonstrou numericamente os melhores resultados, sendo que

somente 3,6% dos participantes discordaram parcialmente com o fato de que o framework proposto

para o apoio a geração de checklists para a avaliação da usabilidade motivou a adoção de práticas de

inspeção da usabilidade em projetos de desenvolvimento de software.

Por fim, os resultados acerca do objetivo da adequação que demonstrou numericamente os

piores resultados, tendo em vista que 5,5% dos participantes discordaram parcialmente com o fato

de que o framework proposto para o apoio à geração de checklists para a avaliação da usabilidade

foi adequado para a adoção de práticas de inspeção da usabilidade em projetos de desenvolvimento

de software. Nenhum dos participantes da pesquisa discordou amplamente com a facilidade,

motivação ou adequação do framework proposto para o apoio na geração de checklists para a

avaliação da usabilidade em projetos de desenvolvimento de software.

O Quadro 15 apresenta, para cada questão, o atributo (conforme orientação do Quadro 11)

relacionado à opção de resposta mais indicada pelos participantes. Juntamente com o atributo, nesta

coluna é apresentada a informação do percentual que esta opção de resposta mais indicada obteve

em relação ao total de participantes. Com base nisso as médias e interpretações descritas nos

Quadros 12, 13 e 14 foram realizadas, resultando na coluna “MÉDIA”.

O percentual apresentado na coluna média é obtido da seguinte maneira: primeiramente

verifica-se qual atributo a opção de resposta mais indicada representa (conforme parâmetros do

Quadro 11). Com base nisso e de acordo com o objetivo que está sendo avaliado, aplica-se uma das

interpretações indicadas (Quadro 12, 13 e 14). Por exemplo, para o objetivo da facilidade na

questão 2, obteve-se 7 respostas indicando “Concordo amplamente”, 3 respostas indicando

“Concordo parcialmente” e 1 resposta indicando “Discordo parcialmente”. Observando o Quadro

11, a opção mais indicada (63,6%) encontra-se dento do conjunto de valores do atributo A2

(conforme Quadro 11). Dessa forma, a média foi realizadas entre os atributo A1, A3 e A4 (63,6% +

9,1% + 0,0%)/3) tendo que vista que A2 > MEDIA (A1, A3 e A4).

141

Quadro 15. Interpretação da avaliação subjetiva da abordagem

QUESTÃO ATRIBUTO-VALOR MÉDIA

Q1 A1 - 81,8% 6,1%

Q2 A2 - 27,3% 24,2%

Q3 A2 - 36,4% 21,2%

Q4 A2 - 36,4% 21,2%

Q5 A1 - 81,8% 0,0%

Q6 A2 - 27,3% 21,2%

Q7 A2 - 54,5% 15,2%

Facilidade 49,4% 15,6%

Q8 A2 - 36,4% 31,8%

Q9 A2 - 27,3% 24,2%

Q10 A1 - 81,8% 6,1%

Q11 A2 - 27, 3% 24,2%

Q12 A2 - 54,5% 15,2%

Motivação 50,0% 20,3%

Q13 A2 - 36,4% 21,2%

Q14 A1 - 81,8% 6,1%

Q15 A2 - 45,5% 18,2%

Q16 A2 - 27,3% 21,2%

Q17 A1 - 81,8% 6,1%

Adequação 54,6% 14,6%

5.3.2 Avaliação de uso

Uma análise adicional realizada a partir das respostas fornecidas pelos participantes consiste

em organizar os principais comentários e críticas realizadas. O Quadro 16 expõe os comentários

realizados pelos participantes, relacionando o questionário aplicado com o framework para geração

de checklists de usabilidade proposto pela pesquisa.

De maneira geral, os comentários acerca da ferramenta direcionam a uma melhoria contínua

em relação ao formato do conteúdo apresentado, bem como a forma de seleção dos componentes de

usabilidade que devem ser avaliados em uma aplicação pelos inspetores com níveis de experiência

distintos. As sugestões propostas pelo participante 5 da Empresa 1 se apresentaram realmente

interessantes e instigaram numa melhoria continua contínua em inovar ainda mais o formato de

seleção de características e atributos de usabilidade do framework proposto.

142

Quadro 16. Comentários realizados pelos participantes

PERFIL DO PARTICIPANTE Participante 5 da Empresa 1, atua como arquiteto e avaliou aplicações para o ambiente web e para o ambiente dos dispositivos móveis.

ASPECTO O framework proposto contribui como guia, na seleção de atributos para inspeção da usabilidade?

COMENTÁRIO

Como a pergunta trata da contribuição para seleção de atributos (ou seja, a contribuição para determinar quais atributos devem ou não ser contemplados

para um determinado sistema, que julgo ocorrer na tela de cadastro de execução), nada me chamou a atenção sobre este aspecto. Talvez esta pergunta

esteja se referindo à base de dados de perguntas, mas acredito que o diferencial do projeto contemplar também a seleção de atributos dinamicamente.

Mecanismo de seleção de atributos

A seleção de atributos precisa ser feita manualmente sem nenhum tipo de apoio ou automação. Não existe uma descrição um pouco mais detalhada de

cada categoria ou atributo, que pode ser útil mesmo para usuários experientes.

Como sugestão para melhorar a contribuição para seleção de atributos seria interessante incluir, por exemplo, requisitos a nível de serviço e de design

implementados pelo sistema que influenciam a usabilidade, ou também informação de frameworks que já possuem classificações de usabilidade

estabelecidas, tipo de usuário, nível de conhecimento no uso de sistemas desejável do usuário, entre outros. Outro ponto é que não é possível incluir um

item de usabilidade manualmente, novo, específico para um determinado cenário.

Usuário sem experiência (não sei se é aplicável)

Talvez um usuário sem experiência de usabilidade não precisará selecionar os atributos (apenas responder as perguntas, conforme e-mail detalhando),

mas se precisar, ele não conseguirá decidir quais atributos são ou não importantes.

ASPECTO

A estrutura de informação apresentada pelo framework proposto contribui na redução do esforço de assimilação de aspectos relacionados com a inspeção

da usabilidade?

COMENTÁRIO

A inclusão de conceitos e recomendações junto com as questões é uma boa abordagem para garantir o entendimento. Entretanto sugiro algumas

melhorias:

Revisar e tornar algumas questões mais objetivas. Muitas questões eram muito longas. Em alguns casos não é necessário por exemplo "O usuário..." pois o

contexto já indica isto.

Destacar um contexto com base em categorias ou aspectos comuns, cores, imagens, etc. Identifiquei alguns casos onde uma mesma questão pode ter um

aspecto positivo ou negativo, dependendo do contexto.

Segmentar as questões. Todas as questão dispostas em uma lista gigante, tornando a atividade cansativa (a sensação de progressão é menor, é cansativo).

Percebi também a falta da definição de alguns conceitos (caixa de diálogo por exemplo, ou o conceito de modal e não-modal). Para alguns usuários que

não sabem do que se trata a marcação de respostas pode ser incorreta. Uma opção é colocar na própria questão um tooltip.

143

ASPECTO

As questões utilizadas no framework para a inspeção dos atributos de usabilidade contribuem na redução do esforço relacionado a compreensão de

termos próprios da usabilidade?

COMENTÁRIO Sim, mas vide considerações anteriores.

ASPECTO A linguagem utilizada pelo framework proposto contribui na redução do esforço relacionado à compreensão de termos próprios da usabilidade?

COMENTÁRIO

Talvez para usuários menos experientes não (usuários sem conhecimento com usabilidade).

Neste caso uma sugestão é colocar exemplos em todas as questões. E não apenas texto, mas também animações, imagens. Inclusive exemplos interativos

no próprio sistema de inspeção, onde o próprio inspetor pode em tempo real presenciar os resultados.

Outro ponto é diferenciação entre "Não" e "Não se aplica" nas respostas. Não estava claro. A definição que utilizei foi:

Não - "Deveria" existir, mas não está adequado.

Não se aplica - "Não precisa existir" na situação em questão.

ASPECTO

A estrutura de informação apresentada pelo framework proposto gera maior facilidade na realização de inspeções de usabilidade, do que a avaliação feita

a partir de documentação ou norma?

COMENTÁRIO Sem dúvida a utilização de um sistema é superior.

ASPECTO O framework proposto contribui na redução de esforço para conclusão de tarefas relacionadas com a inspeção da usabilidade de forma eficiente?

COMENTÁRIO Sim

ASPECTO O framework proposto é fácil de ser utilizado?

COMENTÁRIO

Em geral sim, mas precisa de melhorias. Algumas observações como exemplo:

Persistir as informações de resposta de questões imediatamente após alteração (sem necessidade de clicar em "Salvar").

Segmentar as categorias e atributos de usabilidade

Remover o check-list das respostas das questões da janela modal. Incluir no corpo da aplicação principal.

Resolver os problemas de estabilidade do serviço

Colocar opção para sempre exibir na direta os conceitos, recomendações, exemplos, etc.

ASPECTO A estrutura de informação apresentada pelo framework proposto contribui para a redução do esforço na seleção de atributos de usabilidade?

COMENTÁRIO A existência de uma base de questões sim, mas a seleção com base nesta base precisa de inovação.

ASPECTO O framework pode ser utilizado nas próximas avaliações inspeções de usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIO

Está no caminho mas acredito que ainda não. É fundamental resolver as questões existentes e inovar um pouco a parte de seleção de atributos e

facilidade para usuários sem conhecimento de usabilidade, inclusão de evidências de inspeção, etc.

(Desconheço como está a geração de indicadores, capacidade de integração, etc).

Outra questão é a visão de módulos ou serviços ("telas") das aplicações. O sistema parece estar desenhado para avaliar um produto como um todo, e

acredito que isto precisa ser revisado. A inspeção de usabilidade deveria ter características modulares e incrementais, assim como o sistema em avaliação.

ASPECTO O framework proposto pode ser indicado para avaliação da usabilidade para outros interessados?

COMENTÁRIO Sim.

ASPECTO O framework proposto contribui como ferramenta útil para a inspeção da usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIO Sim. Existem considerações como a experiência dos inspetores, incremento, etc, conforme itens acima.

144

ASPECTO

Qual a sua impressão subjetiva sobre o percentual de ganho de tempo que atividade de inspeção da usabilidade obteve com o emprego do framework

quando comparado com a não utilização?

COMENTÁRIO Sim. Precisa apenas resolver a questão da seleção de atributos, assim como questões técnicas da aplicação.

ASPECTO

Os mecanismos de seleção de componentes, abordados pelo framework proposto contribuem para a redução da complexidade na inspeção da

usabilidade entre os envolvidos com projetos de desenvolvimento de software?

COMENTÁRIO Sim.

ASPECTO

A estrutura de informações abordada pelo framework se mostrou adequada para ser aplicada em inspeções de usabilidade durante projetos de


COMENTÁRIO Ainda não. Já respondido.

ASPECTO As sugestões de questões apresentadas no framework contribuem como prática adequada em inspeções de usabilidade?

COMENTÁRIO Sim. Com ressalvas já explicadas.

ASPECTO

O framework proposto pode ser utilizado como ferramenta de trabalho para inspeção da usabilidade durante outros projetos de desenvolvimento de

software?

COMENTÁRIO Ainda não. Já respondido

ASPECTO Qual o grau de concordância subjetiva do framework proposto em relação à inspeção da usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIO Em geral muito bom.

PERFIL DO PARTICIPANTE Participante 2 da Empresa 1, atua como gerente de projeto e avaliou aplicação web.

ASPECTO Aspectos Gerais

COMENTÁRIO

Referente alo framework avaliado, seguem algumas considerações:

- Algumas perguntas utilizam uma linguagem muito técnica, dificultando o entendimento de pessoas leigas em programação

- Algumas questões são muito extensas e isso dificulta a compreensão do avaliador

- O framework possui uma interface muito amigável e de fácil entendimento

- O framework facilita a seleção de uma alternativa, pois somente clicando sobre a palavra a opção já é selecionada

145

5.4 SÍNTESE DOS RESULTADOS

Tendo finalizados os procedimentos de avaliação para coleta de métricas subjetivas é

possível sintetizar o resultado obtido na Tabela 27. Nela são apresentados os objetivos da avaliação

(G1 – Facilidade, G2 – Motivação e G3 – Adequação), as questões relacionadas e as métricas que

as compõem. São demonstradas também as medições obtidas através do questionário (na forma de

uma expressão matemática de comparação) e nos procedimentos de avaliação, na forma de um

coeficiente percentual, que representa o atendimento de um determinado atributo de resposta que

aponta, por sua vez, a síntese obtida para o objetivo avaliado.

Tabela 27. Avaliação do framework proposto

Objetivo Questão Métrica(s) Medição Resposta Síntese

G1 Q1 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na facilidade

G1 Q2 M1, M2, M3, M4 27,3% > 24,2% A2 contribui de modo parcial na facilidade



G1 Q5 M1, M2, M3, M4 81,8% > 0% A1 contribui amplamente na facilidade



G2 Q8 M1, M2, M3, M4 36,4% > 31,8% A2 contribui de modo parcial na motivação


G2 Q10 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na motivação




G3 Q14 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na adequação

G3 Q15 M1, M2, M3, M4 45,5% > 18,2% A2 contribui de modo parcial na adequação

G3 Q16 M1, M2, M3, M4 27,3% > 21,2% A2 contribui de modo parcial na adequação

G3 Q17 M1, M2, M3, M4 81,8% > 6,1% A1 contribui amplamente na adequação

Considerando a síntese exposta, é possível listar os resultados obtidos com relação a cada

uma das questões de avaliação, realizando uma interpretação da medição obtida (conforme Quadro

11), do procedimento de avaliação e lacunas evidenciadas durante o processo:

Q1. O framework proposto contribui como guia, na seleção de atributos para

inspeção da usabilidade, visto que 81,8% dos participantes concordaram amplamente

com esta afirmação. Apesar disso, um dos comentários ressalta a necessidade de

aperfeiçoar a seleção de atributos através de algum tipo de apoio especializado ou

automação. O comentário ainda sugere uma descrição um pouco mais detalhada

acerca dos componentes de características de atributos, podendo ser útil mesmo para

146

usuários experientes. Outra melhoria sugerida na seleção de atributos diz respeito a

inclusão, por exemplo de requisitos a nível de serviço e de design implementados

pelo sistema que influenciam a usabilidade. Por fim, o participante sentiu

necessidade de incluir novos atributos de avaliação mesmo depois da geração do

checklist de usabilidade;

Q2. A estrutura de informação apresentada pelo framework proposto contribui de

modo parcial na redução do esforço de assimilação de aspectos relacionados com a

inspeção da usabilidade, visto que 63,6% dos participantes concordaram amplamente

com esta afirmação e 27,3 concordaram parcialmente com a afirmação. Um dos

participantes afirmou que, apesar de a inclusão de conceitos, recomendações e

métricas junto às questões ser uma abordagem positiva para garantir o entendimento,

ainda assim faz-se necessário que algumas questões sejam revisadas, um possível

contexto seja vinculado as questões e ainda que estas questões sejam segmentadas;

Q3. As questões utilizadas no framework para a inspeção dos atributos de usabilidade

contribuem de modo parcial na redução do esforço relacionado à compreensão de

termos próprios da usabilidade, visto que 54,5% dos participantes concordaram

amplamente com esta afirmação e 36,4% concordam parcialmente com a afirmação.

Q4. A linguagem utilizada pelo framework proposto contribui de modo parcial na

redução do esforço relacionado à compreensão de termos próprios da usabilidade

tendo em vista que 54,5% dos participantes concordaram amplamente com esta

afirmação e 36,4% concordam parcialmente com a afirmação. Um comentário sugere

a inclusão de exemplos de melhores praticas em todas as questões e ainda sugere que

as opções de resposta “Não” e “Não se aplica” sejam revistas ou sua definição se

apresenta de forma mais clara para os inspetores;

Q5. A estrutura de informação apresentada pelo framework proposto gera maior

facilidade na realização de inspeções de usabilidade, do que a avaliação feita a partir

de documentação ou norma, segundo concordância ampla de 81,8% dos

participantes;

147

Q6. O framework proposto contribui de modo parcial na redução de esforço para

conclusão de tarefas relacionadas com a inspeção da usabilidade de forma eficiente,

tendo em vista que 72,7% dos participantes concordam amplamente com esta

afirmação;

Q7. Quanto à facilidade, o framework proposto contribui de modo parcial na

facilidade de utilização, visto que 54,5% dos participantes concordam de modo

parcial com esta afirmação. Melhorias são sugeridas ao framework com o intuito de

agregar valor ao objetivo da facilidade na geração de checklists para a avaliação da

usabilidade;

Q8. A estrutura de informação apresentada pelo framework proposto contribui de

modo parcial para a redução do esforço na seleção de atributos de usabilidade, tendo

em vista que 54,5% dos participantes concordaram amplamente com esta afirmação

e 36,4 concordaram parcialmente com esta afirmação. Um comentário sugere

melhorias na seleção de características e atributos de usabilidade para que atenda;

Q9. O framework atende de modo parcial a possibilidade de ser utilizado nas

próximas avaliações de usabilidade durante projetos de desenvolvimento de

software, tendo em vista que 72,7% dos participantes concordaram amplamente com

esta afirmação e 27,3% concordam parcialmente. Apesar disso, um comentário

sugere que é de fundamental importância resolver algumas questões de facilidade

sugeridas na seleção de características e atributos de usabilidade;

Q10. O framework proposto pode ser indicado para avaliação da usabilidade para

outros interessados, tendo em vista que 81,8% dos participantes concordaram

amplamente com esta afirmação;

Q11. O framework proposto contribui de forma parcial como ferramenta útil para a

inspeção da usabilidade durante projetos de desenvolvimento de software, pois

72,7% dos participantes que concordaram amplamente com esta afirmação e 27,3%

concordam parcialmente com esta afirmação. Apesar disso, um dos participantes

sugeriu se atentar as considerações de melhoria propostas no intuito de motivar ainda

mais avaliações de usabilidade;

148

Q12. Em relação à impressão subjetiva que a utilização do framework representa

sobre o percentual de ganho de tempo que atividade de inspeção da usabilidade

obteve com o emprego do framework quando comparado com a não utilização,

verifica-se que o framework contribui parcialmente como ferramenta adequada a

processos de desenvolvimento de software;

Q13. Os mecanismos de seleção de componentes abordados pelo framework

proposto contribuem de modo parcial para a redução da complexidade na inspeção

da usabilidade entre os envolvidos com projetos de desenvolvimento de software,

tendo em vista que 63,6% dos participantes concordam com esta afirmação e 36,4%

concordam parcialmente com esta afirmação;

Q14. A estrutura de informações abordada pelo framework se mostrou adequada para

ser aplicada em inspeções de usabilidade durante projetos de desenvolvimento de

software, segundo 81,8% dos participantes que concordaram amplamente com esta

afirmação;

Q15. As sugestões de questões apresentadas no framework contribuem de modo

parcial como prática adequada em inspeções de usabilidade de acordo com 54,5%

dos participantes que concordam parcialmente. Apesar de que um comentário de um

participante sugere atenção às ressalvas citadas em relação ao framework;

Q16. O framework proposto pode ser utilizado como ferramenta de trabalho para

inspeção da usabilidade durante outros projetos de desenvolvimento de software,

tendo em vista que 54,5% dos participantes concordaram amplamente com esta

afirmação e 27,3% concordam parcialmente com esta afirmação;

Q17. O grau de concordância subjetiva do framework proposto em relação à inspeção

da usabilidade durante projetos de desenvolvimento de software é adequado de

acordo com 81,8% dos participantes que concordaram amplamente com esta

afirmação. Um comentário de participante indica que, apesar de o framework

necessitar de algumas adequações, em geral é “muito bom”.

De modo geral, a interpretação dos resultados da avaliação responde as questões de pesquisa

apontadas na problematização deste trabalho (Seção 1.1) ao afirmar que “um framework que apoie a

149

elaboração de listas de verificação para a inspeção da usabilidade via checklist pode facilitar e

motivar a adoção de práticas de usabilidade em projetos de software” e que “um framework

composto de diferentes características e atributos de usabilidade encontrada na literatura,

considerando ambientes de execução específicos, mostra-se adequado para ser aplicado como

prática de usabilidade em projetos de desenvolvimento de software”.

5.5 COMPARATIVO ENTRE SOLUÇÕES SIMILARES

O framework proposto nesta pesquisa foi organizado através de componentes

(características, atributos, questões, métricas e recomendações) encontrados na literatura e

pesquisas acerca da usabilidade. Estes componentes relacionáveis entre si, apresentados pelo

framework proposto nesta pesquisa, apoiaram envolvidos com desenvolvimento de software, que

não possuíam experiência com avaliações de usabilidade, a aplicar práticas de inspeção de

usabilidade em processos de desenvolvimento de software.

Além do estabelecimento de componentes para o framework proposto, durante a

fundamentação teórica realizada e durante o mapeamento sistemático realizado para o respectivo

embasamento desta pesquisa, foi possível para a pesquisadora, através do conhecimento adquirido,

estabelecer alguns aspectos considerados positivos (relevantes) na concepção de um framework,

método ou modelo de avaliação da usabilidade. Dessa forma, o Quadro 17 apresenta alguns destes

aspectos positivos encontrados durante os estudos realizados para embasamento desta pesquisa e

realiza um comparativo com as soluções encontradas que mais se assemelham a estrutura do

framework proposto.

Quadro 17. Aspectos comparativos entre soluções similares

Aspectos positivos Framework Proposto Mede-Pros® Ergolist

Possui características de avaliação (características

representam a informação de forma mais generalizada

acerca da usabilidade).

Possui atributos de avaliação (representam a informação

de forma mais específica/granular acerca da

usabilidade).

Possui questões para avaliação de atributos.

Possui recomendações para avaliação de atributos.

Possui métricas para avaliação de atributos. *não apresenta métricas

para todos os atributos

Inspeção de usabilidade não dependente da expertise do

avaliador com usabilidade.

150

Aplicação de inspeção durante processo de

desenvolvimento de software. *somente para

produto

Indica ambiente de execução para o qual os

atributos/questões de avaliação propostos se aplicam.

Indicação de recurso específico para o qual determinado

atributo/questão se aplica.

Como o objetivo desta seção é apresentar um comparativo entre soluções similares, apenas

Mede-Pros® e Ergolist são utilizados para este comparativo tendo em vista que os demais métodos,

modelos e demais estudos observados, não apresentam uma estrutura de informação tão completa

quanto estes citados (nos demais métodos/modelos/pesquisas, encontrou-se apenas atributos e

questões para avaliação destes atributos ou características e atributos para avaliação sem apresentar

questões para avaliação).

Através do Quadro 17, foi possível observar que o framework proposto possui diversos

aspectos positivos quando comparado com outras soluções similares. Outros aspectos, também

considerados positivos tanto para a pesquisa em si quanto para o framework proposto, foram

adicionados na seção de trabalhos futuros com o objetivo de contribuir ainda mais com a inserção

de práticas de avaliação de usabilidade em processos desenvolvimento de software.

5.6 CONSIDERAÇÕES

Neste capítulo apresentou-se o procedimento de avaliação das contribuições do framework

proposto sobre os fatores de facilidade, motivação e adequação. A avaliação foi planejada através

da metodologia GQM (Goal, Question, Metric) que almeja a interpretação de métricas a partir de

objetivos ou metas estabelecidas (BASILI; CALDEIRA; ROMBACH, 1994). A partir da aplicação

de um questionário com envolvidos com processo de desenvolvimento de software e de

procedimentos de avaliação realizados sobre o framework, adquiriram-se resultados mensuráveis

para aplicação de métricas do modelo de avaliação, inferindo assim a interpretação almejada e

confirmando ou refutando as hipóteses previstas.

O questionário de avaliação da ferramenta evidenciou uma tendência a uma contribuição

ampla nos objetivos avaliados. Apesar disso, alguns comentários dos participantes sugerem uma

revisão de funcionalidades acerca do formato de apresentação dos atributos de usabilidade que

devem ser avaliados em uma aplicação. Os resultados obtidos com a avaliação do framework

151

proposto, alinhados com os objetivos deste trabalho (Seção 1.2) servem ainda para apontar

evidências de contribuições obtidas, verificar as hipóteses supostas, além de identificar

oportunidades de melhorias diversas em relação ao framework de usabilidade desenvolvido (citadas

na seção de trabalhos futuros).

Mesmo que esta pesquisa tenha alcançado seus objetivos com êxito, faz necessário destacar

que conforme foi descrito na Seção 5.2.2, o cenário de participantes com alguma experiência em

avaliações de usabilidade foi bastante reduzida. Este fato fez surgir um possível viés em relação à

avaliação de usabilidade realizada no framework proposto, tendo em vista que caso tais avaliações

fossem realizadas por participantes com experiência em usabilidade, resultados mais aprimorados

poderiam ter sido obtidos. Sugere-se, como trabalho futuro, aplicar o método de avaliação GQM

com participantes especialistas em avaliação da usabilidade.

152

6 CONCLUSÕES

Este trabalho realizou um estudo acerca dos principais atributos de usabilidade, utilizados

para avaliação de aplicações web, desktop e dispositivos móveis. Para este trabalho foi necessária à

análise de estudos de avaliação da usabilidade propostos nas pesquisas, bem como das técnicas de

avaliação utilizadas para avaliação dos ambientes de execução contemplados pela pesquisa. Durante

estes estudos, evidenciou-se o estado da arte para atributos de avaliação da usabilidade, sendo

possível identificar características, atributos, bem como a relação destes de acordo com o ambiente

de execução.

A fim de alcançar os objetivos propostos, o planejamento para a criação de um framework

para apoio em avaliação da usabilidade foi realizado. Os componentes que formam o framework

proposto foram apresentados, bem como suas relações e requisitos para desenvolvimento de uma

ferramenta computacional que comtemple a execução do framework proposto.

A partir do projeto de implementação, realizou-se o desenvolvimento da ferramenta

computacional Framework de Usabilidade que atende a abordagem de componentes propostas. O

framework automatizado foi executado na completude de cadastro de componentes, vinculação

entre os componentes e a respectiva geração de checklists de usabilidade através da

seleção/definição de características e atributos de avaliação de usabilidade para cada ambiente de

execução que se deseja avaliar.

Com base nas contribuições desejadas, tornou-se possível a elaboração de uma avaliação

para a abordagem, tratando dos impactos desta em relação aos fatores de facilidade, motivação e

adequação. Para tanto, optou-se pela obtenção de resultados através da aplicação do método GQM,

bem como da realização de estudos de caso para avaliar o framework proposto em processos de


Fundamentando-se nas contribuições implementadas pela ferramenta, tornou-se possível a

elaboração de uma avaliação para o framework proposto, tratando dos impactos em fatores de

facilidade, motivação e adequação do framework proposto. Os objetivos de facilidade, motivação e

adequação foram avaliados por participantes que atuam em projetos/produtos de desenvolvimento

de software em empresas/instituições de Santa Catarina. A avaliação foi evidenciada através das

respostas obtidas na aplicação de um questionário de avaliação (Apêndice G).

153

Pode-se concluir ao final desta pesquisa, que o framework proposto contribuiu

positivamente como ferramenta de apoio para avaliações de usabilidade por envolvidos com

desenvolvimento de software que não possuem experiência efetiva com conceitos ou avaliações

relacionados à usabilidade. Entretanto, foi possível observar também, através dos comentários

realizados pelos participantes, que a ferramenta e o método de avaliação da usabilidade que foram

propostos, ainda podem ser aprimorados. Melhorias tanto na pesquisa, quanto no framework

proposto foram adicionadas na seção de trabalhos futuros.

Por fim, pode-se afirmar que os objetivos gerais e específicos propostos por este trabalho

foram alcançados, embora seja importante destacar que os resultados apresentados não são

definitivos, sendo passíveis de aprimoramentos e revisões, conforme é apresentado na seção de

trabalhos futuros.

6.1 PRINCIPAIS CONTRIBUIÇÕES

As principais contribuições apresentadas por este trabalho foram:

Uma revisão informal que identificou atributos, normas, modelos, questões,

métricas e recomendações relacionadas com a avaliação da usabilidade, obtidas

pelo pesquisador na realização de uma fundamentação teórica;

Uma revisão formal e mapeamento sistemático da literatura, que evidenciou por

meio das pesquisas, o estado da arte acerca de atributos de avaliação da

usabilidade;

Planejamento de um framework para apoio a elaboração de listas de verificação

para inspeção da usabilidade;

Desenvolvimento de uma ferramenta computacional para atendimento a

estruturação da informação do framework proposto, considerando os requisitos e

estrutura de desenvolvimento definidas, disponível para a comunidade de

pesquisa;

Avaliação do framework proposto em projetos de desenvolvimento de software.

154

6.2 SUGESTÃO PARA TRABALHOS FUTUROS

Ao término da pesquisa que resultou neste trabalho, foram identificadas as seguintes

oportunidades de trabalhos futuros em relação à ferramenta de framework proposta e em relação à

pesquisa propriamente dita:

As contribuições possíveis como trabalho futuro para a ferramenta/framework de

usabilidade são:

Apoio automatizado para a respectiva alimentação de informações da estrutura do

framework proposto;

Geração de relatório de inspeções de usabilidade realizadas por ambiente de

execução;

Geração de relatório de inspeções de usabilidade realizadas por disciplina de

desenvolvimento (fase do desenvolvimento de software em que o projeto avaliado se

encontra);

Cadastro das Referências utilizadas na alimentação do framework de forma separada

dos componentes. Posterior vinculação destas referências aos componentes;

Impressão da lista de checklist para realização da inspeção da usabilidade sem

utilização do sistema online;

Filtro de Características de Atributos filtrando por “Recurso Específico”;

A internacionalização da ferramenta, contemplando as opções de interface e material

de apoio em Português ou Inglês;

Aprimorar o mecanismo de seleção de características e atributos de usabilidade

através de algum tipo de apoio ou automação e de acordo com o nível de

conhecimento do inspetor em relação à usabilidade;

Possibilitar a inclusão de novos atributos durante o andamento de uma inspeção de

checklist;

155

Segmentar as questões apresentadas gerando uma sensação de progresso menos

árduo-cansativa;

Algumas possibilidades de contribuições futuras para a pesquisa são:

Orientar a elaboração de checklists de usabilidade de acordo com o papel do

avaliador (participante) no projeto/produto de software que está sendo avaliado;

No framework, na seleção de característica e atributos por ambiente de execução,

adicionar orientações aos inspetores, em relação à escolha de características e

atributos para avaliar (Por exemplo: “Atributo adequado para aplicações com

Interface Multimodal”);

Aprimorar a apresentação de conceitos de características e atributos inseridos e a

inserir no framework;

Aprimorar o nível de informação acerca da usabilidade de acordo com o nível do

usuário em relação ao conhecimento a respeito de usabilidade;

Realizar avaliação de usabilidade utilizando outro modelo de usabilidade proposto na

literatura com o objetivo de realizar comparações com o framework de usabilidade

proposto nesta pesquisa;

Aplicar o método de avaliação GQM utilizando participantes especialistas em

avaliação de usabilidade com o objetivo de encontrar falhas ou novas contribuições

para o framework proposto nesta pesquisa.

156

REFERÊNCIAS

ANDREATOS, A. A framework for website assessment. 2006. Disponível em

<http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1653205>. Acesso em: ago. 2012.

ABRAN, A.; KHELIFI, A.; SURYN, W.; SEFFAH, A. . Usability Meanings and interpretations in

ISO Standards. Software Quality Journal, vol. 11. n. 13, p.325-338, Abr. 2003.

ALONSO RIOS, D.; GARCIA, V.; MOSQUEIRA-REY, E.; BONILLO, V.M. . Usability: A

Critical Analysis and Taxonomy. Journal of Human–Computer Interaction, p. 53-74, 2010.

BAK, J. O.; NGUYEN, K.; RISGAARD, P.; STAGE, J. . Obstacles to usability evaluation in

practice: a survey of software development organizations. 2008. Disponível em

<http://dl.acm.org/ft_gateway.cfm?id=1463164&ftid=582151&dwn=1&CFID=83971131&CFTOK

EN=52581176>. Acesso em: ago. 2012.

BARROS, V. T. O. . Avaliação da interface de um aplicativo computacional através de teste de

usabilidade, questionário ergonômico e análise gráfica do design. 2003. Dissertação (Mestrado em

Engenharia da Computação) - Universidade Federal de Santa Catarina, Florianópolis. 2003.

BATTLESONA B.; BOOTHB, A.; WEINTROPC, J. . Usability Testing of an Academic Library

Web Site: a Case Study. The Journal of Academic Librarianship, v. 27, n. 3, p. 188-198, Mai.

2001.

BASILI, V.R.; CALDEIRA, G.; ROMBACH, D. . The Goal Question Metric Approach. In:

MARCINIAK, J.J. (editor). Encyclopedia of Software Engineering, v.2, New York, NY: John

Wiley & Sons, 1994. p. 528-532.

BASS, L.; JOHN, B.E. . Linking Usability to Software Architecture Patterns Through General

Scenarios. Journal of Systems and Software, v. 66, n.3, p. 187-197, Jun. 2003.

BASTIEN, Christian J.M.; Dominique SCAPIN. Ergonomic Criteria for the evaluation of

human-computer interfaces. Rapport Technique, n.156, jun. 1993.

BETIOL, Adriana H. Avaliação de usabilidade para os computadores de mão: um estudo

comparativo entre três abordagens para ensaios de interação. 2004. Tese de Doutorado -

Universidade Federal de Santa Catarina.

BOEHM, B.W.; BROWN, J. R.; LIPOW, M. . Quantitative evaluation of software quality. In: ICSE

'76 International Conference on Software Engineering, p.592-605, 1976.

BOOTH, Paul. An Introduction to Human-computer Interaction. Hove: Psychology Press,

1989.

BONIFÁCIO, B.; VIANA, D.; VIEIRA, S.; ARAÚJO, C.; CONTE, T. . Aplicando técnicas de

inspeção da usabilidade para avaliar aplicações móveis. In: IHC '10 IX SYMPOSIUM ON

HUMAN FACTORS IN COMPUTING SYSTEMS, 2010, Porto Alegre, Rio Grande do Sul.

Proceedings…ACM PRESS 2010. p. 189-192.

http://www.sbc.org.br/ihc

157

BRINCK, Tom; GERGLE, Darren; WOOD, Scoot D.; Usability for the Web: Designing Web

Sites that Work (Interactive Technologies). San Francisco: Morgan Kaufmann, 2002.

CAMPBELL, K.; AUCOIN, R. Values-based design of learning portals as new academic

spaces. Canadá: IGI Publishing Hershey, 2003.

CARNEIRO, C. M. P. S. . Frameworks de aplicações orientadas a objetos – Uma abordagem

interativa e incremental. 2003. Dissertação (Mestrado em Redes de Computadores) - Universidade

Salvador, Salvador, 2003.

CARNEIRO, M. R.; MOURA, H. P. . Uma análise critica do MEDE-PROS. Disponível em:

<http://www.cin.ufpe.br/hermano/laps/download/uma-analise-critica-do-mede-pros.pdf >. Acesso

em: set. 2013.

CISCO. Cisco Visual Networking Index: Forecast and Methodology, 2012–2017. Disponível

em: <

http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11

-481360_ns827_Networking_Solutions_White_Paper.html>. Acesso em: set. 2013.

CONTE, T.; MASSOLAR, J.; MENDES, E.; TRAVASSOS, G.H. . Usability Evaluation Based on

Web Design Perspectives. In: FIRST INTERNATIONAL SYMPOSIUM ON EMPIRICAL

SOFTWARE ENGINEERING AND MENSUREMENT – ESEM 07, 2007. Proceedings... IEEE

Computer Society, 2006. p. 146-155.

CONTE, T.; MASSOLAR, J.; MENDES, E.; TRAVASSOS, G.H. Web usability inspection

technique based on design perspectives. In: Software, IET, 2009. p. 106-123.

CYBIS, W. de A. M. Ergonomia de Interfaces Homem-Computador. 2000. Disponível em:

<http://www.labiutil.inf.ufsc.br/apostila.htm>. Acesso em: ago. 2012.

CYBIS, W. de A. M. Engenharia de Usabilidade: Uma abordagem Ergonômica. 2003.

Disponível em: < http:// http://pt.scribd.com/doc/36899926/9146046-Apostila-IHC>. Acesso em:

ago. 2012.

CYBIS, Walter; BETIOL, H. Adriana; FAUST, Richard. Ergonomia e Usabilidade:

conhecimentos, métodos e aplicações. São Paulo: Novatec, 2007.

DELICE, E.K.; GUNGOR, Z. . The Usability Analysis with Heuristic Evaluation and Analytic

Hierarchy Process. International Journal of Industrial Ergonomics, p. 934-939, 2009.

DIAS, Claudia. Usabilidade na Web:criando portais mais acessíveis. Rio de Janeiro: Alta Books,

2003.

DUARTE FILHO, N.F. . MAQSAAS – Método para avaliação da qualidade em produtos SAAS.

2011. 151 f. Dissertação (Mestrado) - Universidade Federal de Minas Gerais, Belo Horizonte, 2011.

DUBEY, S.K.; RANA, A. . Usability Estimation of Software System by Using Object-Oriented

Metrics. ACM SIGSOFT Software Engineering Notes, v. 36, n.2, p.1-6, Mar. 2011.

158

DUBEY, S.K.; RANA, A. . Analytical Roadmap to Usability Definitions and Decompositions.

International Journal of Engineering Science and Technology, v. 2, 2010.

DUBEY, S.K.; RANA, A.; SHARMA, A. . Usability Evaluation of Object Oriented Software

System using Fuzzy Logic Approach. International Journal of Computer Applications, 2012.

EASON, K. D. . Towards the Experimental Study of Usability. In: BEHAVIOUR AND

INFORMATION TECHNOLOGY, 2007, London, Proceedings…Taylor e Francis, 1984. p. 133-

143.

Ergolist. 2008. Disponível em: <http://www.labiutil.inf.ufsc.br/ergolist/>. Acesso em: set. 2013.

FANG, X.; HOLSAPPLE, C.W. . An Empirical Study of Web Site Navigation Structures. Decision

Support Systems, v. 43, p. 476-491, Mar. 2007.

FAYAD, W.E., SCHIMIDT, D.C., JOHNSON, R.E., Building Application Framework,

ISBN0471-24875-4, 1999.

FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Usability Evaluation Methods for the Web: A

Systematic Mapping Study. Journal Information and Software Technology, vol.53, no 8, p. 789-

817, 2011.

FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Empirical Validation of a Usability Inspection

Method for Model-driven Web Development. Journal of Systems and Software, v. 86, p. 161-

186, 2012.

FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Empirical Validation of a Usability Inspection

Method for Model-driven Web Development. Journal of Systems and Software, vol. 86, p. 161-

186, 2013.

FERNANDEZ, A.; INSFRAN, E.; ABRAHÃO, S. . Towards to the Validation of a Usability

Evaluation Method for Model-driven Web Development. In: INTERNATIONAL SYMPOSIUM

ON EMPIRICAL SOFTWARE ENGINEERING AND MENSUREMENT - ESEM 10, 2010.

FERREIRA, D.S. . Abordagem híbrida para avaliação da usabilidade de dispositivos móveis. 2007.

226 f. Dissertação (Mestrado) - Universidade Federal de Campina Grande, Paraíba, 2007.

FITZPATRICK, R. Additional quality factors for the world wide web. 2000. Disponível em:

<http://arrow.dit.ie/cgi/viewcontent.cgi?article=1005&context=scschcomcon>. Acesso em: mai.

2012.

FLORES, N.; AGUIAR, A. . Patterns for Understanding Frameworks. In: CONFERENCE ON

PATTERN LANGUAGES OF PROGRAMS, 2008. Nova York. Proceedings… 2008. p. 1-23.

FONTOURA, Marcos; PREE, Wolfrang; RUMPE, Bernhard. The UML profile for framework

architectures. Boston: Addison-Wesley Professional, 2001.

FREEMAN, M.; BOWDEN, M. . Usability as a Panacea. In: INFORMATION SOCIETY (i-

Society), 2010. Londres. Proceedings… 2010. p. 129-134.

http://arrow.dit.ie/cgi/viewcontent.cgi?article=1005&context=scschcomcon

159

GAMMA, E.; HELM, R.; JOHNSON, R.; VLISSIDES, J. Design Patterns: Elements of Reusable

Object-Oriented Design, Addison-Wesley, 1995.

GIL, A. C. . Métodos e Técnicas de Pesquisa Social. 5ed. São Paulo: Atlas, 1999.

GIL, A. C. . Como elaborar projetos de pesquisa. São Paulo: Atlas, 2002.

GIMENES, I. M. S., HUZITA, E. H. M.; Desenvolvimento Baseado em Componentes: Conceitos

e Técnicas. Rio de Janeiro: Ciência Moderna, 2005.

GODOY, A.S. Pesquisa qualitativa: tipos fundamentais. RAE – Revista de Administração de

Empresas, v.35, n.3, p.20-29, mai-jun, 1995.

GUERRA, A. C.; COLOMBO, R. M. T. . Qualidade de Produto de Software. 2008. Disponível

em: < http://www.mct.gov.br/upd_blob/0203/203505.pdf >. Acesso em: set. 2013.

HEERMAN, V. . Avaliação ergonômica de interfaces de bases de dados por meio de checklist

especializado. 1997. Dissertação (Mestrado em Engenharia da Produção) - Universidade Federal de

Santa Catarina, Florianópolis, 1997.

HEO, J.; HAM, D.-H.; PARK, S.; SONG, C.; YOON, W.C. . A Framework for Evaluating the

Usability of Mobile Phones based on Multi-level, Hierarchical Model of Usability Factors.

Interacting with Computers Journal. 2009.

HEWETT, T.T. ACM SIGCHI curricula for human-computer interaction. Technical Report -

Association for Computing Machinery, 1992.

HIX, Deborah; HARTSON, H.REX. Developing user interfaces: ensuring usability through

product & process. New York: John Wiley & Sons, 1993.

HOLLINGSED, T.; NOVICK, D.G. . Usability inspection methods after 15 years of research

and practice. 2007. Disponível em <

http://dl.acm.org/citation.cfm?id=1297144.1297200&coll=DL&dl=ACM&CFID=82632887&CFT

OKEN=93594771>. Acesso em: ago. 2013.

HORNBAEK, K.; LAW, E. L.C. . Meta-analysis of correlations among usability measures.

2007. Disponível em: <

http://dl.acm.org/ft_gateway.cfm?id=1240722&type=pdf&coll=DL&dl=ACM&CFID=83971131&

CFTOKEN=52581176>. Acesso em: set. 2013.

HUMAYOUN, S. Incorporating usability evaluation in software development environments.

2011. Tese de Doutorado. “Sapienza” Università di Roma.

HUSSAIN, A.; FERNELEY, E. . Usability Metric for Mobile Application: a Goal Question Metric

(GQM) Approach. In: INTERNATIONAL CONFERENCE ON INFORMATION INTEGRATION

AND WEB-BASED APPLICATIONS & SERVICES, Nova York, 2008. p. 567-570.

IEEE 1061 - 1992. IEEE Standard for a Software Quality Metrics Methodology. 1992.

Disponível em: < http://standards.ieee.org/findstds/standard/1061-1992.html>. Acesso em: mai.

2013.

http://www.mct.gov.br/upd_blob/0203/203505.pdf

160

International Organization for Standardization. ISO/IEC 9126:2001: Software engineering –

Product quality. [S.1.], 2001.

International Organization for Standardization. SQUARE 25000: Software Product Quality

Requirements and Evaluation (SQuaRE). [S.1.], 2005.

International Organization for Standardization. ISO 9241-11: Ergonomic Requirements for office

work with visual display terminals (VDTs). [S.1.], 2002.

International Organization for Standardization. ISO 9241-11: Ergonomic Requirements for office

work with visual display terminals (VDTs). [S.1.], 1998.

IPIÑA D. L.; MENDONÇA, P. R. S.; HOPPER, A. . TRIP: A Low-Cost Vision-Based Location

System for Ubiquitous Computing. Personal and Ubiquitous Computing, v. 6, n. 3, p. 206-219,

Mai. 2002.

JALALI, S.; WOHLIN, C. . Systematic Literature Studies: Database Searches vs. Backward

Snowballing. In: INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE

ENGINEERING AND MEASUREMENT, 2012, New York. Proceedings…2012, p. 29-38.

JEFFRIES, R. . User Interface Evaluation in the Real World: a Comparison of Four Techniques. In:

CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1991, New York.

Proceedings… 1991. p.119-124.

JOHNSON, Steven. Cultura da Interface: como o computador transforma nossa maneira de criar

e comunicar. Rio de Janeiro: Zahar, 2001.

JOHNSON, R.; Frameworks = (Components + Patterns). Communications of the ACM, v.40,

n.10, p. 39-42, 1997.

JURISTO, N.; FERRE, X. . How to Integrate Usability Into the Software Development

Process. 2006. Disponível em: <

http://dl.acm.org/ft_gateway.cfm?id=1134515&type=pdf&CFID=82632887&CFTOKEN=9359477

1>. Acesso em: out. 2012.

KHAN, K.M. . Assessing Quality of Web Based System. In: AICCSA IEEE/ACS

INTERNATIONAL CONFERENCES, 2008, Doha. Proceedings…2008, p.763-769.

KEEKER, K. Improving Web Site Usability and Appeal. 1997. Disponível em:

<http://uwf.edu/ddawson/d3net/documents/web_usability/MS_Website_Usability.pdf>. Acesso em:

ago. 2013.

KITCHENHAM, B.; CHARTERS, S. . Guidelines for performing Systematic Literature

Reviews in Software Engineering. EBSE Technical Report 2007-001, Kelle University and

University of Durha, 2007. Disponível em:

<http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.154.1446&rep=rep1&type=pdf>.

Acesso em: jul. 2011.

http://uwf.edu/ddawson/d3net/documents/web_usability/MS_Website_Usability.pdf

161

LAKATOS, E. M.; MARCONI, M.A. . Fundamentos de metodologia científica. 3. ed. São Paulo:

Atlas, 1991. Disponível em: <http:// http://pt.scribd.com/doc/27945286/Metodologia-Cientifica-

Lakatos-e-Marconi>. Acesso em: 20 ago. 2012.

LALLEMAND, C., Toward a Closer Integration of Usability in Software Development: a

Study of Usability Inputs in a Model-Driven Engineering Process. 2011. Disponível em: <

http://dl.acm.org/ft_gateway.cfm?id=1996541&type=pdf&coll=DL&dl=ACM&CFID=84163595&

CFTOKEN=19579967>. Acesso em: jul. 2013.

LÁRUSDÓTTIR, M.K. The Effect of Usability Evaluation on Software Development Practice.

2009. 41 f. Dissertação (Licenciatura de Filosofia em Ciência da Computação Com Especialização

em Interação Humano-Computador), Universidade Uppsala, Sweden, 2009.

LECEROF, A.; PATERNO, F. . Automatic Support for Usability Evaluation. IEEE Transactions

on Software Engineering, v.24, n.10, p.863-888. Out. 1998.

LILJEGREN, E.; OSVALDER, A. L. . Cognitive Engineering Methods as Usability Evaluation

Tools for Medical Equipment. International Journal of Industrial Ergonomics, v. 34, p. 49-62,

Jul. 2004.

LINDGAARD, G.; DUDEK, C.; SEN, D.; SUMEGI, L.; NOONAN, P. .An Exploration of

Relations Between Visual Appeal, Trustworthiness and Perceived Usability of Homepages In:

ACM TRANSACTIONS ON COMPUTER-HUMAN INTERACTION. Proceedings...ACM New

York, 2011.

MADAN, A.; DUBEY, S. . Usability Evaluation Methods: A literature Review. International

Journal of Engineering Science and Technology (IJEST), v.4, n. 2, p. 590-599, 2012.

MASSEY, A. P.; KHATRI, V.; RAMESH, V. . From the Web to the Wireless Web: Technology

Readiness and Usability. In: INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES,2005

Hawaii. Proceedings…2005.

MASSEY, A. P.; KHATRI, V.; MONTOYA-WEISS, M. M.; Online Services, Customer

Characteristics and Usability Requirements. In: INTERNATIONAL CONFERENCE ON SYSTEM

SCIENCES,2008. Hawai. Proceedings…2008. p. 7-10.

MATTSON, M. Evolution and Composition of Object-Oriented Frameworks. PhD Thesis,

University of Karlskrona/Ronneby, Department of Software Engineering and Computer Science,

2000.

MATTSON, M.; BOSH, J. . Framework Composition: Problems, Causes and Solutions. In:

TECHNOLOGY OF OBJECT-ORIENTED LANGUAGES AND SYSTEMS - TOOLS '97, 1997,

Washington. Proceedings… 1997. p.203.

MAUDA, E.C. . Modelo de qualidade para características internas de segurança de componentes de

software. 2012. 223 f. Dissertação (Mestrado em Ciências) - Pontifícia Universidade Católica do

Paraná, Curitiba, 2012.

http://pt.scribd.com/doc/27945286/Metodologia-Cientifica-Lakatos-e-Marconi

http://pt.scribd.com/doc/27945286/Metodologia-Cientifica-Lakatos-e-Marconi

162

MAYZ, M. A.; CURTINO, D. M. DE LA ROSA, A. . Avoiding Laboratories to Collect Usability

Data: Two Software Applications. In: INFORMATION SYSTEMS AND TECHNOLOGIES, 2012.

Proceedings... 2012. p.1,5,20-23.

MCCALL, J.A.; RICHARDS, P.K.; WALTERS, G.F. Factors in Software Quality. Concepts and

Definitions of Software Quality. Final Technical Report, v.1, novembro, 1977.

MEDEIROS, A. M. . ISO 9241: uma proposta de utilização da norma para avaliação do grau de

satisfação de usuários de software. 1999. 146 f. Dissertação (Mestrado em Engenharia da Produção)

- Universidade Federal de Santa Catarina, Florianópolis, 1999.

MEMORIA, Felipe F.P. Avaliação Ergonômica da Usabilidade da Navegação Estruturada.

2004. 245 f. Dissertação de Mestrado. PUC-Rio, Pontifícia Universidade Católica do Rio de

Janeiro.

MOÇO, S. . O uso de cenários como uma técnica de apoio para avaliações ergonômicas de

softwares interativos. 1996. 93 f. Dissertação (Mestrado em Engenharia da Produção) -

Universidade Federal de Santa Catarina, Florianópolis, 1996.

MORAES, Anamaria. Design e Avaliação de Interface. Rio de Janeiro: RioBooks, 2002.

MORAN, T. P. The Command Language Grammar: a Representation for the User Interface of

Interactive Computer Systems. International Journal of Man-Machine Studies, v.15, p. 3-50,

1981.

MOSQUEIRA-REY, E.; ALONSO-RIOS, D.; MORET-BONILLO, V. . Usability Taxonomy and

Context-of-use Taxonomy for Usability analysis. In: SYSTEMS, MAN AND CYBERNETICS.

2009. Proceedings… 2009. p. 812-817.

MURREN, A.; CURRIE, L.M.; BAKKEN, S. PATEL, V.L.;CIMIMO, J.J. . Heuristic Evaluation of

Paper-based Web Pages: a Simplified Inspection Usability Methodology. Journal of Biomedical

Informatics, v.39, p. 412-423, 2006.

NABIL, D.; MOSAD, A.; HEFNY, H.A. . Web-Based Applications Quality Factors: A survey and

a Proposed Conceptual Model. Egyptian Informatics Journal, vol.12, no 3, p. 211-217, 2011.

NETO, A.T., BITTAR, T.J., FORTES, R.P.M., FELIZARDO, K. . Developing and Evaluating Web

Multimodal-Interfaces – a Case Study With Usability Principles. In: ACM SYMPOSIUM ON

APPLIED COMPUTING (SAC), 2009, New York. Proceedings… New York, 2009, p.116-120.

NIELSEN, Jakob. Usability Engineering. São Francisco: Academic Press, 1993.

NIELSEN, N. Enhancing the Explanatory Power of Usability Heuristics, In: COMPUTING

SYSTEMS (CHI 94), 1994, Morristown. Proceedings… Morristown, 1994. p.152-158.

NIELSEN. Jakob. How to Conduct a Heuristic Evaluation. 1995. Disponível em:

<http://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/>. Acesso em: set. 2012.

NIELSEN, Jakob; MACK, Robert L.; Usability Inspection Methods. New York: John Wiley &

Sons, 1994.

163

NIELSEN, J. Enterprise Usability. Disponível em:<http://www.nngroup.com/articles/enterprise-

usability/>. Acesso em: fev. 2014.

OZTEKIN, A. A Decision Support System for Usability Evaluation of Web-based Information

Systems. International Journal, v.38, p. 2110-2118, 2011.

OZTEKIN, A.; KONG, Z.J.; UYSAl, O. . UseLearn: A Novel Checklist and Usability Evaluation

Method for ELearning Systems by Criticality Metric Analysis. International Journal of

Industrial Ergonomics, v.40, p. 455-469, 2010.

OYOMO, W.; JAPPINEN, P.; KERTTULLA, E.; HEIKKINEN. . Usability Study of ME2.0. In:

PERSONAL AND UBIQUITOUS COMPUTING, 2013, Finlândia. Proceedings…2013. p.305-

319.

QI, S., IP, C., LEUNG, R., LAW, R., A. . New Framework on Website Evaluation, In: E-

BUSINESS AND E-GOVERNMENT(ICEE), 2010, Guangzhou. Proceedings… Guangzhou, 2010.

p.78-81.

PADILHA, A.V. . Usabilidade na web: uma proposta de questionário para avaliação do grau de

satisfação de usuários do comércio eletrônico. 2004. 95 f. Dissertação (Mestrado em Ciência da

Computação) - Universidade Federal de Santa Catarina, Florianópolis, 2004.

PINELLE, D.; GUTWIN, C. . Evaluating Teamwork Support in Tabletop Groupware Applications

Using Collaboration Usability Analysis. Journal Personal and Ubiquitous Computing, v.12, p.

237-254, 2008.

PINTO, S. C. C. S. Composição em web frameworks. Tese de doutorado, Departamento de

Informática PUC-Rio, 2000.

PREE, W. Framework Patterns. New York: SIGS Books, 1996.

PREECE, Jennifer. Human-Computer interaction. New York: Addison-Wesley Publishing

Company, 1994.

PREECE, J.; ROGERS Y.; SHARP H. . Design de interação: Além da interação homem-

computador. Porto Alegre: Bookman: 2005.

PRESSMAN, Roger. Software Engineering: A Practitioner's Approach. Estados Unidos:

McGraw-Hill Science, 2001.

PUNCHOOJIT, L.; CHINTAKOVID T. . Influence of Age Group Differences on Website

Cultural Usability. In: ICT AND KNOWLEDGE ENGINEERING, 2012. Proceedings... ICT &

Knowledge Engineering, 2012. p.5,12, 12-13.

RAMAN, T.V. . Design Principles for Multimodal Interaction. In: MMI WORKSHOP,

COMPUTER HUMAN INTERFACES, 2003. New York. Proceedings... ACM Press, 2003. p.5-10.

RAVDEN, Susannah; JOHNSON, Graham.; Evaluating usability of human-computer

interfaces: a practical method. New York: Halsted Press, 1989.

http://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=5589107


164

REEVES, L.M.;LAY, J.; LARSON, J.A.; OVIATT, S.; BALAJI, T.S.BUISINE, S.; COLLINGS,

P.; COHEN, P.; KRAAL, B.; MARTIN, J.C.; MCTEAR, M. . Guidelines for Multimodal User

Interface Design. In: COMMUNICATIONS OF THE ACM – MULTIMODAL INTERFACES

THAT FLEX, ADAPT, AND PERSIST, 2004, New York. Proceedings... ACM Press, 2004. p.57-

59.

RYAN, C.; GONSALVES, A. .The Effect of Context and Application Type on Mobile Usability:

an Empirical Study. In: AUSTRALIAN CONFERENCE ON COMPUTER SCIENCE, 2005,

Australia. Proceedings… ACSC '05, 2005. p. 115-124.

ROUSE, M. Definition framework. Disponível em:

<http://whatis.techtarget.com/definition/framework >. Acesso: 2 jun. 2012.

SALVIANO, C. F. Uma proposta orientada a perfis de capacidade de processo para evolução

da melhoria do processo de software. 2006. Tese de doutorado. Universidade Estadual de

Campinas.

SANTOS, F.K. JAM - Um jogo de aprendizagem multidisciplinar. 2010. 65 f. Trabalho de

Conclusão de Curso (Graduação em Informática) - Universidade Estadual do Oeste do Paraná –

UNIOESTE, Cascavel, 2010.

SANTOS, Luis G. Usabilidade de interfaces para sistemas de recuperação de informação na

web: Estudo de caso de bibliotecas on-line de universidades federais brasileiras. 2006. Tese de

Doutorado. Pontifícia Universidade Católica do Rio de Janeiro.

SANTOS, F.; CONTE, T. . Evoluindo um Assistente de Apoio à Inspeção de Usabilidade Através

de Estudo Experimentais. In: XIV Ibero-American Conference on Software Engineering (CIbSE

2011), 2011, Rio de Janeiro. Proceedings…2011. p. 197-210.

SAURO, J., KINDLUND, E. . A Method to Standardize Usability Metrics into a Single Score. In:

CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2005, New York.

Proceedings… CHI '05, 2005. p.401-409.

SAURO, J.; LEWIS, J. R. . Correlations Among Prototypical Usability Metrics: Evidence for the

Construct of Usability. Computer Human Interaction, Abr. 2009.

SCHAFFER, E. Institutionalization of Usability. São Francisco: Addison-Wesley Professional,

2004.

SCHREIBER, D.; HARTMANN, M.; FLENTEGE, F.; MUHLHAUSER, M.; GORTZ, M.;

ZIEGERT, T. . Web Based Evaluation of Proactive User Interfaces. Journal on Multimodal User

Interfaces, v. 2, p. 61-72, jul. 2008.

SEFFAH, A.; DONYAEE, M.; KLINE, R.B.; PADDA, H.K. . Usability Measurement and Metrics:

A Consolidated Model. Software Quality Journal, vol.14, no 2, p. 159-178, 2006.

SEFFAH, A.; DONYAEE, M.; KECECI, N. . QUIM: a Framework for Quantifying Usability

Metrics in Software Quality Models. Quality Software, p. 311-318, 2001.

http://www.chi2005.org/

165

SHACKEL, Brian; RICHARDSON, Simon.; Human factors for informatics usability. New

York: Cambridge University Press, 1991.

SIGNORE, O., A Comprehensive Model for Web Sites Quality. In: SEVENTH IEEE

INTERNATIONAL SYMPOSIUM ON WEB SITE EVOLUTION, 2005. Proceedings… 2005,

p.30-36.

SILVA FILHO. Antônio M. Percepção Humana na Interação Humano-Computador. 2003.

Revista Espaço Acadêmico. 2003. Disponível em:

<http://www.espacoacademico.com.br/025/25amsf.htm>. Acesso em: ago. 2012.

SILVA FILHO. A. M. A importância da Usabilidade no desenvolvimento de sistemas

interativos. 2008. Disponível em: < http://www.devmedia.com.br/revista-engenharia-de-software-

5/10242>. Acesso em: ago. 2012.

SILVA JUNIOR, A. F. . Características de ferramentas computacionais para produção e

multiplicação de material didático. 2008. Dissertação (Mestrado) - Universidade Tecnológica

Federal do Paraná – UTFPR, Curitiba, 2008.

SILVA, Ricardo P. Suporte ao desenvolvimento e uso de frameworks e componentes. 2000.

Tese de Doutorado. Universidade Federal do Rio Grande Do Sul.

SILVA, Edna L.; MENEZES, Estera M.; Metodologia da Pesquisa e Elaboração de Dissertação.

3ed. Florianópolis: UFSC, 2001.

SOUZA, Luciano S. . Integrando atividades baseadas em abordagens da IHC às praticas da

engenharia de software em projetos de interface de usuário de dispositivos móveis. 2007. 149 f.

Dissertação (Mestrado) - Universidade Paulista – UNIP, São Paulo, 2007.

SPRIESTERSBACH A.; SPRINGER T. Quality Attributes in Mobile Web Application

Development. Springer Science, 2004.

TIRAPAT, T.; ACHALAKUL, T. . Usability Assessment for Hyperlink Methods. In:

INTERNATIONAL CONFERENCE ON HYBRID INFORMATION TECHNOLOGY, 2006.

Proceedings... 2006. p.252-256.

TRIACCA, L.; INVERSINI, A.; BOLCHINI, D. . Evaluating WebU With Mile+. In:

INTERNATIONAL SYSMPOSIUM ON WEB EVOLUTION, 2005. Proceedings... 2005. p.22-29.

VALIATI, E. R. A. Avaliação de usabilidade de técnicas de visualização de informações

multidimensionais. 2008. 219 f. Tese de Doutorado. UFRGS, Universidade Federal do Rio Grande

do Sul.

VILAÇA, M.L.C.. Pesquisa e Ensino: Considerações e Reflexões. Revista e-scrita: Revista do

Curso de Letras da UNIABEU. Uniabeu, v.1, n.2, Mai-Ago 2010.

ZOUCAS, Alessandra C. Um framework de métodos para o desenvolvimento de modelos de

capacidade de processo. Dissertação de Mestrado pela Universidade do Vale do Itajaí, 2010.



166

YUSOF, U. K.; KHAW, L. K.; CH’NG, H.Y. . Balancing Between Usability and Aesthetics of Web

Design. Information Technology, p. 1-6, 2010.

WAH, N. L. . An Improved Approach for Web Page Quality Assessment. In: IEEE STUDENT

CONFERENCE, 2011, Cyberjaya. Proceedings… Cyberjaya, 2011, p.315-320.

WINTER, S.; WAGNER, S.; DEISSENBOECK, F. . A Comprehensive Model of Usability. In:

ENGINEERING INTERACTIVE SYSTEM, 2007, Salamanca. Proceedings… 2007 - EIS '07,

2007. p.106-122.

WINCLER, M.A.; PIMENTA, M.S. Avaliação de Usabilidade de Sites Web, In: Escola Regional

de Informática, SBC, Porto Alegre, Maio de 2002. p. 85-137.

WIRFS-BROCK, R.J.; JOHNSON, R.E. . Surveying Current Research in Object-oriented Design.

Communications of the ACM, v.33, n.9, p.104-124, Set, 1990.

WIXSON, D.; WILSON, C.; The usability Engineering Framework for Product Design and

Evaluation. Handbook of Human-Computer Interaction. 2. ed. Holanda: Elsevier Science, 1997.

167

APÊNDICE A – ESTUDOS PRIMÁRIOS DO MAPEAMENTO

[#1]G. Lindgaard, C. Dudek, D. Sen, L. Sumegi, and P. Noonan, “An exploration of relations

between visual appeal, trustworthiness and perceived usability of homepages,” ACM Transactions

on Computer-Human Interaction (TOCHI), vol. 18, Apr. 2011, doi: 10.1145/1959022.1959023.

[#2]R. West and K. Lehman, “Automated summative usability studies: an empirical evaluation,”

Proc. of the SIGCHI Conference on Human Factors in Computing Systems (CHI 06), Apr. 2006,

pp. 631-639, doi: 10.1145/1124772.1124867.

[#3]A. T. Neto, T.J. Bittar, R. P. M. Fortes, and K. Felizardo, “Developing and evaluating web

multimodal interfaces - a case study with usability principles,” Proc. of the 2009 ACM symposium

on Applied Computing (SAC 09), Mar. 2009, pp. 116-120, doi: 10.1145/1529282.1529306.

[#4]A. Seffah, M. Donyanee, R. B. Kline and H. K.Padda, “Usability measurement and metrics: A

consolidated model,” Software Quality Control, vol. 14, Jun. 2006, pp. 159-178, doi:

10.1007/s11219-006-7600-8.

[#5]P.A. Davis and F.M. Shipman, “Learning usability assessment models for web sites,” Proc. of

the 16th international conference on Intelligent user interfaces ( IUI 11), Feb. 2011, pp. 195-204,

doi: 10.1145/1943403.1943433.

[#6]C. Ryan and A. Gonsalves, “The effect of context and application type on mobile usability: an

empirical study,” Proc. of the Twenty-eighth Australasian conference on Computer Science (ACSC

05), 2005, pp. 115-124, doi: 10.1.1.83.1281.

[#7]A. Fernandez, S. Abrahão, and E. Insfran, “Towards to the validation of a usability evaluation

method for model-driven web development,” Proc. of the 2010 ACM-IEEE International

Symposium on Empirical Software Engineering and Measurement (ESEM 10), Sep. 2010, doi:

10.1145/1852786.1852855.

[#8]A. P. Massey, V. Khatri, and V. Ramesh, “From the Web to the Wireless Web: Technology

Readiness and Usability,” Proc. of the 38th Hawaii International Conference on System Sciences

(HICSS 05), Jan. 2005, doi: 10.1109/HICSS.2005.281.

[#9]A. Anandhan, S. Dhandapani, H. Reza and K. Namasivayam, “Web Usability Testing ? CARE

Methodology,” Proc. of the Third International Conference on Information Technology: New

Generations (ITNG 06), 2006, pp. 495-500, doi: 10.1109/ITNG.2006.141.

[#10]T. Tirapat, T. Achalakul, “Usability Assessment for Hyperlink Methods,” Proc. of the 2006

International Conference on Hybrid Information Technology (ICHIT 06), 2006, pp. 252-256, doi:

10.1109/ICHIT.2006.248.

[#11]T. Conte, J.Massolar, E. Mendes, and G. H. Travassos, “Usability Evaluation Based on Web

Design Perspectives,” Proc. of the First International Symposium on Empirical Software

Engineering and Measurement (ESEM 07), 2007, pp. 146-155, doi: 10.1109/ESEM.2007.84.

168

[#12]A. P. Massey, V. Khatri, and M.M. Montoya-Weiss, “Online Services, Customer

Characteristics and Usability Requirements,” Proc. of the 41st Hawaii International Conference on

System Sciences, Jan. 2008, pp. 7-10, doi: 10.1109/HICSS.2008.337.

[#13]H. Y. Kao, “Usability Testing of AMC Hospital's Website for Home Users: Case Study for

On-Site Registration Design,” Proc. of the Third International Conference on International

Information Hiding and Multimedia Signal Processing (IIH-MSP 07), 2007, pp. 619-622, doi:

10.1109/IIH-MSP.2007.315.

[#14]A. Granic, I. Mitrovic, and N. Marangunie, “Usability Evaluation of Web Portals,” Proc. of

the ITI 2008 30th Int. Conf. on Information Technology Interfaces (ITI 08), Jun. 2008, pp. 427-432,

doi: 10.1109/ITI.2008.4588448.

[#15]T. Conte, J. Massolar, and E. Mendes, and G.H. Travassos, “Web usability inspection

technique based on design perspectives,,” Software, IET, vol. 3, Apr. 2009, pp. 106-123, doi:

10.1049/iet-sen.2008.0021.

[#16]U. K. Yusof, L.K. Khaw, H.Y. Ch’ng, and B. J. Neowa, “Balancing between usability and

aesthetics of Web design,” Proc. Information Technology (ITSIM 10), Jun. 2010, pp. 1-6, doi:

10.1109/ITSIM.2010.5561310.

[#17]A. Al-Wabil, L. Al-Husian, R. Al-Murshad, and A. Al-Nafjan, “Applying the Retrospective

Think-Aloud Protocol in Usability Evaluations with Children: Seeing Through Children’s Eyes,”

Proc. User Science and Engineering (i-USEr) Dec. 2010, pp.98-103, doi:

10.1109/IUSER.2010.5716731.

[#18]W.F.W. Ahmad, S. Sulaiman, and F. S. Johari, “Usability Management System

(USEMATE):A Web-Based Automated System for Managing Usability Testing Systematically,”

Proc. International Conference on User Science Engineering (i-USEr), Dec. 2010, pp. 110-115, doi:

10.1109/IUSER.2010.5716734.

[#19]M. Freeman and M. Bowden, “Usability as a Panacea,” Proc Information Society (i-Society),

Jun. 2010, pp. 129-134.

[#20]L. Punchoojit, T. Chintakovid, “Influence of Age Group Differences on Website Cultural

Usability,” Proc. ICT and Knowledge Engineering (ICT & Knowledge Engineering), Jan. 2012, pp.

5-12, doi: 10.1109/ICTKE.2012.6152413.

[#21]M. A. Mayz, D. M Curtino, and A. de la Rosa, “Avoiding laboratories to collect usability data:

two software applications,” Proc. Information Systems and Technologies (CISTI), Jun. 2012, pp.

20-23.

[#22]A. Oztekin, “A decision support system for usability evaluation of web-based information

systems,” Expert Systems with Applications: An International Journal, vol. 38, Mar. 2011, pp.

2110-2118, doi: 10.1016/j.eswa.2010.07.151.

[#23]X. Fang and C. W. Holsapple, “An empirical study of web site navigation structures' impacts

on web site usability,” Decision Support Systems, vol. 43, Mar. 2007, pp. 476-491.

169

[#24]A. Fernandez, S. Abrahão and E. Insfran, “Empirical validation of a usability inspection

method for model-driven Web development,” Journal of Systems and Software, vol. 86, Jan. 2012,

pp. 161-186, doi: 10.1016/j.jss.2012.07.043.

[#25]M. Allen, L.M. Currie, S. Bakken, V.L. Patel and J.J.Cimino, “Heuristic evaluation of paper-

based Web pages: a simplified inspection usability methodology,” Journal of Biomedical

Informatics, vol. 39, Aug. 2006, pp. 412-423, doi: 10.1016/j.jbi.2005.10.004.

[#26]C. K. Coursaris, K. Hassanein, M. M. Head and N. Bontis, “The impact of distractions on the

usability and intention to use mobile devices for wireless data services,” Computers in Human

Behavior, vol. 28, Jul. 2012, pp. 1439-1449, doi: 10.1016/j.chb.2012.03.006.

[#27]E. K. Delice and Z. Gungor, “The usability analysis with heuristic evaluation and analytic

hierarchy process,” International Journal of Industrial Ergonomics, vol. 39, Sep. 2009, pp. 934-939,

doi: 10.1016/j.ergon.2009.08.005.

[#28]A. Holzinger and M. Errath, “Mobile computer Web-application design in medicine: some

research based guidelines,” Universal Access in the Information Society, vol. 6, May. 2007, pp. 31-

41, doi: 10.1007/s10209-007-0074-z.

[#29]M. Vigo, A. Aizpurua, M. Arrue and J. Abascal, “Quantitative assessment of mobile web

guidelines conformance,” Universal Access in the Information Society, vol. 10, Mar. 2011, pp. 33-

49, doi: 10.1007/s10209-010-0186-8.

[#30]W. Oyomno, P. Jappinen, E. Kerttula and k. Heikkinen, “Usability study of ME2.0,” Personal

and Ubiquitous Computing, vol. 17, Feb. 2013, pp.305-319, doi: 10.1007/s00779-011-0495-9.

[#31]D, Schreiber, M. Hartmann, F. Flentge, M. Mühlhäuser, M. Görtz and Thomas Ziegert, “Web

based evaluation of proactive user interfaces,” Journal on Multimodal User Interfaces, vol. 2, Jul.

2008, pp.61-72, doi: 10.1007/s12193-008-0001-5.

[#35]J. Nielsen, Usability Engineering.AP Professional, 1993.

[#36]ISO/IEC FDIS 25010, “Systems and software engineering – Systems and Software Quality

Requirements and Evaluation (SQUARE) – System and software quality models”, 2010

[#37]MICROSOFT, “Windows Enviroment, ” unpublished, 2013.

[#38]T.V. RAMAN, “Design principles for multimodal interaction,” Proc. MMI Workshop,

Computer Human Interfaces (CHI 03), pp. 5-10.

[#39]L.M. Reeves, J. Lai, J.A. Larson, S. Oviatt, T.S. Balaji, S.Buisine, P. Collings, P.Cohen, B.

Kraal, J.C. Martin, M. Mctear, T. Raman, K.M. Stanney, H. Su, and Q.Y. Wang, “Guidelines for

multimodal user interface design,” Communications of the ACM – Multimodal Interfaces that flex,

adapt, and persist, vol. 47, Jan. 2004, pp. 57-59, doi: 10.1145/962081.962106.

[#40]A. Fernandez, E. Insfran, and S. Abrahão, “Integrating a Usability Model into Model-Driven

Web Development Processes,” Computer Science, vol. 5802, 2009, pp. 497-510, doi: 10.1007/978-

3-642-04409-0_49.

170

[#41]J.M.C.Bastien, and D.L.Scapin, “Ergonomic Criteria for the Evaluation of Human-Computer

Interfaces, ” Institut National de Recherche en Informatique et en Automatique, vol. 156, Jun. 1993.

[#42]ISO 9241-11, “Ergonomic requirements for office work with visual display terminals (VDTs)

– Part 11: Guidance on usability”. Guidance on usability, 1998.

[#43]K.Keeker, “Improving Web Site Usability and Appeal,”, 1997.

171

APÊNDICE B – LISTA DE CARACTERÍSTICAS

CARACTERÍSTICA CONCEITUAÇÃOAcessibilidade Corresponde à prática de implementar sistemas que possam ser utilizados por todas as pessoas, sejam portadoras de deficiências ou não.

Adequação Mede o quanto o conjunto de funcionalidades que o sistema apresenta é adequado as necessidades do usuário.

Ajuda Conjunto de documentos, impresso ou em forma de arquivo, que devem ser fornecidos com o sistema para orientar e ajudar o usuário final.

Atributos "avulsos" Este é um agrupamento que foi criado para os atributos "avulsos", ou seja, para aqueles atributos para o qual não foi encontrado vinculação com Característica.

Capacidade de Aprendizado

Determina se é fácil de aprender a usar o sistema. A capacidade de aprendizado está vinculada ao grau de dificuldade para iniciar as tarefas fundamentais. Também

pode ser sintetizado no tempo e o esforço necessários para os usuários atingirem um determinado nível de desempenho.

Carga de Trabalho (Memória)

Corresponde a capacidade do sistema em solicitar o mínimo de ações para executar uma tarefa. Quanto menos passos o usuário deva tomar, melhor, pois reduz a

memorização e reduz a possibilidade de cometer erros.

Confiabilidade Evidencia a capacidade do produto de manter seu desempenho ao longo do tempo e em condições estabelecidas.

Consistência na interação Corresponde a coerência no modo que os aspectos de interface são mantidos em contextos semelhantes e são diferentes quando aplicado a contextos diferentes.

Controle Do usuário Corresponde a possibilidade/facilidade do usuário estar sob o controle das ações do sistema e desfazer ou refazer alguma ação.

Eficácia Avalia o desempenho de uma tarefa focado a um usuário ou a um ambiente específico.

Eficiência Corresponde ao sistema ser eficiente na tarefa que se propõe a realizar.

Facilidade de uso

Avalia o esforço físico e cognitivo do usuário durante o processo de interação, medindo a velocidade de uso e o número de erros cometidos durante a execução de

uma determinada tarefa.

Flexibilidade Corresponde a capacidade do sistema em se comportar conforme as necessidades e preferências do usuário.

Gestão de Erros A gestão de erros diz respeito a todos os mecanismos que permitem evitar ou reduzir a ocorrência de erros e que favoreçam sua correção.

Inteligibilidade Corresponde a capacidade do sistema em possibilitar ao usuário identificar se o sistema é apropriado para executar determinada tarefa.

Mapeamento entre sistema e mundo real Corresponde a não usar palavras de sistema, que não fazem sentido pro usuário. Evitar que os textos falem mais do que o usuário necessita saber.

Multimodal Agrupamento para atributos de interface Multimodal.

Navegabilidade/Orientação

Corresponde aos elementos que o sistema utiliza para informar ao usuário onde este se encontra dentro do sistema, bem como a orientação desta navegação para o

usuário realizar determinadas ações, como, por exemplo, entrada de dados.

Operacionalidade Corresponde a forma com que o sistema facilita a sua operação por parte do usuário.

Produtividade

Corresponde a produtividade do usuário em relação ao sistema (quanto mais rápido o usuário aprende a usar o sistema, mais rápido memoria as operações e comete

menos erros).

Recursos visuais Conjunto de recursos de tela para apoiar a interação com o usuário.

Satisfação Corresponde a percepção do usuário com o uso do sistema. Este atributo é totalmente subjetivo, e está diretamente ligado à opinião do usuário.

Segurança Corresponde ao fato de um sistema limitar o risco de danos às pessoas ou outros recursos, tais como hardware ou informações armazenadas.

Universalidade

Corresponde a qualidade do sistema em se tornar universal. Trata-se das preocupações e tratamentos que em um sistema possui para oferecer informação a uma

diversidade de usuários com diferentes origens culturais.

Utilidade

Corresponde as funcionalidades do sistema que permite aos usuários resolver problemas reais de uma maneira aceitável, ou seja, o sistema possui utilidade prática

que em parte, reflete o quão de perto o sistema suporta o modelo de tarefas do próprio usuário.

172

APÊNDICE C – LISTA DE ATRIBUTOS

ATRIBUTO CONCEITUAÇÃOAcessibilidade Corresponde à prática de fazer sistemas que possam ser utilizados por todas as pessoas, sejam portadoras de deficiências ou não.

Ações Mínimas Corresponde a capacidade do produto de software em ajudar os usuários a alcançar as suas tarefas em um número mínimo de etapas.

Adptação ao Meio Interfaces devem adaptar-se ao ambiente do usuário para garantir que a melhor maneira de executar uma tarefa em um determinado momento esteja disponível.

Agrupamento e distinção de

Itens Corresponde ao formatos dos itens (elementos da tela) como meio de transmitir associações e diferenças.

Ajuda Corresponde aos comentários de ajuda disponibilizados para o usuário.

Animações e Transições Corresponde aos itens de animação apresentados em tela e a respectiva transição entre estas telas.

Aplicabilidade Corresponde as funcionalidades disponíveis na interface que são pertinentes a um norma.

Atratividade/Agradabilidade Corresponde a capacidade do sistema atrair o usuário, ser agradável.

Auto-Descritivo

Corresponde ao fato de que cada passo apresentado pelo sistema é imediatamente compreendido pelo usuário. Cada passo do programa deve ser

imediatamente compreensível.

Capacidade de Aprendizado

Determina se é fácil de aprender a usar o sistema. A capacidade de aprendizado está vinculada ao grau de dificuldade para iniciar as tarefas fundamentais. Também

pode ser sintetizado no tempo e o esforço necessários para os usuários atingirem um determinado nível de desempenho.

Carga de Memória

Mínima/Brevidade Corresponde a quantidade mínima de informação que um usuário necessita ter em mente a fim de conseguir uma tarefa especificada.

Comandos Conjunto de Interações básicas necessárias para controlar uma função da aplicação.

Compatibilidade

Corresponde a capacidade do sistema em estar de acordo com normas e convenções relacionadas à usabilidade, atendendo as expectativas e necessidades do usuário

em sua tarefa.

Componentes Trata-se de tarefas relacionadas logicamente que apresentam-se no mesmo formato em telas distintas.

Compreensibilidade Corresponde ao esforço do usuário para reconhecer o conceito lógico do sistema.

Comunicabilidade

Propriedade de transmitir ao usuário de forma eficaz e eficiente as intenções e princípios de interação que guiaram o seu design.

Comunidade

Corresponde a funcionalidades do sistema que permite aos usuários manter contato, fazer novos amigos, aprender sobre o mundo, mostrar habilidades, apreciar uns

aos outros e apenas divertir-se.

Concisão Corresponde ao tamanho dos códigos e termos apresentados e introduzidos no sistema.

Consistência Corresponde a coerência no modo que os aspectos de interface são mantidos em contextos semelhantes e são diferentes quando aplicado a contextos diferentes.

Conteúdo de qualidade Utilizar conteúdo que seja compatível com a capacidade de compreensão e leitura dos usuários.

Contraste Corresponde aos itens de contraste na apresentação da informação da interface do sistema para o usuário.

Controlabilidade/Ação

explícita do usuário Corresponde ao fato de os usuários sentirem que estão no controle do sistema.

Coordenação Organização e Decomposição de tarefas para o realização do usuário.

Cores

O uso adequado das cores é muito importante. A cor é considerada o elemento visual da interface que influencia diretamente na qualidade da apresentação das

informações transmitidas.

Densidade Informacional Corresponde a densidade informacional das telas apresentadas pelo sistema.

173

Desempenho Corresponde a relação entre velocidade de processamento, o tempo de resposta, o consumo de recursos, rendimento e eficiência.

Design Entrada e Saída

O designer deve usar várias modalidades de elementos para maximizar o cognitivo humano e capacidades físicas. Além disso, deve evitar mostrar informações

desnecessárias em diferentes modalidades, visando maximizar os benefícios de cada modalidade e reduzir a carga de memória do usuário através da execução da

tarefa.

Design estético

Evitar que o design fale mais do que o usuário necessita saber. Propriedade de transmitir ao usuário de forma eficaz e eficiente as intenções e princípios de

interação que guiaram o seu design.

Dispositivos Corresponde aos itens de dispositivo apresentados em tela.

Eficácia Avalia o desempenho de uma tarefa focado a um usuário ou a um ambiente específico.

Eficiência Corresponde ao sistema ser eficiente na tarefa que se propõe a realizar.

Elementos gráficos Representa Todos os elementos gráficos utilizados em tela para facilitar a interação com o usuário.

Emoção Corresponde à experiência emocional do utilizador, em todas as dimensões do design emocional. Se refere ao grau que o site evoca de reações emocionais.

Escalabilidade

Corresponde a capacidade de um componente ou do próprio sistema em manter o mesmo desempenho quando há um aumento no número de usuários e/ou de

requisições simultâneas.

Estado de interação

compartilhada

Várias modalidades devem compartilhar o estado de interação, de modo que durante a transição de uma interface para outra, ou se o usuário deseja mudar a

modalidade em uma determinada seqüência do diálogo, os diversos meios disponíveis serão atualizados.

Estrutura Corresponde a organização e facilidade de navegação de um site.

Experiência do Usuário Corresponde a possibilidade de diferentes níveis de experiência de usuário têm iguais possibilidades de obter sucesso em seus objetivos.

Facilidade de Uso

Representa o quão fácil de aprender um sistema se apresenta. Avalia o esforço físico e cognitivo do usuário durante o processo de interação, medindo a velocidade

de uso e o número de erros cometidos durante a execução de uma determinada tarefa.

Familiaridade/Padrões Corresponde ao fato de a interface de usuário oferecer elementos reconhecíveis e interações que pode ser entendido pelo usuário.

Feedback Corresponde a qualidade do feedback imediato às ações do usuário.

Flexibilidade

Este critério se aplica quando há grande variedade de estratégias e de

condições de contexto para a realização de uma tarefa. O sistema deve ser flexível o bastante para se tornar ágil aos usuários avançados. O sistema deve permitir

personalizar as apresentações e os diálogos.

Fonte

Corresponde as fontes utilizadas no site, bem como a combinação desta fonte com um determinado tamanho. Adequação da fonte ao contexto.

Funcionalidade

Corresponde as funcionalidades que a interface disponibiliza, sendo que estas funcionalidades devem executar efetivamente e de forma correta a tarefa que se

propõe a fazer.

Garantia Corresponde a responsabilidade do fornecedor do sistema em caso de utilização fraudulenta de informações pessoais de usuários.

Ícones Correspondente a utilização de ícones em um sistema.

Importância do Código

Corresponde a clareza com que os códigos e denominações são apresentados para o usuário. Deve haver uma relação semântica forte entre os códigos e os itens ou

ações às que eles se referem.

Informações Textuais Corresponde ao tamanho da tela relacionado com a capacidade de compreensão do usuário em relação as informações apresentadas.

Inteligibilidade Corresponde a capacidade do sistema em possibilitar ao usuário identificar se o sistema é apropriado para executar determinada tarefa.

Interface/Layout Corresponde as solicitações do usuário em relação as apresentações do sistema.

Internacionalização Corresponde a capacidade do sistema de suportar diferentes línguas (Português, Inglês, Espanhol, etc.) sem a necessidade de recodificação.

Janelas Corresponde aos tipos de Janelas apresentadas ao usuário e os elementos que as compõe.

Legibilidade Corresponde a legibilidade das informações apresentadas nas telas do sistema.

Mensagens Corresponde a qualidade das mensagens enviadas/apresentadas aos usuários. As mensagens devem ser claras e precisas

Navegabilidade/Orientação

Corresponde aos elementos que o sistema utiliza para informar ao usuário onde este se encontra dentro do sistema. Diz respeito igualmente às informações que

permitem ao usuário identificar o estado ou contexto no qual ele se encontra, bem como as ferramentas de ajuda e seu modo de acesso.

Número de Erros Corresponde ao número de erros apresentados para o usuário.

Objetivo Corresponde as metas claras e objetivas apresentadas no sistema para o usuário.

Operacionalidade Capacidade do sistema possibilitar ao usuário operá-lo. Trata de como como o sistema facilita a sua operação por parte do usuário.

Personalização Corresponde a identificação do usuário no sistema e satisfazer as necessidades individuais deste usuário.

174

Precisão Corresponde a capacidade do software de fornecer resultados precisos ou com a precisão dentro do que foi acordado/solicitado.

Presteza Corresponde a forma como o sistema informa e conduz o usuário durante a interação.

Prevenção/Proteção de Erros

Corresponde às oportunidades que o sistema oferece para o usuário prevenir eventuais erros. O sistema deve conter mecanismos para prevenir a ocorrência de

erros.

Previsibilidade

Interfaces multimodais devem ser previsíveis. A interface deve permitir que o usuário saiba intuitivamente qual a melhor modalidade para usar durante a execução

da tarefa. A interface deve permitir que o usuário possa ver se em um determinado momento a modalidade é de algum modo indisponível

Privacidade

Corresponde a maneira com que o sistema reserva informações que são próprias do usuário.capacidade do sistema de proteger as informações do usuário e fornecê-

las apenas (e sempre) às pessoas autorizadas.

Produtividade

Corresponde a produtividade do usuário em relação ao sistema (quanto mais rápido o usuário aprende a usar o sistema, mais rápido memoria as operações e comete

menos erros).

Promoção Se refere ao grau em que um site é bem promovido na internet ou através de outros meios de comunicação.

Recursos de Segurança Corresponde ao fato de um sistema limitar o risco de danos às pessoas ou outros recursos, tais como hardware ou informações armazenadas.

Reusabilidade Corresponde a capacidade de reutilização de módulos do sistema em outras aplicações.

Satisfação Corresponde a percepção do usuário com o uso do sistema. Este atributo é totalmente subjetivo, e está diretamente ligado à opinião do usuário.

Simetria/Equilibrio Corresponde a composição visual gerada pela disposição dos elementos na tela. A distribuição espacial dos itens traduz as relações entre as informações.

Simplicidade Corresponde ao tratamento de elementos estranhos na interface e a forma como são eliminados, sem perda significativa de informação.

Sincronismo

Corresponde ao fato de que as múltiplas modalidades de interação com sistema multimodal precisam ser sincronizadas. A interação de voz pode ser considerado

como temporário, enquanto a interação visual pode ser considerada espacial. Quando combinados em uma interface multimodal, estes modos de interação devem

ser sincronizados para evitar comprometer a usabilidade do sistema.

Solicitação Corresponde a maneira como o sistema processa as solicitações do usuário.

Som Corresponde aos itens relacionados a som que são apresentadas aos usuários em um sistema.

Suporte para o usuário

reconhecer, diagnosticar e

recuperar erros

Possibilidade de desfazer Entradas. Facilidades oferecidas para que o usuário com o objetivo de permitir a correção de seus erros. Os erros são bem menos

perturbadores quando são fáceis de corrigir.

Taxa de Conclusão/Plenitude Corresponde aos usuários que conseguem concluir determinada tarefa de forma positiva e ao quão completa é a interação entre o sistema e o usuário.

Tempo de Carga Corresponde a capacidade de um sistema consumir tempo de tarefa apropriado para executar determinada função.

Tolerância a falhas Corresponde a capacidade do sistema em manter um nível especificado de desempenho em casos de falhas ou de violação de sua interface.

Transição visível

A transição entre os diálogos em uma interação multimodal deve ser visível para o usuário, porque as suas capacidades e necessidades, bem como o contexto de uso

pode ser modificado durante a interação.

Utilidade Corresponde a capacidade de atendimento das necessidades do usuário.

Utilização de recursos Corresponde a relação entre recursos consumidos e a capacidade do sistema em utilizar os recursos disponíveis.

175

APÊNDICE D – CARACTERÍSTICAS E ATRIBUTOS

CARACTERÍSTICA ATRIBUTOAcessibilidade Ações Mínimas

Acessibilidade Auto-Descritivo

Acessibilidade Carga de Memória Mínima/Brevidade

Acessibilidade Consistência

Acessibilidade Controlabilidade/Ação explícita do usuário


Acessibilidade Legibilidade

Acessibilidade Navegabilidade/Orientação

Acessibilidade Operacionalidade

Acessibilidade Simplicidade

Adequação Auto-Descritivo

Adequação Coordenação

Ajuda Informações Textuais

Atributos "avulsos" Acessibilidade

Atributos "avulsos" Capacidade de Aprendizado

Atributos "avulsos" Compreensibilidade

Atributos "avulsos" Comunicabilidade

Atributos "avulsos" Desempenho

Atributos "avulsos" Eficácia

Atributos "avulsos" Eficiência

Atributos "avulsos" Escalabilidade

Atributos "avulsos" Facilidade de Uso

Atributos "avulsos" Inteligibilidade

Atributos "avulsos" Internacionalização

Atributos "avulsos" Produtividade

Atributos "avulsos" Reusabilidade

Atributos "avulsos" Satisfação

Atributos "avulsos" Tempo de Carga

Atributos "avulsos" Utilidade

176

Capacidade de Aprendizado Ações Mínimas

Capacidade de Aprendizado Auto-Descritivo

Capacidade de Aprendizado Carga de Memória Mínima/Brevidade

Capacidade de Aprendizado Familiaridade/Padrões

Capacidade de Aprendizado Simplicidade

Carga de Trabalho (Memória) Densidade Informacional

Confiabilidade Auto-Descritivo

Confiabilidade Controlabilidade/Ação explícita do usuário

Confiabilidade Familiaridade/Padrões

Confiabilidade Navegabilidade/Orientação

Confiabilidade Operacionalidade

Confiabilidade Privacidade

Confiabilidade Tolerância a falhas

Consistência na interação Dispositivos

Controle Do usuário Controlabilidade/Ação explícita do usuário

Eficácia Consistência

Eficácia Feedback

Eficácia Flexibilidade

Eficácia Navegabilidade/Orientação

Eficácia Precisão

Eficácia Taxa de Conclusão/Plenitude

Eficiência Ações Mínimas

Eficiência Carga de Memória Mínima/Brevidade

Eficiência Feedback

Eficiência Navegabilidade/Orientação

Eficiência Operacionalidade

Eficiência Tempo de Carga

Eficiência Utilização de recursos

Facilidade de uso Estrutura

Facilidade de uso Feedback

Facilidade de uso Objetivo

177

Flexibilidade Comunidade

Flexibilidade Experiência do Usuário

Flexibilidade Personalização

Gestão de Erros Número de Erros

Gestão de Erros Prevenção/Proteção de Erros

Gestão de Erros Suporte para o usuário reconhecer, diagnosticar e recuperar erros

Inteligibilidade Aplicabilidade

Inteligibilidade Mensagens

Inteligibilidade Simetria/Equilibrio

Mapeamento entre sistema e mundo real Informações Textuais

Multimodal Adptação ao Meio

Multimodal Ajuda

Multimodal Design Entrada e Saída

Multimodal Estado de interação compartilhada

Multimodal Feedback

Multimodal Prevenção/Proteção de Erros

Multimodal Previsibilidade

Multimodal Sincronismo

Multimodal Transição visível

Navegabilidade/Orientação Agrupamento e distinção de Itens

Navegabilidade/Orientação Feedback

Navegabilidade/Orientação Legibilidade

Navegabilidade/Orientação Solicitação

Operacionalidade Flexibilidade

Produtividade Tempo de Carga

Produtividade Utilização de recursos

Recursos visuais Animações e Transições

Recursos visuais Atratividade/Agradabilidade

Recursos visuais Comandos

Recursos visuais Compatibilidade

Recursos visuais Componentes

178

Recursos visuais Conteúdo de qualidade

Recursos visuais Contraste

Recursos visuais Coordenação

Recursos visuais Cores

Recursos visuais Densidade Informacional

Recursos visuais Design estético

Recursos visuais Elementos gráficos

Recursos visuais Emoção

Recursos visuais Experiência do Usuário

Recursos visuais Familiaridade/Padrões

Recursos visuais Fonte

Recursos visuais Funcionalidade

Recursos visuais Ícones

Recursos visuais Importância do Código

Recursos visuais Informações Textuais

Recursos visuais Interface/Layout

Recursos visuais Janelas

Recursos visuais Mensagens

Recursos visuais Personalização

Recursos visuais Promoção

Recursos visuais Simetria/Equilibrio

Recursos visuais Som

Satisfação Ações Mínimas

Satisfação Atratividade/Agradabilidade

Satisfação Carga de Memória Mínima/Brevidade

Satisfação Flexibilidade

Satisfação Operacionalidade

Segurança Consistência

Segurança Garantia

Segurança Precisão

Segurança Recursos de Segurança

Segurança Taxa de Conclusão/Plenitude

Segurança Tolerância a falhas

179

Universalidade Atratividade/Agradabilidade

Universalidade Auto-Descritivo

Universalidade Carga de Memória Mínima/Brevidade

Universalidade Consistência

Universalidade Controlabilidade/Ação explícita do usuário

Universalidade Feedback

Universalidade Flexibilidade

Universalidade Legibilidade

Universalidade Navegabilidade/Orientação

Universalidade Privacidade

Universalidade Simplicidade

Universalidade Tempo de Carga

Utilidade Carga de Memória Mínima/Brevidade

Utilidade Controlabilidade/Ação explícita do usuário

Utilidade Feedback

Utilidade Flexibilidade

Utilidade Garantia

Utilidade Operacionalidade

Utilidade Precisão

Utilidade Privacidade

Utilidade Recursos de Segurança

Utilidade Tempo de Carga

Utilidade Tolerância a falhas

Utilidade Utilização de recursos

180

APÊNDICE E – AMBIENTE, CARACTERISTICA, ATRIBUTO E QUESTÃO

AMBIENTE CARACTERÍSTICA ATRIBUTO QUESTÃODesktop Acessibilidade Ações Mínimas A estrutura dos menus é concebida de modo a diminuir os passos necessários para a seleção?

Desktop Acessibilidade Ações Mínimas Em formulário de entrada de dados o sistema posiciona o cursor no começo do primeiro campo de entrada?

Desktop Acessibilidade Ações Mínimas

Na realização das ações principais em uma caixa de diálogo, o usuário tem os movimentos de cursor minimizados através da

adequada ordenação dos objetos?

Desktop Acessibilidade Ações Mínimas

O usuário dispõe de um modo simples e rápido (tecla TAB por exemplo) para a navegação entre os campos de um

formulário?

Desktop Acessibilidade Ações Mínimas Os grupos de botões de comando possuem sempre um botão definido como default?

Desktop Acessibilidade Carga de Memória Mínima/Brevidade Alguma tarefa do sistema exige um nível de expertise muito alto?

Desktop Acessibilidade Consistência A identificação das caixas, telas ou janelas são únicas?

Desktop Acessibilidade Consistência A localização dos dados é mantida consistente de uma tela para outra?

Desktop Acessibilidade Consistência A organização em termos da localização das várias características das janelas é mantida consistente de uma tela para outra?

Desktop Acessibilidade Consistência A posição inicial do cursor é mantida consistente ao longo de todas as apresentações de formulários?

Desktop Acessibilidade Consistência As áreas de entrada de comandos estão na mesma posição de uma tela para outra?

Desktop Acessibilidade Consistência O símbolo para convite à entrada de dados é padronizado (por exemplo " : " )?

Desktop Acessibilidade Consistência Os formatos de apresentação dos dados são mantidos consistentes de uma tela para outra?

Desktop Acessibilidade Consistência Os ícones são distintos uns dos outros e possuem sempre o mesmo significado de uma tela para outra?

Desktop Acessibilidade Consistência Os rótulos estão na mesma posição em relação aos campos associados?

Desktop Acessibilidade Consistência Os significados dos códigos de cores são seguidos de maneira consistente?

Desktop Acessibilidade Consistência Uma mesma tecla de função aciona a mesma opção de uma tela para outra?

Desktop Acessibilidade Controlabilidade/Ação explícita do usuário

Durante os períodos de bloqueio dos dispositivos de entrada, o sistema fornece ao usuário uma opção para interromper o

processo que causou o bloqueio?

Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode interromper e retomar um diálogo seqüencial a qualquer instante?

Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode reiniciar um diálogo seqüencial a qualquer instante?

Desktop Acessibilidade Controlabilidade/Ação explícita do usuário O usuário pode terminar um diálogo seqüencial repetitivo a qualquer instante?

Desktop Acessibilidade Flexibilidade Ao usuário é permitido personalizar o diálogo, através da definição de macros?

Desktop Acessibilidade Flexibilidade É permitido ao usuário alterar e personalizar valores definidos por default?

Desktop Acessibilidade Flexibilidade Os usuários têm a possibilidade de modificar ou eliminar itens irrelevantes das janelas?

Desktop Acessibilidade Legibilidade A altura mínima dos mostradores de texto é de 4 linhas?

Desktop Acessibilidade Legibilidade A informação codificada com o vídeo reverso é legível?

Desktop Acessibilidade Legibilidade A largura mínima dos mostradores de texto é de 50 caracteres?

Desktop Acessibilidade Legibilidade As áreas livres são usadas para separar grupos lógicos em vez de tê-los todos de um só lado da tela, caixa ou janela?

181

APÊNDICE F – QUESTÃO E RECOMENDAÇÃO

QUESTÃO RECOMENDAÇÃO

A altura mínima dos mostradores de texto é de 4 linhas?

Mínimo de 4 linhas para mostrar textos.

A apresentação de textos em campos rolantes deve prever, ao menos, quatro linhas por vez.

COMENTÁRIO: Quatro linhas de texto constituem o mínimo que deve ser apresentado,

quando o conteúdo é simples. No caso de o conteúdo tornar-se mais complicado, ou se o

leitor tiver que voltar atrás em sua leitura freqüentemente, devem ser apresentadas mais

linhas .

A densidade informacional das janelas é reduzida?

Densidade global reduzida.

A densidade de apresentação de uma tela, de uma caixa de diálogo e de uma janela não

devem ultrapassar 40%.

COMENTÁRIO: Não mais do que 10% da apresentação deve ser destacado de uma só vez.

COMENTÁRIO: O tempo de busca de dados aumenta com a densidade da tela;

COMENTÁRIO: Lembre-se de que a tradução de um sistema do inglês para o português

certamente ocupará mais espaço em tela.

A estrutura do sistema comunica claramente atividades principais para o

usuário?

Organize a tela através da criação de áreas claramente distinguíveis. Informações podem ser

apresentadas em grupos visuais, com base em temas ou funcionalidades similares do ponto

de vista do usuário.

A estrutura do sistema comunica claramente atividades principais para o

usuário?

Um estrutura clara e visível permitirá ao usuário navegar com facilidade, aumentando o

apelo de seu sistema. Ícones, rótulos, metáforas e outras informações pode não ser

evidente para todos os usuário.

182

APÊNDICE G – QUESTIONÁRIO DE AVALIAÇÃO DO

FRAMEWORK PROPOSTO

Caro Inspetor,

Esta pesquisa faz parte de um projeto de mestrado e pretende avaliar as contribuições na adoção de

um framework para apoio a elaboração de listas de verificação para inspeção da usabilidade.

São 17 questionamentos, que devem tomar cerca de 5 a 10 minutos do seu tempo.

Gostaríamos de contar com a sua colaboração.

Fabiane Barreto Vavassori Benitti

Franciela Nissola

UNIVALI - Universidade do Vale do Itajaí

Mestrado em Computação Aplicada

Prezado pesquisador, favor preencher as seguintes informações a respeito de seu perfil:

Nome: ___________.

E-mail: ___________.

Empresa ou Instituição de Ensino: ___________.

Conhecimentos em usabilidade:

Leu a respeito

Participou de processos de avaliação

Coordenou processos de avaliação

Outro: ___________.

Em relação de ao framework para apoio a elaboração de listas de verificação para inspeção da

usabilidade, relacione a escala abaixo com as questões a seguir.

1. Concordo amplamente

2. Concordo parcialmente

3. Discordo parcialmente

4. Discordo amplamente

5. Sem opinião Definida

183

1. Facilidade

O framework proposto contribui como guia, na seleção de atributos para inspeção da usabilidade?

Resposta: ___________.

2. Facilidade

A estrutura de informação apresentada pelo framework proposto contribui na redução do esforço de

assimilação de aspectos relacionados com a inspeção da usabilidade?

Resposta: ___________.

3. Facilidade

As questões utilizadas no framework para a inspeção dos atributos de usabilidade contribuem na

redução do esforço relacionado a compreensão de termos próprios da usabilidade?

Resposta: ___________.

4. Facilidade

A linguagem utilizada pelo framework proposto contribui na redução do esforço relacionado à

compreensão de termos próprios da usabilidade?

Resposta: ___________.

5. Facilidade

A estrutura de informação apresentada pelo framework proposto gera maior facilidade na realização

de inspeções de usabilidade, do que a avaliação feita a partir de documentação ou norma?

Resposta: ___________.

6. Facilidade

O framework proposto contribui na redução de esforço para conclusão de tarefas relacionadas com

a inspeção da usabilidade de forma eficiente?

Resposta: ___________.

7. Facilidade

O framework proposto é fácil de ser utilizado?

Resposta: ___________.

8. Motivação

A estrutura de informação apresentada pelo framework proposto contribui para a redução do

esforço na seleção de atributos de usabilidade?

Resposta: ___________.

9. Motivação

O framework pode ser utilizado nas próximas avaliações inspeções de usabilidade durante projetos

de desenvolvimento de software?

Resposta: ___________.

10. Motivação

O framework proposto pode ser indicado para avaliação da usabilidade para outros interessados?

Resposta: ___________.

184

11. Motivação

O framework proposto contribui como ferramenta útil para a inspeção da usabilidade durante

projetos de desenvolvimento de software?

Resposta: ___________.

12. Motivação

Qual a sua impressão subjetiva sobre o percentual de ganho de tempo que atividade de inspeção da

usabilidade obteve com o emprego do framework quando comparado com a não utilização?

Resposta: ___________.

13. Adequação

Os mecanismos de seleção de componentes, abordados pelo framework proposto contribuem para a

redução da complexidade na inspeção da usabilidade entre os envolvidos com projetos de


Resposta: ___________.

14. Adequação

A estrutura de informações abordada pelo framework se mostrou adequada para ser aplicada em

inspeções de usabilidade durante projetos de desenvolvimento de software?

Resposta: ___________.

15. Adequação

As sugestões de questões apresentadas no framework contribuem como prática adequada em

inspeções de usabilidade?

Resposta: ___________.

16. Adequação

O framework proposto pode ser utilizado como ferramenta de trabalho para inspeção da usabilidade

durante outros projetos de desenvolvimento de software?

Resposta: ___________.

17. Adequação

Qual o grau de concordância subjetiva do framework proposto em relação à inspeção da usabilidade

durante projetos de desenvolvimento de software?

Resposta: ___________.

Modelo de Dissertação - Univalisiaibib01.univali.br/pdf/Franciela Nissola.pdf · ERGOLIST...

Documents

Transcript of Modelo de Dissertação - Univalisiaibib01.univali.br/pdf/Franciela Nissola.pdf · ERGOLIST...