A N Á L I S E D E C O M E N T Á R I O S D E L O JA S D E A P L I C A … · 2020. 1. 31. ·...

UNIVERSIDADE FEDERAL DO CEARÁ

CAMPUS DE QUIXADÁ

CURSO DE ENGENHARIA DE SOFTWARE

MATHEUS GOMES RIOS RIBEIRO

ANÁLISE DE COMENTÁRIOS DE LOJAS DE APLICATIVOS ATRAVÉS DAS HEURÍSTICAS DE USABILIDADE

QUIXADÁ

2019



Trabalho Conclusão de Curso apresentado ao Curso de Graduação em Engenharia de Software, do Campus Quixadá, da Universidade Federal do Ceará, como requisito parcial à obtenção do grau de bacharel em Engenharia de Software. Orientadora: Profª. Dra. Rainara Maia Carvalho

Quixadá

2019

Dados Internacionais de Catalogação na Publicação Universidade Federal do Ceará

Biblioteca UniversitáriaGerada automaticamente pelo módulo Catalog, mediante os dados fornecidos pelo(a) autor(a)

R37a Ribeiro, Matheus Gomes Rios. Análise de comentários de lojas de aplicativos através das heurísticas de usabilidade / MatheusGomes Rios Ribeiro. – 2019. 50 f. : il. color.

Trabalho de Conclusão de Curso (graduação) – Universidade Federal do Ceará, Campus de Quixadá,Curso de Engenharia de Software, Quixadá, 2019.

1. Usabilidade. 2. Heurísticas . 3. Avaliação de aplicativo. I. Título. CDD 005.1

Orientação: Profa. Dra. Rainara Maia Carvalho.



Trabalho Conclusão de Curso apresentado ao Curso de Graduação em Engenharia de Software, do campus Quixadá, da Universidade Federal do Ceará, como requisito parcial à obtenção do grau de bacharel em Engenharia de Software.

Aprovada em: ___/___/______.

BANCA EXAMINADORA

________________________________________ Profa. Dra. Rainara Maia Carvalho (Orientadora)

Universidade Federal do Ceará (UFC)

_________________________________________ Profa. Dra. Andréia Libório Sampaio Universidade Federal do Ceará (UFC)

_________________________________________ Profa. Dra. Ingrid Teixeira Monteiro

Universidade Federal do Ceará (UFC)

Aos meus pais que sempre acreditaram em mim, e me passam a segurança de que sempre acreditarão. Você pai, é meu arauto dos sonhos, o que lembra que as coisas devem ser almejadas e perseguidas, e você mãe, é minha maior inspiração, a mulher mais forte que eu conheço.Vocês são uma sinfonia doce na balbúrdia sonora que é este mundo.

AGRADECIMENTOS

Às finas linhas do destino, que me trouxeram a este mundo, que me aproximam e

distanciam de pessoas, que me presenteiam todo dia com uma possibilidade diferente, que me

permite sentir do melhor ao pior sentimento humano.

Aos meus pais, Francisca e Marconi Rios, que são os mastros principais deste

navio, permitindo-o que navegue em águas mais distantes e profundas. Que também são

bússolas, me apontando o norte, sempre o caminho de voltar para casa.

As minhas irmãs, Nádia e Clara Maria, que sempre estiveram comigo, tentando

desvendar os segredos de se viver. Assim como meus primos Péricles, Naiara Rios e outros.

Aos meus avós, Isabel, Nair e Gregório, que me enchem de amor incondicional,

me ajudaram e ajudam em cada etapa da minha vida, sempre presentes.

À memória da minha madrinha Joana, que foi minha avó por escolha, vou

carregar suas lembrança, no coração, até o fim dessa vida.

Aos meus amigos que fiz em Quixadá, Marcelo, Veyber, Arthur, Gelderson,

Gustavo e todos os outros que me fizeram gostar mais ainda deste estado. Também a Luanna,

Jéssica, Karol, João e outros amigos que fiz na minha cidade natal e ainda carrego no peito.

Por fim, à minha orientadora Rainara Maia por todo auxílio e paciência para

aguentar todo meu ímpeto argumentativo.

“Qualquer um que não tenha cometido um erro

nunca tentou algo novo” - Albert Einstein

RESUMO

Atualmente a maioria dos aplicativos móveis são obtidos através de lojas virtuais, tal como a

Play Store do Google. Nessas lojas, existe um espaço destinado a comentários, nos quais os

usuários reportam sua opinião sobre o uso. Essas opiniões normalmente estão relacionadas

com a Usabilidade, requisito essencial para o sucesso de sistemas interativos. Uma das formas

utilizadas para avaliar a Usabilidade é a utilização de heurísticas, a qual é realizada com

especialistas. No entanto, acreditamos que os comentários das lojas online tem um grande

potencial para apoiar esse tipo de avaliação. Portanto, esse trabalho tem como objetivo

investigar a presença de heurísticas de Usabilidade nos comentários dos usuários. Os

resultados apresentam condições possibilitadoras para o uso satisfatório de heurísticas em

comentários.

Palavras-chave: Usabilidade. Avaliação Heurística. Comentários Online. Lojas de

Aplicativos.

ABSTRACT

Most mobile applications are currently obtained through online stores, such as Google Play

Store. In these stores, there is a space for comments, in which users report their opinion on the

use. This feedback is usually related to Usability, an essential quality characteristic for the

success of interactive systems. One of the strategies used to evaluate Usability is through

heuristic evaluation, performed by experts. However, we believe that online store reviews

have a ́great potential to support this kind of evaluation. So, this work aims to investigate the

presence of heuristics in the comments of the users. The results present enabling conditions

for applying this idea in heuristic evaluation.

Keywords: Usability. Heuristic Evaluation. Online Reviews.

LISTA DE FIGURAS

Figura 1 - Visão geral da metodologia ..................................................................... 24

LISTA DE GRÁFICOS

Gráfico 1 - Comparação de concordância entre os especialista ………………. 30

Gráfico 2 - Números de classificações das heurísticas por aplicativo ……….... 39

Gráfico 3 - Classificações Netflix ………………………………………………... 40

Gráfico 4 - Classificações Evernote ………………………………………….... 41

Gráfico 5 - Classificações Facebook …………………………………………….. 41

Gráfico 6 - Classificações Whatsapp ……………………...................................... 42

Gráfico 7 - Classificações Pou ………………………………………………….... 42

Gráfico 8 - Referências presentes nos comentários de todos os aplicativos ……... 43

Gráfico 9 - Quantidade de referências por comentários …………………………. 43

LISTA DE TABELAS

Tabela 1 - Comparação dos trabalhos relacionados com este trabalho ……....... 21

Tabela 2

Tabela 3

Tabela 4

- Aplicativos escolhidos e suas categorias correspondentes ………….

- Hora e data da captura dos comentários ………………………….....

- Perfil dos especialistas ………………………………………………

25

26

27

Tabela 5 - Discordâncias mútuas entre os especialistas ……………………….. 30

Tabela 6 - Exemplos de comentários sem conteúdo ………………………….... 44

LISTA DE ABREVIATURAS E SIGLAS

IHC Interação Humano-Computador

SUMÁRIO

1 INTRODUÇÃO ................................................................................................. 14

1.1 Objetivo Geral …….................................................................................. 15

1.2 Objetivo Específico .................................................................................. 15

2 TRABALHOS RELACIONADOS.................................................................. 16

2.1 Users − The Hidden Software Product Quality Experts? …………………. 16

2.2 A Survey of App Store Analysis for Software Engineering ……………….. 17

2.3 Automatic Classification of Non-Functional Requirements ……………… 18

2.4 Comparação dos trabalhos …………………………………………………. 18

3 FUNDAMENTAÇÃO TEÓRICA …………………………………………. 19

3.1 Definição de Usabilidade ……………………………………………………. 20

3.2 Avaliação de Interfaces …………………………………………………….... 20

3.3 Heurísticas de Nielsen ………………………………………………………. 21

4 METODOLOGIA ……………………………………………………………. 23

4.1 Etapa I:Seleção dos Aplicativos ……………………………………………... 24

4.2 Etapa II: Escolha dos Comentários …………………………………………. 26

4.3 Etapa III: Análise dos Comentários ………………………………………… 26

4.4 Etapa IV: Compilação e Relato dos Resultados ………………………….. 27

4.5 Etapa V: Avaliação dos Especialistas ……………………………………….. 28

5 RESULTADOS ………………………………………………………………. 29

5.1 Resultado da Avaliação dos Especialistas …………………………………... 29

5.2 Resultados finais …………………………………………………………….... 38

6 DISCUSSÃO ………………………………………………………………….. 44

7 CONCLUSÃO ................................................................................................... 46

REFERÊNCIAS ................................................................................................ 48

APÊNDICE A - TABELA UTILIZADA PELO PESQUISADOR ………... 49

APÊNDICE B – INSTRUMENTO DE COLETA DE DADOS …………… 49

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.ov3nz0x34ybr

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.yf4e2euigmxz

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.i97rg13ykpfn

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.735e1ei3ov39

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.5rtvz5kh36ws

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.tqs5fy1extgs

https://docs.google.com/document/d/1OFFBhQ0OOAo4QatagXWdFA_pLOOE5PGkU2pzxMufIEc/edit#heading=h.640v16fz8g4v

14

1 INTRODUÇÃO

Atualmente, a grande maioria dos aplicativos usados nos smartphones são obtidos, de

maneira paga ou não, através de aplicativos de lojas, como a Google Play da Google, ou a 1

App Store , da Apple. Essas lojas possuem algumas características comuns, como divisão de 2

aplicativos por tipos, classificação dos produtos através de uma nota ou um espaço destinado

a comentários, nos quais os usuários reportam sua opinião sobre o uso.

Criados para servir como um indicativo da qualidade daquele aplicativo, pesquisas

mostram números interessantes sobre esses feedbacks , por exemplo, aplicativos populares

como o Facebook, recebem em torno de 427 comentários por dia, Pagano, Maalej (2013).

Esse feedback é extremamente importante para que os desenvolvedores melhorem a qualidade

de uso dos aplicativos.

O principal atributo de qualidade com críticas nesses feedbacks é a Usabilidade, Groen

et al. (2017). Essa pode ser definida como o esforço necessário para uso de um sistema

interativo, também alusivo com a avaliação individual de tal uso, segundo a ISO 9126

(International Organization for Standardization, 2003, p. 68–76).

A Usabilidade diz respeito principalmente à capacidade cognitiva, perceptiva e motora

que os usuários empregam durante a interação, Barbosa e Silva (2010). Existem várias formas

de se avaliar a usabilidade de sistemas, uma delas é através da Avaliação Heurística

(NIELSEN; MOLICH, 1990).

Esse método acontece quando um avaliador utiliza um conjunto de heurísticas de

usabilidade como pontos de verificação. Heurísticas de Usabilidade são características

desejáveis da interação e da interface, quando há uma violação a uma heurística, essa é

registrada, Barbosa e Silva (2010) e Nielsen (1994). Nielsen (1994) define um conjunto de

dez heurísticas capazes de avaliar qualquer software.

Essa avaliação é feita através da inspeção manual da interface pelos avaliadores,

especialistas em Usabilidade. No entanto, acreditamos que os comentários das lojas online

tem um grande potencial para apoiar esse tipo de avaliação. Usando o filtro adequado, é

possível extrair vários tipos de dado desse montante.

1 https://play.google.com/store/apps?hl=pt_BR

2 https://www.apple.com/br/ios/app-store/

https://play.google.com/store/apps?hl=pt_BR

https://www.apple.com/br/ios/app-store/

15

Alguns trabalhos já se propuseram a analisar comentários para obter dados que

possam apontar para problemas de atributos de qualidade, tais como Confiabilidade,

Segurança, Groen et al. (2017) e Martin et al. (2017). Seguindo esse raciocínio, é interessante

entender com que extensão os comentários podem indicar violações de heurísticas de

usabilidade.

O restante deste documento está organizado da seguinte forma: no Capítulo 2 são

apresentados os objetivos do trabalho. No Capítulo 3, é apresentada uma análise de alguns

trabalhos que já fizeram uso de comentários em lojas de aplicativos, a fim de se ter uma base

para entender esta pesquisa. No Capítulo 4 é exposta a metodologia que foi utilizada para

alcançar os objetivos definidos. No Capítulo 5, os resultados obtidos são apresentados. Por

fim, nos Capítulos 6 e 7 são expostas a discussão e conclusão, respectivamente.

1.2 Objetivo Geral

Este trabalho tem como objetivo geral explorar a identificação de evidências das

heurísticas de Usabilidade, Nielsen (1994), nos comentários de lojas de aplicativos, a fim de

propiciar uma nova perspectiva para futuros trabalhos e ferramentas que poderão melhorar o

processo de identificação de problemas com interfaces através de comentários dos usuários.

1.3 Objetivos Específicos

Para chegar-se ao objetivo citado anteriormente de maneira satisfatória, dois objetivos

específicos foram definidos, são eles:

● Classificar um conjunto de comentários de acordo com as heurísticas de

usabilidade de Nielsen; e

● Analisar a frequência e configuração dos comentários com referências à

heurísticas de Nielsen

16

2 TRABALHOS RELACIONADOS

Os trabalhos relacionados a seguir tratam da obtenção de dados relevantes através do

uso de comentários em lojas de aplicativos. Eles divergem em alguns pontos específicos, mas

realçam o poder que essa técnica pode oferecer ao atual sistema de desenvolvimento de

software.

2.1 Users − The Hidden Software Product Quality Experts?

Estudo que tem por objetivo entender como o feedback pela loja de aplicativos de

usuários podem ser úteis Groen et al. (2017) para avaliar características de qualidade. Para

isso, os autores optaram por realizar seis passos, o primeiro deles foi selecionar os aplicativos,

cujos comentários deveriam ser analisados, considerando se ele era pago ou não, e o tema que

sua funcionalidade trata.

Em seguida eles definiram como escolher os comentários que seriam analisados. No

terceiro passo, eles definiram “tags” para ligar o escopo do feedback com elementos de

qualidade, e utilizaram o modelo de qualidade proposto na ISO 25010. Após isso, foi a vez de

fazer as análises e ligar a tag mais adequada a crítica.

O quinto passo consistia em exportar o que foi obtido em uma planilha, e verificar se

pelo menos duas das cinco pessoas, que realizaram o passo 4, apontaram a mesma tag em um

comentário analisado, para que dessa forma os dados a trabalhar fossem mais concisos e

menos passivos a erros de interpretação. Por fim, ocorreu a comparação do conteúdo

validado, levando em consideração suas características.

O exposto em alguns trechos desse trabalho teve grande influência na forma que foi

organizado este trabalho de TCC. Por exemplo, na escolha de usabilidade como atributo de

qualidade de medição, a partir de trechos como este:

“Linguistic structure of statements: In this study, we assessed the

statements tagged as “usability” and found that about half the

statements could be matched through language patterns (RQ2). For

example, many users describe their experience with the app’s

17

operability trough variations of word combinations including “(not)

easy to . . . ”, “. . .(not) very intuitive / user-friendly”, and “would like

to be able to . . . ”. However, the patterns shall be carefully

constructed. The first two given examples show a clear valence (either

positive or negative), while the third shows a request for quality. This

means that statements with a negative valence should require the

combination of a negation and a positive word (e.g., “not easy”), or

the use of a negative word (e.g., “hard”), while the same pattern could

forbid those words to find statements with 17 a positive valence.

Making a distinction in valence is important when using the statements

to elicit requirements because finding either many positive or many

negative statements about “usability” have different implications for

defining requirements” (GROEN et al., 2017, p. 7).

Os resultados obtidos foram de grande utilidade para profissionais da área de

engenharia de requisitos, uma vez que mostram comportamentos interessantes dos usuários

quanto às críticas, principalmente envolvendo a usabilidades do sistemas.

Este trabalho foi de grande importância como motivação, por definir alguns pontos

interessantes e relevantes quanto aos comentários nas lojas de aplicativos e os atributos de

qualidade. Sob o ponto de vista do autor deste trabalho, o artigo em questão abre precedentes

para outros trabalhos na área.

2.2 A Survey of App Store Analysis for Software Engineering

É um survey feito sobre os trabalhos envolvendo App Store e Engenharia de Software

do ano 2000 até novembro de 2015, Martin et al. (2017). São declarados quatro objetivos para

o trabalho: a) elaboração de definições formais para atributos técnicos e não-técnicos, de uso

para pesquisa analítica na App Store. b) Estudo sobre o crescimento dos trabalhos que fazem

análise da App Store. c) Elaboração da análise da escala de aplicativos usados, e o debate

sobre a progressão no futuro. d) Identificação da ideias chaves publicadas nesses trabalhos da

App Store.

18

Um dos pontos mais interessantes do trabalho é que os autores expõe diretrizes para

dados de extração, visando auxiliar futuros trabalhos que podem fazer uso de uma grande

quantidade de informações. Instruções de como a captura de dados podem ser mais

pertinentes para o projeto.

Por fim, os autores concluem que houve um aumento realmente significativo no

números de estudos empíricos que envolvem aplicativos de loja, de 2014 para 2015 o número

praticamente triplicou. Tal fenômeno expõe o reconhecimento dos comentários em aplicativos

de loja, como uma ferramenta de alto potencial para o fornecimento de dados.

2.3 Automatic Classification of Non-Functional Requirements from Augmented App User

Reviews

A fim de extrair informações valiosas sobre requisitos não-funcionais, de comentários

em lojas de aplicativos, esse trabalho, Lu e Liang (2017) tem como objetivo apresentar os 18

melhores métodos e ferramentas para automatizar tal processo de análise. O principal ponto

abordado no texto é responder qual dessas técnicas é mais eficaz. Os autores escolheram usar

quatro classificações para o que os comentários se tratavam, foram usabilidade, desempenho,

portabilidade e confiabilidade para comparar os quatro modelos de classificação, fazendo uso

dos comentários de dois aplicativos da App Store. Eles fizeram uso de algoritmos de

aprendizagem de máquina com uma fórmula matemática para testar a eficiência dos modelos

e ferramenta. No final é apresentado algumas tabelas contendo o número médio de críticas

relatadas divididas nas quatro categorias citadas e em requisitos funcionais.

2.4 Comparação dos Trabalhos

A Tabela 1 apresenta uma comparação entre os trabalhos relacionados e a proposta

deste trabalho. A principal diferença está no uso das heurísticas de usabilidade na análise dos

comentários.

19

Tabela 1- Comparação dos trabalhos relacionados com este trabalho

Critérios GROEN et al.,

2017

MARTIN et

al., 2017

LU; LIANG,

2017

Este Trabalho

1. Estudo sobre comentários em lojas de aplicativos

SIM

SIM

NÃO

SIM

2. Análise de atributos de qualidade

SIM

SIM

SIM

SIM

3. Análise de heurísticas nos comentários de lojas de aplicativos

NÃO

NÃO

NÃO

SIM

Fonte: Elaborado pelo autor

Apesar de tratarem pontos semelhantes, os trabalhos se diferem em pontos essenciais

na forma que abordam os comentários em lojas de aplicativos e seus objetivos. Por exemplo,

o primeiro Groen et al (2017) tem como principal foco estudar os atributos de qualidade

presentes nos feedback´s , mas não debate ferramentas úteis para análise e nem formas de

automatização destas.

Já o segundo trabalho, Martin et al (2017), procura apenas entender o cenário dessas

pesquisas, que envolvem comentários em lojas de aplicativo. Por fim, o terceiro Lu e Liang

(2017), da ênfase justamente em estudar formas de automatização, embora não trate

comentários em lojas de aplicativos.

20

3 FUNDAMENTAÇÃO TEÓRICA

Esse capítulo apresenta os conceitos fundamentais para entendimento e realização

deste trabalho: Definições de Usabilidade, Avaliação de Interfaces e Heurísticas de Nielsen.

3.1 Definição de Usabilidade Talvez um dos conceitos mais complexos na computação moderna. A usabilidade é o

termo usado para ligar a experiência de algum indivíduo com qualquer ferramenta ou objeto.

Sua eficácia se dá quando o usuário interage com o sistema e alcança seus objetivos

corretamente, conforme o esperado Barbosa e Silva (2010). Esse conceito também está

intrinsecamente ligado ao nível de satisfação do usuário com a experiência de usar o sistema.

Esse atributo de qualidade também se refere como o uso do sistema interativo no

trabalho é afetado pelas próprias características do usuário Barbosa e Silva (2010), portanto, é

de grande importância para o design levar isso em consideração na hora de elaboração da

interface.

E existem vários fatores que podem excluir pessoas de fazerem uso de algum sistema,

Benyon et al. (2005), alguns deles são: falta de entendimento por instruções complexas;

exclusões sociais por suposições mal feita dos criadores da interface; físicas por limitações do

usuário quanto a posições dos disponíveis de entradas.

Um exemplo desse fenômeno é que quando se é pedido a um usuário que visite um

site específico, em média, somente 66% das pessoas tem sucesso nesta tarefa. Segundo testes

realizados por Nielsen (NIELSEN; LORANGER, 2007).

Com certeza, um dos passos mais importantes para alcançar qualidade de usabilidade

em um sistema, durante o processo de desenvolvimento é a realização de avaliações de

interface, ela é uma atividade vital para se produzir um sistema interativo de alta qualidade de

uso, pois leva a identificação de problemas que poderiam prejudicar a experiência de uso do

usuário (BARBOSA; SILVA, 2010).

21

3.2 Avaliação de Interfaces

Existe vários métodos de avaliações de interfaces, a maioria deles podem ser descritas

como processos de observações e acompanhamento de usuários, Oliveira Netto (2010).

Benyon et al. (2005) classifica dois tipos de avaliação, baseadas em especialistas e em

participantes. Já Barbosa e Silva (2010) divide os métodos em inspeção, observação e

investigação.

Métodos baseados em investigação tem maior enfoque em descobrir problemas

específicos da interface. Porém, os resultados desses métodos podem ser subjetivos, por

conseguinte sua análise deve ser feita de forma cuidadosa. Entrevistas, questionários e grupo

de foco são exemplos desse tipo de método.

Os métodos baseados em observação se aproximam mais do contexto real de uso dos

sistemas, pois as técnicas presentes nessa classificação instruem os avaliadores a observar e

fazer anotações com base nos problemas que os participantes encontram, durante as

atividades. Outro ponto forte dessas avaliações é permitir o estudo de interações com grupos

de usuários específicos. Alguns exemplos delas são: Teste de usabilidade, método de

avaliação de comunicabilidade e prototipação em papel (BARBOSA; SILVA, 2010).

Já os métodos baseados em inspeção não envolvem usuários no processo, eles são

realizados por avaliadores com experiência, onde estes são instruídos a inspecionar

sistematicamente a interface a fim de encontrar problemas que prejudiquem a usabilidade. É

recomendado que os inspecionadores não estejam envolvidos no processo de

desenvolvimento da interface, a fim de que eles possam assumir uma posição neutra

(BARBOSA; SILVA, 2010).

Esses métodos surgiram como uma opção de baixo custo e a rapidez com que podem

ser implementados. Alguns exemplos de métodos de avaliação de interfaces por inspeção são:

Percursos cognitivos, inspeção semiótica e avaliação heurísticas (BARBOSA; SILVA, 2010).

3.3 Heurísticas de Nielsen

22

As heurísticas elaboradas por Nielsen (1994) tem como base um conjunto de diretrizes

que descrevem características ideais de interações e interfaces, Barbosa e Silva (2010). E há

uma série de fatores que motivam a escolha desse método, como a comprovada eficácia do

uso de heurísticas como forma de avaliação, Nilsen e Molich (1990), pelo fácil entendimento

e agilidade de aplicação.

Deve ser executada por pelo menos dois especialistas, onde eles irão inspecionar de

forma sistemática a interface em busca de problemas Barbosa e Silva (2010). Se o sistema em

questão exigir um conhecimento de um campo específico os avaliadores devem ser

preparados para tal, Nilsen (1994). As heurísticas propostas por Nielsen são:

1. Visibilidade do status do sistema ; Os usuários devem ser sempre avisados

sobre o que está acontecendo no sistema. Um exemplo de violação à essa

heurística é uma interface que reproduza um vídeo, mas não mostre o tempo de

duração nem quanto falta para seu fim.

2. Compatibilidade do sistema com o mundo real; O sistema deve ser capaz de

ser compatível com o mundo que o usuários se encontra, através de expressões

e conceitos que são familiares ao usuário, além de fazer com que as

informações apareçam de forma natural e lógica. Um exemplo de violação à

essa heurística é um sistema de edição de foto que use um símbolo grego para

representar a função de cortar e colar.

3. Controle do usuário e liberdade; O usuário deve sempre ter a liberdade de sair

de funções já iniciadas. Um exemplo de violação à essa heurística é uma rede

social que não permita apagar post´s ou editá-los.

4. Consistência e padrões ; O sistema deve ser coeso quanto a sua simbologia, seu

hardware e software, de forma que o usuário não tenha dúvida sobre a

funcionalidade de botões ou ações. Um exemplo de violação à essa heurística é

um sistema que use um símbolo para representar uma ação, mas em outra tela

use um símbolo diferente para a mesma ação.

5. Prevenção de erros; O sistema deve sempre estar preparado ao acontecimento

de erros, preveni-lo é melhor que avisá-lo quando o erro aconteceu. Um

exemplo de violação à essa heurística é um sistema que não peça confirmação

para excluir algo importante naquele contexto.

23

6. Reconhecimento em vez de relembrança ; O usuário deve ser capaz de

visualizar a melhor maneira de usar o sistema, ele não deve precisar lembrar de

símbolos ou de processos. Um exemplo de violação à essa heurística é quando

o usuário se depara com alguma função pouco usada no sistema, mas ele não

sugere nenhuma ação para as possíveis saídas.

7. Flexibilidade e eficiência de uso; O nível de proficiência do usuário deve ser

reconhecido e o sistema se adequado a ele, com atalhos ou botões de

comandos, eles devem ser invisíveis aos usuários inexperientes. Um exemplo

de violação à essa heurística é um sistema que não possua nenhuma tecla de

atalho, prejudicando a interação de usuários mais experientes.

8. Estética e design minimalista; A interface deve se ater apenas a mostrar

informações relevantes ao usuário, evitar informações desnecessárias ou não

usadas com frequências. Um exemplo de violação à essa heurística são sites

que espalham informações que serão pouco utilizadas por toda interface.

9. Auxílio ao usuário para o reconhecimento, diagnóstico e correção de erro s;

O sistema deve ser claro quanto aos problemas que ocorrem a durante a

interação, e propor soluções simples e eficazes. Um exemplo de violação à

essa heurística são sistemas que usam formulários, mas quando algum erro de

informação acontece, não avisa em que campo ocorreu o problema.

10. Ajuda e documentação; O sistema deve possuir uma boa organização de

informações sobre a sua usabilidade, e contextualizada, e ela deve ser

facilmente encontrada. Um exemplo de violação à essa heurística é quando um

sistemas requisita uma informação pouco utilizada pelo usuário, mas não

sugere nenhum local onde encontrá-la.

24

4 METODOLOGIA

A fim de se obter os resultados desejados, foram definidas cinco etapas para que a

pesquisa tenha uma base sólida e simples de ser entendida e replicada. Também foi pensada

de tal maneira que sejam mínimas as ameaças a validade. Tais passos, foram inspirados a

partir da leitura de trabalhos já realizados (GROEN et al., 2017) (MARTIN et al., 2017)..

Para se chegar às respostas das perguntas feitas, foram analisadas críticas à usabilidade

de alguns aplicativos, fazendo-se uso das heurísticas de Nielsen. A Figura 1 mostra o fluxo

geral das atividades e os resultados de cada etapa do processo metodológico.

Figura 1- Visão Geral da Metodologia


4.1 Etapa I: Escolha dos aplicativos Para analisar comentários de usuários, é necessário, primeiro, estabelecer um conjunto

de aplicativos dos quais os comentários serão extraídos. Para minimizar possíveis ameaças à

validade da escolha desses aplicativos, este trabalho optou por escolher aplicativos populares,

que já estejam há algum tempo no mercado. O uso de sistemas novos e com públicos restritos

poderia causar a escassez de feedbacks, consequentemente prejudicando a análise de dados.

Assim como no trabalho de Groen et al. (2017), os aplicativos foram escolhidos de

acordo com as seguintes categorias:

25

1. Entretenimento, a qual envolve aplicativos de mídia como Netflix, Globo Play

e SportTV Play.

2. Produtividade, aplicativos de organização de atividades ou que auxiliam a

realização de tarefas, como Lanterna, Microsoft Word e Documentos Google.

3. Redes Sociais , aplicativos de interações com outros usuários. como Facebook,

LinkedIn e Snapchat.

4. Mensageiros, aplicativos focados em mensagens rápidas entre os usuários,

como Messenger Lite, WhatsApp e Telegram.

5. Jogos, aplicativos simples ou complexos de games, como Pou, slither.io e

Zombie Tsunami.

Isso porque essas são as cinco categorias que possuem aplicativos com o maior

número de comentários de usuários, de acordo com Pagano e Maalej (2013). Além disso, os

aplicativos são todos da plataforma Google Play, para que o responsável pela análise dos

comentários tenha acesso ao conteúdo escolhido. Um aplicativo de cada categoria, essa

escolha foi realizada entre os aplicativos mais populares. Dessa forma, este trabalho possui

um conjunto de 5 aplicativos apresentados na Tabela 2.

Tabela 2 - Aplicativos escolhidos e as categorias correspondentes

Categoria Aplicativo Descrição

Entretenimento Netflix 3 Provedora mundial de conteúdo audiovisual.

Produtividade Evernote 4 Aplicativos de organização de informações através de arquivo de notas.

Redes Sociais Facebook 5 Uma rede social, lançada em 2004, permite adicionar amigos, criar e

compartilhar mídias.

Mensageiros WhatsApp 6

Aplicativo multiplataforma que permite compartilhar mensagens quase que

instantaneamente.

3 https://play.google.com/store/apps/details?id=com.netflix.mediaclient; 4 https://play.google.com/store/apps/details?id=com.evernote; 5 https://play.google.com/store/apps/details?id=com.facebook.katana; 6 https://play.google.com/store/apps/details?id=com.whatsapp;

https://play.google.com/store/apps/details?id=com.netflix.mediaclient

https://play.google.com/store/apps/details?id=com.evernote

https://play.google.com/store/apps/details?id=com.facebook.katana

https://play.google.com/store/apps/details?id=com.whatsapp

26

Jogos Pou 7Um jogo onde você cria um “animal”

virtual, e você pode jogar mini-jogos para comprar comida e acessórios.


A Google Play facilitou a escolha de alguns aplicativos por apresentar os candidatos

em ordem de popularidade nas suas categorias adequadas, porém, algumas categorias

(Mensageiros e Redes Sociais) não possuíam correspondentes, e isso exigiu algumas

pesquisas a mais para o entendimento do objetivo e popularidade do app. Eles foram

escolhidos com base nos critérios apresentados na metodologia, e sua popularidade foi

verificada no dia 11/10/2018.

4.2 Etapa II: Escolha dos comentários

Para a criação do conjunto de dados a serem analisados, os 300 comentários mais

recentes, a partir da data da coleta foram coletados, já que esse trabalho não tinha o propósito

de realizar nenhuma filtragem. A exata hora e data da captura dos últimos feedback´s

presentes nas páginas dos aplicativos selecionados são apresentadas na Tabela 3.

Tabela 3 - Hora e data da captura dos comentários.

Aplicativo Data da Coleta Hora da Coleta

Netflix 31/10/2018 17:31

Evernote 21/01/2019 17:45

Facebook 19/02/2019 09:25

WhatsApp 14/03/2019 10:01

Pou 27/03/2019 23:08


Essas datas e horas foram onde ocorreu o download da página com os comentários.

Posteriormente, o pesquisador transcreveu manualmente todos os 300 últimos comentários

7 https://play.google.com/store/apps/details?id=me.pou.app

https://play.google.com/store/apps/details?id=me.pou.app

27

registrados para uma planilha. O número de comentários, foi escolhido por ser viável aos

especialistas e ao pesquisador realizarem as análises em um tempo hábil, também, é um

número amostral considerável, a fim de evitar problemas com ameaças a validade neste

aspecto. O pesquisador realizará 1500 de análise no total, e os especialistas 300.

4.3 Etapa III: Análise dos comentários Uma vez de posse dos comentários, as heurísticas de Nielsen foram utilizadas para

classificá-los. Ou seja, o pesquisador leu e interpretou o escopo do comentário, em seguida

classificou aquele comentário, se existe ou não referência à alguma heurística. Além de

registrar se ocorre a referência a mais de uma e quais heurísticas referenciada. Essa análise foi

realizada em um formulário de planilha eletrônica. Uma parte deste formulário pode ser visto

no Apêndice A.

Por exemplo, o seguinte comentário, “ Não dá para saber qual live é gravada e qual é

ao vivo”, é de um aplicativo chamado Periscope, da categoria entretenimento. Tal comentário

pode ser classificado como uma violação à heurística de Visibilidade do status do sistema

pois não apresenta um feedback para o usuário.

O primeiro aplicativo a ter os feedback´s analisados foi a Netflix. Em seguida,

Evernote, Facebook, Whatsapp e Pou.

4.4 Etapa IV: Avaliação com especialistas

Com o objetivo de demonstrar que a análise foi realizada de forma satisfatória,

adicionamos uma etapa de avaliação com especialistas. Nessa etapa, duas pessoas com

experiência em inspeções de interface utilizando heurísticas de Nielsen foram convidadas. O

perfil desses especialistas está descrito na Tabela 4.

Tabela 4 - Perfil dos Especialistas.

ID Grau de escolaridade Experiência com avaliações de Usabilidade

Área de Especialidade

#1 Mestre em Ciência da Computação

Entre 10 e 15 avaliações Experiência do Usuário, Avaliações de Usabilidade

28

#2 Mestrando em Ciência da Computação

> 6 avaliações Desenvolvimento de jogos, gamificação, avaliação heurística


Um formulário contendo todas as análises de todos os aplicativos foi enviado para

ambos os especialistas, o qual é apresentado no Apêndice B. Além disso, esse formulário

possui campos onde eles deveriam colocar se concordam ou não com a classificação proposta,

e caso exista a discordância, há outros dois campos onde deveriam colocara justificativa, e a

nova heurística referenciada (caso possuam sugestões).

4.5 Etapa V: Compilação e relato dos resultados Primeiramente, uma consolidação dos resultados das avaliações dos especialistas foi

realizada. O objetivo dessa consolidação é, primeiramente, verificar se houve discordância

dos dois especialistas com relação a cada uma das análises. Se os dois especialistas

discordassem, uma correção era feita. Por fim, após essas correções, uma consolidação de

todos os dados é realizada. Tal consolidação é apresentada em uma tabela que reúne todas as

violações às heurísticas de Nielsen, coletadas nas etapas previamente descritas.

29

5 RESULTADOS

Este capítulo apresenta os resultados das análises. Primeiramente, os resultados da

avaliação dos especialistas são apresentados. Após isso, os resultados finais são apresentados.

5.1. Resultados da Avaliação com Especialistas

Os especialistas avaliaram as análises apenas do aplicativo Netflix. Ambos

concordaram com a grande maioria das referências apontadas pelo pesquisador, como

podemos observar no Gráfico 1. Das 300 análises (correspondentes aos 300 comentários), o

Especialista 1 concordou com 252, o que corresponde a um grau de 84% de concordância. Já

o Especialista 2 concordou com 254 análises, correspondendo a 84,6% de concordância. Isso

pode mostrar que as análises foram na sua grande maioria satisfatórias, o que pode se repetir

nos outros aplicativos, mostrando um indicativo da confiabilidade dos resultados.

Gráfico 1 - Comparação de concordância entre os especialistas


A fim de tomar uma decisão sobre essas discordâncias, analisamos mais

profundamente elas. Apesar dos números de “discordância” da análise estarem parecidos, nem

sempre essas discordâncias eram compatíveis. Ou seja, nem sempre que um discordou, o

30

outro especialista discordou também. No entanto, observamos que a maioria eram

discordâncias mútuas (32 no total).

A Tabela 4 apresenta esses 32 comentários. Nela, pode-se perceber que 25 dos

comentários não foram inicialmente classificados com heurísticas, levando os especialistas a

discordarem deste resultado e, consequentemente, proporem classificações. Assim, como

forma de atender às sugestões dos especialistas, as heurísticas propostas foram adicionadas.

As heurísticas que tiveram mais sugestões foram a 1 - Visibilidade do status do

sistema, com 44 indicações e a 9 - Auxílio ao usuário para o reconhecimento, diagnóstico e 8

correção de erros, com 39 indicações.

Tabela 5 - Discordâncias mútuas entre os especialistas

Comentário 1 “Muito bom esse app uma opinião minha é q vcs poderiam por alguma opção pra mexer no volume sem apertar nenhum botão tlgd e tbm poderia ter um negócio pra ver a

Netflix mesmo mexendo em outro app por exemplo o whatsapp ia ser dahora ver um filme/série e conversar ao mesmo tempo ;) só uma opinião”

Análise do Pesquisador

Não há referência

Análise do Especialista 1

Justificativa: “O usuário (mais experiente) sente falta de atalhos (aceleradores) para aprimorar a sua interação: opção para alterar o volume sem usar os botões do dispositivo e opção para visualizar o vídeo enquanto usa outro aplicativo.”

Proposta: Classificar com heurística 7


Justificativa: “Usuário ta relatando como poder ser melhor e mais eficiente o uso dele com a aplicação.”

Proposta: Classificar com heurística 7

Comentário 2 “Não consigo mais acessar minha conta. Já desinstalei e instalei de novo e nada.”


Não há referência


Justificativa: “O sistema pode não estar recomendando uma solução apropriada para ajudar o usuário a se recuperar do erro (nesse caso, não conseguir acessar sua conta).”

Proposta: Classificar 9


Justificativa: “Se encaixa nas heuristias pela ausência de feeedback e pela não resolução do problem em si em saber o que fazer.”

Proposta: Classificar 1 e 9

8 Esse número corresponde à soma de indicação dos dois especialistas.

31

Comentário 3 “Sinto falta das sinopses. Não dá pra saber muito bem do que se trata antes de assistir.”


Não há referências


Justificativa:O comentário indica violação à heurística 8, visto que uma informação relevante - a sinopse - não está sendo apresentada ao usuário, não caracterizando o projeto como minimalista



Justificativa: “Falta de feedback das funcionalidades do sistema e conteúdos em si.”


Comentário 4 “Eu estava assistindo a série diário de um vampiro e a série sumiu aff odeio isso concertem por favor”




Justificativa: O usuário não entende porque uma série que ele estava assistindo foi removida do catálogo sem que ele tivesse sido avisado sobre isso.

Proposta: Heurística 1


Justificativa: Sumiu do "nada" problema de feedback


Comentário 5 “O browser deveria ser mais simples, os filmes e séries estão sempre repetidos quando se navega pelos géneros.”


Referência à heurística número 6


Justificativa: O comentário também indica violação à heurística 2, visto que mostrar conteúdos repetidos em diferentes gêneros não é compatível com a ordem natural e lógica do usuário; e ainda, a heurística 8, já que os conteúdos repetidos se tornam informações irrelevantes, diminuindo a visibilidade dos conteúdos com gêneros distintos.

Proposta: Heurísticas 2, 6 e 8


Justificativa:Ele acha que poderia ser mais simples e direto tbm, casaria as duas heuristica 6 e 1

Proposta: Heurísticas 1 e 9

Comentário 6 ‘Era um ótimo app mas com a última att se vc sair da conta vc e obrigado a desinstalar e reinstalar o app pq vc não consegue mais entrar, só dá erro”




Justificativa: O sistema não está ajudando o usuário a se recuperar do erro relacionado a não conseguir acessar seu perfil após um logout.


32


Justificativa: Problema que afeta a usabilidade também

Proposta: Heurística 1 e 9

Comentário 7 “O aplicativo não abre aaaaaaaa”




Justificativa: Estou em duvida se eh um problema de acesso, deixo para uma consolidação isso.

Proposta: 9


Justificativa: Problema que afeta ausabilidade também

Proposta: 1 e 9

Comentário 8 ‘Não consigo mais acessar a Netflix, só dá erro na rede, espero q consertem logo pq não vou pagar por uma coisa q não estou usando😡😡”




Justificativa: Problema semelhante aos relatados nos comentários 31 e 40

Proposta: 9


Justificativa: Não ta sabendo recuperar do erro nem que procedimento tomar

Proposta: 9

Comentário 9 “Dando erro (-14) quando não é isso é (7.4) muito ruim não está pegando no meu aparelho Samsung A9. Vou cancelar a assinatura. Nem a ajuda não pega, não posso falar com ninguém é quando pegou não resolveram nada. Pra acaba não pega mas nada nem no celular , e Internet Explorer... Netflix. Abre agora mas não roda o filme”




Justificativa: O usuário relata que não consegue solicitar ajuda (heurística 10). E também reclama que quando o aplicativo abre, não é possível ver o filme, nesse caso, a ajuda apropriado pode não estar sendo fornecida ao usuário para ele se recuperar do erro (heurística 9)

Proposta: 9


Justificativa: Não sabe como resolver um problema Proposta: 9 e 10

Comentário 10 “Antigamente baixada os filmes rapidinho, agora demora um século e não é minha internet pq assisto inúmeras coisas no not e baixo filme pelo site no not em questão de segundos. Nesse momento estou desde 11:15 e já são 12:24 o download ainda está em 59%.. Tá complicado.”


Referência a heurística 9.


Justificativa: O comentário não revela um problema sobre o aplicativo não auxiliar no reconhecimento, diagnóstico e recuperação de erro. O que o usuário relata é um problema de baixo desempenho para concluir a tarefa (baixar o filme).

Proposta: Retirada da referência

33


Justificativa: Impacta tambem nas eficiência de uso Proposta: Adicionar referência a heurística 7, além da 9

Comentário 11 “Depois da última atualização, se vc baixa off line ele trava, vc não consegue virar e nem ir pra frente ou parar trás o vídeo.. complicado”




Justificativa: O aplicativo não está deixando claro para o usuário os problemas que estão acontecendo, não ajudando ele a reconhecer, diagnosticar e se recuperar dos erros

Proposta: 9


Justificativa: Falta de feedback de informar o que foi atualizado e de não saber recuperar do erro

Proposta: 1 e 9

Comentário 12 “Após atualização que fiz em 29 de outubro o aplicativo apresenta problemas. Não consigo pausar, adiantar, voltar e a tela não vira quando eu vir o celular.”




Justificativa: Não está claro para o usuário os problemas que podem estar impedindo ele de alcançar seus objetivos, em que o aplicativo não está ajudando na recuperação de erros

Proposta: 9


Justificativa: mesma coisa do comentário anterior Proposta: 1 e 9

Comentário 13 “Hoje não tô conseguindo baixar e nem ver séries e filmes. E agora??”




Justificativa: Assim como nos comentários 142 e 143, o aplicativo deveria ajudar o usuário no reconhecimento, diagnóstico e recuperação de erros

Proposta: 9


Justificativa: Ocorreu um erro e o usuário não sabe se recuperar ou saber o que houve

Proposta: 1 e 9

Comentário 14 “Na esta abrindo. Diz que está com erro…”




Justificativa: O aplicativo não está auxiliando o usuário a se recuperar do erro.

Proposta: 9


Justificativa: Usuário perdido apó o erro Proposta: 9

Comentário 15 “Caros amigos, o App não está reconhecendo corretamente o chromecast na minha rede, as vezes percebe, mas logo trava e o mesmo problema não acontece em outros apps como YouTube.. Fica aí o meu report!”

34




Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro (problema de conexão do chromecast)

Proposta: 9


Justificativa: Proposta: 1 e 9

Comentário 16 “Aplicativo simplesmente não abre. Não consigo acessar o App a uns dias já.”




Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro.

Proposta: 9


Justificativa: Usuário em situação de erro e falta de feedback

Proposta: 9

Comentário 17 “A netflix não esta abrindo mais depois da atualização arrumem isso”




Justificativa: “O aplicativo não está auxiliando o usuário a reconhecer, diagnosticar e se recuperar do erro.”

Proposta: 9


Justificativa: Proposta: 1 e 9

Comentário 18 “Nesta última versao sumiu o ícone para conectar com o chrome cast”




Justificativa: “O usuário não consegue reconhecer na interface a opção de conexão com o chromecast, que deveria estar visível na interface. Problema semelhante ao relatado no comentário 114”

Proposta: 6


Justificativa: Proposta: 1

Comentário 19 “Péssima atualização, acabei de atualizar o aplicativo agora não consigo assistir pq ele sai sozinho”




Justificativa: O aplicativo não está ajudando o usuário a se recuperar do erro.

Proposta: 9


Justificativa: Não sabe contornar um problema Proposta: 9

35

Comentário 20 “Já troquei a senha da minha contas 3 vezes nos últimos meses e com pouco período de tempo aparece para eu trocar que minha senha está incorreta, sendo que só eu tenho acesso a conta e não a mudo. Quero que isso seja resolvido, já estou de saco cheio”




Justificativa: O aplicativo não está ajudando o usuário de forma apropriada a reconhecer, diagnosticar e se recuperar do erro relacionado ao reconhecimento da sua senha.

Proposta: 9


Justificativa: Usuário não consegue se precaver do erro e nem sabe como resolver o problema

Proposta: 9 e 5

Comentário 21 “Não tô conseguindo baixar, o download não sai de 0%. E não, não é minha internet que tá com problemas.”




Justificativa: O aplicativo não está fornecendo feedback adequado para informar ao usuário o que está acontecendo atualmente.

Proposta: 1


Justificativa: problema de sbaer solucionar o erro e o feedback

Proposta: 1 e 9

Comentário 22 “Atualizou ontem e desde então não consigo mais assistir minha série e nem a encontro mais, sempre que pesquiso não acho”




Justificativa: O aplicativo não está fornecendo feedback apropriado para informar ao usuário porque a série que ele estava assistindo não está mais disponível.

Proposta: 1


Justificativa: Problema de feedback Proposta: 1

Comentário 23 “O app tá dando muito erros, tá saindo da minha conta sozinho e quando vou logar diz senha incorreta sendo que a senha tá certa e agora só dá para baixar 3 episódios por vez, não gostei.”




Justificativa: O aplicativo não está ajudando o usuário a reconher, diagnosticar e se recuperar dos erros (sair da conta sozinha e não reconhecer a senha do usuário).

Proposta:9


Justificativa: Proposta:9

Comentário 24 “Eu tava assistindo uma série e agora não encontro mais ela alguém me ajuda por

36

favor”




Justificativa: O aplicativo não está fornecendo feedback apropriado para informar ao usuário porque a série que ele estava assistindo não está mais disponível.

Proposta: 1


Justificativa: feedback Proposta: 1

Comentário 25 “Poxa eu tava assistindo uma série e derrepente a série sumio do app consertem isso por favor”




Justificativa: O aplicativo não informou ao usuário que uma série que ele estava assistindo foi excluída do catálogo. O usuário ficou com a sensação de que ela "sumiu".

Proposta: 1


Justificativa: Feedback Proposta: 1

Comentário 26 “A serie diario de um vampiro sumiu 😟😟”




Justificativa: O comentário pode indicar que o aplicativo não informou ao usuário sobre a exclusão de uma série. Problema semelhante ao relatado no comentário 277.

Proposta: 1



Comentário 27 Sou apaixonada pela Netflix, porém depois dessas atualizações os filmes bons que tinha sumiram tudo.E as temporadas de The Fosters e entre outras séries sumiram do nada 😕




Justificativa: O aplicativo não está informando ao usuário porque determinados filmes e séries foram excluídos do catálogo. Ele se sente perdido sem saber porque esse itens "sumiram".

Proposta: 1



Comentário 28 “O aplicativo não quer muda a língua nem tirar ou por legenda”


Referência a heurística 7

37


Justificativa: Além da heurística 7, o aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro (heurística 9), por exemplo, tirar ou colocar legenda.

Proposta: 7 e 9


Justificativa: Acho que seria mais a liberdade e controle do usuário essa ação do que propriamente a 3

Proposta: 3

Comentário 29 “Sumiram com minha série! Coloquem logo the vampire diarie de novo "diário de um vampiro"”




Justificativa: O aplicativo não informou ao usuário de forma apropriada sobre a exclusão de uma série do catálogo

Proposta: 1



Comentário 30 “Bom dia. Tem 2 dias que não consigo utilizar normalmente o app. O que está acontecendo? Na maioria não consigo abrir o app ou quando consigo o aplicativo para e fecha tudo.”




Justificativa: O aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro.

Proposta: 9


Justificativa: Aplicativo deveria dar alguma mensagem pra direiconar o problema

Proposta: 9

Comentário 31 “Atualizei não abre mais. ATENÇÃO PAIS! Conteúdo infantil tem que ser supervisionado.”




Justificativa: O comentário pode indicar que o aplicativo não está ajudando o usuário a reconhecer, diagnosticar e se recuperar do erro. Problemas semelhantes foram relatados em outros comentários, como no 57.

Proposta: 9


Justificativa: "Atualizei não abre mais." Classifcaria como a heuristica 9

Proposta: 9

Comentário 32 “Não estou conseguindo entrar da so erro pa acessar”



Análise do Justificativa: Novamente o aplicativo não está Proposta: 9

38

Especialista 1 auxiliando o usuário a reconhecer, diagnosticar e se recuperar do erro.


Justificativa: Aplicativo deveria dar alguma mensagem pra direiconar o problema

Proposta: 9


No caso dos comentários em que um especialista concordou e o outro não, também

foram adicionadas às heurísticas sugeridas. Dessa forma, a decisão final estava sempre

relacionada com a adição de heurísticas aos comentários.

A próxima seção apresenta os resultados finais, inclusive considerando as novas

classificações dos especialistas, no caso do Netflix.

5.2 Resultados Finais

Essa Seção apresenta a frequência de classificações das heurísticas encontradas na

análise dos trezentos comentários de cada aplicativo. O Gráfico 2 apresenta a quantidade total

de comentários classificados com heurísticas de cada aplicativo das cinco categorias distintas.

Gráfico 2 - Números de classificações das heurísticas por aplicativo


39

De maneira geral, através do Gráfico 1, foi possível observar que um número baixo de

comentários foi classificado com violações às heurísticas de Nielsen. Dos 1500, apenas 152

foram classificados (13%).

Os comentários que não possuem violações às heurísticas de Nielsen normalmente tem

um tamanho parecido, a grande maioria dos comentários tem tamanho curto, algo até 50

caracteres. A maioria deles, que não possuem referência são de feedback´s bem curtos, de

uma ou duas palavras ou emojis . Outros se referem a funcionalidades do sistemas, sugerindo

alguma nova ou modificações nas já existentes.

Como é possível observar no Gráfico 1, o aplicativo com mais classificações foi o

Netflix. Muitos dos reviews estavam relacionados sobre a retirada de um conteúdo (i.e. ,

seriados retirados do ar). Nesse caso, houve uma dificuldade inicial em entender se essas

retiradas de conteúdos, sem aviso prévios aos usuários que assistiam, eram problemas de

Usabilidade. Como essa situação poderia ser atenuada com uma simples mensagem no último

mês daquele conteúdo na plataforma, resolvemos classificá-los como problemas de

usabilidade. Porém, é importante dizer que é possível que essa ausência de informação ao

usuário tenha sido uma escolha relacionada às regras de negócio da Netflix.

O segundo aplicativo com mais comentários classificados foi o Evernote. A

característica mais presente nos feedback´s analisados estava relacionada com críticas a última

atualização implementada. Outra característica marcante foi a constante presença de

reclamações ao fato de o aplicativo apenas disponibilizar todas suas funções apenas para

usuários pagantes.

Facebook e Whatsapp obtiveram números aproximados de classificações, 15 e 12

respectivamente. Por último e com poucas classificações foi o jogo Pou. O que foi notável é

que há vários feedback´s defendendo ou ofendendo a qualidade do sistema, a gigante maioria

deles sem crítica nenhuma a qualquer característica concreta do aplicativo, provavelmente os

usuários apenas refletiam uma boa ou má experiência de maneira geral.

Os Gráficos 3, 4, 5, 6 e 7 apresentam as quantidades de heurísticas referenciadas em

cada um dos cinco aplicativos estudados.

40

Gráfico 3 - Classificações do Netflix


Gráfico 4 - Classificações do Evernote


41

Gráfico 5 - Classificações do Facebook


Gráfico 6 - Classificações do Whatsapp


42

Gráfico 7 - Classificações do Pou


Os dados anteriormente apresentados foram compilados no Gráfico 8, apresentado a

seguir, onde é possível verificar todas as heurísticas encontradas nos comentários dos cinco

aplicativos e suas frequências.

Gráfico 8 - Classificações de heurísticas por aplicativo.


43

Adicionalmente, é interessante apresentar que foi verificado a presença de alguns

comentários referenciando mais de uma heurística. O Gráfico 9 apresenta a quantidade de

heurística por feedback .

Gráfico 9 - Quantidade de referências por feedback-pesquisador.


44

6 DISCUSSÃO

A diferença de percentual das classificações das heurísticas entre os aplicativos

analisados é bastante chamativa. Uma grande quantidade de comentários coletados não foram

classificados com heurísticas.

Nos comentários dos aplicativos Whatsapp e Facebook, existe a presença de vários

feedback´s com intuito de apenas promover o contato pessoal do usuário, como links para o

perfil na rede social e número do mensageiro. Assim, é possível afirmar que se um avaliador

fosse refazer as análises desses aplicativos, ele/ela poderia simplesmente ignorar tais

comentários. Poupando bastante tempo e permitindo que o avaliador tivesse mais feedback´s

analisados com a mesma quantidade de tempo.

Já no aplicativo Pou, foi possível verificar um fenômeno diferente, que chegou a

exercer uma influência ainda maior que o citado anteriormente. A grande maioria dos

comentários retratavam o amor ou ódio do usuário pelo jogo, sem criticar diretamente

qualquer característica. Esses feedback´s apenas afirmavam que o sistema era ruim ou bom, as

vezes buscando ofender quem tinha a opinião oposta.

Existem outras áreas na Internet em que os usuários de um sistema podem fornecer

algum feedback, e acontece esse mesmo fenômeno, como comentários de notícias, redes

sociais e até mesmo em comentários de outros jogos em lojas de aplicativos. Porém, não é

proposta deste trabalho desenvolver essa discussão.

Foi possível observar que os dois aplicativos com maior percentual de classificações

das heurísticas (Netflix e Evernote) receberam atualizações um pouco antes da captura dos

comentários. Consequentemente, o que os usuários escreveram continha muitas críticas às

mudanças que aconteceram, positivas ou negativas.

Ademais, muitos dos comentários analisados só contém um símbolo, como um emoji,

ou uma palavra apenas, como “amei”. Se no processo de coleta fossem retirados esses

feedback´s, o percentual de classificações iria aumentar notavelmente, uma vez que nenhum

desses referenciam alguma heurística. A Tabela 6 apresenta exemplos de comentários desse

tipo, sem nenhum conteúdo que possa ser aproveitado para uma avaliação heurística.

45

Tabela 6 - Exemplos de comentários sem conteúdo da Netflix

Número do comentário Comentário Análise

8 “Shopping” Sem referências

13 “Amooooooooo” Sem referências

20 “Bom” Sem referências

50 “👍 ” Sem referências

72 “Melhor da vida” Sem referências

77 “😍😍😍 ” Sem referências

282 “Bom muito bom” Sem referências Fonte: Elaborado pelo autor

Dado o exposto, podemos concluir que os números brutos para se encontrar uma

referência às heurística de Nielsen são bem baixos. Porém, analisando o cenário e todos os

processos envolto desses números, podemos enxergar um potencial bem claro na análise de

feedback´s em lojas de aplicativos.

Por exemplo, os feedback´s com uma única palavra representam 14% do total de

comentários no aplicativo Netflix, e nenhum deles fazem qualquer referência às heurísticas.

Desenvolvendo ainda mais essa ideia, os comentários com até duas palavras, que também não

possuem nenhuma referência às heurísticas, representam 28,7% do total.

Porém a escolha do autor em não filtrar esses comentários neste estudo foi para

conseguir dados sólidos da frequência desses comentários. Se houvesse algum filtro não

haveria esses dados, nem se poderia analisar se eles são realmente vazios, quanto a referências

à heurísticas de Nielsen.

Não foi verificado a existência de comentários muito curtos que fazem referências às

heurísticas, isso leva a conclusão de que existe um recorte ideal para as escolhas de

comentários a serem analisados. O descobrimento desse número exige um estudo próprio, e

provavelmente ele seja diferente para cada categoria de aplicativo analisado.

Ou seja, a análise de comentários em lojas de aplicativo usando as heurísticas pode

sim ser uma ferramenta bem útil para encontrar problemas de usabilidade em um sistema. E

ela se encaixa perfeitamente em alguns cenários específicos, como quando um sistema acaba

46

de receber uma atualização, e os desenvolvedores querem descobrir alguma disfunção que

pode estar presente na interface.

Ademais, é bem evidenciado que as duas heurísticas mais referenciadas foram a 1 e a

9, que, respectivamente, tratam da visualização do status do sistemas e ajuda a prevenção de

erros. São fatores que estão diretamente ligados a experiência do usuário na utilização do

sistema e é possível realizar mais análises a partir dessa evidência.

A recorrência de referências à heurística 1 se deu principalmente pela análises dos

comentários do aplicativo Netflix, uma vez que os comentários foram capturados logo após

uma atualização, onde foi retirado alguns conteúdos populares da plataforma de streaming.

Como o sistema não faz algum tipo de aviso quando o conteúdo será retirado, vários usuários

relataram o problema de estarem assistindo a série e de um dia para o outro não possuírem

mais acesso ao conteúdo.

E as múltiplas referências a heurística 9 (Auxílio ao usuário para o reconhecimento,

diagnóstico e correção de erros), ocorreu principalmente pois os usuários reportaram erros,

independente da sua gravidade. O pesquisador e especialistas acabaram enquadrando tais

feedback´s na categoria dessa heurística, uma vez que é possível descobrir meios que

previnam tais erros.

A análise da recorrência das classificações das heurísticas é de grande utilidade para

futuras pesquisas. Por exemplo, através desses números é possível saber quais aspectos mais

reportados pelos comentários, quais heurísticas mais referenciadas, quando as referências são

mais presentes, entre outros usos que podem surgir com o tempo.

47

7 CONCLUSÃO

Este trabalho procurou identificar e entender referências das heurísticas de Nilsen em

comentários de lojas de aplicativo.

Para se atingir tal objetivo, foi estudado a existência dessas referências e sua

frequência em um número bruto de feedback´s, capturados seguindo a ordem de mais

recentes, em determinada hora e data. Comentários retirados de aplicativos escolhidos em

cinco categorias distintas.

Posteriormente, foram realizadas análises de todos os comentários. Em alguns destes,

também foi usado o auxílio de dois especialistas. Identificadas as referências, foi possível

entender melhor a frequência com que ocorreram e como ocorreram.

Através dos resultados numéricos apresentados, é possível verificar a possibilidade do

uso da análise de referências às heurísticas de Nielsen em comentários de lojas de aplicativos,

como uma forma alternativa de avaliação da usabilidade em um sistema.

Este trabalho também apresenta as circunstâncias e os cenários onde essa forma de

avaliação seria mais útil, considerando o contexto de funcionamento do mercado de

aplicativo, com atualizações e ciclo de vida desses sistemas.

Como este trabalho tem caráter mais exploratório, é possível enxergar várias

pesquisas que podem surgir a partir das conclusões apresentadas aqui.

O primeiro trabalho a ser sugerido é um estudo que busque um tamanho “ideal” para

se achar comentários com referências às heurísticas. A fim de apresentar um filtro para a

captura automatizada e aumentando as chances dos comentários com conteúdo mais rico

serem capturados e analisados, com o menor quantidade de recursos possível.

Outro trabalho sugerido, seria um estudo para o aperfeiçoamento de classificação das

referências à heurísticas com o objetivo de uso em comentários de lojas de aplicativo. Seria

um passo importante para uma possível automatização do processo.

48

REFERÊNCIAS

BARBOSA, S.; SILVA, B. Interação humano-computador. [S.l.]: Elsevier Brasil, 2010.

BENYON, D.; TURNER, P.; TURNER, S. Designing interactive systems: people, activities, contexts, technologies. [S.l.]: Pearson Education, 2005.

GROEN, E. C.; KOPCZYNSKA, S.; HAUER, M. P.; KRAFFT, T. D.; DOERR, J. Users—the hidden software product quality experts?: A study on how app users report quality aspects in online reviews. In: IEEE. Requirements Engineering Conference (RE), 2017 IEEE 25th International. [S.l.], 2017. p. 80–89.

ISO/IEC 9126-1. Engenharia de software-Qualidade de produto. Parte, v. 1, n. 58, p. 68–76, 2003.

LU, M.; LIANG, P. Automatic classification of non-functional requirements from augmented app user reviews. In: ACM. Proceedings of the 21st International Conference on Evaluation and Assessment in Software Engineering. [S.l.], 2017. p. 344–353.

MARTIN, W.; SARRO, F.; JIA, Y.; ZHANG, Y.; HARMAN, M. A survey of app store analysis for software engineering. IEEE transactions on software engineering, IEEE, v. 43, n. 9, p. 817–847, 2017.

OLIVEIRA NETTO, Alvim Antonio de. IHC e a engenharia pedagógica : interação humano computador. Florianopolis: VisualBooks, 2010.

NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na web. Rio de Janeiro: Elsevier, 2007.

NIELSEN, J. Usability engineering . [S.l.]: Elsevier, 1994.

NIELSEN, J.; MOLICH, R. Heuristic evaluation of user interfaces. In: ACM. Proceedings of the SIGCHI conference on Human factors in computing systems. [S.l.], 1990. p. 249–256.

PAGANO, D.; MAALEJ, W. User feedback in the appstore: An empirical study. In: IEEE. Requirements Engineering Conference (RE), 2013 21st IEEE International . [S.l.], 2013. p. 125–134.

49

APÊNDICE A - TABELA UTILIZADA PELO PESQUISADOR

APÊNDICE B – INSTRUMENTO DE COLETA DE DADOS

A N Á L I S E D E C O M E N T Á R I O S D E L O JA S D E A P L I C A … · 2020. 1. 31. ·...

Documents

Transcript of A N Á L I S E D E C O M E N T Á R I O S D E L O JA S D E A P L I C A … · 2020. 1. 31. ·...