A contribuição da A contribuição da história oral e dos história oral e dos testes de campotestes de campo na pesquisa de arquitetura de na pesquisa de arquitetura de informaçãoinformação
Luiz AGNERLuiz AGNERLaboratório de Ergonomia e UsabilidadeLaboratório de Ergonomia e UsabilidadePesquisa de doutorado, PUC-RioPesquisa de doutorado, PUC-Rio
ApresentaçãoApresentação
Designer e ilustradorDesigner e ilustrador Tecnologista em informações do IBGETecnologista em informações do IBGE Professor (UniverCidade-Rio)Professor (UniverCidade-Rio) Doutorando em Design (PUC-Rio)Doutorando em Design (PUC-Rio)
ObjetoObjeto
IntroduçãoIntrodução
“O IBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e – principalmente - informação em conhecimento.”
IntroduçãoIntrodução
ProblemaProblema
ProblemaProblema
Comunidade do Orkut - “para todos os Comunidade do Orkut - “para todos os pesquisadores, universitários ou não, que:pesquisadores, universitários ou não, que:– sentem calafrios quando precisam procurar algum dado sentem calafrios quando precisam procurar algum dado
no site;no site;– sabem que o lema do site é "quem procura NUNCA sabem que o lema do site é "quem procura NUNCA
acha!";acha!";– sabem que é mais fácil descobrir qualquer informação sabem que é mais fácil descobrir qualquer informação
lendo borra de café do que acessando o site;lendo borra de café do que acessando o site;– na hipótese de encontrar a planilha desejada, ela na hipótese de encontrar a planilha desejada, ela
provavelmente fará seu computador trancar;provavelmente fará seu computador trancar;– reconhecem o mérito dos pesquisadores do instituto reconhecem o mérito dos pesquisadores do instituto
mas quase nunca acham os dados pesquisados por mas quase nunca acham os dados pesquisados por eles.”eles.”
Pesquisa de AIPesquisa de AI
(ROSENFELD eMORVILLE)
Pesquisa de AIPesquisa de AI
Contexto
(ROSENFELD eMORVILLE)
Objetivos da organização, políticas, cultura, tecnologia e recursos humanos
Pesquisa de AIPesquisa de AI
Contexto
Conteúdo
(ROSENFELD eMORVILLE)
Objetivos da organização, políticas, cultura, tecnologia e recursos humanos
Documentos, formatos/tipos, objetos,
metadados, estrutura existente
Pesquisa de AIPesquisa de AI
Contexto
UsuáriosConteúdo
(ROSENFELD eMORVILLE)
Objetivos da organização, políticas, cultura, tecnologia e recursos humanos
Perfil dos usuários, identificação das audiências, tarefas, necessidades, comportamento de busca de informação, experiência, vocabulário
Documentos, formatos/tipos, objetos,
metadados, estrutura existente
Arquitetura de Arquitetura de informaçãoinformação Definições de AIDefinições de AI
– AI é a atividade que combina a aplicação AI é a atividade que combina a aplicação de esquemas de navegação, de de esquemas de navegação, de organização e de rotulagem dentro de um organização e de rotulagem dentro de um sistema informacional.sistema informacional.
– AI é o Design estrutural de um espaço de AI é o Design estrutural de um espaço de informação com o objetivo de facilitar as informação com o objetivo de facilitar as tarefas e o acesso intuitivo aos conteúdos. tarefas e o acesso intuitivo aos conteúdos.
Arquitetura de Arquitetura de informaçãoinformação
– AI é a arte e a ciência de estruturar e AI é a arte e a ciência de estruturar e classificar classificar websiteswebsites e intranets para e intranets para auxiliar as pessoas a encontrar e a auxiliar as pessoas a encontrar e a gerenciar informação. gerenciar informação.
– AI é uma disciplina emergente e uma AI é uma disciplina emergente e uma comunidade de prática profissional.comunidade de prática profissional. (Morville)(Morville)
Arquitetura de Arquitetura de informaçãoinformação Papéis do arquiteto:Papéis do arquiteto:
– Clarificar a missão e a visão do Clarificar a missão e a visão do sitesite fazendo fazendo o balanceamento entre necessidades da o balanceamento entre necessidades da organização e as necessidades de seus organização e as necessidades de seus usuários.usuários.
– Determinar qual o conteúdo e a Determinar qual o conteúdo e a funcionalidade que o funcionalidade que o sitesite conterá. conterá.
– Especificar como usuários encontrarão Especificar como usuários encontrarão informação no informação no sitesite, por meio da definição da , por meio da definição da sua organização, navegação, rotulagem e sua organização, navegação, rotulagem e sistemas de busca.sistemas de busca.
Arquitetura de Arquitetura de informaçãoinformação Componentes da AI:Componentes da AI:
– Sistemas de OrganizaçãoSistemas de Organização – como é apresentada a – como é apresentada a organização e a categorização do conteúdo.organização e a categorização do conteúdo.
– Sistemas de RotulaçãoSistemas de Rotulação – signos verbais – signos verbais (terminologia) e visuais (icônicos).(terminologia) e visuais (icônicos).
– Sistemas de NavegaçãoSistemas de Navegação – formas de o usuário se – formas de o usuário se mover através do espaço.mover através do espaço.
– Sistemas de BuscaSistemas de Busca – define as perguntas que o – define as perguntas que o usuário pode fazer e o conjunto de respostas do usuário pode fazer e o conjunto de respostas do banco de dados.banco de dados.
Ciência da informaçãoCiência da informação
O métodoO método
Concepções filosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003).
Existem duas grandes abordagens: a quantitativa e a qualitativa.
O métodoO método
Abordagem quantitativa - caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos.
O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes.
Os critérios são a verificação, a demonstração, os testes e a lógica matemática.
O métodoO método
Abordagem qualitativa - não emprega instrumentos estatísticos como base para a análise.
É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais.
Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa visão holística.
O métodoO método
História oral Testes de usabilidade no campo
História oralHistória oral
A história oral - como método de pesquisa - A história oral - como método de pesquisa - se revela importante instrumento para se revela importante instrumento para compreensão das construções das compreensão das construções das estratégias de ação e das representações, de estratégias de ação e das representações, de grupos ou de indivíduos, em uma dada grupos ou de indivíduos, em uma dada sociedade.sociedade.
FERREIRA, Marieta (coord.) FERREIRA, Marieta (coord.) “Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.
História oralHistória oral
É utilizada no registro da história de grandes É utilizada no registro da história de grandes empresas e de organizações empresas e de organizações governamentais. O registro oral mostra-se a governamentais. O registro oral mostra-se a única possibilidade de recuperar um passado única possibilidade de recuperar um passado que - apesar de recente - deixou poucos que - apesar de recente - deixou poucos traços. traços.
DIAS, José L. Mattos.DIAS, José L. Mattos.“Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.
História oralHistória oral
Permite abordar o mundo fechado da Permite abordar o mundo fechado da burocracia “burocracia “de dentro”, rachando a fachada de dentro”, rachando a fachada de neutralidade e de racionalidade, que de neutralidade e de racionalidade, que busca isolá-lo do público “externo”. busca isolá-lo do público “externo”.
Motta, Marly Silva.Motta, Marly Silva.“Entrevistas: abordagens e usos da história oral”. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.Ed.FGV, 1994.
História oralHistória oral
Privilegia a recuperação do vivido conforme Privilegia a recuperação do vivido conforme concebido por quem o viveu. concebido por quem o viveu.
É um diálogo entre entrevistado e É um diálogo entre entrevistado e entrevistadores, uma construção e uma entrevistadores, uma construção e uma interpretação do passado, atualizada através interpretação do passado, atualizada através da linguagem falada. da linguagem falada.
Não é fator negativo o fato de o depoente Não é fator negativo o fato de o depoente poder “distorcer” a realidade, ter “falhas” de poder “distorcer” a realidade, ter “falhas” de memória ou “errar” em seu relato.memória ou “errar” em seu relato.(ALBERTI).(ALBERTI).
História oralHistória oral
A escolha de entrevistados não é orientada por A escolha de entrevistados não é orientada por critérios quantitativos (amostragens), mas pela critérios quantitativos (amostragens), mas pela posição do entrevistado no grupo ou por sua posição do entrevistado no grupo ou por sua experiência. experiência.
Entrevistados estão entre os que participaram, Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer depoimentos ocorrências e que possam fornecer depoimentos significativos. significativos.
O processo de seleção de entrevistados se O processo de seleção de entrevistados se aproxima da antropologia, tomados não como aproxima da antropologia, tomados não como unidades estatísticas mas como unidades unidades estatísticas mas como unidades qualitativas. qualitativas.
História oralHistória oral
16 entrevistas (2004 – 2007).16 entrevistas (2004 – 2007). – TécnicosTécnicos– ConteudistasConteudistas– DesignersDesigners– GerentesGerentes– Profissionais de atendimento ao usuárioProfissionais de atendimento ao usuário
História oralHistória oral
“(...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)”
Alcides Braga – Administrador da Loja Virtual
História oralHistória oral
““(...) O que a Internet permitiu (...) é (...) O que a Internet permitiu (...) é justamente colocar, democraticamente, este justamente colocar, democraticamente, este maior banco de dados sobre o Brasil à maior banco de dados sobre o Brasil à disposição de todo o público. (...) Então, disposição de todo o público. (...) Então, acho, é mais um papel de cumprimento da acho, é mais um papel de cumprimento da missão do IBGE - em levar a informação à missão do IBGE - em levar a informação à sociedade.”sociedade.”
Francisco Alchorne - Jornalista
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
ConteúdoConteúdo
Testes de usabilidadeTestes de usabilidade
O O feedbackfeedback vivo de usuários operando vivo de usuários operando tarefas reaistarefas reais
Processo empírico de aprender a partir Processo empírico de aprender a partir dos usuários, sobre a usabilidade de dos usuários, sobre a usabilidade de um produto, observando-os durante a um produto, observando-os durante a sua utilização.sua utilização.
(RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).2002).
Testes de usabilidadeTestes de usabilidade
Registrados em vídeo Registrados em vídeo ou em áudio, usuários ou em áudio, usuários interagem com o interagem com o sistema, em sistema, em condições condições controladas, para controladas, para checar o sucesso das checar o sucesso das interfaces, interfaces, observando dados observando dados comportamentais. comportamentais.
Testes de usabilidadeTestes de usabilidade
NIELSEN propôs testes com melhor relação custo-benefício, NIELSEN propôs testes com melhor relação custo-benefício, utilizando entre quatro e cinco usuários utilizando entre quatro e cinco usuários
dispensa das dispensa das gravações em laboratórios, para se encaixar gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.dentro dos orçamentos das empresas.
Testes de usabilidadeTestes de usabilidade
Participantes:Participantes:– Os objetivos específicos de cada teste Os objetivos específicos de cada teste
definem os participantes e as tarefas definem os participantes e as tarefas executadas. executadas.
– Os participantes devem representar Os participantes devem representar usuários reais: membros do grupo que usuários reais: membros do grupo que utiliza ou que vai utilizar o produto. utiliza ou que vai utilizar o produto.
– Os participantes devem executar tarefas Os participantes devem executar tarefas reais.reais.
Testes de campoTestes de campo
Laboratório portátil:Laboratório portátil:– NotebookNotebook– Internet Explorer 6.Internet Explorer 6.– Webcam.Webcam.– Mouse.Mouse.– HeadphoneHeadphone com microfone com microfone– SoftwareSoftware de captura de telas de captura de telas – Câmera digitalCâmera digital – Gravador analógicoGravador analógico– Acesso wireless à Internet Acesso wireless à Internet – Questionários e documentaçãoQuestionários e documentação
Testes de campoTestes de campo
Vantagens:Vantagens: – ir ao usuário em vez de convidá-lo a vir ir ao usuário em vez de convidá-lo a vir
até ele; até ele; – observar o ambiente real onde o usuário observar o ambiente real onde o usuário
trabalha ou vive; trabalha ou vive; – observar o usuário com todas as observar o usuário com todas as
interrupções e distrações do ambiente; interrupções e distrações do ambiente; – verificar os artefatos criados pelos verificar os artefatos criados pelos
usuários para as tarefas; usuários para as tarefas; – pode acessar documentações específicas. pode acessar documentações específicas.
Testes de campoTestes de campo
Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Testes de campoTestes de campo
Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Testes de campoTestes de campo
Locais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores.
Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas.Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
Tarefa 1Tarefa 1
““A partir da home page do portal IBGE, A partir da home page do portal IBGE, identifique em que estado do Brasil identifique em que estado do Brasil reside a maior concentração de reside a maior concentração de pessoas idosas (com mais de 60 pessoas idosas (com mais de 60 anos)”. anos)”.
Tarefa 2Tarefa 2
““A partir da home page do portal IBGE, A partir da home page do portal IBGE, descubra em que bairro da cidade de descubra em que bairro da cidade de Recife reside a maior concentração de Recife reside a maior concentração de cidadãos da terceira idade”.cidadãos da terceira idade”.
Testes de campoTestes de campo
Exemplo deExemplo deregistroregistro
ProtocolosProtocolosde verba-de verba-lizaçãolização
- concorrente- concorrente- retrospectivo- retrospectivo
Análise dos dadosAnálise dos dados
Após o registro e a categorização das Após o registro e a categorização das descobertas, procurou-se determinar a descobertas, procurou-se determinar a causa dos problemas de usabilidade, causa dos problemas de usabilidade, avaliou-se seu impacto individual e avaliou-se seu impacto individual e recomendaram-se soluções. recomendaram-se soluções.
O resultado do processo levou ao O resultado do processo levou ao estabelecimento de um conjunto de estabelecimento de um conjunto de critérios heurísticos específicoscritérios heurísticos específicos para a para a avaliação do portal IBGE. avaliação do portal IBGE.
Análise dos dadosAnálise dos dados
Estes critérios heurísticos foram Estes critérios heurísticos foram consubstanciados em uma lista de consubstanciados em uma lista de verificação (verificação (checklistchecklist).).
ChecklistChecklist foi submetida a validação foi submetida a validação junto à uma equipe com grande junto à uma equipe com grande experiência no desenvolvimento do experiência no desenvolvimento do portal IBGE.portal IBGE.
ParticipantesParticipantes
Nível de instrução
71%
29%
Mestrado
Doutorado
ParticipantesParticipantes
Mestrado
0
12
3
45
6
adm
inis
traç
ão
ciên
cia
dain
form
ação
ciên
cias
soci
ais
com
unic
ação
desi
gn
econ
omia
/fin
ança
s
enge
nhar
ia
geog
rafia
rela
ções
inte
rnac
iona
is
ParticipantesParticipantes
Doutorado
0
1
2
3
ciência dainformação
ciênciassociais
comunicação design geografia
ParticipantesParticipantes
Instituição acadêmica
PUC-Rio34%
PUC-SP4%
UERJ8%
UFF/ IBICT33%
UFRJ17%
USP4%
ParticipantesParticipantes
Experiência com computadores
0
2
4
6
8
10
12
nenh
uma
alguma
mod
erada
mod
erada
mente a
lta alta
ParticipantesParticipantes
Horas diárias na web
0
2
4
6
8
10
12
1-3h 3-8h mais de 8h
ParticipantesParticipantes
Conhecimento ou utilização de estatística
não50%
sim50%
ResultadosResultados
Resultados - tarefa 1
sucesso13%
insucesso87%
sucesso
insucesso
ResultadosResultados
Resultados - tarefa 2
sucesso0%
insucesso100%
sucesso
insucesso
ResultadosResultados
Causas de insucesso - tarefa 1
expiração do tempo48%
desistência5%
dado errado47%
ResultadosResultados
Causas de insucesso - tarefa 2
expiração do tempo83%
desistência17%
ResultadosResultados
Encontrar informações estatísticas é
0
1
3
13
7
0 2 4 6 8 10 12 14
muito fácil
fácil
nem fácil nem difícil
difícil
muito difícil
ResultadosResultados
O que menos gostou
6
5
5
5
4
3
3
3
0 1 2 3 4 5 6
busca
falta de clareza
dificuldade
classificação de informações
outros
comunicação visual
excesso de informações/links
descrições dos arquivos
Avaliação da técnicaAvaliação da técnica
Participante 10 – Achou “ótimo”. Considerou o procedimento de “pensar alto” para gravação válido pois às vezes “fazemos coisas sem perceber”.
Participante 20 – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas.
Participante 22 – Avaliou como “bastante completo”. Considera que há diferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”.
Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.
Conclusões parciaisConclusões parciais
Os problemas relacionam-se Os problemas relacionam-se largamente à ineficiência dos largamente à ineficiência dos mecanismos de busca, à taxonomia mecanismos de busca, à taxonomia aparentemente ilógica ou incompleta, aparentemente ilógica ou incompleta, à falta de clareza dos rótulos e links, e à falta de clareza dos rótulos e links, e aos problemas de redação – todos aos problemas de redação – todos problemas típicos de arquitetura de problemas típicos de arquitetura de informação.informação.
Divulgação de livroDivulgação de livro
ERGODESIGN EARQUITETURA DE INFORMAÇÃO:Trabalhando Com o UsuárioEd. Quartet, 2006
Luiz Agner
Saraiva, Submarino e 2AB
Top Related