UNIVERSIDADE FEDERAL DE MINAS GERAIS ESCOLA ......para uma metodologia de avaliação de bibliotecas...
245
Transcript of UNIVERSIDADE FEDERAL DE MINAS GERAIS ESCOLA ......para uma metodologia de avaliação de bibliotecas...
UNIVERSIDADE FEDERAL DE MINAS GERAIS
ESCOLA DE CIÊNCIA DA INFORMAÇÃO
IZABEL FRANÇA DE LIMA
BIBLIOTECAS DIGITAIS:
modelo metodológico para avaliação de usabilidade
Belo Horizonte
2012
IZABEL FRANÇA DE LIMA
BIBLIOTECAS DIGITAIS:
modelo metodológico para avaliação de usabilidade
Tese apresentada ao Programa de Pós-Graduação em Ciência da Informação da Escola de Ciência da Informação da Universidade Federal de Minas Gerais para obtenção do grau de Doutor em Ciência da Informação. Linha de Pesquisa: Organização e Uso da Informação Orientador: Profº Dr. Renato Rocha Souza Coorientador: Profº Dr. Guilherme Ataíde Dias
Belo Horizonte
2012
L732b
Lima, Izabel França de.
Bibliotecas Digitais: modelo metodológico para avaliação de usabilidade. / Izabel França de Lima; Orientador Prof. Dr. Renato Rocha Souza (PPGCI/UFMG) e Coorientador Profº Dr. Guilherme Ataíde Dias (PPGCI/UFPB). - Belo Horizonte, 2012.
242f.: il. - Tese (Doutorado) – Universidade Federal de Minas Gerais –
Escola de Cieêcia da Informação – Programa de Pós-graduação em Ciência da Informação, 2012.
Inclui apêndices. 1. Biblotecas digitais. 2. Avaliação de bibliotecas digitais. 3.
Usabilidade de bibliotecas digitais. 4. Metodologias para Avaliação de bibliotecas digitais. I. Título. II. Souza, Renato Rocha. III. Dias, Guilherme Aataíde. IV. Universidade Federal de Minas Gerais. Programa de Pós- Graduação em Ciência da Informação
CDU:027:3815(043)
A Deus pela benção da vida
Dedico!
AGRADECIMENTOS
Ao professor Doutor Renato Rocha Souza, por ter me aceito como orientanda, ajudando-me a ultrapassar as dificuldades da orientação à distância. Obrigada pela atenção e pela confiança;
Ao professor Doutor Guilherme Ataíde Dias, meu coorientador, pela colaboração, atenção e questionamentos que foram decisivos em todas as etapas deste trabalho;
Aos meus pais, pelo apoio e compreenderem minha ausência nos quatro longos anos de dedicação à pesquisa;
A Zeza, um agradecimento especial, pela sua compreensão e apoio nas horas de stress;
Aos meus queridos irmãos/irmãs e cunhadas, que torceram por mim, confiantes que eu conseguiria alcançar meu objetivo;
Às minhas tias, Zélia, Lia e Socorro que me ajudaram em toda a trajetória da minha atual existência, e a toda minha família;
Às amigas Bernardina Freire, Joana Coeli e Mirian Aquino, pelo carinho e incentivos recebidos ao longo do processo de pesquisa e elaboração da tese, e a todos os amigos/professores do Departamento de Ciência da Informação da UFPB;
Ao querido amigo Fabrício Ziviani, pelo grande apoio durante os quatro anos de idas e vindas a Belo Horizonte, sempre tão solícito em hospedar-me;
Às amigas Alzira, Anna, Edna e Rosinha, pelo apoio e carinho a mim dedicados nos meses que convimenos na “república Dinter”;
À banca examinadora, Profº Dr. Carlos Henrique Marcondes de Almeida, Profº Dr. Marckson Ferreira de Sousa, Profª Dra. Joana Coeli Ribeiro Garcia, Profª Dra. Marlene Oliveira Teixeira de Melo e Profª Dra. Lídia Alvarenga, pela disponibilidade em participar da Banca Examinadora e contribuições ao nosso trabalho;
Aos professores do PPGCI da UFMG, pela calorosa acolhida nos período das disciplinas, e com especial carinho a Marlene Oliveira, uma amiga/madrinha/protetora que nos acolheu tão generozamente em sua casa quando da nossa chegada à UFMG;
Aos colegas de turma (mestrandos e doutorandos), com os quais constituí fortes laços de amizade;
Aos amigos/as do grupo de estudos GEINCOS, Alba Cleide, Alba Lígia, Ana Roberta, Cleyciane, Da Luz, Henry, Lebiam, Leyde, Lígia, Luciana, Poliana, Sérgio, Stella, Vanessa Alves, Vanessa Gomes e Tayanne pelos momentos de aprendizado, sempre acompanhados de alegria e descontração;
À Coordenação do PPGCI da UFMG e às secretárias, Gisele e Nely muito obrigada pela forma sempre cordial e carinhosa com que nos atende;
À Coordenação operacional do Dinter, inicialmente com a profª Eliany Alvarenga, que elaborou e implementou o projeto e ao profº Gustavo Freire que ao assumir a coordenação possibilitou-nos a conclusão do doutorado;
À Universidade Federal da Paraíba, especialmente à direção do Centro de Ciências da Saúde por ter permitido que eu realizasse este doutorado;
Meu agradecimento muito especial a todas as pessoas que com muita boa vontade e simpatia participaram do teste de usabilidade no site da BVS, sem vocês este trabalho não teria sido realizado;
Aos demais amigos queridos não mencionados, que me estimularam, apoiaram e comigo compartilharam a realização desta pesquisa, os meus mais sinceros agradecimentos!
Um dia bastará fazer mover pequenas agulhas, sobre um quadrante numerado de um mostrador, para ler, diretamente, as últimas informações dadas pela Enciclopédia Mundial, disposta como um centro de irradiação contínua. Esse será o livro que, contendo todos os assuntos, estará à disposição do universo.
(ELLISON, 1994 apud PEREIRA, 1995).
RESUMO
Objetiva analisar e desenvolver metodologia para avaliação de bibliotecas digitais com foco na usabilidade. Aborda aspectos relativos à avaliação de bibliotecas digitais, consideradas como dispositivos informacionais que podem auxiliar na democratização da informação mediada pelas tecnologias digitais. Tais bibliotecas podem ser compreendidas como um espaço de organização, armazenamento, disseminação e acesso a informação por meio de uma rede de comunicação, que proporciona condições para os indivíduos acessarem, criarem e recriarem textos, produzindo meios próprios, um potencial de informação nunca dantes acontecido. Apresenta a trajetória dos repositórios de conhecimento dos tempos da oralidade até a era digital, situando as bibliotecas digitais na história, com ressalte para seu surgimento e evolução. Discute a importância da avaliação dessas bibliotecas, observando a ausência de normas internacionais destinadas à mensuração dessas. Outrossim, discute a interface na interação do usuário com o sistema, enfocando as questões de usabilidade e arquitetura da informação. Recorre, a priori, aos critérios de usabilidade apresentados por Jeng (2005a) e Saracevic (2005) como categorias para estruturar uma proposta metodológica de avaliação de usabilidade em bibliotecas digitais utilizando a análise de conteúdo, realizada em 57 textos, nacionais e estrangeiros que abordam as temáticas de avaliação de bibliotecas digitais e usabilidade. Para execução da proposta metodológica adotaram-se os seguintes procedimentos: identificação de documentos que tratavam de metodologias para avaliação da usabilidade em bibliotecas digitais; análise das metodologias encontradas na literatura e identificação das categorias de análise para uma metodologia de avaliação de bibliotecas digitais. Os textos utilizados no corpus da pesquisa abrangeram o período 1998 a 2008. O modelo desenvolvido caracteriza-se como um teste formal de usabilidade, com a finalidade de medir a eficiência, a eficácia e a satisfação de usuários de bibliotecas digitais. Para validação foi realizado um teste formal de usabilidade na Biblioteca Virtual em Saúde (BVS) com quinze indivíduos, sendo quatro docentes e onze discentes. O teste foi composto por três instrumentos de coleta de dados, um questionário de perfil/experiência; uma lista de dez tarefas a serem realizadas, utilizando o site da BVS; e um questionário com oito perguntas abertas que extraía percepções sobre o uso da biblioteca e seus recursos. O modelo metodológico foi aplicado entre os dias 05 e 21 de dezembro de 2011 no laboratório de informática do Centro de Ciências da Saúde da Universidade Federal da Paraíba. Os resultados do teste de usabilidade possibilitam inferir que a BVS apresenta um bom nível de eficácia e boa eficiência, tendo o quesito satisfação atingido o nível satisfatório, conforme as respostas apresentadas nas questões abertas pelos participantes da pesquisa. Foram detectados alguns problemas de usabilidade e apresentadas sugestões para melhorar a interface e, consequentemente, a interação usuário/biblioteca digital.
Palavras-chave: Bibliotecas digitais; Avaliação de bibliotecas digitais; avaliação de usabilidade de bibliotecas digitais; Metodologia para avaliação de usabilidade.
ABSTRACT
It aims to analyze and develop methodology for evaluation of digital libraries with a focus on usability. This study discusses aspects of the evaluation of digital libraries, considered as information devices that assist in the democratization of information mediated by technologies. Such libraries can be understood as environments for organization, storage, dissemination and access to information by means of a communication network, which provides the tools for the individuals to access, create and recreate texts, produce their own work, as well as interact with and retrieve information potentials never seen before. The study presents the history of knowledge repositories from the oral through the digital era, situating the digital libraries in history with emphasis on their emergence and evolution, as well as the various concepts and characteristics of digital libraries found in the literature of Information Science. The study discusses the importance of evaluating these libraries due to the absence of international standards for measuring them. It also examines the role of the interface in the user-system interaction, focusing on the aspects of usability and information architecture. The study evokes, a priori, the usability criteria introduced by Jeng (2005a) and Saracevic (2005) as categories to, using the content analysis, formulate a methodological proposal for evaluating usability in digital libraries. The content analysis was then performed in 57 national and foreign papers concurrently addressing the themes evaluation and usability of digital libraries. To implement the methodological proposal the author adopted the following procedures: Identification of documents that deals with methodologies for usability evaluation in digital libraries; analysis of the methodologies found in literature and identification of the analysis categories aiming at building an evaluation methodology for digital libraries. The papers used in the research corpus covered the period from 1998 through 2008. The developed model is characterized as a formal usability test, and it aims to measure efficiency, effectiveness and satisfaction in digital libraries. For validation, a formal usability test was performed in the Biblioteca Virtual de Saúde [Virtual Health Library] (BVS) with fifteen subjects, four faculty members and eleven students. The test consisted of three instruments for data collection; one profile/experience questionnaire; one list of ten tasks to be performed using the BVS's website; and one questionnaire with eight open questions designed to elicit perceptions about the library and its resources. The methodological model was implemented between December 5th and 21st, 2011 at the computer lab of the Health Sciences Center of Federal University of Paraíba. From the results of the usability test it is possible to infer that the BVS shows a good level of effectiveness and efficiency. Regarding satisfaction, it reached a satisfactory level, according to the answers provided by the participants in the open questions. The study found some usability problems and presented suggestions for improving the digital library’s interface and, consequently, the user-digital library interaction.
Keywords: Digital libraries; Digital library evaluation; Usability evaluation of digital libraries; Methodology for usability evaluation.
LISTA DE FIGURAS E GRÁFICOS
Figura 1 – A máquina MEMEX 34
Figura 2 – Critério de avaliação da biblioteca digital 43
Figura 3 – Diagrama do modelo de avaliação de usabilidade para biblioteca digital
50
Gráfico 1 – Apresentação da conclusão das tarefas em percentuais 124
Gráfico 2 – Resultado da avaliação da eficiência da BVS 126
Gráfico 3 – Resultado da avaliação da satisfação da BVS 127
LISTA DE QUADROS
Quadro 1 – Palavras-chave usadas para buscas na literatura nacional e internacional 61
Quadro 2 – Resultado das buscas nas BDTDs sobre metodologias para avaliação de bibliotecas digitais 63
Quadro 3 – Resultado da busca na BDTDs Cybertesis com a palavra-chave “digital library” 64
Quadro 4 – Resultado da busca na BDTDs TEL Serveur de thèses multidisciplinaire com a palavra-chave “bibliothèques numériques”
64
Quadro 5 – Resultado da busca na BDTDs NDLTD Networked Digital Library of Theses and Dissertations a palavra-chave "digital library evaluation"
65
Quadro 6 – Resultado da busca na University of Florida com a palavra-chave “digital library” 66
Quadro 7 – Resultado da busca na Virginia Polytechnic Institute and State University com a palavra-chave “digital library” 66
Quadro 8 – Periódicos brasileiros da Ciência da Informação classificados pelas Capes como “Qualis A e B1 e B2 nacional” pesquisados 67
Quadro 9 – Resultado das buscas nos Periódicos brasileiros da Ciência da Informação Qualis A, B1 e B2 nacional 67
Quadro 10 – Resultado das buscas nas bibliografias sobre Avaliação de bibliotecas digitais 68
Quadro 11 – Documentos citados na bibliografia de Murilo Cunha (2009) sobre avaliação de bibliotecas digitais 71
Quadro 12 – Critérios de usabilidade adotados como categorias de análise 72 Quadro 13 – Termos correspondentes as categorias de análise presentes
nos textos analisados 92
Quadro 14 – Categorias e subcategorias de análises presentes nos textos analisados 93
Quadro 15 – Medidas de usabilidade adotadas no modelo metodológico desenvolvido 101
Quadro 16 – Etapas do planejamento do modelo metodológico 105
Quadro 17 – Descrição das tarefas 116
LISTA DE ABREVIATURAS E SIGLAS
ADOLEC Saúde de Adolescentes e Jovens no Brasil
AI Arquitetura da Informação
ARL Association of Research Libraries
BDTD Biblioteca Digital de Teses e Dissetações
BIREME Biblioteca Regional de Medicina
BVS Biblioteca Virtual em Saúde
CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
CCS Centro de Ciências da Saúde
CidSaúde Literatura sobre Cidades/Municípios Saudáveis
DeCS Descritores em Ciências da Saúde
DESASTRES Acervo do Centro de Documentação de Desastres
ECDL Conferência Européia sobre Bibliotecas Digitais
HISA História da Saúde Pública na América Latina e Caribe
HOMEOINDEX Bibliografia Brasileira de Homeopatia
IBICT Instituto Brasileiro de Informação em Ciência e Tecnologia
ISO International Organization for Standardization
JCDL Conferência Conjunta ACM/IEEE sobre Bibliotecas Digitais
LEYES Legislação Básica de Saúde da América Latina e Caribe
LILACs Literatura Latino-Americana e do Caribe em Ciências da Saúde
MEDCARIB Literatura do Caribe em Ciências da Saúde
MEDLINE Medical Literature Analysis and Retrieval System Online
MEMEX Memory Extension
NDLTD Networked Digital Library of Theses and Dissertations
OPAS Organização Pan-Americana da Saúde
OMS Organização Mundial da Saúde
PAHO Base de dados que contém referências bibliográficas e resumos do acervo da Biblioteca da sede da Organização Pan-americana da Saúde em Washington, D.C., USA.
PDL Perseus Digital Library
PUBMED Publicações de Medicina
REPIDISCA Literatura em Engenharia Sanitária e Ciências do Ambiente
SCIELO Scientific Electronic Library Online/
Biblioteca Científica Eletrônica em Linha
ScienTI Rede Internacional de Fontes de Informação e Conhecimento para a Gestão de Ciência, Tecnologia e Inovação
TDCIs Tecnologias Digitais da Informação e Comunicação
TextStat Simple Text Analysis Tool
TICs Tecnologias da Informação e Comunicação
UFMG Universidade Federal de Minas Gerais
UFPB Universidade Federal da Paraíba
UNICAMP Universidade Estadual de Campinas
WHOLIS World Health Organization's library database
WWW World Wide Web
SUMÁRIO
1 INTRODUÇÃO 17
2 REFRENCIAL TEÓRICO 26 2.1 BIBLIOTECAS DIGITAIS: do oral ao digital 26 2.1.1 Bibliotecas eletrônicas, digitais ou virtuais ? 30 2.1.2 Bibliotecas digitais: conceitos e característ icas 33 2.2 AVALIAÇÃO DE BIBLIOTECAS DIGITAIS 39 2.2.1 Interfaces de Bibliotecas Digitais 44 2.2.2 Usabilidade em Bibliotecas Digitais 45
3 ABORDAGEM METODOLÓGICA 55 3.1 PROCEDIMENTOS METODOLÓGICOS 61
4 ANÁLISE DOS RESULTADOS 73 4.1 COMPREENDENDO AS CATEGORIAS E SUBCATEGORIAS DE ANÁLISE
96
5 AVALIAÇÃO DE USABILIDADE APLICADA A UMA BIBLIOTECA DIGITAL: instrumento proposto 102
5.1 ASPECTOS GERAIS: níveis de usabilidade 102 5.2 PLANO DE ATIVIDADE PARA AVALIAÇÃO DE USABILIDADE EM BIBLIOTECAS DIGITAIS
104
6 A BVS COMO AMBIENTE DE TESTE DO INSTRUMENTO DE AVALIAÇÃO 106
6.1 PLANO DE ATIVIDADE PARA O TESTE FORMAL DE USABILIDADE NA BIBLIOTECA VIRTUAL EM SAÚDE 106
6.1.1 Definição da intenção de uso da Biblioteca Vi rtual em Saúde 106 6.1.2 Análise de contexto da BVS 107 6.1.3 Usuários da BVS 107 6.1.4 Tarefas aplicadas no teste da BVS 107 6.1.5 Ambiente de realização do teste de usabilidad e na BVS 108 6.1.6 Objetivos da avaliação de usabilidade da BVS 108 6.1.7 Plano de Avaliação da BVS 109 6.1.8 Procedimento para avaliação da BVS 109 6.2 BIBLIOTECA VIRTUAL EM SAÚDE: campo de aplicação do modelo para avaliação de usabilidade em bibliotecas digitais.
109
7 VALIDAÇÃO DO INSTRUMENTO DE AVALIAÇÃO 112 7.1 PARTICIPANTES DO TESTE DE USABILIDADE NA BVS 114 7.2 PROCEDIMENTOS DO TESTE DE USABILIDADE NA BVS 115 7.3 DESCRIÇÃO DAS TAREFAS DO TESTE DE USABILIDADE NA BVS 116 7.4 RESULTADOS DO TESTE DE USABILIDADE NA BVS 118 7.4.1 Tarefa 1: bu sca livre no site da BVS e envio do resultado para seu e-mail 118
7.4.2 Tarefa 2: B usca em áreas especializada s na base Cid/saúde artigos que tratam esse sobre a qualidade da saúde em João Pessoa 118
7.4.3 Tarefa 3: Busca como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado.
119
7.4.4 Tarefa 4: Verificação no catálogo de revistas científicas par a identificação da Revista de Administração Pública, volume 41, edição especial de 2007 na BVS.
119
7.4.5 Tarefa 5: Identificação dos eventos programados para o período de março a junho de 2012 da área de saúde e o período para submissão de trabalho
120
7.4.6 Tarefa 6: Localização na LILACs o tutorial como pesquisar, abrir e verificar se ele atende as necessidades de orientação para realização de pesquisas bibliográficas
120
7.4.7 Tarefa 7: Localização na base LILACS de textos que tratam dos seguintes temas: saúde pública; políticas públicas de saúde no Brasil, para isso usar a pesquisa avançada e os ope radores booleanos
120
7.4.8 Tarefa 8: Verific ação do número de trabalhos existentes na base LILACS do pesquisador: Paim, Jairnilson Silva e depois refinando a partir do ano de publicação, 2010
121
7.4.9 Tarefa 9: B usca no DeCS do termo em inglês para os assuntos: saúde coletiva; câncer de mama e doenças infecciosa s e realização da busca no MEDLINE utilizando os termos em inglês localizados no DeCS
121
7.4.10 Tarefa 10: C adastrar -se nos serviços personalizados da BVS e efetuar o login para conhecer e listar os serviços oferecidos 122
7.5 ANÁLISE E DISCUSSÃO DOS RESULTADOS 122 7.5.1 Eficácia 124 7.5.2 Eficiência 125 7.5.3 Satisfação 127
8 CONSIDERAÇÕES FINAIS 134 REFERÊNCIAS 139 APÊNDICE A - Quadro do levantamento realizado na BDTD da UFMG 151 APÊNDICE B - Quadro do levantamento realizado no Banco de Teses da Capes 155
APÊNDICE C - Quadro do levantamento realizado na Biblioteca Digital Brasileira de Teses e Dissertações do IBICT 162
APÊNDICE D - Quadro do levantamento realizado nas BDTD e Universidades estrangeiras 163
APÊNDICE E - Quadro do levantamento realizado nos periódicos qualis A da Ciência da Informação 165
APÊNDICE F - Quadro com bibliografias localizadas na literatura Norte Americana sobre bibliotecas digitais 168
APÊNDICE G - Quadro com bibliografia brasileira sobre bibliotecas digitaids localizadas na literatura 207
APÊNDICE H- Modelo de instrumento de coleta de dados para avaliação de usabilidade em bibliotecas digitais 224
APÊNDICE I - Instrumento de pesquisa usado na avaliação da Biblioteca Virtual em Saúde (BVS) 233
17
1 INTRODUÇÃO
O desafio de propormos uma tese de Doutorado, com foco na usabilidade
das bibliotecas digitais, mantém estreita relações com as novas exigências impostas
pelos avanços da ciência e da técnica e pelo surgimento das tecnologias da
informação e comunicação (TIC) ou tecnologias digitais da informação e
comunicação (TDCI) 1. Seus efeitos penetraram em quase todos os campos do
conhecimento e interferiram fortemente no modo costumeiro dos indivíduos
pensarem, conhecerem e agirem. Em face dessas mutações, inserem-se numa
“economia informacional e global”, na qual “a produtividade e a competitividade de
unidades ou agentes [...] dependem basicamente de sua capacidade de gerar,
processar e aplicar de forma eficiente a informação baseada em conhecimento”
(CASTELLS, 1999, p. 87).
A articulação entre o informacional e o global é notória, segundo Castells
(1999), porque as principais atividades produtivas, o consumo e a circulação de seus
componentes, compreendidos como capital, trabalho, matéria-prima, administração,
informação, tecnologia e mercados, têm sido organizados de forma direta por meio
de uma rede de conexões entre os agentes econômicos, de modo que a
configuração do mundo caracteriza-se como um “paradigma informacional”,
enredado pelas suas redes digitais, que reorientam as estruturas e as práticas de
produção da informação nas organizações e diferentes instituições.
Estamos diante da complexidade da sociedade da informação,
compreendida na perspectiva de Castells (1999), como a convergência entre a base
tecnológica, a dinâmica da indústria e o crescimento da Internet. Ela coloca o Brasil
potencialmente na era digital e consequentemente, suas transformações, com
aplicações intensivas das TIC, investimento na infraestrutura de redes, no
processamento de alto desempenho (Prototipagem de equipamentos e produtos de
software) visando assegurar a difusão do conhecimento, na definição de diretrizes
para consórcios em rede e mecanismos de financiamento em atividades, na TV
digital, no armazenamento e na recuperação de informações, a exemplo das
bibliotecas digitais, que se expandiram e continuam em expansão, dentre outros.
1 Expressão já utilizada por alguns autores, a exemplo de Afonso (2000) e Senger e Brito (2005)
18
A expressão “sociedade informacional”, para Castells (1999, p.417, v. 2),
refere-se às “redes globais de riqueza, poder e informação” que interferem
estrategicamente no panorama global, alterando a harmonia social e a difusão de
códigos culturais e sujeitando os indivíduos às novas formas de comunicação e às
novas formas de vida.
Com o advento da sociedade da informação, essa nova sociedade
reconfigurada pelas TIC ganha destaque no mundo globalizado, tendo a Internet
como a principal mola propulsora, interligando países, nações, indivíduos
(TAKAHASHI, 2000). Essas tecnologias propiciam o surgimento de ambientes
informacionais, onde as bibliotecas digitais podem ser compreendidas como um
espaço de organização, armazenamento, disseminação e acesso à informação por
meio de uma rede de comunicação, proporcionando condições para que os
indivíduos possam acessar, criar e recriar textos, produzindo não apenas seus
próprios meios, mas também interagindo com um potencial de recuperação da
informação nunca dantes visto.
Nessa dinâmica, os indivíduos são percebidos, simultaneamente, como
criadores e consumidores da informação. Eles interagem com as TIC, aprendem
fazendo novas TIC, reconfiguram as redes, inventam e reinventam novas aplicações.
Nessa interação, ocorre a ampliação e extensão da mente humana. Tem razão
Castells (1999) quando afirma que a integração crescente entre mentes humanas e
tecnologias altera fundamentalmente o modo pelo qual os usuários da informação
nascem, vivem, aprendem, trabalham, produzem, consomem, sonham, lutam e
morrem.
As TIC, em seu formato digital, oferecem a possibilidade de recuperação
do texto, independente de sua localização original, “para além do lugar em que ele
se encontre” (PARENTE, 1999, p. 68). Com efeito, enfatizam Castells (1999) e Lévy
(1993), as alterações produzidas pela digitalização da informação e pela
conectividade alteraram a natureza das relações entre os indivíduos nas
organizações, modificando o modo como profissionais da informação organizam o
conhecimento.
Nas bibliotecas tradicionais, o conceito de localização física, típica dos
livros, não está mais num único lugar. Ao invés de somente os profissionais da
informação armazenarem acervos nas estantes de salas com paredes, essa
atividade emerge no contexto da virtualidade, em que se depositam apenas
19
referências (hyperlinks) para arquivos espalhados por diversos servidores em
qualquer lugar, independente do tempo e do espaço (LIMA, 2007).
A evolução do conceito de biblioteca relaciona-se com a própria trajetória
do ser humano em sua busca constante pela informação para fins de registro,
organização, armazenamento e uso do conhecimento, com a finalidade de atender
às demandas econômicas, políticas, sociais e culturais. É importante enfatizar que
as técnicas de registro do conhecimento sempre fizeram parte das preocupações
humanas. Elas se iniciaram com os povos primitivos, quando nas primeiras
tentativas de talhar a pedra exerciam um extraordinário poder de abstração. Com o
desenvolvimento das sociedades, procurou-se aprimorar as formas de conhecer,
passando por três fases: a oral (culturas tribais); a impressa ou visual (expansão e
uso da cultura tipográfica) e a ciberespacial (predomínio das TIC) (BARRETO, 1998),
coincidindo com o que Lévy (1993, p. 75) reconhece como “os três tempos do
espírito: a oralidade primária, a escrita e a informática”.
A relação entre as bibliotecas digitais e os usuários instou-nos a pensar,
sistematicamente, sobre a usabilidade como uma “medida na qual um produto pode
ser usado por usuários específicos para alcançar objetivos específicos com eficácia,
eficiência e satisfação em um contexto específico de uso” (ABNT, 2002, p. 3). Assim
sendo, entendemos a usabilidade como a capacidade apresentada por um sistema
interativo para operar, de modo eficaz, eficiente e agradável, em um determinado
contexto de realização das tarefas de seus usuários.
A usabilidade consiste em propriedades da interface de um sistema, no
que diz respeito à sua adequação às necessidades dos usuários, permitindo verificar
o desempenho da interação homem-máquina e conhecer a satisfação desse usuário
quanto às tarefas realizadas e sua aplicação (DIAS, 2003). Em sentido mais amplo,
Lévy (1990, p.370) concebe interfaces como “todos os aparatos materiais que
permitem a interação entre o universo de informação digital e o mundo ordinário”.
Assim, pareceu-nos relevante investigar e avaliar a usabilidade das
bibliotecas digitais, já que são, no contexto hodierno, mais do que instrumentos
importantes no acesso à informação. Em nosso modo de entender, a realização de
um estudo para avaliação dessas bibliotecas com foco na usabilidade é fundamental,
porquanto é considerada como um dos fatores relevantes no ambiente informacional,
visto que é por meio destas que o usuário acessa o sistema com o qual ele mesmo
interage.
20
Dessa forma, consideramos que a biblioteca digital se caracteriza como
uma coleção de serviços e de objetos de informação, dotada de organização,
estrutura e apresentação, com vistas a suportar a interação dos usuários com os
objetos de informação disponíveis. Essa assertiva ajuda-nos a tomar como objetivo
geral analisar e desenvolver metodologia para avaliação de bibliotecas digitais,
centradas na usabilidade. Com os objetivos específicos, pretendemos: 1) Identificar
metodologias para avaliação de bibliotecas digitais; 2) Desenvolver um modelo
metodológico para avaliação de usabilidade em bibliotecas digitais e; 3) Averiguar a
eficácia do modelo proposto em uma biblioteca digital.
O nosso argumento baseia-se na suposição de que existe uma lacuna
nas metodologias para avaliação de bibliotecas digi tais, donde as bibliotecas
digitais parecem necessitar de avaliação contínua. Essa prática propiciaria ao gestor
detectar problemas de usabilidade que geram insatisfação em seus usuários. Sendo
assim, a aplicação de metodologias específicas com vistas a detectar problemas de
usabilidade nas bibliotecas digitais possibilitaria um melhor uso desse dispositivo
informacional.
Essa necessidade de avaliação coaduna-se ao pensamento de Cunha
(2009) e Saracevic (2004) ao afirmarem serem as bibliotecas digitais ainda pouco
avaliadas e apresentam reflexões acerca de como fazê-lo, bem como se referem à
possibilidade de usar as mesmas metodologias aplicadas nas bibliotecas tradicionais.
Entretanto, Cunha (2009) afirma que essas indagações ainda não obtiveram
respostas definitivas. Assim sendo, podemos evidenciar a necessidade de
desenvolvermos metodologias específicas para avaliar essas bibliotecas.
Diante dessa problemática, o estudo do tema das bibliotecas digitais tem
sua motivação na experiência que tivemos em cursos de orientação de pesquisa
bibliográfica nas bases de dados eletrônicos, a qual se iniciou em CD-ROM e,
posteriormente, na Biblioteca Virtual em Saúde (BVS), com usuário da biblioteca do
Centro de Ciências da Saúde CCS da Universidade Federal da Paraíba (UFPB).
Essa familiaridade contribuiu para uma aproximação mais estreita com as TIC nas
atividades desempenhadas como bibliotecária na área da saúde, desde 1995,
somada à recente atuação como professora no Departamento de Ciência da
Informação da Instituição, confirmando a intenção de desenvolvermos um estudo
direcionado a bibliotecas digitais.
21
A relevância da temática desta tese se justifica pelo fato de termos
observado as bibliotecas digitais como ambientes informacionais que possibilitam o
acesso e o uso da informação, auxiliando, assim, os usuários que fazem pesquisas
para suas atividades acadêmicas. O interesse em analisar as metodologias de
avaliação dessas bibliotecas, em relação à usabilidade, é também relevante pelos
aspectos seguintes: o primeiro (teórico) é que a biblioteca digital tem sido vista como
um dispositivo informacional importante no processo de ensino, pesquisa e
extensão, constituindo um tema cada vez mais discutido na literatura das áreas da
Ciência da Computação e da Ciência da Informação (CUNHA, 1999). O segundo
(prático) tem a ver com o seu uso por alunos, professores e pesquisadores como um
suporte informacional na construção da aprendizagem, podendo ser acessada em
qualquer lugar, bastando para isso, ter um dispositivo conectado à Internet.
Para Saracevic (2004), as discussões sobre bibliotecas digitais são
abundantes, exceto quando se trata de avaliação. Afirma, ainda, que na literatura
sobre avaliação dessas bibliotecas podem ser encontrados dois tipos distintos de
relatos de pesquisas: a) trabalhos que sugerem conceitos de avaliação, modelos,
abordagens, metodologias ou discutem avaliação; e b) trabalhos que relatam
avaliação real, ou seja, aplicação de metodologias as quais contêm dados
quantitativos (estatísticos) ou dados qualitativos (impressões).
Cunha (2009) sugere uma bibliografia que inclui documentos e aborda o
tema avaliação de bibliotecas digitais:
As bibliotecas tradicionais têm sido avaliadas desde os tempos remotos; por outro lado, as bibliotecas digitais, para justificarem os recursos financeiros, documentais e humanos nelas alocados, também necessitam serem avaliadas. Mas, como elas deverão ser avaliadas? Podem ser usadas as mesmas métricas empregadas nas bibliotecas tradicionais? Essas duas indagações ainda não obtiveram respostas definitivas.
No estado da arte da área da Ciência da Informação no Brasil (até 2011),
constatamos uma insuficiência de estudos que considerem a avaliação da
usabilidade das bibliotecas. Em relação à produção científica sobre a temática que
constitui o foco do nosso estudo, encontramos três dissertações de mestrado. A
primeira, intitulada “5SQual: uma ferramenta baseada no modelo 5S para avaliação
de qualidade em bibliotecas digitais”, da autoria de Barbara Lagoeiro Moreira, foi
defendida no Programa de Pós-Graduação em Ciência da Computação, da UFMG,
em 2007. A pesquisadora apresenta a 5SQual como uma ferramenta que provê
22
meios para a realização de avaliações automáticas de objetos digitais, como
metadados e serviços de uma biblioteca digital. Na ferramenta são implementados
diversos indicadores numéricos associados a 8 dimensões descritas no modelo 5S
de qualidade com uma arquitetura desenvolvida visando à aplicabilidade em
diversas bibliotecas digitais.
A segunda, intitulada “Uma proposta metodológica para a avaliação de
bibliotecas digitais usabilidade e comportamento de busca por informação na
biblioteca digital da PUC-Minas” , da autoria de Paula Böhmerwald, foi defendida
no Programa de Pós-Graduação em Ciência da Informação, da UFMG, em 2003. A
pesquisadora propõe que os estudos das áreas da Ciência da Informação e da
Computação sejam usados conjuntamente, para analisar de forma abrangente um
sistema de informação. Baseando-se em métodos e modelos para avaliação da
usabilidade de sistemas web e modelos de comportamento de busca por informação
de usuários, a pesquisa apresenta uma metodologia que foi aplicada na Biblioteca
Digital da PUC-Minas. A metodologia proposta é composta por cinco etapas e os
resultados de cada etapa são apresentados, discutidos e comparados, a fim de se
analisar e sugerir mudanças para melhorar a usabilidade da Biblioteca Digital da
PUC-Minas.
A terceira dissertação, intitulada “Avaliação de usabilidade em
bibliotecas digitais: um estudo de caso”, da autoria de Fernanda Pereira, foi
defendida no Programa de Pós-Graduação em Ciência da Informação, da UFMG,
em 2011. A pesquisadora buscou evidenciar a contribuição dos princípios de
usabilidade para melhoria das interfaces de bibliotecas digitais, segundo a autora, as
avaliações de usabilidade podem ser aplicadas na avaliação de bibliotecas digitais
com vistas a melhorar a interação humano-computador. A pesquisa, além de
enumerar os problemas encontrados sob o ponto de vista de avaliadores e usuários,
aponta sugestão de solução para cada um deles. O estudo evidência a
nescessidade de se observar os requisitos de usabilidade visando garantir a
qualidade e a satisfação de uso nas interfaces das bibliotecas digitais.
Encontramos uma tese de doutorado, intitulada “Em busca da avaliação
de bibliotecas digitais : caminhos e descaminhos”, de Nadia Maria dos Santos
Hommerding, defendida no Programa de Pós-Graduação em Ciência da Informação
da USP, em 2007, na qual a pesquisadora aborda a questão da ausência de cultura
de avaliação em bibliotecas digitais. Apresenta alguns modelos, técnicas e
23
metodologias para avaliação dessas bibliotecas e adota a abordagem de Saracevic
(2004), objetivando demonstrar os aspectos e resultados positivos da avaliação de
bibliotecas digitais, bem como chamar a atenção dos gestores e profissionais
envolvidos quanto à importância do tema.
Temos, ainda, uma pesquisa sobre avaliação de bibliotecas digitais
apresentada no Workshop realizado na Universidade de Pádua, no qual Saracevic
(2004) relata que não existem muitos esforços em aplicar avaliação. Na verdade,
existem mais trabalhos que discutem avaliação do que relatam sobre avaliação. Tal
afirmação tem base em dados extraídos de duas grandes conferências sobre
bibliotecas digitais, a saber: a Conferência Europeia sobre Bibliotecas Digitais
(ECDL) e a Conferência Conjunta ACM/IEEE sobre Bibliotecas Digitais (JCDL), as
quais anualmente contêm não mais de 5% de artigos ou pôsteres que têm dados
relativos à avaliação de quaisquer aspectos de bibliotecas digitais.
Até o momento em que desenvolvemos esta pesquisa, tomando como
base as buscas realizadas nas bibliotecas digitais de teses e dissertações e
disponíveis no Portal de Periódicos da Capes, localizamos as três pesquisas já
mencionadas que abordam a temática a que nos propomos a estudar, nas quais
identificamos uma com foco em usabilidade. De modo que a nossa pretensão é
atender uma necessidade de estudos que busquem avaliar as bibliotecas digitais,
especificamente com foco na usabilidade de suas interfaces.
Diante da escassez de metodologias direcionadas à avaliação da
usabilidade de Bibliotecas Digitais, surge a necessidade de adaptações e extensões
de métodos de avaliação de usabilidade utilizados em software. Existem várias
características do design que devem ser abordadas e observadas de acordo com os
recursos a serem utilizados, e para que se desenvolvam interfaces mais usáveis, é
preciso partir de premissas, diretrizes ou testes que permitam avaliar a usabilidade
nas bibliotecas digitais (DIAS, 2003).
Entendendo as bibliotecas digitais como um dos dispositivos
informacionais que podem auxiliar na democratização da informação, mediada pelas
TIC, o estudo sobre a avaliação da usabilidade nas bibliotecas digitais constitui uma
contribuição relevante para a realização de novos estudos e pesquisas nas linhas de
pesquisa: “Organização e uso da informação” do Programa de Pós-Graduação em
Ciência da Informação da Universidade Federal de Minas Gerais (UFMG) e
24
“Memória, organização, acesso e uso da informação” do Programa de Pós-
Graduação em Ciência da Informação da Universidade Federal da Paraíba.
O estudo está estruturado da seguinte maneira: na Introdução,
apresentamos um panorama geral da tese, justificando a escolha do tema, o
problema de pesquisa e os objetivos.
No capítulo dois, é abordado o referencial teórico que baliza a pesquisa,
subdividido da seguinte forma: a primeira seção apresenta a passagem das
bibliotecas do oral ao digital, os conceitos e características das bibliotecas digitais;
na sequência, aborda-se a avaliação de bibliotecas digitais com foco na interface e
na usabilidade, como categorias importantes na relação das bibliotecas digitais com
os usuários.
O capítulo três faz referência à metodologia empregada na investigação.
Trata-se de estudo cujo referencial teórico fornece a base inicial de conceitos, a
partir dos quais foi feito o primeiro levantamento de subsídios para estruturação da
metodologia, bem como o conteúdo latente no material coletado. Optou-se pela
análise de conteúdo para discutir os dados, focalizando os diversos modelos de
avaliação, com foco na usabilidade em bibliotecas digitais.
No capítulo quatro, apresentamos e analisamos os resultados obtidos
com a revisão de literatura sobre metodologias de avaliação de bibliotecas digitais
que abalizaram o instrumento de avaliação proposto na tese.
O capítulo cinco apresenta o instrumento de avaliação, foco da tese,
construído para suprir as lacunas percebidas nas metodologias estudadas na
revisão de literatura.
No capítulo seis apresentamos a Biblioteca Virtual em Saúde (BVS) como
o campo de aplicação do instrumento de avaliação construído, bem como a
validação do instrumento de avaliação a partir de sua aplicação na BVS e de testes
de usabilidade com os discentes e docentes dos programas de Pós-Graduação do
Centro de Ciências da Saúde (CCS) da Universidade Federal da Paraíba (UFPB).
O capítulo sete foi a validação do modelo metodológico proposto na tese,
e a apresentação, a tabulação e a análise dos dados obtidos com aplicação do teste
formal de usabilidade na BVS.
Nas Considerações Finais, observamos que a centralidade deste estudo
da análise de metodologias para avaliação de bibliotecas digitais, com foco na
usabilidade, resultou na apresentação de um modelo metodológico para avaliação
25
de usabilidade em bibliotecas digitais, baseado nas categorias analisadas e nas
lacunas detectadas nos modelos localizados na literatura, bem como os resultados
da aplicação do modelo proposto na BVS.
26
2 REFERENCIAL TEÓRICO
As bases teóricas do estudo estão balizadas em autores que discutem
conceitos necessários para compreensão do fenômeno a ser investigado. O capítulo
apresenta, inicialmente, a evolução da trajetória dos repositórios de conhecimento
desde os tempos da oralidade até a era digital. Nesta apresentação, são situadas as
bibliotecas digitais na história, e ressaltado seu surgimento e evolução. Também se
apresenta o conceito de biblioteca digital a ser adotado, no decorrer da pesquisa,
com base nos diversos conceitos e nas características encontradas na literatura da
Ciência da Informação. O trabalho enfoca a avaliação de bibliotecas digitais,
tratando da importância da sua usabilidade.
2.1 BIBLIOTECAS DIGITAIS: do oral ao digital
Pensar as bibliotecas como dispositivos de inclusão informacional é
pensar a própria trajetória do homem, representada nas visões de Barreto (1998) e
Lévy (1996), em três fases distintas, a saber: fase oral, atrelada às culturas tribais;
fase impressa ou visual, marcada pela expansão e pelo uso da cultura tipográfica e,
mais recentemente, a fase ciberespacial caracterizada pelo predomínio das
tecnologias da informação e comunicação. Segundo Lévy (1996, p. 17)
Uma coisa é certa: vivemos hoje uma destas épocas limítrofes na qual toda a antiga ordem das representações e dos saberes oscila para dar lugar a imaginários, modos de conhecimento e estilos da regulação sociais ainda pouco estabilizados [...] um novo estilo de humanidade é inventado.
As bibliotecas de acervos físicos, como as conhecemos, surgiram na
Grécia com Ptolomeu, que disseminou a ideia de preservar o conhecimento humano,
estabelecendo que “os livros de todos os povos da terra deveriam ser recolhidos na
Biblioteca de Alexandria”. Surge, então, a opinião de que a informação é um modo
de dominação, como mostra Canfora (1989, p. 28):
Os gregos não aprenderam a língua de seus novos súditos, mas compreenderam que, para dominá-los, era preciso entendê-los, e que, para entendê-los, era necessário traduzir e reunir seus livros. Assim nasceram bibliotecas reais em todas as capitais helênicas: não apenas como fator de prestígio, mas também como instrumento de dominação.
É possível observar que a história das bibliotecas, desde os primórdios
até os dias atuais, está estreitamente ligada à história da escrita e da própria
27
civilização; um esforço civilizatório de salvaguardar a produção do conhecimento.
Canfora (2000, p. 237) assegura que as bibliotecas passaram por uma série de
fundações, reconstruções e catástrofes. Uma espécie de fio invisível que ligou “os
esforços feitos pelas civilizações do mundo helenístico-romano para salvar seus
livros, esforços múltiplos”, porém, nem sempre bem sucedidos.
Praticamente, a biblioteca esteve presente na vida do indivíduo como
parte integrante da organização e disponibilização de bens sociais e culturais. Essa
instituição, inicialmente, foi pensada como um lugar para se guardar os primeiros
livros, a fim de se assegurar a continuidade de uma cultura materializada. Sem
dúvida, a história das bibliotecas, no mundo ocidental, é indissociável da história da
cultura e do pensamento, não só como lugar de memória, mas, sobretudo, como um
espaço dialético, que possibilita a interação entre quem seleciona, organiza e
disponibiliza a informação e o usuário que a busca. No dizer de Jacob (2000a, p. 11),
contribui para negociar os limites e as funções “da tradição, as fronteiras do dizível,
do legível e do pensável, [...] a continuidade das genealogias e das escolas, a
natureza cumulativa dos campos do saber ou suas fraturas internas e suas
reconstruções”.
Na expressão de Gomes (1983), a evolução sociopolítica da humanidade
exigiu mudanças no comportamento administrativo das bibliotecas, obrigando-as a
alterar suas políticas internas, sua forma de organizar e armazenar o saber, levando-
as a ter um caráter social.
Reconhecidas como agências sociais de natureza completa, as
bibliotecas foram criadas para servir de instrumento de ação, numa estrutura de
repositório dos meios de difusão das experiências culturais desenvolvidas nos níveis
adaptativos, associativos e ideológicos determinados por aqueles padrões.
Essa incursão histórica traz à tona a etimologia da palavra “biblioteca” e a
sua história, que vem do grego “biblion”, livro e “theke”, significando caixa, cofre,
armazém ou depósito. Assim, a biblioteca nasce como uma “caixa de livros” ou
“depósito de livros”. O conceito surge com o de livro, e começa a se formar a partir
do contato que a criança tem com os livros. Targino (1984, p. 50) afirma que “o
conceito que cada pessoa tem da biblioteca tende a revelar sua experiência
educacional e profissional, bem como a forma como a utilizou”.
Com o surgimento dos registros do conhecimento e das informações
produzidas, o homem sentiu a necessidade de criar sistemas de armazenamento
28
que possibilitassem um maior controle e facilidade na recuperação da informação,
impedindo, também, que houvesse uma dispersão de tais registros. Neste sentido,
Milanesi (1985, p.16) diz que “a história da biblioteca é a história do registro da
informação [...], a própria história do homem”.
O aparecimento da escrita marca o início da fixação dos conhecimentos,
através dos registros gráficos oriundos dos reinos mineral, animal e vegetal, e
constitui o ponto de partida de origem das bibliotecas. Tijolos de barro, rolos de
papiro, códices de pergaminho têm função idêntica à dos livros impressos sobre o
papel e dos suportes digitais da atualidade (CANFORA, 2000). Entretanto, a escrita
teve impulso com o surgimento do papel e a invenção da prensa de tipos móveis,
atribuída a Gutenberg, ocorrendo, a partir daí, uma mudança na forma de trabalho,
visto que o registro do conhecimento humano deixa de ser uma tarefa artesanal para
ser produzido em série, em grande escala. Tal processo barateou o custo
operacional do livro, tornando-o disponível a um número mais significativo de
pessoas. Milanesi (1985, p. 21), assegura que “a circulação de ideias expandiu-se,
saltou, definitivamente, o muro dos conventos, chegando a um número de pessoas
cada vez maior”.
Ainda seguindo esse mesmo raciocínio, ou seja, da expansão de acesso
às obras produzidas em escala, a partir da concretização da prensa mecânica e do
provável barateamento dos custos de produção, uma comparação simples foi
mencionada por Gabriel Naudé, em 1627, ao orientar a organização de uma
biblioteca, afirmando que uma pilha de livros não constituía uma biblioteca, assim
como um monte de soldados também não constituía um exército. Para ele, não
bastava ter material, mas, sobretudo, as possibilidades de acesso. Neste sentido,
Naudé aponta essa preocupação, delineando de certa forma, as próprias funções da
biblioteca e suas atribuições (BURKE, 2003).
Na visão de Targino (1984, p. 51), a biblioteca pode ser considerada
como a “memória coletiva das experiências existenciais, científicas e culturais, seja
do indivíduo, seja da sociedade. Coube, então, à biblioteca reunir os documentos
elaborados, os produtos intelectuais e espirituais das gerações”. Podemos dizer que
a criação e o desenvolvimento de bibliotecas dependem da forma como se
desenvolvem os fatores que atuam no processo sociocultural.
A história intelectual das sociedades tem sido marcada pela busca e
desenvolvimento dos meios de registro e de organização do conhecimento. Na
29
evolução dos suportes contamos com a argila, o papiro, o pergaminho, o papel, os
suportes digitais; e a organização intermediada por interfaces (grafadas, manuscritas,
impressas, analógicas e digitais) que revelam, captam e decodificam o sentido da
obra individual ou grupal para uso coletivo. Segundo Pereira (1995, p. 11),
Da Biblioteca de Alexandria, com sua interface PINAKES (um catálogo da coleção grafado em tabletes de argila), à Infobahn, com suas interfaces digitais, os Resource Discovery Tools, o engenho humano prova e comprova seu talento, sua arte, sua criatividade, sua paixão, agregando a uma rede de interfaces suas múltiplas faces – de faber, de ludens de sapiens, de inteligens e de somniams.
As mutações dos suportes de informação acabaram por influenciar,
também, as atribuições e funções da biblioteca tradicional, que foram substituídas
progressivamente por novas formas midiáticas de armazenar e disponibilizar textos,
com possibilidades de criar ligações hipertextuais em vastos corpora documentais
(LIMA; ROCHA, 2010).
O que há de novo é que, para além dos recursos de multimídia, a
verdadeira inovação que as bibliotecas digitais trazem é a possibilidade de modificar,
em profundidade, as formas de interação do usuário com o texto disponibilizado,
contribuindo para novas possibilidades pedagógicas, como por exemplo: construção
de textos colaborativos, consulta ao bibliotecário de referência pelo chat, solicitação
de material informacional por e-mail, entre outras ferramentas de interação. É uma
possibilidade diferente na articulação de projetos intelectuais e de formação, cujos
vestígios precisam ser conservados e transmitidos. Tais modificações foram
provocadas pelas conexões entre informática e telemática. Em relação a esse
aspecto, Aquino (2004, p. 9) assevera que
A passagem da cultura impressa para a cultura digital afetou não só os ambientes do papel, exigindo-lhes não só sua adequação aos novos formatos, mas impondo a aquisição de novas competências e habilidades para o desenvolvimento dos serviços informacionais.
A tecnologia afetou a forma de armazenar e disseminar a informação e a
automação das bibliotecas e atingiu todas as fases do processamento da informação
neste ambiente. Entretanto, é perceptível como a tecnologia modificou a forma do
usuário acessar e usar a informação disponível nas bibliotecas. Sendo assim, é
necessário “conciliar um desejo de universalidade e a necessidade de escolha, de
seleção, até mesmo de esquecimento” (JACOB, 2000a, p. 10), e como na “fábula
admonitória de Babel, nenhum desígnio será irrealizável” (JACOB, 2000b, p. 73),
30
pois a ampliação e o uso das TIC nas e para as bibliotecas nos afastarão e nos
aproximarão do passado, movidos por leves toques ou movimentos do mouse.
Continuaremos, provavelmente, a consultar documentos no formato tradicional,
porém, acreditamos que parte da história dos saberes e a produção cultural serão
disponibilizadas pelas tecnologias digitais. De acordo com Laufer (2000, p.166),
[...] a tela abrirá janelas múltiplas para configurações visuais e conceituais multidimencionais reversíveis e memoráveis. A possibilidade de folhear textos de forma sinótica e multivariável ampliará a aquisição e a invenção dos conhecimentos.
Neste sentido, a biblioteca muda de feição e busca arregimentar para si
ferramentas novas que propiciem atender às demandas da sociedade
contemporânea, dita sociedade da informação e do conhecimento (AQUINO, 2006),
marcada pela abundância de informação e de aprendizagem e pelo aceleramento
cada vez maior de sua disseminação. Essa é uma nova forma de se estabelecer
como instituição sociocultural de informação e do conhecimento, ou seja, como um
novo espaço de interação humana.
Com a crescente demanda de informações, sobretudo em relação às
bibliotecas, o que está em jogo na sociedade da informação e do conhecimento é a
premente necessidade de engendrar repertórios capazes de transcender o formato
códex e a cultura material das páginas impressas, como as únicas possibilidades de
disponibilização, acesso e uso do conhecimento; em outras palavras, maximizar
possibilidades novas de armazenamento dos registros do conhecimento.
2.1.1 Bibliotecas eletrônicas, digitais ou virtuais ?
Ao falar em biblioteca digital, biblioteca virtual, biblioteca eletrônica,
estamos referenciando conceitos para a nova biblioteca, excluindo a biblioteca
tradicional.
As realidades impressas, virtuais e digitais coexistem, não havendo
necessidade em determinar qual forma de acesso é melhor ou pior. Cabe, neste
contexto, um breve comentário acerca do uso das expressões “biblioteca virtual”,
“biblioteca eletrônica” e “biblioteca digital”. Esses três conceitos são usados
constantemente na literatura e ainda que apresentem conotações diferentes,
parecem querer definir a mesma coisa. Virtual e digital são palavras diferentes, e
31
consideramos importante a definição de seus conceitos para não os empregarmos
indevidamente.
Lévy (1996, p.15) nos apresenta o seguinte conceito de virtual: “A palavra
virtual vem do latim medieval virtualis derivado por sua vez de virtus, força potência
[...]. O virtual tende a atualizar-se, sem ter passado, no entanto, à concretização
efetiva ou formal”.
Corroborando esse conceito, Souza (2001) expõe o virtual como sendo
“mediado ou potencializado pela tecnologia; produto da externalização de
construções mentais em espaços de interação cibernéticos”.
Nesta perspectiva, para Viana (c1996), “o conceito de virtual está voltado
àquilo que, potencialmente, pode ocorrer ou ser realizado, mas que não existe como
a coisa concreta”.
Como podemos observar, as definições de virtual são complexas, mas na
aplicação desses conceitos no contexto da biblioteconomia, encontramos algumas
informações conceituais relevantes, que definem e estabelecem diferenças entre
biblioteca tradicional, biblioteca virtual, biblioteca digital e biblioteca eletrônica.
Ao definir biblioteca virtual, Viana (c1996) considera que pode ser
chamada de virtual quando ela tem as mesmas características de uma biblioteca
concreta, mas que ao mesmo tempo não existe fisicamente. Assim, para o autor,
podemos dizer que a biblioteca virtual existe a partir de uma biblioteca tradicional; o
virtual, portanto, é uma realização do concreto.
Também encontramos alguma complexidade no conceito de digital que,
basicamente, deriva do que venha a ser digitalizado, ou seja, transformado da forma
impressa (concreta) para a forma magnética ou eletrônica, pelo computador.
Podemos considerar a biblioteca digital como um espaço virtual no qual
pesquisadores colaboram e publicam seu trabalho.
Bax (1997, p.35) define bibliotecas digitais como sendo “[...] entidades
capazes de vencer as limitações naturais, espaço-temporais, impostas a objetos
físicos (livros, estantes, salas, prédios), permitindo novas práticas de trabalho e
oportunidades”.
Levacov (1997, p.126) argumenta que biblioteca digital
[...] para alguns, significa simplesmente a troca de informações por meio da mídia eletrônica e pode abranger uma grande variedade de aplicativos, [...] para outros, significa a possibilidade de [...] criar uma rede mundial que
32
fosse um grande depositário (potencialmente infinito) de todos os documentos da humanidade.
Segundo Hommerding (2007, p 72), na literatura especializada, a
expressão biblioteca eletrônica é usada no Reino Unido, enquanto o termo biblioteca
virtual foi o mais usado por algum tempo no Brasil, “[...] talvez por influência de
iniciativas pioneiras, tais como IBICT e Bireme, porém, atualmente, principalmente
na área acadêmica, o termo biblioteca digital está dominando o cenário”.
Para Souza (1997, p.49), “vivemos um momento de exaltação à palavra
digital no qual a meta é prover acesso às publicações eletrônicas.” E a ideia da
biblioteca é examinada como um lugar do ponto de vista do espaço lógico. Para fins
deste estudo, considerar-se-ão os três termos compostos como equivalentes em
conceito, e denominaremos este conceito como biblioteca digital uma vez que não
foram encontradas bibliotecas de realidade virtual.
Salgado (2002) acrescenta que, agregada a essa ideia, surge também a
noção de biblioteca eletrônica e, posteriormente, digital, como proposta para facilitar
o acesso à informação, favorecendo o transitar em rede de conteúdos relevantes.
Bibliotecas Digitais são organizações que provêem os recursos, incluindo
o pessoal especializado para selecionar, estruturar, oferecer acesso intelectual,
interpretar, distribuir, preservar a integridade e garantir a persistência, ao longo do
tempo, de coleções de obras digitalizadas de forma que estejam disponíveis de
forma econômica e simples para o uso por uma comunidade definida ou conjunto
destas (WATERS, 1998).
Compreendemos uma biblioteca digital como uma biblioteca que deve
incluir serviços de referências, tais como serviços de alerta, com atribuições para
manter banco de dados com perfil de busca dos usuários, objetivando recuperar a
informação desejada; auxiliá-los com ferramentas de busca, de acesso e de
assistência aos serviços de busca comerciais etc. A informação nela armazenada
deve passar por um processo de seleção, indexação, catalogação e classificação,
para atender à necessidade do usuário, sem ambiguidade, checar a exatidão e a
integridade das fontes de informação nela disponibilizada e ter em conta a
preocupação com a correta identificação. Enfim, oferecer produtos e serviços
relevantes para seus usuários, mantendo uma equipe multidisciplinar de
especialistas.
33
2.1.2 Bibliotecas digitais: conceitos e característ icas
As bibliotecas digitais tiveram sua gênese nas ideias de visionários como
Paul Otlet, com o sonho da biblioteca universal, Vannevar Bush, com sua máquina
amplificadora da memória, o Theodor Holm Nelson, com o projeto Xanadu e,
posteriormente, com o surgimento da Web (SAYÃO, 2008).
Sayão (2008, p. 8) afirma que “desde o início da computação ficou claro
que a automação das bibliotecas traria um extraordinário ganho de produtividade
aos processos biblioteconômicos por conta da natureza e do volume de dados
tratados pelas bibliotecas”. Assim, o uso da informática nas bibliotecas fez surgir
uma nova prática biblioteconômica que não se limita mais à criação de catálogos ou
de portais de acesso, mas reune a armazenagem, a pesquisa e o suprimento em um
formato sempre legível dos próprios documentos em sua diversidade.
Para a Association of Research Libraries (ARL) as coleções de bibliotecas
digitais não se contentam com referências, mas se interessam por todos os artefatos
digitais que não podem ser apresentados ou representados em forma impressa. A
biblioteca digital é, também, uma biblioteca “multimídia” (LE CROSNIER, 2005).
A reflexão sobre os conceitos de bibliotecas digitais obriga-nos a recorrer
a Vannevar Bush e a Theodore Nelson como idealizadores do hipertexto e,
considerados, na literatura da Ciência da Informação, precursores da biblioteca
digital. Em 1945, Vannevar Bush, ao pensar sobre o aumento da produção, do
registro de informação, do armazenamento, da consulta e da seleção, antecipou a
noção de repositório de informação 2 , denominando-o de MEMEX (Memory
Extension). O cientista divulgou sua ideia num artigo intitulado “As we may think”,
publicado no periódico The Atlantic Monthly, em julho de 1945, detalhando-o como
uma máquina capaz de armazenar informações, de uma forma fácil e veloz, cujo
acesso se daria através de uma tela de televisão com alto-falantes. O efeito seria de
uma extensão da memória humana, facilitando a disponibilização e a disseminação
de informações científicas.
2 Neste estudo, repositório de informação é um ambiente digital, onde diversos conteúdos em formato digitais (textos, fotos, vídeos, entre outros), podem ser armazenados e posteriormente pesquisados e recuperados (CAMARGO; VIDOTTI, 2007).
34
Figura 1 – A máquina MEMEX
Fonte: Google imagem (2012)3
Na década de 1960, a ideia se consolida com Theodore Nelson, ao
empregar o termo hipertexto em sistemas de informática, no projeto denominado
XANADU, imaginando que as pessoas poderiam ter acesso a qualquer informação
de qualquer lugar, conectada a uma grande rede contendo todo o saber literário e
científico, onde seriam armazenados os textos completos de documentos (LÉVY,
1993). Essa noção se configura com o princípio das bibliotecas em redes,
convergindo, posteriormente, para as bibliotecas digitais. Sobre essa questão,
Salgado (2002, p. 22) assinala que, historicamente,
[...] um dos momentos de transição mais importantes na busca de novas formas de registro e organização do acervo intelectual da humanidade aconteceu no período compreendido entre 1945-1985 no qual alguns autores imaginaram a nova biblioteca como dispondo de recursos tecnológicos para fazer frente à explosão bibliográfica e favorecer, por conseguinte, o acesso à informação por parte do usuário, principalmente aqueles das áreas científicas e tecnológicas.
Desde a década de 1980, as bibliotecas funcionam “em rede”, mesmo
antes da invenção dos computadores, através da comutação bibliográfica,
primeiramente com o uso do Sistema de Correios e Telégrafos e, atualmente, com o
uso de software de permuta online, que objetiva garantir o acesso universal às
publicações e dividir o trabalho de criação de “catálogos coletivos”. Com a
automação das bibliotecas e a disponibilização online dos seus catálogos, os
centros de documentação procuraram se beneficiar do uso dos computadores para
3 Disponível em: http://gicbrasil.wordpress.com/2010/05/16/historia-da-ciencia-da-informacao-memex/
35
criar “bancos de dados”, verdadeiros pontos de acesso às referências,
especialmente no domínio científico.
Na literatura da Ciência da Informação, encontramos diversos conceitos
de biblioteca digital, mas todos com características similares e algumas ideias em
comum. Kuramoto (2006), por exemplo, ao abordar o contexto e as definições de
bibliotecas digitais na tentativa de conceituá-las, utiliza os princípios estabelecidos
pela Association of Research Libraries (ARL), apropriando-se do trabalho de
Drabenstott para caracterizar as bibliotecas digitais. Afirma que estas não são
simples entidades, requerem tecnologias para interconectar os recursos de outros e
de outras bibliotecas digitais, e que não se limitam a informações e referências; elas
se estendem aos artefatos digitais que não podem ser representados ou distribuídos
em formatos impressos.
As bibliotecas digitais podem ser apreendidas como ilhas de coleções
especializadas na Web, que têm sua própria política de gerenciamento para controle
de publicação e acesso aos seus documentos (WITTEN; BAINBRIDGE, 2003). Elas
reforçam o uso de metadados, para descrever o conteúdo do material publicado,
permitindo mais facilidades na recuperação.
De acordo com as ideias de Smith (2000), há certa dificuldade para definir
o que é uma biblioteca digital, vez que cada área de pesquisa busca seu foco, na
perspectiva da recuperação de informação. Assim, uma biblioteca digital pode ser
considerada como “[...] um banco de dados enorme; já para pesquisadores que
trabalham com tecnologias na Web, trata-se de uma aplicação; para a ciência de
biblioteconomia, é mais um passo no contínuo processo de automação das
bibliotecas” (BEZERRA; BRENNAND, 2004).
Nesta perspectiva teórica, Baeza-Yates e Ribeiro-Neto (1999) afirmam
que, para a comunidade de recuperação de informação, uma Biblioteca Digital pode
ser vista como um sistema de recuperação de informação, estendido no contexto de
federação e variações de mídias. Ela também deve suportar grandes coleções de
documentos, catalogação/indexação e recuperação.
Na visão de Leiner (1998), a biblioteca digital “[...] é uma coleção de
serviços e [...] de objetos informacionais que suportam usuários no manuseio de
objetos informacionais, assim como a organização e apresentação desses objetos,
direta ou indiretamente disponíveis via meio eletrônico”.
36
Marchiori (1997) centra sua análise conceitual a partir da diferença básica
entre as bibliotecas digitais e as bibliotecas tradicionais. Para a autora, tudo é
determinado pelo suporte e pelo formato, pois as bibliotecas digitais se diferenciam
das demais por terem suas informações materializadas no formato digital (em
winchester, CDs, fitas, disquetes etc.)4, possibilitando, desta feita, a visualização e a
pesquisa dos documentos (vídeo, texto completo etc.), por meio de redes de
computadores. Permitem, ainda, o compartilhamento instantâneo, com um custo
relativamente baixo. Tal característica viabiliza maior acesso e disponibilidade de
informações a um número cada vez maior de usuários.
A concepção de Marchiori leva em consideração dois aspectos básicos:
tempo e espaço, a partir do momento em que o item é digitalizado e compartilhado,
ampliando as possibilidades de busca de informação, independentemente do local.
A disponibilização e o compartilhamento dos documentos, contidos na biblioteca
digital, só serão possíveis através do processamento por meio de computadores, ou
digitalizados por meio de scanners. Esse processamento possibilita a
disponibilização de documentos na íntegra, quer sejam multimídia, imagens digitais,
áudios, bastando estarem conectados ou autorizados por meio de redes.
Levacov (1997, p. 2) caminha no mesmo entendimento de Marchiori, ao
assegurar que a biblioteca digital “é a troca de informações por meio da mídia
eletrônica e pode abranger uma grande variedade de aplicativos”. Isso significa “a
possibilidade de criar uma rede mundial, que fosse um grande depositário
(potencialmente infinito) de todos os documentos da humanidade”. Essa é uma ideia
já fabulada nos inscritos borgeanos, quando ele se refere à Biblioteca de Babel, à
biblioteca sem muros, de Roger Chartier, ou ainda, à biblioteca alexandrina, o sonho
de aglomerar num mesmo espaço e ao mesmo tempo o saber humano.
Apesar de comungar com as visões dos autores já mencionados, Dias
(2001) acresce um novo e importante elemento à sua concepção de biblioteca digital.
Para ele, tudo se pauta para além da máquina, nos sujeitos, aqueles que a utilizam e
aqueles que a preparam. Por essa razão, define-a como “um conjunto de artefatos,
conhecimento, práticas e uma comunidade, que engendra compromissos realísticos
assumidos por profissionais da informação, analistas de sistemas e usuários”.
4 Termos em uso na época da publicação
37
As contribuições de Vidotti e Sant’Ana (2006, p. 90) permitem afirmar que
as bibliotecas digitais têm características, além das tradicionais, que “possibilitam a
otimização do uso das TIC, agregando valores aos serviços oferecidos,
possibilitando ao usuário o acesso, independentemente de tempo e de espaço, e os
recursos/obras digitais podem conter documentos com características multimídia”.
Por sua vez, Cunha e McCarthy (2006, p. 51) asseveram que as
bibliotecas digitais compõem um conduto que “tem o potencial de disponibilizar
conteúdo cultural de bom nível para a nação em geral”. Percebemos que elas
exercem expressivo impacto na sociedade, na pesquisa e na cultura do nosso país.
É também aparente que a Internet e as bibliotecas digitais executam importante
papel na garantia da ampliação do acesso à informação no Brasil.
Cunha (1999, p. 258) apresenta a biblioteca digital/virtual como
“informação armazenada de forma eletrônica, disseminada independente de sua
localização física ou do tempo”. Esse tipo de biblioteca, ainda segundo Cunha
(1999), apresenta as seguintes características: a) acesso remoto por meio de um
computador conectado a uma rede; b) utilização simultânea do mesmo documento
por duas ou mais pessoas c) inclusão de produtos e serviços de uma biblioteca ou
centro de informação; d) informação disponível 24 horas por dia e todos os dias da
semana; e) provisão de acesso online a outras bibliotecas, museus, bancos de
dados, instituições públicas e privadas; f) existência de um sistema inteligente que
ajuda na recuperação de informação; g) utilização de diferentes suportes de registro
da informação; h) a biblioteca não necessita ser proprietária do documento solicitado
pelo usuário.
Para Lesk (1997) “uma Biblioteca Digital é uma coleção de informação ao
mesmo tempo organizada e digitalizada” e acrescenta os seguintes aspectos sobre
as características de uma biblioteca digital: a) conteúdo digital; b) acesso a conteúdo
(busca e recuperação de informação); c) preservação do conteúdo; d) alguma forma
de manutenção (em paralelo à manutenção de bibliotecas tradicionais); e) questões
sociais (acesso à informação e democracia; resistência à leitura online).
Uma biblioteca digital é uma coleção gerenciada de informações, com
seus serviços associados, onde a informação é armazenada em formato digital e
acessível através de uma rede (ARMS, 2000).
Para Jeng (2005a) as bibliotecas digitais podem ser vistas como novas
formas de instituições de informação, sistemas de recuperação de informações
38
multimídia, ou sistemas de informações que dão suporte à criação, utilização e
pesquisa de conteúdo digital. Em suma, para a autora as bibliotecas digitais são
uma coleção organizada e gerenciada de informações digitais, acessíveis através de
uma rede e podem incluir serviços.
Ao buscar o conceito de biblioteca digital, deparamo-nos, constantemente,
com a pergunta sobre se ela é eletrônica, virtual ou digital. No contexto brasileiro,
esses termos se assemelham, são similares ou tidos como sinônimos, sempre que
falamos em biblioteca, cujo conteúdo está disponível em rede. Percebemos que
existe uma indefinição conceitual do termo, apresentando nos trabalhos algumas
citações de autores diversos, mas sem concluir com uma concepção pessoal que
determine sob que perspectiva está utilizando o termo biblioteca digital, virtual ou
eletrônica.
Os conceitos encontrados na literatura apresentam uma ou várias das
características definidas por Cunha (1999) para uma biblioteca digital, e outros
trabalhos encontrados na literatura consultada indicam o termo em palavras-chave,
mas sem discutir o conceito, como se tratassem de um conceito aceito e consolidado
pela literatura e a eles não coubesse mais discussão teórica.
As vantagens apresentadas nos artigos que versam sobre tal biblioteca
são evidentes, especialmente o acesso remoto à informação no momento desejado,
no formato que lhe possibilita a cópia eletrônica, que seleciona palavras, imprime e
salva para consulta posterior.
Dessas análises, o que se extrai, a priori, como característica conceitual
das bibliotecas digitais, é que elas mantêm algumas das atividades que são
desenvolvidas nas tradicionais, mas apresentam características próprias, que
possibilitam a otimização do uso das tecnologias da informação e comunicação,
agregando valores aos serviços oferecidos, possibilitando ao usuário o acesso,
independentemente de tempo e espaço, e os recursos ou obras disponibilizados em
formatos diversificados.
Para fins desta tese, compreendemos uma biblioteca digital como uma
biblioteca que deve incluir serviços de referências, tais como serviços de alerta, com
atribuições para manter banco de dados com perfil de busca dos usuários,
objetivando recuperar a informação desejada; auxiliá-los com ferramentas de busca,
de acesso e de assistência aos serviços de busca comerciais etc. A informação nela
armazenada deve passar por um processo de seleção, indexação, catalogação e
39
classificação, atender à necessidade informacional do usuário sem ambiguidade,
checar a exatidão e a integridade das fontes de informação nela disponibilizada e ter
em conta a preocupação com a correta identificação. Enfim, oferecer produtos e
serviços relevantes para seus usuários, mantendo uma equipe multidisciplinar de
especialistas (LIMA; SOUZA, 2010).
2.2 AVALIAÇÃO DE BIBLIOTECAS DIGITAIS
No domínio das bibliotecas digitais, tanto quanto em qualquer outro, os
sistemas de avaliação são apresentados como solução para situações e
questionamentos. Mesmo assim, a avaliação não é uma atividade ampla, nem
mesmo em crescimento nas bibliotecas digitais. Na realidade, a avaliação é mais
observada por sua ausência ou presença mínima na vasta literatura sobre
bibliotecas digitais, tanto na pesquisa quanto na prática; a avaliação parece ser uma
exceção e não uma regra.
Segundo Saracevic (2004), as bibliotecas digitais são complexas,
constituindo-se em muito mais do que sistemas tecnológicos e a avaliação de
sistemas complexos é igualmente complexa. O autor afirma que não há interesse na
avaliação, e acrescenta “aqueles que fazem ou pesquisam bibliotecas digitais estão
interessados em fazer, construir, implementar, abrir novos caminhos, operar [...] a
avaliação é de pouco ou nenhum interesse, além de não haver tempo para isto”
(SARACEVIC, 2004, p. 10).
Com o advento da World Wide Web (WWW), juntamente com os avanços
das tecnologias de computação, pesquisas e projetos de criação e implantação de
bibliotecas digitais cresceram muito, desde os anos 2000. Com isso um número de
pesquisadores e profissionais de diferentes áreas do conhecimento (por exemplo,
ciência da informação; tecnologia de informação e ciência da computação) têm sido
atraídos para esta área. Outro interesse recai sobre o ritmo e dimensão de projetos,
entidades e atividades em torno das bibliotecas digitais.
Percebe-se através da crescente criação de periódicos especializados
(por exemplo, D-Lib Magazine, International Journal of Digital Libraries, Journal of
Digital Information), de eventos específicos (como, ACM Joint Conference on Digital
Libraries, European Conference on Research and Advanced Technology for Digital
Libraries, International Conference on Asian Digital Libraries), e organizações (Digital
40
Library Federation) que visam especificamente este tema. No entanto, junto a este
cenário de crescimento rápido, para alguns autores, existem pontos fracos que
podem dificultar o progresso das bibliotecas digitais. Uma dessas fraquezas consiste
na falta de definição do conceito de biblioteca digital, aqui já aludida.
Há duas versões para alguns pontos conflitantes sobre biblioteca digital:
uma na perspectiva do pesquisador que a vê como uma coleção de informação
organizada e armazenada digitalmente (FOX et al, 1993; LESK, 1997); a outra pode
ser encontrada principalmente a partir dos profissionais atuantes em bibliotecas, que
compreendem a biblioteca digital como a extensão institucional das bibliotecas
tradicionais em ambientes digitais (Digital Library Federation). Na opinião de
Borgman (1999), essas visões prejudicam o avanço das bibliotecas digitais porque
restringem as fronteiras entre as coleções digitais e as instituições.
A percepção sobre a necessidade de um acordo quanto à concepção de
biblioteca digital motivou ao D-Lib Working Group on Digital Library 5 propor a
seguinte definição, em reunião realizada em 07 de janeiro de 1998, na Universidade
de Stanford:
A biblioteca digital é uma coleção de serviços e objetos informacionais que facilitam para o usuário a utilização da informação, inclusive a apresentação e organização desses objetos, disponíveis direta ou indiretamente por meio de instrumentos eletrônicos/digitais.
A proposição do conceito, no âmbito do grupo, buscou o entendimento
comum do que seja biblioteca digital, uma vez que visa desenvolver um conjunto de
métricas adequadas para avaliar e comparar a eficácia dessas bibliotecas.
Tammaro e Salarelli (2008a) observam que os serviços das Bibliotecas
Digitais são diferentes dos serviços das Bibliotecas Tradicionais; além disso, as
possibilidades de medir o uso das publicações digitais são diferentes das usadas
nas publicações impressas. Por conseguinte, os modelos de avaliação usados em
bibliotecas tradicionais necessitam de adequações em alguns aspectos, enquanto
que outros não se aplicam quando estamos tratando de bibliotecas digitais.
Um dos problemas da avaliação de bibliotecas digitais encontra-se na
coleta dos dados: faltam dados de uso que sejam exatos, bem como a falta de
normas internacionais de uso comum destinadas à mensuração das bibliotecas
5 http://www.dlib.org/metrics/public/
41
digitais, com diretrizes para enfrentar corretamente os problemas relativos às
coleções digitais e à medição de seu uso (TAMMARO; SALARELLI, 2008b).
Para Blandford et al. (2008) muitos estudos publicados sobre avaliação de
bibliotecas digitais são relatos de avaliações de sistemas específicos, envolvendo
testes com usuários ou avaliação de especialistas. Esses estudos de avaliação
podem ser baseados em análise quantitativa, como os que envolvem o uso de logs
de transação, e qualitativos, como as técnicas de entrevista, observação ou o think
aloud (pensar em voz alta). Tais estudos ilustram a diversidade de abordagens
possíveis quando se avalia bibliotecas digitais, e a variedade de questões possíveis.
Zhang (2007) considera que a avaliação de bibliotecas digitais pode pedir
abordagens e critérios também utilizados nas avaliações do sistema de recuperação
de informação das bibliotecas tradicionais, mas que é essencial desenvolver
modelos de avaliação específicos para esse tipo de bibliotecas. Até porque, segundo
o autor, com um enorme consumo de recursos técnicos, financeiros e de pessoal
empregados em cada projeto de implantação de uma biblioteca digital, este deve ser
avaliado para garantir o resultado de seu desenvolvimento.
Sob esse ponto de vista, Marchionini (2000) considera a essência da
avaliação de bibliotecas digitais residente na recolha sistemática de dados e
integração de pontos de vista diferentes, usando diferentes abordagens e de
diferentes dimensões.
Saracevic (2005) ao fazer uma pesquisa, apresentada na conferência
LIDA sobre como estavam sendo avaliadas as bibliotecas digitais, identificou
diferentes abordagens aplicadas:
Abordagem centrada nos sistemas: amplamente utilizada. Envolve o estudo de algum aspecto de desempenho. [...]; Abordagem centrada no homem: também amplamente utilizada. Envolve estudos de comportamento em relação a dadas necessidades de informação, tais como busca de informação, navegação, pesquisa ou desempenho no cumprimento de tarefas atribuídas, seja pré-determinada ou observada em cenários naturais. [...]; Abordagem centrada na usabilidade: Envolve avaliação de diferentes características, particularmente em relação a portais, pelos usuários. [...]; Abordagem etnográfica: Envolve estudos dos modos de vida, cultura e costumes em um ambiente de biblioteca digital. Também envolve o estudo do impacto de uma biblioteca digital em uma dada comunidade. [...]; Abordagem antropológica: Envolve o estudo de diferentes partes interessadas ou comunidades e suas culturas em relação a uma dada biblioteca digital. [...]; Abordagem sociológica: Envolve avaliação de ação situada ou comunidades de usuários no ambiente social de uma biblioteca digital. [...]; Abordagem econômica: Envolve estudo de custos, custo-benefício, valores e impactos econômicos (SARACEVIC, 2005, p. 5, grifos nossos).
42
Para o autor, os “níveis de avaliação variaram de micro-avaliação de
determinadas características até macro avaliação do impacto de uma biblioteca
digital em um campo” (SARACEVIC, 2005, p.5). Além das abordagens anteriormente
citadas, vários outros estudiosos destacam uma variedade de fatores intervenientes
da biblioteca digital e da necessidade de incluir suas diversas perspectivas nas
avaliações.
Segundo Machionini (2000), entre os poucos projetos com um ponto de
vista um pouco sistemático, podemos considerar a avaliação multifacetada do
Perseus Digital Library (PDL). Tal processo deu-se em quatro níveis: avaliação dos
usuários (alunos e educadores), dos sistemas técnicos, dos conteúdos e do ensino.
A avaliação fornece um quadro comparativo global de quão bem o PDL foi
implementado.
Borgman, Solvberg e Kovács (2002, p.7), na quarta edição do DELOS
workshop, afirmam serem as bibliotecas digitais tecnologias essenciais para
gerenciamento de publicação eletrônica, ensino e aprendizagem e outras atividades.
Portanto, precisam ser avaliadas num contexto de aplicações específicas.
Nesta perspectiva, Xie (2006) argumenta que as bibliotecas digitais
devem ser avaliadas no seu contexto social e organizacional e apresenta alguns
critérios para avaliação de bibliotecas digitais.
43
Figura 2 – Critério de avaliação de biblioteca digital
Fonte: Xie (2006, p. 449)
Para definir os critérios de avaliação de bibliotecas digitais,
apresentados na figura 2, Xie (2006) tomou como base os resultados de pesquisa
realizada com usuários deste tipo de biblioteca. O estudo objetivou identificar que
critérios os usuários identicavam como importantes para avaliar essas bibliotecas.
Os resultados foram organizados apresentando uma figura interligando as
questões apontadas pelos usuários como os principais problemas das bibliotecas
digitais avaliadas, procurando orientar os designers a entenderem as
necessidades dos usuários.
Como podemos observar na literatura apresentada, vários autores
apresentam propostas e métodos para a avaliação de bibliotecas digitais,
apontam critérios e questões para investigação. Entretanto, o campo do estudo
de usuários ainda apresenta falta de métodos específicos para compreender
como atender às necessidades informacionais dos seus usuários.
44
2.2.1 Interfaces de Bibliotecas Digitais
Com o crescente uso da Internet, inclusive por usuários leigos em
informática que recorrem aos sistemas de busca para suas pesquisas, percebemos
a necessidade de repositórios de informação que possam lhes auxiliar na
recuperação de informação. Neste sentido, para que as bibliotecas digitais possam
ser utilizadas, através da Internet, por usuários localizados em diversos lugares no
mundo com fins de pesquisa científica, é preciso desenvolver interfaces que os
auxiliem a buscar, filtrar e avaliar os documentos, orientando-os quanto a palavras-
chave, palavras truncadas, operadores booleanos e outras estratégias utilizadas
nessa atividade, limitando e selecionando as que forem relevantes.
Neste estudo, consideramos a perspectiva de Johnson (2001, p.16), ao
conceituar interface como uma parte do software que possibilita a interação
usuário/computador. Afirma o autor que “a interface atua como uma espécie de
tradutor, mediando entre as duas partes, tornando uma sensível para a outra”.
Segundo Ferreira e Souto (2006, p. 187), “a interface passa a ser
percebida tanto como o meio para a interação usuário-sistema, quanto como uma
ferramenta que oferece os instrumentos para esse processo comunicativo”. As
interfaces evoluíram de comandos textuais para interfaces icônicas, visando dar
poder aos usuários, de modo a garantir-lhes a facilidade de uso nas operações a
serem realizadas (LEVACOV, 2002).
Nesta perspectiva, Ferreira e Souto (2006, p. 186) argumentam que “as
interfaces deixam de ser baseadas em linhas de comando e textos e começam a
adicionar elementos da linguagem visual, resultando em interfaces gráficas que
ampliam as possibilidades e qualidade do acesso”.
Ainda na mesma linha de discussão, ressaltam as autoras, a importância
da interface para as bibliotecas digitais, principalmente por ser hoje a interface
“condição sine qua non”, para analisar sua qualidade (FERREIRA; SOUTO 2006, p.
185). No momento da construção de uma biblioteca digital, equipes interdisciplinares,
responsáveis por sua interface, estudam as "tarefas" a serem feitas e escolhem as
"ferramentas" e os esquemas conceituais que metaforicamente mais se adequam à
tarefa proposta.
As bibliotecas digitais buscam oferecer aos usuários interfaces com
facilidades de uso e interpretação, já que são responsáveis pela troca de informação
45
do usuário com o sistema de busca da biblioteca. Se o mesmo não a compreender,
a comunicação será prejudicada e poderá não ocorrer.
Considerando que a satisfação do usuário é um dos objetivos de uma
biblioteca digital, sua interface deve possibilitar as opções de busca necessárias e
adequadas ao contexto digital, de maneira a oferecer incentivo ao descobrimento de
novas formas de realizarem a consulta, a recuperação e a visualização do
documento. Para isso, devem ser desenvolvidas maneiras de tornar a interface das
bibliotecas digitais fáceis de serem utilizadas, mostrando claramente as alternativas
disponíveis a cada passo da interação, sem confundir o usuário, nem deixá-lo
inseguro (FERREIRA; SOUTO, 2006; LEVACOV, 2002).
Para alguns autores, a exemplo de bom design de interface de usuário,
necessita-se fornecer uma interação simples, natural e atraente entre o usuário e o
sistema, permitindo-o realizar suas tarefas com segurança, de maneira eficiente,
eficaz e com satisfação. É fundamental que os projetistas de interface conheçam a
importância de avaliar, o que avaliar e quando avaliar (PREECE; ROGERS; SHARP,
2005).
O design da interface deve permitir que o usuário efetue a tarefa
pretendida de modo fácil e eficiente. Esse tipo de avaliação envolve medir o
desempenho do usuário em relação ao sistema. Qualquer tipo de avaliação deve ser
guiado por um conjunto de crenças e práticas que podem ser firmadas pelas teorias.
Essas crenças e práticas possuem métodos e técnicas a elas associadas.
2.2.2 Usabilidade em Bibliotecas Digitais
O termo usabilidade começou a ser usado na década de 1980,
principalmente nas áreas de Psicologia e de Ergonomia. Veio substituir a expressão
"user-friendly", referente à interface amistosa e fácil de ser usada e entendida,
porém considerada vaga e subjetiva. Para evitar que o termo usabilidade sofresse o
mesmo desgaste, vários são os autores que tentaram defini-lo utilizando abordagens
diferentes (DIAS, 2003).
46
A International Organization for Standardization (ISO)6 foi pioneira em
criar parâmetros normalizados sobre a usabilidade, e esses estudos tiveram como
resultado a norma ISO/IEC 9126 (1991). Na busca de contemplar a necessidade de
novos padrões para usabilidade, em 1998 foi publicada uma nova norma, a ISO
9241, que estabeleceu um novo conceito de usabilidade, passando a levar em
consideração as necessidades do usuário. Nessa norma são definidas
características de qualidade de software como: funcionalidade, confiabilidade,
eficiência, portabilidade e possibilidade de manutenção.
De acordo com a ISO 9241-11, de 1998, (ABNT, 2002, p. 3) usabilidade
pode ser entendida como a capacidade de um produto ser “[...] usado por usuários
específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação
em um contexto específico de uso”.
A partir da década de 1990, após a publicação dos padrões de
usabilidade pela ISO, autores como Nielsen (2002), por exemplo, passaram a
abordar o conceito de usabilidade em interfaces computacionais. Posteriormente
com o surgimento da interface gráfica na Internet, os conceitos de usabilidade foram
adaptados para especificar características deste novo meio.
Nielsen e Loranger (2007, p. xvi) definem usabilidade como:
[...] um atributo de qualidade relacionado à facilidade do uso de algo. Mais especificamente, refere-se à rapidez com que os usuários podem aprender a usar alguma coisa, a eficiência deles ao usá-la, o quanto lembram daquilo, seu grau de propensão a erros e o quanto gostam de utilizá-la. Se as pessoas não puderem ou não utilizarem um recurso, ele pode muito bem não existir.
Dentre os inúmeros conceitos existentes na literatura especializada,
escolhemos trabalhar, no escopo desse trabalho, com o conceito de usabilidade
como a capacidade de um produto ser facilmente usado e facilmente aprendido.
Apesar de ser um conceito bastante adotado entre profissionais da web/Internet e de
mídia digital é aplicável a produtos como aparelhos de DVD, brinquedos, cafeteiras e
caixas de autoatendimento bancário. A usabilidade na web consiste em adaptar a
informação ao site de forma eficiente, garantindo praticidade em seu uso. A
usabilidade está ligada à capacidade do sistema em interagir com o usuário,
atendendo às suas necessidades.
6 A ISO é uma organização não-governamental estabelecida em Londres desde sua criação, em fevereiro de 1946. Sua missão é promover e facilitar a coordenação internacional e a unificação de padrões industriais.
47
Para se avaliar a usabilidade de um produto, existem três principais
parâmetros: eficácia, eficiência e satisfação, em certo contexto de uso, levando-se
em conta um grupo específico de usuários (LEÃO; SANTOS, 2007). Entretanto, para
Nielsen (2002) a usabilidade está relacionada a cinco atributos do sistema: ser fácil
de aprender, eficiente de usar, fácil de lembrar e agradável de usar, além de estar
sujeita a poucos erros. Esta usabilidade está ligada à capacidade do sistema para
interagir com o usuário, atendendo às suas necessidades. Está relacionada também
à facilidade de aprendizagem, efetividade, atitude, flexibilidade, utilidade percebida
do produto, adequação à tarefa, às características da tarefa e às características do
usuário.
A produção e o uso da informação pelos indivíduos são preocupações
constantes da área da Ciência da Informação. Assim, os estudos sobre usuários têm
despertado os interesses de desenvolvedores de ambientes informacionais que
promovem a interação do ser humano com os websites.
Dias (2003, p. 28) avalia que um sistema pode ser considerado eficaz
“quando possibilita que os usuários atinjam seus objetivos”. Apresenta a eficácia
como a “principal motivação que leva um usuário a utilizar um produto ou sistema”.
Segundo essa autora, para um sistema ser utilizado, não basta ser fácil de usar, fácil
de aprender e mesmo agradável ao usuário; ele precisa atender a objetivos
específicos de usuários específicos; caso contrário ele não será usado, mesmo que
seja oferecido gratuitamente. Portanto, se faz necessário que os desenvolvedores,
os consultores e os usuários sejam ouvidos.
Segundo Nielsen e Loranger (2007), estudos estatísticos apontam que
mais da metade das chamadas relacionadas ao suporte de usuário se deve a pouca
usabilidade, o que significa que há pouca preocupação em ofertar boas interfaces
aos usuários. Com a ampla utilização da informática, por praticamente todas as
áreas do conhecimento, aumenta a preocupação com o processo de
desenvolvimento de software com qualidade de uso, exigindo que os profissionais
da área busquem modelos eficazes, capazes de atender a qualquer tipo de usuário.
O mesmo precisa sentir-se confortável ao realizar um acesso e uma das formas de
atingir esse objetivo é a aplicação de métodos de avaliação que validem a qualidade
de uso dos sites desenvolvidos nos ambientes digitais.
Desse modo, para a construção de websites, conforme Nielsen e
Loranger (2007) deve-se considerar o grau de experiência dos usuários, pois as
48
diretrizes de usabilidade diferem de acordo com o público alvo, por estarem focados
em diferentes preferências e necessidades.
A usabilidade, assim, é uma característica que agrega valor a um website
e, mais ainda, visa atender às necessidades do usuário. Os conteúdos
disponibilizados em bibliotecas digitais devem considerar princípios que buscam
satisfazer às necessidades do seu público consumidor, o usuário, indistintamente.
Com isto, ressaltamos que a usabilidade deve ser tratada como um atributo de
qualidade relacionado à facilidade de uso de um sistema digital projetado de forma
eficiente, com o intuito de promover conforto, satisfação e eficácia na recuperação
de informação. O comportamento do usuário é estudado, metodologicamente, como
estratégia de conhecer sua opinião e descobrir como interage com a biblioteca
digital avaliada.
Neste sentido, Nielsen e Loranger (2007, p. 394) apresentam as
seguintes recomendações:
Conheça seu público alvo. As expectativas em relação ao site se baseiam nas experiências dos usuários com outros sites. Um site incongruente com o que é familiar rompe o fluxo de trabalho e causa confusão. É mais difícil aprender algo novo do que repetir o familiar [...]. Prefira a funcionalidade à forma [...] maioria das pessoas, preferem sites que equilibram design com simplicidade. [...]. Elas apreciam sites que são esteticamente agradáveis, mas se frustram se o design for um obstáculo. Combine criatividade e usabilidade para alcançar um design harmonioso e eficiente.
Essas inquietantes questões justificam a importância de estudar a
usabilidade das bibliotecas digitais, por serem consideradas como um dos fatores
relevantes no ambiente de aprendizagem. Por meio delas é que o aprendente
acessa o sistema com o qual ele mesmo interage. Dessa forma, a análise de
usabilidade de uma biblioteca digital permite verificar a interatividade homem-
máquina e conhecer a satisfação dos usuários quanto às tarefas realizadas e sua
aplicação nas suas atividades e necessidades informacionais (DIAS, 2003).
Para Nielsen (2003a) a usabilidade é um atributo de qualidade que avalia
quão fáceis são as interfaces de uso para o usuário. A palavra "usabilidade" também
se refere a métodos para melhorar a facilidade de uso durante o processo de design.
Usabilidade é definida por cinco componentes da qualidade:
• Aprendizado : é fácil para os usuários realizar tarefas básicas, a primeira vez que encontram o projeto? • Eficiência : Uma vez que os usuários aprenderam a concepção, com que rapidez podem realizar as tarefas?
49
• Memorização : quando os usuários retornam ao projeto após um período de não usá-lo, com facilidade se pode restabelecer a proficiência? • Erros : Quantos erros os usuários cometem, são graves esses erros, e o quão facilmente eles podem se recuperar dos erros? • Satisfação : Quanto é bom usar o design? (NIELSEN, 2003a, grifo do
autor).
No âmbito do comércio eletrônico, a usabilidade é considerada uma
questão essencial na web e pode determinar tanto o sucesso quanto o fracasso de
uma empresa. Estudos sobre a avaliação de desempenho dos websites comerciais
destacaram a interação do usuário com o site como um ponto essencial na decisão
de compra, bem como no desenvolvimento da fidelidade do cliente.
Observamos que o mundo dos negócios tem feito grandes progressos no
estudo das necessidades dos clientes, enquanto as bibliotecas digitais tendem a
estruturar suas explorações e serviços em torno do que acreditam ser bom para
seus usuários. Portanto, elas precisam trabalhar ativamente para se transformarem
em uma instituição focada no usuário. Para isso, é importante avaliar suas atividades
através dos olhos dos usuários, incluindo no processo mecanismos que possibilitem
atenter suas necessidades e conhecer sua satisfação com os serviços oferecidos.
Entretanto, a área da Ciência da Informação vem apresentando
progressos quanto à avaliação das bibliotecas digitais com foco nos usuários, por
isso a avaliação da usabilidade vem ganhando uma considerável atenção.
Alguns estudos têm apresentado propostas no sentido de melhor colher
as necessidades dos usuários, adequando modelos usados para Web às
especificidades desse tipo de biblioteca.
Jeng (2005b) procedeu a pesquisa para desenvolver e avaliar métodos e
instrumentos para avaliação da usabilidade de bibliotecas digitais apresentando os
elementos a serem avaliados conforme modelo apresentado na figura 3.
50
Figura 3 - Diagrama do modelo de avaliação de usabilidade para biblioteca digital.
Fonte: Jeng (2005b, p.102) adaptado pela autora.
No modelo proposto por Jeng (2005b), ilustrado na Figura 3, a eficácia é
avaliada pelo fato do sistema poder fornecer informações e funcionalidade e medida
pelo número de respostas corretas. A eficiência, da mesma maneira, avaliada pela
habilidade do sistema para recuperar informações eficientemente e medida pelo
tempo necessário para completar as tarefas. A satisfação preocupa-se com a
facilidade de uso, organização das informações, rotulagem clara, aparência visual,
conteúdos, correções de erros e será medida por escalas Likert e questionários. A
facilidade de uso avalia as percepções dos usuários sobre a facilidade de uso do
sistema. A organização das informações avalia se a estrutura do sistema, layout e
organização atendem a satisfação do usuário. A rotulagem examina, a partir da
percepção do usuário, se o sistema fornece rotulagem clara e se a terminologia
utilizada é fácil de entender. A aparência visual avalia o design do site para ver se
Eficácia
Eficiência
Satisfação
Facilidade de uso
Organização da Informação
Rotulagem
Aparência visual
Conteúdo
Correção de erros
Aprendizibilidade
Usabilidade
51
ele é visualmente atraente. O conteúdo avalia a autoridade e precisão das
informações fornecidas. Os testes de erro, se os usuários se recuperam de erros
com facilidade e se eles cometem erros facilmente devido ao design do sistema. A
aprendizibilidade mede o esforço de aprendizagem. Este leva em consideração o
quão rápido o sujeito aprende como realizar as tarefas e quantas são realizadas
corretamente (JENG, 2005b).
Para Dickstein e Mills (2000) avaliação de usabilidade é o mecanismo que
oferece aos projetistas a informação crucial para o processo de design centrado no
usuário. Metodologias de usabilidade devem ser uma parte regular de manutenção
do site, mas eles são particularmente úteis nas fases iniciais de seu design.
Dias (2003, p. 41) cita as abordagens para avaliação da usabilidade,
dividas em três tipos de métodos: métodos de inspeção, métodos com usuários e
métodos baseados em modelos.
Os métodos de inspeção caracterizam-se por empregarem especialistas
em interface que a utilizam em busca de possíveis problemas de usabilidade, são
eles:
a) Avaliação heurística - é um método não empírico de avaliação de
usabilidade em interfaces. Nielsen e Molich – avaliação heurística é um
método de avaliação de usabilidade através do qual um pequeno grupo de
peritos em projetos de telas examina uma determinada interface e procura por
problemas que violem princípios gerais de projeto. Logo, a avaliação
heurística consiste em reunir um grupo de avaliadores (entre 3 a 5 peritos)
para executar a avaliação.
b) Inspeção baseada em guias de recomendação e guias de estilo – é um
método normalmente utilizado em conjunto com outros métodos de avaliação.
Os guias são empregados pelos avaliadores como um conjunto de requisitos,
critérios ou princípios básicos a serem averiguados no diagnóstico de
problemas gerais e repetitivos do sistema avaliado.
c) Inspeção baseada em padrões - é um método que verifica a
conformidade do sistema ou produto em relação aos padrões da indústria,
adotado por especialista em usabilidade com conhecimento em cada padrão
específico.
d) Inspeção ou percurso cognitivo – é um método no qual os avaliadores
estabelecem cenários de tarefa, a partir de uma especificação ou protótipo e
52
usam a interface como se fossem um usuário em seu primeiro contato com o
sistema. Cada passo dado pelo hipotético usuário é analisado
detalhadamente.
e) Inspeção de consistência – o método busca garantir a consistência de
um conjunto de sistemas relacionados a uma tarefa ou cenário. Na prática, os
membros das equipes de desenvolvimento de cada sistema envolvido se
reúnem e apontam os pontos fracos e fortes das interfaces com a intenção de
identificar as melhores opções e gerar um resultado consistente a ser adotado
em todo o sistema.
f) Inspeção de componentes – o método analisa apenas um conjunto de
componentes, características ou módulos do sistema envolvido na realização
de uma determinada tarefa, com a intenção de verificar a disponibilidade,
facilidade de compreensão e utilidade de cada componente. A inspeção
busca saber se os componentes analisados são facilmente utilizáveis pelos
usuários.
g) Inspeção ou percurso pluralístico – o método, usado geralmente no
estágio inicial do desenvolvimento de um sistema, consiste em reuniões entre
usuários, projetistas do sistema e especialista em usabilidade para analisar os
cenários das tarefas e avaliar cada elemento da interação do usuário com o
sistema com base na experiência dos participantes. Ocorre uma discussão de
cada par “tarefa-cenário” e os problemas de usabilidade do sistema são
identificados e classificados para futuros estudos ou acertos. Os dados
coletados por esse método são essencialmente subjetivos, pois representam
opiniões ou preferências dos participantes da discussão.
h) Inspeção de usabilidade formal – é um método usado para
formalização e registro de problemas ou defeitos de software, conhecido na
linguagem informática como bugs. É realizado com a reunião de quatro a oito
avaliadores, cada qual representando um papel específico. Após a
distribuição de instruções, formulários de registro de problema e descrição do
projeto, cada avaliador é designado a realizar sua inspeção individualmente.
Depois o grupo volta a se reunir para discutir e consolidar os defeitos
detectados por todos e redirecioná-los aos técnicos responsáveis para
correção ou exclusão do sistema. Geralmente é adotado nas fases
preliminares de desenvolvimento do sistema.
53
Os métodos com usuários caracterizam-se pelo uso de questionários ou
observação direta ou indireta de usuários durante a utilização da interface, como
fonte de informações que possam levar à identificação de problemas, como por
exemplo:
a) Testes empíricos de usabilidade – são técnicas nas quais os usuários
interagem com um produto ou sistema, em condições controladas, para
realizar uma tarefa com objetivos definidos, em um dado cenário, visando à
coleta de dados comportamentais. A meta é determinar a sequência ótima de
ações e reduzir a atividade improdutiva.
b) Entrevistas e questionários – São técnicas que permitem ao avaliador
de usabilidade conhecer as experiências, opiniões e preferências dos
usuários ao utilizarem um determinado sistema. Ambos podem ser usados em
qualquer fase do desenvolvimento do sistema. Entre os tipos de entrevistas e
questionários mais usuais na área de usabilidade destacam-se os grupos
focais e os questionários para medir a satisfação dos usuários.
c) Grupo focal – Essa técnica busca conhecer qual a experiência,
conhecimento e dificuldades de interação com o sistema e também, indícios
do grau de satisfação dos usuários. Esse tipo de entrevista também permite a
exteriorização de novas ideias sobre o assunto abordado, gerando reações e
opinião imediatas nos outros participantes.
Os métodos baseados em modelos têm como objetivo prever a
usabilidade de um sistema a partir de modelos ou representações de sua interface
e/ou de seus usuários. Esses métodos pretendem representar como os usuários
interagem com um sistema. O principal método baseado em modelos é da Família
GOMS7, tendo como limitação não suportar múltiplas plataformas para sua utilização.
Falar de usabilidade, em ambientes digitais, implica adentrar um pouco no
contexto da Arquitetura da Informação (AI) como a área do conhecimento que
fornece uma base teórica para estruturação e organização informacional dos
ambientes digitais.
7 Sigla formada pelos quatro componentes objetivos, operadores, métodos e regras de seleção
(Goals, Operators, Methods, and Selection rules), “método de avaliação que congrega técnicas de modelagem e de análise de tarefas” (DIAS, 2003, p. 84).
54
Para Rosenfeld e Morville (2006), a Arquitetura da Informação é a
combinação de sistemas de organização, rotulagem, busca e navegação em
websites e intranets.
De acordo com Adolfo e Silva (2006, p.34) a arquitetura da informação “é
uma área do conhecimento em franco desenvolvimento, que congrega diferentes
profissionais com o propósito de estruturar e organizar espaços de informação,
permitindo uma melhor interação com os usuários, especialmente na Web”. A
arquitetura da informação pode oferecer diretrizes e informações necessárias para
auxiliar o desenvolvimento de ambientes informacionais, abordando processos de
estruturação, organização, representação, recuperação, navegação, apresentação e
disseminação de conteúdos e serviços.
As primeiras experiências dessa natureza foram realizadas na década de
1950 apoiadas por estudos de ergonomia e usabilidade de aparatos, geralmente no
âmbito militar (MARCOS, 2004). Baseado nessa afirmação pode-se concluir que a
área de Design Gráfico é atrelada às áreas de Ergonomia e Usabilidade desde os
anos 1950.
A importância da arquitetura da informação vem ganhando mais força à
medida que maior quantidade de informação é disponibilizada na rede a cada dia,
juntamente com o crescimento da quantidade de pessoas ligadas à Internet.
A World Wide Web é um sistema baseado em navegação, onde milhares
de hyperlinks guiam os usuários em busca da informação. Vale ressaltar que a
arquitetura da informação encontrou uma maior significação quando foi aplicada no
desenvolvimento de websites. Assim, teria a função de facilitar o acesso e a
recuperação da informação, com foco nas necessidades de informação dos usuários.
Acreditamos que o objetivo da avaliação de usabilidade de uma biblioteca
digital é levantar problemas e buscar soluções que culminarão em possíveis
remodelações dos ambientes digitais. Nesta perspectiva, a literatura evidencia que a
arquitetura da informação tem a função de estruturar e organizar ambientes de
informação para ajudar os usuários a satisfazerem suas necessidades de
informação de forma efetiva, portanto a satisfação do usuário está ligada à
arquitetura da informação (TOUB, 2000).
55
3 ABORDAGEM METODOLÓGICA
Propusemos-nos, neste estudo, a explorar a produção científica (teses,
dissertações, artigos de periódicos científicos e livros) nacional e internacional sobre
metodologias para avaliação de usabilidade em bibliotecas digitais. Para tanto, este
capítulo explica qual o tipo de pesquisa e abordagem adotadas, os procedimentos
metodológicos, ou seja, os passos que devem ser trilhados na construção do corpus
a ser analisado, buscando categorias e parâmetros para avaliação de usabilidade
em bibliotecas digitais.
Na década de 1990, o debate epistemológico pertencia aos domínios da
filosofia das ciências e da história das ciências, mas, gradativamente, os
pesquisadores passaram a incorporar a prática de problematizar a sua pesquisa,
preocupando-se “com as condições sociais e os contextos culturais dos modelos de
investigação científicas” (GODOI; BANDEIRA-DE-MELO; SILVA, 2006, p. 1). A
reflexão contribuiu para o entendimento de que a construção da ciência deve ser
“feita no mundo, mas não feita de mundo, uma ciência que, para intervir eficazmente,
precisava-se distanciar dele” (GODOI; BANDEIRA-DE-MELO; SILVA, 2006, p. 1).
Essa maturidade fez com que o pesquisador pudesse extrapolar a crença no saber
espontâneo, no senso comum, para assumir a construção metódica e sistemática
que requer o processo de produção do conhecimento.
Sobre o desenvolvimento de estudos teóricos ou teórico-empíricos no
campo da Ciência da Informação, Silva e Roman Neto (2006, p.78) afirmam que:
[...] a delimitação da natureza (ontologia) e do conhecimento de um fenômeno (epistemologia), além das formas pelas quais podemos estudá-los (metodologia), ajuda o pesquisador a entender que o desenvolvimento de um estudo científico deve estar embasado em pressupostos teóricos e na definição de uma questão de pesquisa que norteará a investigação científica.
Os métodos quantitativos e qualitativos, as técnicas de coleta e de análise
da informação utilizados na Ciência da Informação “definem a direção e modalidade
das ações de pesquisa [nessa área], estando já ancorados num domínio
epistemológico e político que acolhe e legitima as condições de produção do objeto
da pesquisa [...]” (GÓMEZ, 2000) escolhidos pelos seus pesquisadores.
Dentre as abordagens que podem auxiliar na delimitação da trajetória de
estudo que se preocupa com a investigação da usabilidade nas bibliotecas digitais,
56
adotamos a abordagem qualitativa que, segundo Richardson et al. (1996, p. 38), é a
“forma adequada para entendermos a natureza de um fenômeno social”, pois é a
partir dessa concepção que os dados qualitativos viabilizam uma análise global,
relacionando o indivíduo com as condições dadas para viver em sociedade.
Corroborando com esse pensamento, Minayo (1994, p.22) ressalta que a
pesquisa qualitativa “trabalha com o universo de significados, motivos, aspirações,
crenças, valores e atitudes, o que corresponde a um espaço mais profundo das
relações, dos processos e dos fenômenos”. Ela só pode ser entendida como aquela
capaz de incorporar a questão do significado e da intencionalidade inerentes aos
atos, às relações e às estruturas sociais, ou seja, como construções humanas
significativas.
Esse direcionamento metodológico não descarta a possibilidade de, em
determinados momentos, quando, por exemplo, na apresentação dos níveis de
usabilidade e medidas, adotar-se a abordagem quantitativa. Minayo (2005) explica
que os pesquisadores, ao utilizarem procedimentos quantitativos, estudam os
fenômenos na região visível e concreta, enquanto os que utilizam procedimentos
qualitativos procuram adentrar no mundo dos significados. Contudo, a possibilidade
de reuni-las justifica-se pelo fato dessas abordagens serem duas formas de se ler a
realidade, podendo ser complementares, como indicam as abordagens e os modelos
multiparadigmáticos (SILVA; ROMAN NETO, 2006).
Para Minayo e Souza (2005) a abordagem quantitativa é usada na
apresentação de resultados que podem ser contados e ressaltam, ainda, que esse
tipo de abordagem é importante para avaliar objetivos bastante específicos e
estabelecer relações significativas entre variáveis. Quando esclarecem sobre a
abordagem qualitativa, argumentam que a mesma preocupa-se com a compreensão
interpretativa da ação social e atua levando em conta a compreensão, a
inteligibilidade dos fenômenos sociais e o significado e a intencionalidade que lhe
atribuem os atores.
Segundo as autoras, apesar das abordagens se adequarem aos diversos
contextos de investigação apresentam diferenças significativas, e lembram que a
seleção da melhor abordagem metodológica, seja qualitativa ou quantitativa, deve
ser feita sempre pela sua adequação ao objeto estudado e não como uma escolha
do pesquisador.
57
Nesta perspectiva, compreendemos que nosso objeto nos direciona a
uma metodologia quali-quanti, recorrendo às duas abordagens e ancorados em
Minayo e Souza (2005, p.99) quando afirmam que “as aproximações quantitativas e
qualitativas não devem ser consideradas antagônicas e sim linguagens
complementares, embora de natureza diferente”.
A análise do corpus da pesquisa, segundo Minayo (2005), supõe três
finalidades: ultrapassagem da incerteza, enriquecimento da leitura e integração das
descobertas. Assim, para dar conta da análise e da interpretação dos dados
recolhidos no trabalho de campo, sem a “ilusão da transparência”, apreendendo-os
apenas pela subjetividade, utilizamos a Análise de Conteúdo que, segundo Bardin
(2010, p. 40), é entendida como:
[...] um conjunto de técnicas de análise de comunicações, que utiliza procedimentos sistemáticos e objectivos de descrição de conteúdos de mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/ recepção (variáveis inferidas) destas mensagens.
Richardson (1999), remetendo-nos a Paul Henry e Serge Moscovici,
assevera que tudo o que é dito ou escrito pode ser objeto de análise do conteúdo.
Enquanto técnica de análise, a Análise de Conteúdo tem as seguintes
características: objetividade, sistematização e inferência, não havendo, portanto,
conflito metodológico nas abordagens qualitativas e quantitativas.
Acenando para o foco de interesse que gravita em torno da usabilidade
das bibliotecas digitais, este estudo caracteriza-se como uma pesquisa bibliográfica
de caráter qualitativo, exploratório, analítico e comparativo. Minayo (2008) em
Desafio do Conhecimento afirma que toda pesquisa é exploratória, pelo menos até a
coleta dos dados A pesquisa bibliográfica foi utilizada na revisão da literatura e
durante a fase exploratória de busca de metodologias para avaliação de bibliotecas
digitais. Esse tipo de pesquisa, segundo Gil (1996, p. 48) é "desenvolvida a partir de
material já elaborado, constituído principalmente, de livros e artigos científicos”.
Partindo dessa visão, a pesquisa bibliográfica utilizada serviu para amparar a
pesquisa exploratória cujo objetivo é “[...] proporcionar maior familiaridade com o
problema, com vistas a torná-lo mais explícito” (GIL, 1996, p. 45).
Para análise do corpus, obtido com a pesquisa bibliográfica, optamos pela
aplicação da técnica da análise de conteúdo de Bardin (2010), a qual, segundo
Richardson (1999), surgiu antes da Idade Média, mas só no início do século XX,
58
foram identificados os primeiros trabalhos de análise de conteúdo considerados
científicos. Em seu manual, Bardin (2010, p.34) comenta que a Análise de Conteúdo
se assemelha a “qualquer comunicação, isto é, qualquer veículo de significados de
um emissor para um receptor controlado ou não por este, deveria poder ser escrito,
decifrado pelas técnicas de análise de conteúdo”.
Com o passar dos tempos, várias possibilidades de aplicações da técnica
surgiram e a análise de conteúdo deixa de ser usada apenas nas pesquisas
quantitativas para ser também aplicada em pesquisas de cunho qualitativo,
ampliando a sua aplicação. A organização da análise de conteúdo “em torno de três
pólos cronológicos”, como propõe Bardin (2010, p. 121), gravita em torno de: “(1 pré-
análise; 2) exploração do material e 3) tratamento dos resultados, a inferência e a
interpretação”. Ela afirma que a pré-análise é a fase de organização, o momento
inicial da pesquisa. Nesta etapa, o pesquisador tem três missões: “a escolha dos
documentos a serem submetidos à análise, a formulação das hipóteses e objetivos e
a elaboração de indicadores que fundamentem a interpretação final”. Esta fase
consiste nas seguintes atividades:
a) A leitura flutuante: “consiste em estabelecer contato com os
documentos a analisar e em conhecer o texto deixando-se invadir por
impressões e orientações” (BARDIN, 2010, p.122). É necessário esclarecer
que as atividades de pré-análise foram realizadas no corpus documental
composto pelos textos fruto do levantamento bibliográfico e a leitura
flutuante foi concebida, num primeiro momento, nos resumos para
identificação daqueles que tratavam de avaliação de usabilidade de
bibliotecas digitais.
b) A escolha dos documentos : É a etapa em que o pesquisador decide
quais fontes utilizar para a constituição do seu corpus de análise. Ao se
referir à escolha dos documentos a pesquisar, Franco (2007) esclarece que
a escolha dos documentos pode ser definida a priori ou dependerá dos
objetivos da investigação. Nesse caso, “convém escolher o universo de
documentos adequados para fornecer informações sobre o problema
levantado”. Para esta pesquisa, a escolha foi definida a priori a partir de
duas bibliografias que tratam da temática avaliação de bibliotecas digitais.
Compreendemos corpus, na perspectiva bardaniana, como “o conjunto dos
59
documentos tidos em conta para serem submetidos aos processos
analíticos” (BARDIN, 2010, p.122). A escolha dos textos baseou-se nos
critérios intrínsecos à análise de conteúdo assim constituído:
• Exaustividade - “uma vez definido o corpus sobre determinado
assunto, é preciso considerar todos os elementos desse corpus”
(FRANCO, 2007, p. 53). Mesmo diante da impossibilidade de acesso
às fontes fundamentais de informação, o pesquisador deverá lutar
até o último momento para conseguir. No caso desta pesquisa, no
total de 67 textos selecionados não foi possível ter acesso aos
textos não conhecidos como artigos de periódicos, excluindo-se os
capítulos de livros, teses e dissertações. Contudo, essa
eventualidade não invalida a pesquisa, uma vez que do total de
textos selecionados apenas 5 não foram possíveis de analisar.
• Representatividade - “A análise pode efetuar-se em uma
amostra, desde que o material a ser analisado seja demasiadamente
volumoso” (FRANCO, 2007, p. 53). A nossa pesquisa analisou o
universo dos textos apresentados pelas bibliografias estudadas,
escolhendo para o corpus apenas as que tratavam de avaliação e/ou
usabilidade de bibliotecas digitais, que é o foco do estudo. A
amostra apresenta-se na forma qualitativa do tipo intencional pelos
motivos explicitados nos critérios dos textos escolhidos.
• Homogeneidade - “Os documentos a serem analisados devem
obedecer a critérios precisos de escolha e não apresentar
demasiadas singularidades que extrapolem os critérios e os
objetivos definidos” (FRANCO, 2007, p.55). Esse critério harmoniza
com a escolha dos textos da pesquisa. Escolhemos
intencionalmente os artigos que tratavam de avaliação de
usabilidade em bibliotecas digitais.
c) A formulação das hipóteses e dos objetivos : “Uma hipótese é uma
afirmação provisória que nos propomos a verificar (confirmar ou não),
recorrendo aos procedimentos de análise” (FRANCO, 2007, p.55).
Segundo Bardin (2010, p. 124) “não é obrigatório ter-se como guia um
60
corpus de hipóteses, para se proceder à análise dos dados. [...]”. Ela
ressalta que não significa deixar de utilizar técnicas adequadas e
sistemáticas para fazer “falar” o material. Acrescenta, ainda que “isso é o
que sucede muitas vezes ao recorremos à informática”. Neste caso, não
elaboramos hipótese.
d) A referência aos índices e a elaboração de indicado res : “O índice
pode ser a menção explícita, ou subjacente, de um tema em uma
mensagem” (FRANCO, 2007, p.57). Na pesquisa, independente do tema
explicitado, este passa a ter mais importância para análise dos dados,
dependendo da frequência com que é mencionado. O autor alerta que para
observância dessa frequência, deve-se recorrer a uma “análise quantitativa
sistemática para que seja possível identificar a freqüência relativa ou
absoluta do tema escolhido e a proporcionalidade de sua menção em
relação a outros temas igualmente presentes” (FRANCO, 2007, p.58). Para
análise de frequência dos dados sobre o corpus utilizou-se o programa
Simple Text Analysis Tool (TextStat), versão 2.7, através do qual foi
possível contabilizar o número de vezes que um termo aparece no texto. O
modelo de análise de conteúdo foi o temático-categorial aludindo ao
desmembramento do texto e à seleção de partes que correspondam às
temáticas pontuadas.
As categorias de análise podem ser estaberlecidas a priori ou no
momento da análise. Para Bardin (2010, p. 145) criar uma categoria de análise é,
basicamente, abrir classes, “as quais reúnem um grupo de elementos sob um título
genérico, agrupamento esse, efetuado em razão das características comuns destes
elementos”.
A análise segue o modelo descrito por Franco (2007), com adaptações,
pois utilizaremos quadros no que se refere à apresentação dos textos que compõem
o corpus e às sínteses dos textos analisados.
61
3.1 PROCEDIMENTOS METODOLÓGICOS
Para analisar a categoria avaliação de bibliotecas digitais, com foco na
usabilidade, adotamos os seguintes procedimentos metodológicos: a) Identificação
de documentos que tratem de metodologias para avaliação da usabilidade em
bibliotecas digitais, na produção científica em Ciência da Informação e Computação
nacional e internacional; b) Análise e seleção dos textos que propõem metodologias
para essa finalidade; c) Análise das metodologias encontradas na literatura sob o
ponto de vista da usabilidade de bibliotecas digitais; d) Identificação das categorias
de análise para uma metodologia de avaliação de bibliotecas digitais.
O levantamento bibliográfico nacional e internacional está apresentado
em quadros (apêndices A, B, C, D, E, F e G). As publicações, consideradas como
pertinentes, estão em quadros apresentados no corpo da tese. Posteriormente,
procedemos à análise das publicações para identificarmos as relevantes à temática
em estudo. Destas, foram definidas as categorias de análise utilizadas como modelo
para a construção do instrumento de avaliação de usabilidade para bibliotecas
digitais.
Na identificação das teses e das dissertações, consultamos as bibliotecas
digitais das Universidades Brasileiras, cujos endereços eletrônicos constam no site
do Portal de Periódicos da Capes, a Biblioteca Digital Brasileira de Teses e as
Dissertações do IBICT e o Banco de Teses da Capes para busca da literatura,
nacional e internacional, nas BDTD das Universidades constantes no Portal Capes e
as universidades norte-americanas indicadas no site do Sistema de Bibliotecas da
UNICAMP. Para tanto, empregamos a técnica de busca pelas palavras-chave, em
português e em inglês, apresentadas no quadro 1.
Quadro 1 – Palavras-chave usadas para buscas na literatura nacional e internacional
Palavras-Chave Português
keywords Inglês
bibliotecas digitais digital libraries biblioteca digital digital library biblioteca virtual virtual library biblioteca eletrônica electronic library
FONTE: Dados da pesquisa, 2008, atualizados em 2011.
A seguir, fizemos a leitura dos resumos das teses e das dissertações para
identificarmos quais tratavam de avaliação de usabilidade de bibliotecas digitais.
62
Com a obtenção do corpus documental foram identificados, a partir da leitura dos
textos na íntegra, os elementos relevantes para a metodologia proposta. Para o
processo de análise e de interpretação dos documentos recuperados, adotamos a
análise de conteúdo.
No primeiro momento, recuperamos a produção científica nas bibliotecas
digitais de teses e dissertações (BDTDs) para o conhecimento das pesquisas
realizadas nas universidades. Como base para a recuperação das BDTDs arrolamos
as disponíveis no Portal de Periódicos Capes8, das quais foram selecionadas três, a
saber: BDTD da UFMG9, Banco de Teses da Capes10 e a Biblioteca Digital Brasileira
de Teses e Dissertações do IBICT11. A escolha das bibliotecas da UFMG por ser a
instituição onde estamos cursando o doutorado o que facilita o acesso aos textos
não disponíveis online; a BDTD do IBICT por integrar “os sistemas de informação de
teses e dissertações existentes nas instituições de ensino e pesquisa brasileiras”; e
o Banco de Teses da Capes por ser formado pelas informações fornecidas
diretamente à CAPES pelos programas de pós-graduação mantidos por
universidades e instituições de pesquisa brasileiras.
Na busca para identificação das teses e das dissertações nas BDTD
nacionais, que tratam de metodologias para avaliação da usabilidade de bibliotecas
digitais, localizamos oito teses e setenta e uma dissertações abordando o tema
“bibliotecas digitais”. Destas, três foram consideradas relevantes para a pesquisa,
por serem as únicas que tratam de avaliação de bibliotecas digitais ou usabilidade
de bibliotecas digitais. Duas abordam a avaliação de bibliotecas digitais e uma
enfoca metodologias para avaliação de usabilidade em bibliotecas digitais, No
momento a atualização dos dados da pesquisa, em dezembro de 2011, localizamos
uma dissertação que trata de avaliação de usabilidade em bibliotecas digitais como
demonstra o quadro a seguir.
8 Disponível em: <http://www.periodicos.capes.gov.br/ portugues/index.jsp> 9 Disponível em: <http://www.bibliotecadigital.ufmg.br/dspace/advanced-search> 10 Disponível em: <http://capesdw.capes.gov.br/capesdw/> 11 Disponível em: <http://bdtd2.ibict.br/>
63
Quadro 2 – Resultado das buscas nas BDTDs sobre metodologias para avaliação de bibliotecas digitais.
Nº Ano Título Autor/orientador Grau M/D
Área /instituição Biblioteca
Digital 1. 2003 Uma proposta metodológica para
a avaliação de bibliotecas digitais usabilidade e comportamento de busca por informação na biblioteca digital da PUC-Minas.
Paula Böhmerwald /Beatriz Valadares Cendón.
M C. Informação BDTD da
UFMG
2. 2007 5SQUAL: Uma ferramenta baseada no modelo 5S para avaliação de qualidade em bibliotecas digitais
Barbara Lagoeiro Moreira/ Marcos Andre Goncalves.
M C. Computação BDTD da
UFMG
3. 2007 Em busca da avaliação de bibliotecas digitais: caminhos e descaminhos
Nadia Maria dos Santos Hommerding / Waldomiro Castro Santos Vergueiro
D C. Informação / USP
Banco de Teses da
Capes 4. 2011 Avaliação de usabilidade em
bibliotecas digitais: um estudo de caso
Fernanda Pereira Gercina/Angela Borem de Oliveira Lima
M C. Informação BDTD da
UFMG FONTE: Dados da pesquisa, 2008, atualizados em 2011.
Para o levantamento bibliográfico nas BDTDs internacionais, tomamos
como base a relação do Portal de Periódicos Capes12 e das universidades norte-
americanas indicadas no site do Sistema de Bibliotecas da UNICAMP13. Foi adotada
a mesma estratégia de busca pelas palavras-chave, apresentadas no Quadro1.
No Portal Capes constam várias bases de teses e dissertações
internacionais. Ao realizarmos as buscas, optamos por usar na pesquisa as BDTD
que possibilitavam o acesso livre ao documento na íntegra. São as seguintes:
Cybertesis 14 da Universidade do Chile, da qual fazem parte quarenta e sete
universidades de diversos países, inclusive o Brasil. Nesta base, ao usarmos as
palavras-chave da pesquisa obtivemos como resultado noventa e oito títulos de
diversas universidades, mas apenas três abordavam o tema avaliação de bibliotecas
digitais.
Em TEL 15 , Serveur de thèses multidisciplinaire da França, usando a
palavra-chave “bibliothèques numériques” na língua francesa, o resultado apontou
três trabalhos disponíveis na íntegra. Na base NDLTD16, Networked Digital Library of
Theses and Dissertations, definida como um consórcio de universidades e
12 Disponível em: <http://www.periodicos.capes.gov.br/> 13 Disponível em: <http://polaris.bc.unicamp.br/sbu /index.php?link=50> 14 Disponível em: <http://www.cybertesis.net/index.html> 15 Disponível em: <http://tel.archives-ouvertes.fr/> 16 Disponível em: <http://www.ndltd.org/>
64
pesquisadores do mundo, obtivemos 1.588 documentos com o uso do termo “digital
libraries”. Ao recorremos à busca refinada, com o termo "digital library evaluation", o
resultado foi reduzido para vinte e dois trabalhos referentes a diferentes países,
dentre eles o Brasil.
A seguir, apresentamos os trabalhos internacionais localizados nas
BDTDs acima referenciadas, conforme demonstram os Quadros 3, 4 e 5.
Quadro 3 – Resultado da busca na BDTDs Cybertesis com a palavra-chave “digital library”.
Nº Ano Título Autor/orientador Grau M/D
Área / Instituição
1. 2002 Búsquedas por contenido y anotaciones en Bibliotecas Digitales multimediales
José Anibal Arias Aguilar
M Sistemas Computacionales/ Universidad de las Américas Puebla
2. 2003 Modelos alternativos para almacenamiento y recuperación de información en bibliotecas digitales
Carlos Proal Aguilar
M Sistemas Computacionales/ Universidad de las Américas Puebla
3. 2004.
Espacios personales genéricos en bibliotecas digitales Techniques
Nohema Angélica Castellanos Ramírez
M Sistemas Computacionales/ Universidad de las Américas Puebla
FONTE: Disponível em: <http://www.cybertesis.net/index.html>, 2008, atualizados em 2011.
Apesar da busca nos descritores da biblioteca ter apresentado 98
documentos, quando foram avaliados com a leitura dos resumos, constatamos que
apenas três tratavam de bibliotecas digitais e todos pertenciam à área da Ciência da
Computação. Nenhum deles tinha como foco a avaliação ou usabilidade.
Quadro 4 – Resultado da busca na BDTDs TEL Serveur de thèses multidisciplinaire com a palavra-chave “bibliothèques numériques”.
Nº Ano Título Autor/orientador Grau M/D
Área / Instituição
1. 2004 Arithmétique et algorithmique en algèbre linéaire exacte pour la bibliothèque LinBox
Giorgi Pascal D Informatique/ Ecole Normale Supérieure de Lyon
2. 2007 Réseau, bibliothèques et documents numériques : architecture informatique et construction sociale
Hervé Le Crosnier M Informatique/ Université de Caen
3. 2009 Contribution aux techniques pour élargir l'espace moteur et l'espace visuel des dispositifs bureautiques
Rodrigo Andrade Botelho De Almeida
D Informatique/ Conservatoire National des Arts et Metiers - CNAM
FONTE: Disponível em: <http://tel.archives-ouvertes.fr/index.php>, 2008, atualizados em 2011.
65
Na base de dados da TEL quando a busca foi realizada por meio do
termo “bibliotecas digitais”, em francês, identificamos três pesquisas na área de
informática, mas estas não abordam a questão da avaliação de bibliotecas digitais.
Quadro 5 – Resultado da busca na BDTDs NDLTD Networked Digital Library of
Theses and Dissertations a palavra-chave "digital library". Nº Ano Título Autor/orientador Grau
M/D Área / Instituição
1. 2004 Streams, Structures, Spaces,Scenarios, and Societies (5S): A Formal Digital Library Framework and Its Applications
Gonçalves, Marcos André
D Philosophy In Computer Science and Applications /Virginia Polytechnic Institute and State University
2. 2005 Standards-based teaching and educational digital libraries as innovations: undergraduate science faculty in the adoption process
Ridgway, Judith Sulkes
D Philosophy / Ohio State University
3. 2006 Applying the 5S Framework To Integrating Digital Libraries
Shen, Rao D Philosophy In Computer Science and Applications / Virginia Polytechnic Institute and State University
4. 2007 Developing a holistic model for digital library evaluation
Zhang, Ying, D Philosophy /State University of New Jersey
5. 2007 DAFFODIL Strategische Unterstützung bei der Informations Suche ein Digitalen Bibliothek
Klas, Claus-Peter D Naturwissenschaften /Universit¨at Duisburg-Essen
6. 2008 Visualizing Users, User Communities, and Usage Trends in Complex Information Systems Using Implicit Rating Data
Kim, Seonho D Philosophy In Computer Science and Applications / Virginia Polytechnic Institute and State University
7. 2008 How Library Contexts and Individual Attributes Shape Users' Evaluation of Library Service Qaulity
Lai, Li-Hsiang D Universidade Nacional de Taiwan, China
FONTE: Disponível em: <http://www.ndltd.org/serviceproviders/scirus-etd-search> atualizado em 2011.
Nos resultados da busca, obtivemos 1.588 documentos que, ao passarem
pelo refinamento da busca, foram reduzidos a vinte e dois textos. Na verificação dos
resumos, constatamos que tratavam de bibliotecas digitais e um fazia referência à
avaliação de bibliotecas digitais.
66
Quadro 6 – Resultado da busca na University of Florida com a palavra-chave “digital library”.
Nº Ano Título Autor/orientador Grau M/D
Área / Instiruição
1. 2005. Developing semantic digital libraries using data mining techniques
Hyunki Kim. D Philosophy/ University of Florida,
FONTE: Disponível em: < http://web.uflib.ufl.edu/etd.html>, 2008, atualizados em 2011.
Nas universidades americanas identificadas nos sites da UNICAMP,
destacamos a University of Florida e a Virginia Polytechnic Institute and State
University, cujas BDTDs disponibilizam trabalhos relacionados às bibliotecas digitais.
Entretanto, nenhum deles apresentou relevância para ser incluído na pesquisa que
realizamos. O Quadro 6 e o Quadro 7 servem para ilustrar.
Quadro 7 – Resultado da busca na Virginia Polytechnic Institute and State University com a palavra-chave “digital library”
Nº Ano Título Autor/orientado r Grau M/D Área / Instiruição
3. 2003 Scenario-based generation of digital library services
Kelapure, Rohit Dilip
Master's Thesis
Computer Science
4. 2004 The Claims Library Capability Maturity Model: Evaluating a Claims Library
Allgood, Christian Master's Thesis
Computer Science
5. 2004 Streams, Structures, Spaces,Scenarios, and Societies (5S): A Formal Digital Library Framework and Its Applications
Gonçalves, Marcos André
Dissertation/ PhD
Computer Science
6. 2006 A Digital Library Success Model for Computer Science Student Use of a Meta-Search System
Vidya Sagar, Vikram Raj
Master's Thesis
Computer Science
7. 2007 Practical Digital Library Generation into DSpace with the 5S Framework
Gorton, Douglas Christopher
Master's Thesis
Computer Science
8. 2011 Secure Digital Libraries ElSherbiny, Noha Ibrahim Mohamed.
Master's Thesis
Computer Science
9. 2011 Digital Libraries with Superimposed Information: Supporting Scholarly Tasks that Involve Fine Grain Information
Murthy, Uma Dissertation/ PhD
Computer Science
FONTE: Disponível em: <http://scholar.lib.vt.edu/theses/etd-search.html>, 2008, atualizados em 2011.
Também fizemos um levantamento bibliográfico nos periódicos brasileiros
da Ciência da Informação, classificados como “Qualis A, B1 e B2 nacional”, e
utilizamos o mesmo critério de busca por palavras-chave: biblioteca digital, biblioteca
virtual e biblioteca eletrônica. O Quadro 8 ilustra os periódicos identificados.
67
Quadro 8 – Periódicos brasileiros da Ciência da Informação classificados pelas Capes como “Qualis A e B1 e B2 nacional” pesquisados.
Nº Título ISSN SIGLA QUALIS 1. Ciência da Informação (IBICT/UFRJ) 0100-1965 CI A2 2. Perspectivas em Ciência da Informação (UFMG) 1413-9936 PCI A2 3. Informação & Sociedade. Estudos (UFPB) 0104-0146 I&S B1 4. Datagramazero (Rio de Janeiro) 1517-3801 DGZ B2 5. Encontros Bibli (UFSC) 1518-2924 Encontros.Bibli B2 6. Transinformação (PUC-Campinas) 0103-3786 TransInformação B2 7. Em questão 1807-8893 Em questão B2 FONTE: Disponível em: <http://qualis.capes.gov.br/webqualis/ConsultaPeriodicos.faces>, 2008, atualizados em 2011.
Quanto à produção científica encontrada nos periódicos nacionais,
identificamos trinta e três artigos, em sete periódicos brasileiros da Ciência da
Informação, publicados até 2008, com atualização em 2011. Essa atualização
elevou o número de artigos recuperados com as palavras-chave (Quadro 1),
somando cinquenta e nove. Após refinamento da pesquisa constatamos que apenas
um17 versa sobre metodologias para avaliação da usabilidade de bibliotecas digitais,
como ilustrado no Quadro 9.
Quadro 9 – Resultado das buscas nos periódicos brasileiros da Ciência da Informação Qualis A, B1 e B2 nacional
Nº Título do Artigo Autor Periódico 1. Uma proposta metodológica para avaliação de
bibliotecas digitais: usabilidade e comportamento de busca por informação na biblioteca digital da PUC-Minas (resumo de Dissertação)
Paula Bohmerwald
Perspectivas em Ciência da Informação, v. 8, n 2, 2003
2. Uma proposta metodológica para avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da PUC-Minas
Paula Bohmerwald
Ciência da Informação, v. 34, n. 1, 2005
FONTE: Dados da pesquisa, 2008, atualizados em 2011.
Em relação ao levantamento bibliográfico realizado na literatura norte-
americana, identificamos duas bibliografias abordando a temática da avaliação da
biblioteca digital, uma intitulada Evaluation of Digital Library: a bibliography, da
autora Judy Jeng (2008), que traz 146 publicações, com atualização até abril de
2008 e outra intitulada Digital Library Evaluation and Assessment : bibliography,
de Chris Neuhaus (2005), com 247 publicações, atualizada até fevereiro de 2005.
Essas bibliografias apresentaram um grande volume de informação, razão
pela qual foi necessária uma primeira avaliação com o propósito de identificar sua
17 Publicado em dois periódicos diferentes, um como resumo e outro em forma de artigo, frutos da dissertação da autora.
68
relevância para o foco desta pesquisa. Considerando tratar-se de uma bibliografia
referencial, as publicações foram classificadas como “relevantes” a partir dos seus
títulos, alcançando um número de 50 publicações, dentre as quais, as vinte e três
primeiras foram consideradas de maior proximidade com nosso objeto de estudo. O
quadro 10 serve para ilustrar.
Quadro 10 – Resultado das buscas nas bibliografias sobre Avaliação de bibliotecas digitais
Nº BIBLIOGRAF IAS DE JENG (2008) E NEUHAUS (2005)
1. Battleson, B., Booth, A.; Weintrop, J. Usability testing of an academic library web site: A case study. The Journal of Academic Librarianship, v. 27, n. 3, 188-198, 2001.
2. Bertot, J. C.; Snead, J. T.; Jaeger, P. T.; McClure, C. R. Functionality, usability, and accessibility: Iterative user-centered evaluation strategies for digital libraries. Performance Measurement and Metrics, v. 7, n. 1, 17-28, 2006.
3. Blandford, A.; Keith, S.; Connell, I.; Edwards, H. Analytical usability evaluation for digital libraries: A case study. Proceedings of the 4th ACM/IEEE Joint Conference on Digital Libraries, 27-36, 2004. Retrieved December 23, 2005, from ACM Digital Library database.
4. Borgman, C. L.; Larsen, R. ECDL 2003 workshop report: Digital library evaluation – metrics, testbeds, and processes. D-Lib Magazine, v. 9, n. 9, 2003. Retrieved May 28, 2005, from http://www.dlib.org/dlib/september03/09inbrief.html#BORGMAN
5. Budhu, M. The design and evaluation of interactivities in a digital library. D-Lib Magazine, v. 8, n. 11, November, 2003. Retrieved February 8, 2006, from http://www.dlib.org/dlib/november02/coleman/11coleman.html
6. Choudhury, S.; Hobbs, B.; Lorie, M.; Flores, N. A framework for evaluating digital library services. D-Lib Magazine, v. 8, n. 7/8, July/August, 2002. Retrieved August 13, 2002, from http://www.dlib.org/dlib/july02/choudhury/07choudhury.html
7. Dorward, J.; Reinke, D.; Recker, M. An evaluation model for a digital library services tool. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital Libraries, 322-323, 2002. Retrieved December 23, 2005, from ACM Digital Library database.
8. Ferreira, S. M.; Pithan, D. N. Usability of digital libraries: A study based on the areas of information science and human-computer interaction. OCLC Systems & Services, v. 21, n. 4, 311-323, 2005.
9. Jeng, J. Usability evaluation of academic digital libraries: From the perspectives of effectiveness, efficiency, satisfaction, and learnability. Proceedings of the 67th Annual Meeting of the American Society for Information Science and Technology, v. 41, November 13-18, 2004, Providence, RI. Available at: http://www.asis.org/Conferences/AM04/posters/180.doc
10. Jeng, J. Usability of digital libraries: An evaluation model. Proceedings of the Fourth ACM/IEEE Joint Conference on Digital Libraries, 407, 2004. Retrieved March 13, 2006, from ACM Digital Library database.
11. Jeng, J. Usability assessment of academic digital libraries: Effectiveness, efficiency, satisfaction, and learnability” Libri: International Journal of Libraries and Information Services, v. 55, n. 2/3, 96-121, 2005.
12. Jeng, J. What is usability in the context of the digital library and how can it be measured?” Information Technology and Libraries, v. 24, n. 2, 47-56, 2005.
13. Jeng, J. Usability of the digital library: An evaluation model. Ph. D. dissertation, Rutgers University. January 2006.
14. Jeng, J. Usability of the digital library: An evaluation model. Summary report from the 2004 ACRL Doctoral Dissertation Fellowship Recipient. College and Research Libraries News, v. 67, n. 2, 78-79, 2006.
15. Lancaster, F. W. Are evaluation criteria applied to traditional libraries equally applicable to digital libraries? In How we do user-centered design and evaluation of digital libraries: A methodological forum, 37th Allerton Institute, October 29-31, 1995, Monticello, IL. Retrieved August 24, 2002, from http://alexia.lis.uiuc.edu/gslis/allerton/95/lancaster.html
69
16. Lancaster, F. W. Evaluation in the context of the digital library. In A. H. Helal; J. W. Weiss (Eds.), Towards a worldwide library: A ten year forecast. Essen: Universitattsbibliothek Essen, 1997.
17. Marchionini, G. Evaluating digital libraries: A longitudinal and multifaceted view . Library Trends, v. 49, v. 2, 304-333, 2000.
18. McGillis, L.; Toms, E. G. Usability of the academic library web site: Implications for design. College & Research Libraries, v. 62, n. 4, 355-367, 2001.
19. Reeves, T.; C., Buhr, S.; Barker, L. Evaluating digital libraries. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 420. Retrieved December 23, 2005, from ACM Digital Library database.
20. Saracevic, T. (2000). Digital library evaluation: Toward an evolution of concepts. Library Trends, 49(2), 350-369. Available at http://scils.rutgers.edu/~tefko/LibraryTrends2000.pdf
21. Saracevic, T. Evaluation of digital libraries: An overview. Presented at the DELOS Workshop on the Evaluation of Digital Libraries, 2004. Retrieved May 9, 2006, from http://www.scils.rutgers.edu/~tefko/DL_evaluation_Delos.pdf
22. Snead, J. T.; Bertot, J. C.; Jaeger, P. T.; McClure, C. R. Developing multi-method, iterative, and user-centered evaluation strategies for digital libraries: Functionality, usability, and accessibility. Paper presented at 2005. Annual Meeting of the American Society for Information Science & Technology. Retrieved March 9, 2006, from http://www.ii.fsu.edu/presentation/digilib_asist2005.pdf
23. Xie, H. I. Evaluation of digital libraries: Criteria and problems from users' perspectives. Library & Information Science Research, v. 28, n. 3, 433-452, 2006.
24. Arms, W. Y. Digital libraries. Cambridge, MA: MIT Press, 2000. 25. Bishop, A. P. Digital library use: Social practice in design and evaluation. Proceedings of the 5th
ACM/IEEE-CS Joint Conference on Digital Libraries, 276-277, 2005. Retrieved December 23, 2005, from ACM Digital Library database.
26. Bishop, A. P. Measuring access, use, and success in digital libraries . The Journal of Electronic Publishing, v. 4, n. 2, 1998. Retrieved August 24, 2002, from http://www.press.umich.edu/jep/04-02/bishop.html
27. Bishop, A. P.; Star, S. L.; Neumann, L.; Ignacio, E.; Sandusky, R. J.; Schatz, B. Building a university digital library: The need for a user-centered approach, 2002. Retrieved August 24, 2002, from http://forseti.grainger.uiuc.edu/dlisoc/socsci_site/monterey-final.html
28. Borgman, C. L. What are digital libraries? Competing visions. Information Processing and Management, v. 35, n. 3, 227-243, 1999.
29. Borgman, C. L.; Gilliland-Swetland, A. J.; Leazer, G. H.; Mayer, R.; Gwynn, D.; Gazan, R.; Mautone, P. Evaluating digital libraries for teaching and learning in undergraduate education: A case study of the Alexandria Digital Earth ProtoType (ADEPT). Library Trends, v. 49, n. 2, 228-250, 2000.
30. Buhr, S.; Barker, L.; Reeves, T. C. The DLESE evaluation services group: A framework for evaluation within a digital library. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 370, 2005. Retrieved December 23, 2005, from ACM Digital Library database.
31. Chisman, J., Diller, K.; Walbridge, S. Usability testing: A case study. College & Research Libraries, v. 60, n. 6, 552-569, 1999.
32. Coleman, A. Oxnam, M. Interactional digital libraries: Introduction to a special issue on interactivity in digital libraries. Journal of Digital Information, v. 2, n. 4, 2002. Retrieved September 12, 2002, from http://jodi.ecs.soton.ac.uk/Articles/v02/i04/editorial
33. Coleman, A. S.; Bartolo, L. M.; Jones, C. Bricoleurs: Exploring digital library evaluation as participation interactions, research, and processes. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 377, 2004. Retrieved December 23, 2005, from ACM Digital Library database.
34. Coleman, A. S.; Bartolo, L. M.; Jones, C. Impact: The last frontier in digital library evaluation. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 372, 2005. Retrieved December 23, 2005, from ACM Digital Library database.
35. Crawford, G. A. Issues for the digital library. Computers in Libraries, v. 19, n. 5, 62, 1999. 36. Dickstein, R.; Mills, V. Usability testing at the University of Arizona library: How to let the users in
on the design. Information Technology and Libraries, v. 19, n. 3, 144-151, 2000. 37. Fox, E. A.; Urs, S. R. Digital libraries. In Blaise Cronin (Ed.), Annual Review of Information
Science and Technology: v. 36, 503-589, 2002. Medford, NJ: Information Today. 38. Frokjaer, E.; Hertzum, M.; Hornbaek, K. Measuring usability: Are effectiveness, efficiency, and
satisfaction really correlated? Proceedings of the CHI 2000 Conference on Human Factors in
70
Computing Systems, v. 2, v. 1, 345-352, 2000. 39. Fuhr, N.; Hansen, P.; Mabe, M.; Micsik, A.; Sølvberg, I. Digital libraries: A generic classification
and evaluation scheme. Lecture Notes in Computer Science, 2001. Retrieved January 13, 2006, from http://citeseer.ist.psu.edu/fuhr01digital.html
40. Heath, F.; Kyrillidou, M.; Webster, D.; Choudhury, S.; Hobbs, B. Emerging tools for evaluating digital library services: Conceptual adaptations of LibQUA CAPM. Journal of Digital Information, v. 4, n. 2, 2003. Retrieved July 2, 2003 from http://jodi.ecs.soton.ac.uk/Articles/v04/i02/Heath/
41. Hill, L. L.; Carver, L.; Larsgaard, M.; Dolin, R.; Smith, T. R.; Frew, J.; Rae, M-A. Alexandria digital library: User evaluation studies and system design. Journal of the American Society for Information Science, v. 51, n. 3, 246-259, 2000.
42. Kani-Zabihi, E.; Ghinea, G.; Chen, S. Y. Digital libraries: What do users want? Online Information Review, v. 30, n. 4, 395-412, 2006.
43. Kassim, A. R. C.; Kochtanek, T. R. Designing, implementing, and evaluating an educational digital library resource. Online Information Review, v. 27, n. 3, 160-168, 2003.
44. Kilker, J.; Gay, G. The social construction of a digital library: A case study examining implications for evaluation. Information Technology and Libraries, 60-70, 1998.
45. Long, H. An assessment of the current state of digital library evaluation. Unpublished master’s thesis, University of North Carolina at Chapel Hill, 2002.
46. McCray, A. T.; Gallagher, M. E. Principles for digital library development. Communications of the ACM, v. 44, n. 5, 49-54, 2001.
47. Meyyappan, N.; Foo, S.; Chowdhury, G. G. Design and evaluation of a task-based digital library for the academic community. Journal of Documentation, v. 60, n. 4, 449-475, 2004.
48. Peterson, Elaine. Evaluation of digital libraries using snowball sampling. First Monday, v. 10, n. 5, May, 2005. Retrieved May 3, 2005, from http://firstmonday.org/issues/issue10_5/peterson/index.html
49. Quijano-Solís, Á.; Novelo-Peña, R. Evaluating a monolingual multinational digital library by using usability: An exploratory approach from a developing country. International Information & Library Review, v. 37, n. 4, 329-336, 2005.
50. Shim, W.; Kantor, P. Evaluation of digital libraries: A DEA approach. Proceedings of the 62nd ASIS Annual Meeting, v. 36, 605-615, 1999.
FONTE: Dados da pesquisa, 2011.
Em duas bibliografias sobre bibliotecas digitais, Cunha (1997, 2009)
apresenta as principais fontes de informação, lançadas de 2000 a 2009, nas quais
lista e analisa documentos sobre a temática. Na primeira sistematizou o texto em
cinco tópicos temáticos, a saber: a) visionários; b) conceituação; c) projetos em
andamento; d) arquitetura do sistema; e) fontes de informação, abrangendo literatura
nacional e estrangeira.
Na segunda bibliografia, ele comenta documentos brasileiros e
estrangeiros, incluindo referências bibliográficas relacionadas com as seguintes
temáticas: definições de biblioteca digital, projeto e arquitetura da informação,
normas e padrões, digitalização, formação e desenvolvimento de coleções, controle
bibliográfico, preservação digital, acesso, referência digital, aspectos jurídicos,
aspectos econômicos, usuários e avaliação, apresentando dezessete referências de
documentos que tratam do tema, conforme ilustrado no Quadro 11.
71
Quadro 11 – Documentos citados na bibliografia de Murilo Cunha (2009) sobre avaliação de bibliotecas digitais
Nº BIBLIOGRAFIA DE CUNHA (2009) 1. Blandford, A.; Adams, A.; Attfield, S.; Buchanan, G.; Gow, J.; Makri, S.; Rimmer, J.; Warwick, C.
The PRET A Rapporter framework: Evaluating digital libraries from the perspective of information work. Information. Processing and Management, v. 44, n. 1, p. 4-21, 2008.
2. Choudhury, S.; Hobbs, B.; Lorie, M.; Flores, N. A framework for evaluating digital library services. D-Lib Magazine, v. 8, n. 7-8, July/August 2002.
3. Fuhr, N. et al. Evaluation of digital libraries. International Journal of Digital Libraries, v. 8, n.1, 2007.
4. Gonçalves, M. A.; Moreira, B. L.; Fox, E. A.; Watson, L. T. What is a good digital library? A quality model for digital libraries. Information processing & management, v. 43, n. 5, p. 1416-1437, 2007.
5. Hill, L. L.; Carver, L.; Larsgaard, M.; Dolin, R.; Smith, T. R.; Frew, J.; Era, M. A. Alexandria Digital Library : User evaluation studies and system design Journal of the American Society for Information Science, v. 51, n. 3, p. 246-259, 2000.
6. Kilker, J.; Gay, G. The social construction of a digital library: a case study examining implications for evaluation. Information Technology and Libraries,v. 17, p. 60-70, June 1998.
7. Koohang, A. Students' perceptions toward the use of the digital library in weekly web-based distance learning assignments portion of a hybrid programme. British Journal of Educational Technology, v. 35, n. 5, p. 617-626, 2004.
8. Lancaster, F. W. Evaluating the digital library. In: Northumbria international conference on performance measurement in libraries and information services, 2nd, Northumberland, 7-11 September 1997.
9. Marchionini, G.; Plaisant, C.; Komlodi, A. The people in digital libraries: multifaceted approaches to assessing needs and impact. 1999
10. Melo, L. B. Estatísticas e avaliação da qualidade e do desempenho em bibliotecas e serviços de informação: investigações recentes e novos projectos. Porto: Universidade do Porto, 2004.
11. Neuhaus, C. Digital library evaluation and assessment bibliography.2005. 12. Peterson, E. Evaluation of digital libraries using snowball sampling. First Monday v. 10, n. 5,
May 2005. 13. Rao, S.; Srinivas, V. N.; Weiguo, F.; Fox, E. A. What is a successful digital library? In: European
Conference on Digital Libraries, ECDL 2006. 14. Reeves, T. C; Apedoe, X.; Woo, Y. Hee. Evaluating digital libraries: a user-friendly guide. NSDL,
Educational Impact and Evaluation Standing Committee, 2004. 15. Roswitha, Poll. Impact/outcome measures for libraries. Utrecht University, 2003. 16. Saracevic, T. Digital library evaluation: toward an evolution of concepts. Library Trends, v. 49, n.
2, p. 350-369, 2000. 17. Yang, S. C. An interpretive and situated approach to an evaluation of Perseus digital libraries.
Journal of the American Society for Information Science and Technology, v. 52, n. 14, p. 1210-1223, 2001.
FONTE: Dados da pesquisa, 2011.
Dentre o total de documentos apresentados na bibliografia ilustrada no
Quadro 8, observamos que apenas seis constam nas bibliografias de Jeng (2008) e
Neuhaus (2005).
Na fase de análise da bibliografia, fizemos a leitura dos resumos para
identificar quais tratam especificamente de avaliação de bibliotecas digitais e
abordam a questão da usabilidade. Após essa fase, selecionamos os trabalhos a
serem analisados na íntegra e definimos o corpus da pesquisa cuja análise se serviu
da Análise de Conteúdo para localizar e organizar as categorias de análise,
definidas a priori, constantes no Quadro 12.
72
Quadro 12 – Critérios de usabilidade adotados como categorias de análise SARACEVIC JENG
Conteúdo – acessibilidade, disponibilidade, clareza, complexidade, organização, estrutura, informatividade, transparência, entendimento, adequação, cobertura, qualidade, precisão, validade, confiabilidade e autoridade.
Eficiencia
Processo (navegar, pesquisar, buscar, etc) – aprendizibilidade, esforço e tempo para realizar, conveniência, facilidade de utilização, realização de tarefas, dificuldade de interpretação, apoio a realização, clareza nos resultados e taxa de erros.
Eficácia
Formato - atratividade, sustentação, consistência, representação do conteúdo, comunicabilidade das mensagens.
Satisfação – facilidade de uso, organização da informação, rotulagem, aparência visual, interface, conteúdo e correção de erros
Avaliação geral – satisfação, sucesso, relevância, utilidade dos resultados, impacto, valor, qualidade, barreiras, preferências e aprendizagem.
Aprendizibilidade
FONTE: Saracevic (2005) e Jeng (2005a)
Após o momento da pré-analise, identificamos cinquenta e sete textos
nacionais e americanos sobre avaliação de bibliotecas digitais que formam o corpus
da pesquisa, abrangendo teses, dissertações e artigos de periódicos. Definido o
corpus, partimos para leitura dos textos buscando identificar os critérios de
usabilidade para avaliação de bibliotecas digitais, apresentados por Saracevic (2005,
p.6-7) e Jeng (2005a, p. 102) e adotados como categorias de análise, uma vez que
as categorias podem ser definidas a priori (BARDIN, 2010; FRANCO, 2007;
VALENTIM, 2005).
73
4 ANÁLISE DOS RESULTADOS
A partir dos procedimentos de pré-análise apresentamos a referência e
uma síntese dos cinquenta e sete textos nacionais e americanos que formam o
corpus da pesquisa textos que compõem o corpus da pesquisa, bem como os
termos correspondentes aos critérios de avaliação de usabilidade em bibliotecas
digitais, apresentado no referencial teórico adotado. Nem todos os textos
selecionados apresentaram termos que possibilitassem serem categorizados e
usados em nosso estudo. Os textos analisados estão relacionados por tipo
documental e ano de publicação.
Dissertações e Teses
Ano 2003
BÖHMERWALD, Paula. Uma proposta metodológica para a avaliação de bibliotecas
digitais usabilidade e comportamento de busca por informação na biblioteca digital
da PUC-Minas. 2003, 174f. Dissertação. (Mestrado em Ciência da Informação) –
Programa de Pós-Graduação em Ciência da Informação, Universidade Federal de
Minas Gerais, Belo Horizonte, 2003. SÍNTESE: Propõe que os estudos das duas
áreas das Ciências da Computação e das Ciências da Informação sejam usados
conjuntamente, se complementando, com o intuito de se analisar, de forma
abrangente, um sistema de informação. Apresenta alguns métodos para avaliação
da usabilidade de sistemas web e modelos de comportamento de busca por
informação de usuários, como base para uma metodológica de avaliação de
bibliotecas digitais. A metodologia proposta foi aplicada na biblioteca digital da PUC-
Minas – BDP. Os resultados são confrontados com o objetivo de se avaliar a
contribuição de cada etapa para a análise do sistema em questão e são comparados
com outros estudos de usabilidade de bibliotecas digitais.
Ano 2007
MOREIRA, Barbara Lagoeiro. 5SQual: Uma ferramenta baseada no modelo 5S para
avaliação de qualidade em bibliotecas digitais. 2007, 100f. Dissertação (Mestrado
em Ciência da Computação) – Programa de Pós-Graduação em Ciência da
74
Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2003. SÍNTESE:
Apresenta a 5SQual, uma ferramenta que provê meios para a realização de
avaliações automáticas de objetos digitais, metadados e serviços de biblioteca digital.
A ferramenta implementa diversos indicadores numéricos associados a oito
dimensões descritas no modelo 5S de qualidade e a sua arquitetura foi desenvolvida
visando à aplicabilidade em diversas bibliotecas digitais. Apresenta a implementação
e a avaliação de uma interface gráfica auxiliar para a configuração de avaliações da
5SQual e a realização de pesquisa sobre a expectativa em relação à ferramenta por
administradores de bibliotecas digitais.
HOMMERDING, Nadia Maria dos Santos. Em busca da avaliação de bibliotecas
digitais: caminhos e descaminhos. 2007, 217f. Tese (Doutorado em Ciência da
Informação) – Programa de Pós-Graduação em Ciência da Informação,
Universidade de São Paulo, São Paulo, 2007. SÍNTESE: Apresentar alguns modelos,
técnicas e metodologias que vêm sendo aplicadas em bibliotecas digitais. Aborda os
aspectos e os resultados positivos da avaliação de bibliotecas digitais, bem como
ressalta a necessidade de uma conscientização por parte dos gestores e
profissionais envolvidos com o tema, quanto à importância de propiciar um ambiente
favorável à execução de atividades de avaliação.
Artigos publicados em periódicos
Ano 1998
KILKER, J.; GAY, G. The social construction of a digital library: A case study
examining implications for evaluation. Information Technology and Libraries, 60-70,
1998. SÍNTESE: O artigo é um estudo de caso que focaliza múltiplas perspectivas
inerentes ao desenvolvimento e à avaliação de bibliotecas digitais. Utiliza a
abordagem da construção social da tecnologia (SCOT) para descrever os diversos
grupos sociais de usuários envolvidos com a avaliação da interface de uma
biblioteca digital. Argumenta que as avaliações desta tecnologia devem ter em conta
as interações entre as diferentes necessidades de tais grupos sociais.
75
Ano 1999
BORGMAN, C. L. What are digital libraries? Competing visions. Information
Processing and Management, v. 35, n. 3, 227-243, 1999. SÍNTESE: Explora o termo
biblioteca digital, usado em dois sentidos distintos. Em geral, os pesquisadores
compreendem as bibliotecas digitais como conteúdos coletados em nome da
comunidade de usuários, enquanto os bibliotecários como instituições ou serviços.
Tensões existem entre essas comunidades sobre o escopo e o conceito de
biblioteca. Pesquisa orientada a definições que servem para construir uma
comunidade de pesquisadores e centrar a atenção sobre os problemas. A
ambiguidade presente na terminologia dificulta o avanço de pesquisas e práticas em
bibliotecas digitais e na capacidade de comunicar o alcance e a importância do
nosso trabalho.
CHISMAN, J., DILLER, K.; WALBRIDGE, S. Usability testing: A case study. College
& Research Libraries, v. 60, n. 6, 552-569, 1999. SÍNTESE: Apresenta um estudo do
site de uma biblioteca tradicional, com foco no uso do OPAC pelos usuários, não
apresenta elementos relevantes para nossa pesquisa.
CRAWFORD, G. A. Issues for the digital library. Computers in Libraries, v. 19, n. 5,
62, 1999. SÍNTESE: Alerta que as bibliotecas devem continuar a monitorar as
últimas tendências da tecnologia eletrônica e adotar aquelas que preencham
necessidades específicas dentro da biblioteca. Tais recursos podem, também,
expandir grandemente a disponibilidade de informações e são um benefício para os
usuários que preferem acessar remotamente os materiais da biblioteca, seja a partir
dos seus escritórios ou de suas casas. Coloca que muitas bibliotecas não têm
recursos para desenvolver seus acervos impressos, como tinham no passado.
Argumenta, ainda, que embora o fornecimento de acesso a informações eletrônicas
não suscite muitos problemas como custo, instrução e infraestrutura, tais serviços
também ajudam a resolver muitos problemas das bibliotecas, notadamente
fornecendo informações em tempo hábil para nossos patronos, sem exigir sua
presença física na biblioteca. Assim, o alcance da biblioteca e os efeitos que elas
podem ter sobre os usuários têm expandido grandemente.
76
MARCHIONINI, G.; PLAISANT, C.; KOMLODI, A. The people in digital libraries:
multifaceted approaches to assessing needs and impact, 1999. SÍNTESE: A
pesquisa adota uma abordagem multifacetada para avaliar as necessidades de
informação e entender o impacto das bibliotecas digitais considerando as
características e contextos das pessoas que serão ou poderão ser usuárias dessas
bibliotecas. A abordagem multifacetada, para avaliação de bibliotecas digitais, foi
aplicada em três estudos de caso, com particular ênfase na avaliação das
necessidades do usuário para desenvolver um protótipo de interface para a
Biblioteca do Congresso Americano como parte do Programa Nacional de Biblioteca
Digital.
SHIM, W.; KANTOR, P. Evaluation of digital libraries: A DEA approach. Proceedings
of the 62nd ASIS Annual Meeting, v. 36, 605-615, 1999. SÍNTESE: O estudo consiste
na aplicação de um instrumento complexo, denominado análise envoltória de dados
(DEA), usado para avaliar a eficiência relativa das principais bibliotecas de pesquisa
acadêmica, membros da Associação de Bibliotecas de Pesquisa (ARL). Relata os
resultados de um estudo de dois anos usando a linha tradicional de base com
medidas estatísticas tomadas entre 1995-1996. Foram observados os padrões de
escores de eficiência tanto das bibliotecas individuais, como de grupos de
bibliotecas (privados e públicos). Estudou a consistência, ao longo dos anos, de
medidas específicas de DEA. Esta coerência justifica para estender como as
bibliotecas sofrem transformação digital revolucionária. Os resultados também são
reforçados através de medidas estatísticas.
Ano 2000
BORGMAN, C. L. el al. Evaluating digital libraries for teaching and learning in
undergraduate education: A case study of the Alexandria Digital Earth Prototype
(ADEPT). Library Trends, v. 49, n. 2, 228-250, 2000. SÍNTESE: Apresenta as
observações preliminares do primeiro ano do projeto para desenvolver e instalar
uma biblioteca digital de informação sobre recursos geográficos em cursos de
graduação da Universidade da Califórnia, em Los Angeles e em Santa Bárbara. O
estudo é parte do protótipo da Alexandria Digital Earth Prototype (ADEPT). Aborda a
implantação de bibliotecas digitais em contextos educacionais, o papel da tecnologia
da informação para o desenvolvimento cognitivo e científico dos alunos e a
77
avaliação dessas bibliotecas. O artigo conclui com as primeiras observações sobre
ambientes de sala de aula utilizando a ADEPT e sobre o desenvolvimento inicial do
Protótipo.
DICKSTEIN, R.; MILLS, V. Usability testing at the University of Arizona library: How
to let the users in on the design. Information Technology and Libraries, v. 19, n. 3,
144-151, 2000. SÍNTESE: Relata mudanças importantes adotadas pelos gestores da
biblioteca em avaliar suas atividades através dos olhos de usuários e perguntar-se
qual o efeito que as ações terão no serviço e sua satisfação. A biblioteca buscou
enfatizar a avaliação das necessidades do usuário, preocupando-se com a rápida
expansão da Web e a frustração óbvia dos usuáros com o uso dos portais de busca
atual. Delinea os diferentes métodos de avaliação de usabilidade utilizados, relata a
realização dos testes de usabilidade, como a análise dos dados foi realizada, e
como continuamente estão redesenhado o site em resposta a sugestões do usuário.
FROKJAER, E.; HERTZUM, M.; HORNBAEK, K. Measuring usability: Are
effectiveness, efficiency, and satisfaction really correlated? Proceedings of the CHI
2000 Conference on Human Factors in Computing Systems, v. 2, v. 1, 345-352, 2000.
SÍNTESE: Apresenta dados de um experimento onde 87 sujeitos realizaram 20
tarefas de recuperação de informações relativas a problemas de programação.
Argumenta que a correlações entre os aspetos da usabilidade dependem, de
maneira complexa, do domínio da aplicação, da experiência do usuário e do
contexto de uso. O estudo focou os aspectos da eficácia, eficiência e satisfação,
considerando os aspectos de usabilidade e incluídos no teste de usabilidade.
HILL, L. L. et al. Alexandria digital library: User evaluation studies and system design.
Journal of the American Society for Information Science, v. 51, n. 3, 246-259, 2000.
SÍNTESE: Descreve a evolução do sistema e do design de interface da Alexandria
Digital Library (ADL) e, em seguida, fornece uma visão geral das atividades de
pesquisa e testes do projeto. Apresenta as metodologias de avaliação do usuário
aplicadas e as descobertas resultantes do trabalho com três grupos de usuários. O
texto descreve a parte de avaliação do projeto.
MARCHIONINI, G. Evaluating digital libraries: A longitudinal and multifaceted view.
Library Trends, v. 49, v. 2, 304-333, 2000. SÍNTESE: Apresenta a Biblioteca digital
78
Perseus (PDL) como um dos principais recursos digitais para a humanidade. Em
desenvolvimento contínuo desde 1987, o projeto incluiu um componente contínuo de
avaliação. Pretende identificar os efeitos de acesso à matéria-prima digitalizada na
área de humanas. No resumo do estado atual, é descrito o esforço de avaliação
multifacetada e longitudinal. Uma síntese dos resultados visa fornecer reflexões
sobre a avaliação, juntamente com recomendações para avaliações de bibliotecas
digitais.
SARACEVIC, T. Digital library evaluation: Toward an evolution of concepts. Library
Trends, v. 49, n. 2, 350-369. 2000. Available at: http://scils.rutgers.edu/~tefko/
LibraryTrends2000.pdf. SÍNTESE: Apresenta conceitos para a avaliação de
bibliotecas digitais que o autor reconhece como uma tarefa complexa e difícil.
Enumera alguns dos desafios enfrentados pela avaliação dessas bibliotecas, bem
como uma revisão dos esforços das pesquisas e práticas de avaliação, além de
requisitos fundamentais para avaliação das bibliotecas digitais.
Ano 2001
BATTLESON, B., BOOTH, A.; WEINTROP, J. Usability testing of an academic library
web site: A case study. The Journal of Academic Librarianship, v. 27, n. 3, 188-198,
2001. SÍNTESE: Trata-se de um estudo de caso que utiliza os conceitos da
Interação Homem-Computador (IHC) para projetar e implementar um teste de
usabilidade formal do site de uma biblioteca acadêmica. Utilizou técnicas de baixo
custo e fácil de implementar. O teste foi aplicado em ambiente Web típico da maioria
das bibliotecas. O presente artigo testou o site de uma biblioteca tradicional, que
disponibiliza serviços online como: pesquisar o catálogo da biblioteca; leituras da
localização da obra no acervo e vários índices eletrônicos; fazer perguntas de
referência via correio eletrônico, renovar os livros e verificar o horário de
funcionamento das bibliotecas do campus. Os serviços relatados no artigo
evidenciam que não se trata de uma biblioteca digital.
FUHR, N. et al. Digital libraries: A generic classification and evaluation scheme.
Lecture Notes in Computer Science, 2001. Retrieved January 13, 2006, from
http://citeseer.ist.psu.edu/fuhr01digital.html. SÍNTESE: Os autores do artigo
argumentam que a avaliação de bibliotecas digitais deve ser baseada em uma visão
79
ampla da área do conhecimento que busca atender, e ressaltam que a avaliação
dessas bibliotecas é essencial para um maior desenvolvimento nessa área. Com
esse fim, desenvolveram um sistema de descrição usando quatro dimensões
consideradas principais (coleção, tecnologia, usuários, uso) e descrevendo as
principais propriedades de cada uma dessas dimensões. Segundo o artigo, usando
este esquema, é possível caracterizar as plataformas de testes de bibliotecas digitais.
MCCRAY, A. T.; GALLAGHER, M. E. Principles for digital library development.
Communications of the ACM, v. 44, n. 5, 49-54, 2001. SÍNTESE: Apresenta um
conjunto de dez princípios para construção de uma biblioteca digital. Argumenta que
antes de aventurar-se em tal empreendimento, é importante considerar alguns
princípios básicos subjacentes à concepção, implementação e manutenção de
qualquer biblioteca digital. Segundos os autores, esses princípios são derivados da
sua experiência com o desenvolvimento de sistemas de bibliotecas digitais, na última
década. Ao criarem-se sistemas de biblioteca digital contendo um conteúdo valioso,
o manuseio deve ser cuidadoso e com a maior qualidade possível e não deve
desaparecer. Precisa-se entender como preservar e salvaguardar material, e
esforçar-se para o prosseguimento de acesso aberto a todo o conhecimento.
MCGILLIS, L.; TOMS, E. G. Usability of the academic library web site: Implications
for design. College & Research Libraries, v. 62, n. 4, 355-367, 2001. SÍNTESE: O
objetivo deste estudo foi duplo: para avaliar a usabilidade de um site Web de
biblioteca acadêmica e para melhor compreender como professores e alunos
completam tarefas típicas usando uma biblioteca. Foi realizado teste com os
usuários. Apesar de seu sucesso na realização das tarefas, eles tiveram dificuldade
em saber por onde começar e com a arquitetura do site, em especial, com a
interpretação das categorias e seus rótulos. Apresenta um relato de aplicação de
teste com as tarefas executadas.
YANG, S. C. An interpretive and situated approach to an evaluation of Perseus digital
libraries. Journal of the American Society for Information Science and Technology, v.
52, n. 14, p. 1210-1223, 2001. SÍNTESE: Baseado em estudos de alunos tentando
usar um ambiente hipermídia como parte das atividades educacionais. Reflete sobre
a concepção e uso de sistemas hipermídia de aprendizagem. Além disso, o artigo é
uma reflexão sobre a concepção e utilização do sistema Perseus.
80
Ano 2002
BISHOP, A. P. Measuring access, use, and success in digital libraries . The Journal
of Electronic Publishing, v. 4, n. 2, 1998. Retrieved August 24, 2002, from
http://www.press.umich.edu/jep/04-02/bishop.html. SÍNTESE: Analisa a natureza do
acesso a recursos de informação e as relações de acesso para usar, permitindo-nos
considerar como sedutoras essas visões da disponibilidade de informações mais
fácil. A medição do acesso e a interpretação de dados e o uso dentro de uma
biblioteca digital é complexo, no entanto, a falta de métricas padrão em todos os
sistemas faz com que seja especialmente difícil para desenvolver quadros
explicativos relacionados à biblioteca digital.
BISHOP, A. P. et al. Building a university digital library: The need for a user-centered
approach, 2002. Retrieved August 24, 2002, from: http://forseti.grainger.uiuc.edu/
dlisoc/socscisite/monterey-final.html. SÍNTESE: O foco são o progresso e o
planejamento dos componentes de avaliação dos usuários do projeto. Estudos
sociológicos da equipe de avaliação visam desenvolver métodos e modelos para a
compreensão da natureza das interações de informação, nomeadamente, trabalhos
individuais e processos de aprendizagem, a dinâmica institucional e profissional, e
os fenômenos da comunidade no reino, distribuídos digitalmente. As implicações e
as questões para as instituições acadêmicas envolvidas na introdução de bibliotecas
digitais aos seus usuários são identificadas e discutidas.
CHOUDHURY, S.et al. A framework for evaluating digital library services. D-Lib
Magazine, v. 8, n. 7/8, July/August, 2002. Retrieved August 13, 2002, from
http://www.dlib.org/dlib/july02/choudhury/07choudhury.html. SÍNTESE: Fornece uma
visão geral dos estudos de avaliação para as bibliotecas, uma breve introdução para
o Projeto CAPM, uma descrição do quadro teórico para a metodologia do CAPM e
uma discussão sobre a aplicação da metodologia. Esta "metodologia CAPM" foi
aplicada a um projeto específico, mas pode ser usada para avaliar as preferências
dos usuários de serviços de biblioteca digital. A metodologia CAPM fornece uma
estrutura para priorizar o desenvolvimento dos serviços da biblioteca digital dentro
de uma instituição, com base nas preferências dos usuários.
81
COLEMAN, A. OXNAM, M. Interactional digital libraries: Introduction to a special
issue on interactivity in digital libraries. Journal of Digital Information, v. 2, n. 4, 2002.
Retrieved September 12, 2002, from http://jodi.ecs.soton.ac.uk/ Articles/v02/i04/editorial.
SÍNTESE: Avalia projetos que tratam da interatividade como elemento-chave. Busca
avaliar como a IHC pode ser adequada às bibliotecas digitais, vendo-as como
espaços de informação, aprendizagem e interação.
FOX, E. A.; URS, S. R. Digital libraries. In Blaise Cronin (Ed.), Annual Review of
Information Science and Technology: v. 36, 503-589, 2002. Medford, NJ: Information
Today. SÍNTESE: Aborda as questões do surgimento das bibliotecas digitais e como
o uso dos computadores e das tecnologias de comunicação ajudou a expandir
significativamente a literatura acadêmica em todas as áreas do conhecimento.
Relata que, após os anos 1990, cresceu em ritmo acelerado o interesse pelas
bibliotecas digitais, evidenciado pelo surgimento de revistas científicas, conferências
e seminários sobre o tema.
LONG, H. An assessment of the current state of digital library evaluation.
Unpublished master’s thesis, University of North Carolina at Chapel Hill, 2002.
SÍNTESE: Descreve os resultados de uma pesquisa com representantes de onze
equipes de biblioteca digital que realizaram a avaliação. Os entrevistados relataram
o que motiva uma avaliação e como ela é definida e executada. O estudo identificou
as avaliações características de longevidade, triangulação e adaptabilidade. As
razões mais citadas para a realização de uma avaliação foram: identificar a
população de usuários e suas necessidades de informação; as Metodologias usadas
incluem pesquisas online, análise de log de transações, e testes de usabilidade.
Metade das equipes que realização avaliações adotou a triangulação de dados,
usando mais de uma metodologia de análise.
Ano 2003
BORGMAN, C. L.; LARSEN, R. ECDL 2003 workshop report: Digital library
evaluation – metrics, testbeds, and processes. D-Lib Magazine, v. 9, n. 9, 2003.
Retrieved May 28, 2005, from: http://www.dlib.org/dlib/ september03/
09inbrief.html#BORGMAN. SÍNTESE: Relato sucinto do workshop ECDL 2003 que
objetivou apresentar resultados da reunião de 2002, em Budapeste, sobre Avaliação
82
de Bibliotecas Digitais: Ambientes de teste, Medidas, e Métricas. Segundo o relatório,
o Workshop foi um diálogo internacional sobre métricas, ambientes de teste e
processos para avaliação de bibliotecas digitais, coordenado pela NSF, nos EUA, a
DELOS Network of Excellence for Digital Libraries2, na UE e o Comitê Joint
Information Systems (JISC), no Reino Unido. Durante o evento, Philip Pothen
informou sobre o progresso do JISC no Reino Unido na avaliação interativa da
Distributed Network of Electronic Resources (DNER), hoje conhecida como
Ambiente da Informação (IE). A avaliação DNER/IE é centrada em questões como o
uso de bibliotecas digitais para ensino e aprendizagem versus o uso para pesquisa e
cultura. Suas medidas incluem avaliação pedagógica, impacto institucional, escolha,
necessidades de informação e a utilização de recursos individuais (ex., navegação,
avaliação da qualidade, busca cruzada entre bibliotecas digitais).
HEATH, F. et al. Emerging tools for evaluating digital library services: Conceptual
adaptations of LibQUA CAPM. Journal of Digital Information, v. 4, n. 2, 2003.
Retrieved July 2, 2003 from http://jodi.ecs.soton.ac.uk/Articles/v04/i02/Heath/.
SÍNTESE: Descreve maneiras de examinar como as bibliotecas digitais são
valorizadas pelos seus usuários, e explora formas de permitir a alocação de recursos
para áreas necessitadas identificadas pelo usuário. Analisa modelos de avaliação de
biblioteca, centrando-se na aplicação das metodologias LibQUAL + TM e CAPM.
Cada metodologia foi desenvolvida de forma independente, fornecendo uma
estrutura útil para avaliar os serviços de biblioteca digital. Discute também os
benefícios do uso de metodologias combinadas, o que proporcionaria um potencial
ainda maior para a avaliação dos serviços das bibliotecas digitais.
KASSIM, A. R. C.; KOCHTANEK, T. R. Designing, implementing, and evaluating an
educational digital library resource. Online Information Review, v. 27, n. 3, 160-168,
2003. SÍNTESE: Apresenta o estado atual do desenvolvimento do projeto contínuo
conhecido como Projeto i-DLR. Trata-se de um sistema de informações interativo, no
campo biblioteca digital, iniciado para enfrentar o desafio de organizar uma estrutura
educacional adequada àqueles que buscam informações sobre esse tema. O
trabalho descreve a avaliação de cinco etapas deste recurso educacional. O foco
deste esforço em particular está no desenvolvimento e no refinamento contínuo
baseados nas recentes avaliações pelos usuários finais que procuram acessar os
recursos de biblioteca digital. Os cinco métodos de avaliação apresentados e
83
descritos são: grupos focais, análise de Web log, logs de transações do banco de
dados, levantamento na Web, e avaliação remota de usabilidade. Por tratar-se de
um projeto em andamento, as análises são fundamentais para o aprimoramento
contínuo da interface, dos conteúdos, e da maneira como eles são organizados e
apresentados.
ROSWITHA, Poll. Impact/outcome measures for libraries. Utrecht University, 2003.
SÍNTESE: Segundo o autor, o que realmente interessa para as instituições
financiadoras é se a existência da biblioteca é capaz de promover os objetivos da
instituição ou comunidade a que pertence, e se o aprendizado e a pesquisa, o
trabalho profissional ou a vida comunitária se beneficiam com o uso da biblioteca.
Argumenta que avaliar os resultados qualitativos das bibliotecas significa avaliar o
efeito dos serviços da biblioteca sobre seus usuários individuais ou grupos de
usuários. Aborda métodos qualitativos para avaliação da satisfação dos usuários
com a biblioteca.
Ano 2004
COLEMAN, A. S.; BARTOLO, L. M.; JONES, C. Bricoleurs: Exploring digital library
evaluation as participation interactions, research, and processes. Proceedings of the
4th ACM/IEEE-CS Joint Conference on Digital Libraries, 377, 2004. Retrieved
December 23, 2005, from ACM Digital Library database. SÍNTESE: Apresenta o
desenvolvimento de metas de avaliação e instrumentos compartilhados entre rede
de bibliotecas para examinar o seu uso, o crescimento das coleções, e os processos
de gerenciamento. Adotou a modalidade bricoleur de pesquisa de avaliação com a
integração de métodos científicos, bem como valores humanistas. Processos
baseados na comunidade participativa para o desenvolvimento de ferramentas que
resolvem os problemas são outra das características fundamentais da bricolagem. A
abordagem bricoleur é uma visão integradora que reúne tradições divergentes em
pesquisa e, segundo os autores, é o mais adequado para explorar avaliação de
bibliotecas digitais.
JENG, J. Usability evaluation of academic digital libraries: From the perspectives of
effectiveness, efficiency, satisfaction, and learnability. Proceedings of the 67th
Annual Meeting of the American Society for Information Science and Technology, v.
84
41, November 13-18, 2004, Providence, RI. Available at:
http://www.asis.org/Conferences/AM04/posters/180.doc SÍNTESE: Discute a
dimensão de usabilidade, avalia métodos de avaliação de usabilidade e propõe um
modelo de avaliação e um conjunto de instrumentos para avaliar a usabilidade de
bibliotecas acadêmicas digitais. É verificada a existência de relações interligadas
entre eficácia, eficiência e satisfação.
JENG, J. Usability of digital libraries: An evaluation model. Proceedings of the Fourth
ACM/IEEE Joint Conference on Digital Libraries, 407, 2004. Retrieved March 13,
2006, from ACM Digital Library database. SÍNTESE: A pesquisa propõe métodos e
instrumentos de avaliação de usabilidade de bibliotecas acadêmicas digitais. Ele
comprova que existem relações interligadas entre eficácia, eficiência e satisfação.
Pertinente para nossa pesquisa foi adotada no corpus da mesma.
KOOHANG, A. Students' perceptions toward the use of the digital library in weekly
web-based distance learning assignments portion of a hybrid programme. British
Journal of Educational Technology, v. 35, n. 5, p. 617-626, 2004. SÍNTESE:
Investiga as percepções dos alunos em um curso de graduação de uma
universidade nos EUA, sobre o uso de biblioteca digital no ensino à distância de
aprendizagem baseado na web, com atribuições de um programa de instrução
híbrido. Os resultados sugerem que os alunos tinham uma percepção positiva em
direção ao uso da biblioteca digital. Alunos que tinham mais experiência com a
Internet tiveram significativamente a percepção mais positiva para o uso da
biblioteca digital. Implicações para a prática são discutidas e são feitas
recomendações para futuras pesquisas.
MELO, L. B. Estatísticas e avaliação da qualidade e do desempenho em bibliotecas
e serviços de informação: investigações recentes e novos projectos. Porto:
Universidade do Porto, 2004. SÍNTESE: O autor argumenta sobre a necessidade de
obterem-se dados estatísticos que possam ser investigados para apoiar o processo
de planejamento e de tomada de decisão no melhoramento dos serviços oferecidos
pelas bibliotecas. Os resultados estatísticos e as avaliações do desempenho e dos
produtos, que resultam das atividades desenvolvidas nos vários serviços de uma
biblioteca, são dados extremamente úteis e indispensáveis na gestão e contribuem
para acrescentar qualidade às bibliotecas: auxiliam no processo de decisão,
85
fornecem dados para a realização de técnicas de benchmarking que proporcionam a
identificação de boas práticas.
MEYYAPPAN, N.; FOO, S.; CHOWDHURY, G. G. Design and evaluation of a task-
based digital library for the academic community. Journal of Documentation, v. 60, n.
4, 449-475, 2004. SÍNTESE: Discute a concepção, desenvolvimento e avaliação de
uma biblioteca digital baseada em tarefas. Foi medido o tempo levado pelos
respondentes para identificar e acessar os recursos de informação relevantes para
tarefas individuais. Os resultados mostram que a abordagem baseada em tarefas
necessitou de menos tempo na identificação dos recursos de informação.
REEVES, T. C; APEDOE, X.; WOO, Y. H. Evaluating digital libraries: a user-friendly
guide. NSDL, Educational Impact and Evaluation Standing Committee, 2004.
SÍNTESE: Os autores apresentam o que denominam de "Guia Fácil" para ajudar na
avaliação de bibliotecas digitais. Segundo eles, usando este guia, o gestor será
capaz de projetar, implementar e relatar melhor avaliações dentro do contexto do
desenvolvimento, operação e/ou utilização de bibliotecas digitais.
Ano 2005
BISHOP, A. P. Digital library use: Social practice in design and evaluation.
Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 276-277,
2005. Retrieved December 23, 2005, from ACM Digital Library database. SÍNTESE:
Apresenta as Bibliotecas Digitais como entidade sociais, bem como tecnológicas,
com o objetivo de ajudar as pessoas a trabalharem o conhecimento para concretizar
o processo de disseminação do conhecimento através do espaço e do tempo. Essas
bibliotecas são concebidas, utilizadas e avaliadas em um contexto de trabalho e de
comunidade. Para a autora a utilização das bibliotecas digitais é um processo
socialmente integrado da mesma forma que é um complexo processo social.
BLANDFORD, A. et al. Analytical usability evaluation for digital libraries: A case
study. Proceedings of the 4th ACM/IEEE Joint Conference on Digital Libraries, 27-36,
2004. Retrieved December 23, 2005, from ACM Digital Library database. SÍNTESE:
Relata um conjunto de estudos e aplicação de teste com quatro diferentes técnicas
aplicadas a várias bibliotecas digitais. Apresenta técnicas para avaliação de
usabilidade. Ressalta que existem dois tipos de abordagens a considerar quanto à
86
usabilidade de qualquer sistema, uma empírica e outra analítica. As técnicas
empíricas envolvem testar os sistemas com usuários, enquanto as técnicas
analíticas envolvem profissionais de usabilidade avaliando sistemas através do uso
de teorias e métodos estabelecidos. As quatro técnicas: avaliação heurística,
percurso cognitivo, análise de claims e Concept-based Analysis of Surface and
Structural Misfits (CASSM) são discutidas em ordem aproximada de complexidade
crescente. Para os autores, nenhuma das técnicas testadas integra a solução
perfeita. No entanto, cada uma contribui com algo para a compreensão global de
como as BDs podem ser consideradas de uma perspectiva orientada para o usuário.
BUHR, S.; BARKER, L.; REEVES, T. C. The DLESE evaluation services group: A
framework for evaluation within a digital library. Proceedings of the 5th ACM/IEEE-
CS Joint Conference on Digital Libraries, 370, 2005. Retrieved December 23, 2005,
from ACM Digital Library database. SÍNTESE: Este artigo destina-se a descrever a
amplitude e a profundidade desse trabalho; determinados aspectos do trabalho são
descritos no acompanhamento do projeto. Trabalho no âmbito desses projetos
permite-nos não só prestar as necessárias informações relativas à avaliação
formativa para as equipes DLESE, mas oferecem sites de estudo para compreender
melhor as necessidades do usuário. O texto é apenas um resumo estendido e não
fornece informações suficientes para integrar o corpus da pesquisa
COLEMAN, A. S.; BARTOLO, L. M.; JONES, C. Impact: The last frontier in digital
library evaluation. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital
Libraries, 372, 2005. Retrieved December 23, 2005, from ACM Digital Library
database. SÍNTESE: Procura conhecer o impacto de uma biblioteca digital. Para isso
recorre à bricolagem metodológica, com abordagens quantitativas e qualitativas.
Para os autores, a experiência ajuda a identificar novas para avaliar bibliotecas
digitais.
DORWARD, J.; REINKE, D.; RECKER, M. An evaluation model for a digital library
services tool. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital
Libraries, 322-323, 2002. Retrieved December 23, 2005, from ACM Digital Library
database. SÍNTESE: Trata-se de um relato de experiência, mas não apresenta os
elementos da metodologia usada. Foi descartado por não conter elementos para
construção do modelo metodológico proposto na pesquisa.
87
FERREIRA, S. M.; PITHAN, D. N. Usability of digital libraries: A study based on the
areas of information science and human-computer interaction. OCLC Systems &
Services, v. 21, n. 4, 311-323, 2005. SÍNTESE: A pesquisa, busca integrar os
conceitos e técnicas a partir das áreas da Ciência da Informação e da Computação,
para analisar a usabilidade da biblioteca digital InfoHab, tendo como base teórica o
modelo construtivista de estudo usuário proposto por Carol Kuhlthau e os critérios de
usabilidade estabelecidos por Jacob Nielsen. Os dados foram coletados através de
entrevistas pessoais, o protótipo da biblioteca, observação direta da imagem e
registros sonoros. As variáveis do estudo incluíram os seguintes critérios que
buscaram captar a satisfação dos usuários do ponto de vista dos aspectos cognitivos
e afetivos e as ações realizadas por estes durante o processo de pesquisa.
JENG, J. Usability assessment of academic digital libraries: Effectiveness, efficiency,
satisfaction, and learnability” Libri: International Journal of Libraries and Information
Services, v. 55, n. 2/3, 96-121, 2005. SÍNTESE: O estudo analisa métodos e
instrumentos para avaliar a usabilidade de bibliotecas digitais. Discute as dimensões
de usabilidade, os métodos na avaliação de usabilidade de bibliotecas digitais, a sua
aplicabilidade e critérios.
JENG, J. What is usability in the context of the digital library and how can it be
measured?” Information Technology and Libraries, v. 24, n. 2, 47-56, 2005.
SÍNTESE: Analisa como a usabilidade foi definida no contexto da biblioteca digital,
os métodos usados e sua aplicabilidade, e propõe uma modelo de avaliação e um
conjunto de instrumentos para avaliar usabilidade para de bibliotecas digitais
acadêmicas. O modelo examina a eficácia, eficiência, satisfação e capacidade de
aprendizado. Segundo a autora, verifica-se que existe uma relação de bloqueio entre
a eficácia, eficiência e satisfação.
PETERSON, Elaine. Evaluation of digital libraries using snowball sampling. First
Monday, v. 10, n. 5, May, 2005. Retrieved May 3, 2005, from: http://firstmonday.org/
issues/issue105/peterson/index.html. SÍNTESE: A pesquisa é um estudo de caso
comparando resultados obtidos por dois métodos de entrevista com usuários de uma
biblioteca digital. Buscou conhecer a satisfação dos usuários com a coleção. Na
primeira etapa, os usuários foram entrevistados presencialmente e no segundo
momento, os mesmos usuários foram consultados por e-mail. Os resultados
88
constataram que o e-mail não é a maneira mais eficaz para conhecer a satisfação do
usuário de uma biblioteca digital.
QUIJANO-SOLÍS, Á.; NOVELO-PEÑA, R. Evaluating a monolingual multinational
digital library by using usability: An exploratory approach from a developing country.
International Information & Library Review, v. 37, n. 4, 329-336, 2005. SÍNTESE:
Apresenta uma discussão preliminar sobre alguns dos resultados de uma pesquisa
que teve como objetivo explorar, descrever e explicar algumas das características de
usabilidade na avaliação de bibliotecas digitais no contexto Mexicano. O estudo é
enquadrado na avaliação de uma biblioteca digital multinacional e monolíngue: a
Biblioteca Virtual Miguel de Cervantes, da Universidade de Alicante, na Espanha. Os
avaliadores eram usuários mexicanos, “experts” convidados a executar um
instrumento de avaliação baseado em critérios de usabilidade, como tomados de
alguns modelos em países desenvolvidos.
REEVES, T.; C., BUHR, S.; BARKER, L. Evaluating digital libraries. Proceedings of
the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 420. Retrieved
December 23, 2005, from ACM Digital Library database. SÍNTESE: O texto fala que,
até agora, a avaliação não tem acompanhado os esforços em bibliotecas digitais,
não se tornou parte de integrante das suas atividades, e não foi ainda especificado
seu significado, e como fazê-la.
SNEAD, J. T. et.al. Developing multi-method, iterative, and user-centered evaluation
strategies for digital libraries: Functionality, usability, and accessibility. Paper
presented at 2005. Annual Meeting of the American Society for Information Science
& Technology. Retrieved March 9, 2006, from http://www.ii.fsu.edu/
presentation/digilib_asist2005.pdf. SÍNTESE: Apresenta o desenvolvimento de
avaliações significativas para bibliotecas digitais. Trata-se de vários anos de estudos
para determinar as técnicas de avaliação adequadas, ferramentas e metodologias
para a Electronic Florida Biblioteca (FEL) e outras bibliotecas digitais. Os protocolos
de avaliação e abordagens foram concebidos ao longo do tempo. Como tal, este
trabalho analisa o processo de elaboração, aplicação e refinamento adequado de
metodologias de avaliação para o ambiente de rede de bibliotecas, bem como as
implicações dessas metodologias.
89
Ano 2006
BERTOT, J. C. et.al. Functionality, usability, and accessibility: Iterative user-centered
evaluation strategies for digital libraries. Performance Measurement and Metrics, v. 7,
n. 1, 17-28, 2006. SÍNTESE: A pesquisa se baseia na combinação de três
metodologias que são: funcionalidade, usabilidade e acessibilidade, estratégias de
avaliação aplicadas interativamente para avaliar bibliotecas digitais a partir na
perspectiva das necessidades dos gestores. Ao combinar essas três metodologias,
os pesquisadores descobriram que elas eram capazes de criar uma avaliação
consistente de bibliotecas digitais, cujos resultados representam as necessidades de
diversos usuários. Estas metodologias podem fornecer avaliações detalhadas do
grau de informação e serviços disponíveis são compreensíveis para todos os
usuários, na medida em fornecem as características e funções necessárias para
biblioteca funcionar corretamente para atender às necessidades de uma população
diversificada de usuários.
BUDHU, M. The design and evaluation of interactivities in a digital library. D-Lib
Magazine, v. 8, n. 11, November, 2003. Retrieved February 8, 2006, from
http://www.dlib.org/dlib/november02/coleman/11coleman.html SÍNTESE: Descreve
as principais características da GROW, define e discute a interatividade como uma
questão emergente para os integrantes do ensino e aprendizagem. Declara que a
interatividade ocorre em três níveis distintos: nos recursos de informações, na coleta,
e no contexto. Avaliação preliminar da GROW-NCERL interatividade é brevemente
descrito, e apresenta alguns atributos da interatividade.
KANI-ZABIHI, E.; GHINEA, G.; CHEN, S. Y. Digital libraries: What do users want?
Online Information Review, v. 30, n. 4, 395-412, 2006. SÍNTESE: Busca conhecer as
sugestões do usuário para as bibliotecas digitais. Para isso foi realizada uma
pesquisa solicitando que os usuários apresentassem sugestões para bibliotecas
digitais, bem como ranqueassem, em sua opinião, características de uma biblioteca
digital. Revelou que, independentemente da tecnologia da informação, as
expectativas dos usuários em relação à funcionalidade das bibliotecas digitais são
as mesmas. Aborda a biblioteca digital de uma nova perspectiva, dando aos
usuários uma oportunidade de expressarem suas sugestões sobre a funcionalidade
e características das futuras bibliotecas digitais.
90
SHEN, R. et al. What is a successful digital library? In: European Conference on
Digital Libraries, ECDL 2006. SÍNTESE: Apresenta um modelo de avaliação de
sucesso de biblioteca digital a partir da perspectiva do usuário final, integrando
diversas áreas de pesquisa. Identifica fatores que afetam a qualidade das
informações e do sistema da biblioteca digital; aponta relações entre esses fatores e
os indicadores de qualidade desenvolvidos por outros pesquisadores; desenvolve
indicadores e medidas de qualidade para o catálogo e os serviços de uma biblioteca
digital.
XIE, H. I. Evaluation of digital libraries: Criteria and problems from users'
perspectives. Library & Information Science Research, v. 28, n. 3, 433-452, 2006.
SÍNTESE: Identifica os critérios para avaliação das bibliotecas digitais existentes. Ao
mesmo tempo, eles eram solicitados a avaliar as bibliotecas digitais existentes pelo
conjunto de critérios que estavam desenvolvendo. O resultado dessa avaliação
apresentou um conjunto de critérios desenvolvidos pelos participantes, e mostrou
que a usabilidade e a qualidade da coleção eram os critérios mais importantes para
a avaliação das bibliotecas digitais.
Ano 2007
FUHR, N. et al. Evaluation of digital libraries. International Journal of Digital Libraries,
v. 8, n.1, 2007. SÍNTESE: Apresenta um estado da arte sobre avaliação de
biblioteca digital. Em paralelo, estabelece uma estrutura para avaliar sistemas de
bibliotecas digitais de forma holística e faz recomendações com relação às ações
estratégicas e necessárias de serem seguidas em avaliações desse tipo de
biblioteca.
GONÇALVES, M. A. et al. What is a good digital library? A quality model for digital
libraries. Information processing & management, v. 43, n. 5, p. 1416-1437, 2007.
SÍNTESE: Artigo, elaborado sobre o significado da qualidade em bibliotecas digitais,
propondo um modelo que está fundamentado em uma estrutura formal conhecido
como: 5S (Streams -correntes, Structures -estrutura, Spaces - espaços, Scenarios -
cenários e Societies - sociedade). Esses conceitos são importantes para definir
formalmente uma série de dimensões de qualidade e propor um conjunto de
indicadores numéricos. Considera como conceitos-chave de uma biblioteca digital:
91
catálogo, coleção, objeto digital, especificação de metadados, repositório e serviços.
Discute, também, as conexões entre as propostas de dimensões da qualidade em
bibliotecas digitais e uma versão expandida quanto ao ciclo de vida da informação
em formato digital. Essas conexões podem ser usadas para determinar quando e
onde as questões de qualidade podem ser medidas, avaliadas, e melhorar
problemas de qualidade que podem ser prevenidos, detectados e eliminados.
Ano 2008
Blandford, A. et al. The PRET A Rapporter framework: Evaluating digital libraries
from the perspective of information work. Information. Processing and Management,
v. 44, n. 1, p. 4-21, 2008. SÍNTESE: Relata aplicação de avaliação do sistema de
recuperação da informação (IR) com foco no usuário. Apresenta um quadro para o
planejamento de estudos de avaliação, centrada no usuário, que estabelece
sistemas no contexto da IR com aplicabilidade em avaliação de bibliotecas digitais.
Para conhecer os critérios de usabilidade e avaliação de bibliotecas
digitais nos textos pesquisados, identificamos os termos que caracterizam algum dos
critérios de usabilidade indicados por Saracevic (2005) e Jeng (2005a) e adotados
como categorias de análise. É importante observar que os termos extraídos no
corpus da pesquisa são sinônimos, correlatos e representativos dos critérios
apresentados pelos mencionados e não necessariamente os mesmos termos. Na
análise de frequência dos dados, utilizamos o programa TextStat, versão 2.7. Por
meio desse software, foi possível contabilizar o número de vezes que uma palavra
aparece no texto ou em um arquivo de textos. Para inserimos os termos compostos
no software Textstat e obtermos a frequência de seu aparecimento nos textos, foi
necessário subtrairmos as preposições e usarmos o caractere underline para
substituir os elementos subtraídos e os espaços em branco e entre as palavras, uma
vez que o sistema não considera o uso do espaço. Identificamos um total de 156
expressões relacionadas com os critérios apresentados como categorias de análise
da pesquisa, sendo 105 termos diferentes, uma vez que a expressões repetidas no
mesmo texto foram desconsideradas, e apenas os termos iguais em textos
diferentes foram contados com o uso do software. Na análise, foram agrupadas as
expressões relativas a variações do mesmo termo (exemplo: Interface_agradável,
Interface_centrada_usuário e interface - sendo estas consideradas como interface).
92
O quadro a seguir apresenta os termos ranqueados por frequência de aparecimento
nos textos pesquisados.
Quadro 13 – Termos correspondentes às categorias de análise presentes nos textos analisados
Termos /frequência Termos /frequência Eficiência 12 Coleção 1 Eficácia 9 Comportamento_busca 1 Satisfação 8 Confiável 1 Interface 6 Confortável 1 Navegação 4 Conteúdo_claramente_especificado 1 Facilidade_aprendizagem 4 Controle_qualidade_informação_oferecida 1 Acessibilidade 4 Conveniente 1 Interação 3 Convergência 1 Consistência 3 Correção_funcional 1 Design 3 Custo 1 Busca_texto_completo 2 Custo_efetivo 1 Efetividade 2 Custo_serviços_alternativos 1 Fácil_memorização 2 Customizável 1 Facilidade_uso 2 Dá_suporte_interação_sociais_grupos 1 Feedback 2 Desfazer_ações 1 Presença_imagens 2 Disponibilidade_centrada_usuário 1 Satisfação_usuários 2 Efetividade_tarefa 1 Tolerância_erros 2 Fácil 1 Tratamento_erros 2 Fácil_uso 1 Fácil_memorização 2 Foco_apoio_pesquisa 1 Facilidade_uso 2 Frustração 1 Feedback 2 Habilidade_compreensão 1 Presença_imagens 2 Habilidade_navegação 1 Satisfação_usuários 2 Indicadores_qualidade 1 Tolerância_erros 2 Informações_sobre_usuários 1 Tratamento_erros 2 Inovação 1 Utilidade 2 Manutenção_avaliação 1 Acesso_informação 1 Navegabilidade 1 Acesso_integrado 1 Necessidade_informação 1 Acesso_partir_residência_qualquer_ponto_web 1 Necessidades_usuários 1 Acesso_rápido_coleção 1 Nível_interação_usuário_sistema 1 Adaptabilidade 1 Organização_informação 1 Adaptação_usuários 1 Orientação 1 Adequação_coleção 1 Pertinência_tarefas 1 Agradável_usar 1 Ferramenta_busca 1 Ajuda 1 Possibilidade_ajuda 1 Apoio_navegação 1 Rapidez 1 Auto-eficácia 1 Realização_tarefas 1 Avaliação_eficácia 1 Recuperação_da_informação 1 Avaliação_formativa 1 Recursos_avançados 1 Avaliação_impacto 1 Revisão 1 Avaliação_necessidades 1 Rótulos_fácil_compreensão 1 Avaliação_sistema_busca_informação 1 Satisfação_uso 1 Baixo_custo 1 Seguro 1 Busca 1 Sentimento 1 Busca_Flexível 1 Serviços_biblioteca 1 Busca_informação 1 Sistema_avaliação_suporte 1 Centrado_informação 1 Sistema_informação 1 Colaboração 1 Suporte_ajuda 1 Suporte_controle_usuário 1 Sistema_informação 1
93
Realização_tarefas 1 Suporte_ajuda 1 Recuperação_da_informação 1 Suporte_controle_usuário 1 Recursos_avançados 1 Suporte_diferentes_tipos_acesso 1 Revisão 1 Tecnológica 1 Rótulos_fácil_compreensão 1 Tempo 1 Satisfação_uso 1 Tempo_necessário_atender_solicitação 1 Seguro 1 Usabilidade_interface 1 Sentimento 1 Valor 1 Serviços_biblioteca 1 Velocidade_acesso 1 Sistema_avaliação_suporte 1 Visualização 1 FONTE: Dados da pesquisa
Com o objetivo de conhecer critérios e medidas de usabilidade, utilizados
em avaliação de bibliotecas digitais, optamos por trabalhar com o tema enquanto
unidade de análise. Como as categorias de análises foram definidas a priori, com
base nos critérios apresentadas por Jeng (2005a) e Saracevic (2005), os termos
encontrados nos artigos analisados foram agrupados por subcategorias de análise,
nas categorias referidas.
No quadro 14, organizamos as subcategorias do quadro anterior em
categorias que caracterizam os critérios apresentados pelos autores, recorrendo aos
termos apresentados por Jeng (2005a) e Saracevic (2005).
Quadro 14– Categorias e subcategorias de análises presentes nos textos
analisados Subcategorias de Análises
Categorias de Análises de Saracevic(2005)
Subcategorias de Análises Categorias de Análises de Jeng(2005a)
CONTEÚDO Acessibilidade Adaptabilidade
Adaptação aos usuários Adequação da coleção
Coleção Conteúdo claramente especificado
Convergência Organização da informação
Orientação Presença de imagens
Utilidade
EFICIÊNCIA
Eficiência
PROCESSO (navegar, pesquisar, buscar, etc)
Acesso Acesso a partir da residência ou qualquer ponto
web Acesso integrado
Acesso rápido a coleção Apoio na navegação
EFICÁCIA Autoeficácia
Avaliação da eficácia Efetividade
Eficácia
94
Busca Busca de informação
Busca de texto completo Busca Flexível
Centrado na informação Colaboração
Comportamento de busca Consistência Conveniente
Dá suporte a interação social e grupos Desfazer ações
Efetividade para tarefa Eficiência
Fácil memorização Fácil uso
Facilidade de uso Ferramenta de busca
Inovação Manutenção da avaliação
Navegabilidade Navegação
Pertinência das tarefas Possibilidade de ajuda Presença de imagens
Rapidez Realização das tarefas
Recuperação da informação Recursos avançados
Suporte ao controle do usuário Suporte de ajuda
Suporte para diferentes tipos de acesso Tempo
Tolerância a erros Tratamento dos erros
Tempo necessário para atender a solicitação
FORMATO Acesso à informação
Consistência Customizável
Design de interface Designe claro e simples
Disponibilidade centrada no usuário Efetividade
Foco no apoio a pesquisa Frustração
Interface Usabilidade de interface
Velocidade de acesso Visualização
SATISFAÇÃO Agradável de usar
Correção funcional Design de interface
Designe claro e simples Facilidade de uso
Feedback Interface
Interface agradável Interface centrada no usuário
Revisão Rótulos de fácil compreensão
Satisfação Satisfação dos usuários
Satisfação no uso Sistema de informação
Tratamento de erros
AVALIAÇÃO GERAL Agradável de usar
Avaliação de impacto Avaliação de necessidades
Avaliação de sistemas Avaliação formativa
APRENDIZIBILIDADE Fácil memorização
Facilidade de aprendizagem Habilidade de compreensão
Habilidade de navegação
95
Baixo custo Confiável
Confortável Controle da qualidade da informação oferecida
Custo Custo dos serviços alternativos
Custo efetivo Eficácia
Feedback Habilidade de compreensão
Habilidade de navegação Indicadores de qualidade
Informações sobre os usuários Interação
Necessidade de informação Necessidades dos usuários
Nível de interação usuário e sistema Satisfação
Seguro Sentimento
Serviços de biblioteca Sistema para avaliação do suporte
Tecnológica Utilidade
Valor
FONTE: Dados da pesquisa
No quadro 13, observamos que os termos eficiência (12), eficácia (9) e
satisfação (8) aparecem com maior incidência nos textos, seguidos por outros com
frequência de quatro, três e duas vezes.
No quadro 14, os termos foram considerados subcategorias e agrupados
em categoria. Nesse processo, buscamos conhecer as categorias mais presentes
nos textos analisados com base na quantidade de termos a ela relacionados.
Observamos que as categorias apresentadas por Jeng (2005a) podem agrupar
também as categorias identificadas por Saracevic (2005), uma vez que na categoria
“satisfação” é possível trabalhar conteúdo, processo, formato e avaliação geral.
O uso de critérios de usabilidade na avaliação de bibliotecas digitais
cresceu nos últimos anos, uma vez que objetiva detectar problemas e dificuldades
de interação entre o usuário e o sistema. Como último ponto dos procedimentos
metodológicos da pesquisa, temos a identificação das categorias de análise para
uma metodologia de avaliação de bibliotecas digitais, das categorias e subcategorias
identificadas. Assim, após a identificação e aplicação do software Textstat para
conhecimento dos termos mais frequentes, definimos os que aparecem mais de três
vezes como relevantes para nossa pesquisa.
96
4.1 COMPREENDENDO AS CATEGORIAS E SUBCATEGORIAS DE ANÁLISE ENCONTRADAS NOS TEXTOS
As subcategorias capturadas dos textos que compõem o corpus desta
pesquisa são termos que identificam os critérios de usabilidade usados em
avaliações de bibliotecas digitais apresentados por Jeng (2005a) e Saracevic (2005),
quando confrontados com a descrição apresentada pelos autores. A seguir,
analisaremos as categorias e subcategorias mencionadas em mais de três textos
pesquisados, tomando como base teórica os textos dos autores supracitados e o
conteúdo dos textos analisados.
Eficiência, uma das categorias apresentadas por Jeng (2005a), aparece
como a subcategoria mais presente nos textos analisados, aparecendo em 12 textos
diferentes. Na pesquisa, adotamos a definição de eficiência da NBR 9241, parte 11,
como sendo “recursos gastos em relação à acurácia e abrangência com as quais
usuários atingem objetivo” (ABNT, 2002, p. 3). Essa definição corrobora com os
conceitos encontrados nos textos pesquisados, como é possível observar em
algumas citações extraídas dos documentos analisados.
McGillis e Toms (2001) compreendem a eficiência como os recursos
despendidos em relação à exatidão e à integridade com que os usuários atingem
objetivos. No texto de Frekjmr, Hertzum e Hornbmk (2000, p.345) “eficiência é a
relação entre a precisão e completude com que os usuários alcançam certas metas
e os recursos utilizados para alcançar essas metas”. Para Jeng (2004), eficiência, na
perspectiva de avaliação de bibliotecas digitais, avalia se o sistema como um todo
pode ser usado para recuperar informações eficientemente e é medida pela
quantidade de tempo que ele leva para completar tarefas e quantos toques no
teclado ou cliques no mouse são necessários. Para alguns autores, a eficiência é
identificada como um dos critérios de avaliação (BLANDFORD et al. 2004;
BORGMAN, et al., 2000; XIE, 2006).
Eficácia, outra categoria apresentada por Jeng (2005a) foi a segunda
mais mencionada, aparecendo em nove textos. De acordo com a NBR 9241, parte
11, a Eficácia é a “ acurácia e completude com as quais usuários alcançam objetivos
específicos” (ABNT, 2002, p.3). Essa compreensão do termo é confirmada por
alguns dos autores analisados, conforme autores como Frekjmr, Hertzum e Hornbmk
(2000, 345) para os quais “eficácia é a precisão e completude com que os usuários
97
alcançam certas metas”. Já McGillis e Toms (2001, p.356) definem eficácia como a
“precisão e integridade com que usuários atingem objetivos específicos” e é medida
pelo número de tarefas completadas com êxito. Para Jeng (2004), ela avalia se o
sistema como um todo pode fornecer informações e funcionalidade de forma eficaz.
É medida pelo número respostas corretas.
Dos textos analisados, constatamos que a eficácia também é usada como
critério ou medida para avaliação de bibliotecas digitais, conforme argumentam
Ferreira e Pithan (2005, p. 311), ao observarem que a eficácia pode ser medida pela
“gestão de erros, de memorização e de satisfação do usuário a partir da perspectiva
dos aspectos cognitivos e as ações adotadas pelos usuários durante o processo de
pesquisa da informação”. Outros autores apontam-na como critério para avaliação e
adotam a qualidade da solução como o principal indicador de eficácia (FREKJMR;
HERTZUM; HORNBMK, 2000; XIE, 2006).
Satisfação, categoria apresentada por Jeng (2005a) e Saracevic (2005) é a
terceira mais presente nos documentos analisados, sendo citada em oito textos.
Tomamos a definição da NBR 9241, parte 11, que apresenta satisfação como
“ausência do desconforto e presença de atitudes positivas para com o uso de um
produto” (ABNT, 2002, p.3). Convergindo com essa compreensão, Frekjmr, Hertzum
e Hornbmk (2000, p.345) afirmam que “satisfação representa o conforto e as atitudes
positivas dos usuários em relação ao uso do sistema”. Para Shen et al (2006), a
satisfação é uma consequência da experiência do usuário durante diferentes
estágios da busca de informações.
Jeng (2004) argumenta que a satisfação investiga as áreas de facilidade de
uso, organização da informação, rotulagem clara, aparência visual, conteúdos e
correções de erro e é medida por escalas Likert e questionários. Nesta direção,
Frekjmr, Hertzum e Hornbmk (2000) afirmam que a satisfação dos usuários pode ser
medida por escalas de classificação de atitudes. Já Snead et al. (2005, p.4)
apresentam o teste de usabilidade como método para medir a qualidade da
experiência que um usuário tem ao interagir com um website, incluindo fatores de
facilidade, eficiência, aprendizagem e satisfação.
Navegação, subcategoria relacionada à categoria processo apresentada por
Saracevic (2005) aparece em quatro dos textos analisados. Adotamos o conceito de
Nielsen e Loranger (2007, p. 184) que apresentam navegação como “um meio para
um fim: seu propósito é levar as pessoas aonde elas precisam estar rapidamente”.
98
Nesta perspectiva, afirmam os autores que uma boa navegação tem sentido e ordem,
e há pouca ou nenhuma ambiguidade, o que faz com que o usuário se sinta
confortável em explorar o site. Confirmando essa concepção, Long (2002) assevera
que os recursos de navegação incluem a capacidade de ir de uma página a outra,
ou ir para uma de página específica, bem como um link ou para voltar à tabela de
conteúdos ou menu.
Heath et al (2003) observa que existe uma ênfase na necessidade pessoal de
controle do universo da informação, em geral, e os aspectos de navegação na Web,
em particular, e parece estar ligada principalmente à forma como os usuários
querem interagir com a biblioteca moderna. Bishop et al. (2002) argumenta que uma
das características de uma biblioteca digital mais citada pelos participantes do grupo
de foco incluem a pesquisa controlada pelo usuário e os mecanismos de navegação
no apoio à recuperação da informação, com melhorias substanciais para ajudar os
usuários em suas pesquisas.
Facilidade de aprendizagem , ou aprendizibilidade como é apresentada por
Jeng (2005a) e por Saracevic (2005) dentro da categoria processo, apareceu em
quatro textos da pesquisa. Segundo Jeng (2004), essa categoria está relacionada ao
esforço de aprendizagem e é medida por: 1) o quão rápido um participante pode
começar a pesquisar, 2) quanto tempo leva para completar tarefas, e 3) quantas
respostas são corretas.
Borgman et al. (2000, p. 233) apresenta uma tese na qual argumenta que
“serviços da biblioteca digital poderão contribuir positivamente para a instrução de
graduandos e a aprendizagem do aluno nos processos de busca pelos
conhecimentos científicos”. Consagra que o principal benefício das bibliotecas
digitais na sala de aula é melhorar os meios e oportunizar a aprendizagem
orientada. Os autores argumentam que pouco tem sido feito para avaliar os
resultados da aprendizagem associados ao uso de bibliotecas digitais, em
instituições de ensino.
Para Ferreira e Pithan (2005), a facilidade de apresendizagem no uso de
bibliotecas digitais está relacionada à memorização, por isso é necessário verificar
se, após um período de ausência, o usuário se lembra das etapas a percorrer para
executar as tarefas feitas durante uma pesquisa.
Acessibilidade, subcategoria apresentada por Saracevic (2005) na categoria
conteúdo, aparece em quatro textos analisados. Na NBR 9050 (ABNT, 2004, p. 2)
99
acessibilidade é definida como “possibilidade e condição de alcance, percepção e
entendimento para a utilização com segurança e autonomia de edificações, espaço,
mobiliário, equipamento urbano e elementos”. Nesta perspectiva, buscamos
compreender acessibilidade, no contexto da Internet, como o recurso destinado a
permitir a participação das pessoas com deficiência e proporcionar flexibilidade para
acomodar as necessidades de cada usuário e suas preferências (VALDES, 1998).
Segundo Bertot et al. (2006, p 19), a acessibilidade determina a medida em
que uma biblioteca digital, no todo ou em parte, fornece aos usuários com
deficiência a possibilidade de interagir com ela. Para Moreira (2003, p.13), a
acessibilidade “reflete os direitos de uma comunidade de usuários específica de
acessar objetos digitais de uma biblioteca digital”. Na compreensão de Bishop (2002),
a acessibilidade é uma questão que permeia diferentes fases da utilização do
sistema, e a conveniência e facilidade de uso são fatores especialmente importantes
para evitar que o usuário abandone as buscas antes de completas. Se ele
experimenta barreiras significativas na forma de usar o sistema com procedimentos
que são muito demorados ou difíceis de completar, pode abandonar suas tentativas
de usar um sistema.
Autores como Snead et al (2005, p.4) e Xie, (2006, p. 439) apresentam a
acessibilidade como uma subcategoria de usabilidade, determinada pela medida na
qual uma biblioteca digital, no todo ou em parte, fornece aos usuários com
deficiências, a habilidade de interagir com essa biblioteca.
Em suma, a subcategoria interface, ligada à categoria satisfação
apresentada por Jeng (2005a), foi citada em seis documentos analisados.
Compreendemos interface como Johnson (2001), que a conceitua como parte do
software que possibilita a interação usuário/computador. Para Fuhr et al. (2001),
algumas das questões importantes a serem consideradas de um ponto de vista mais
amplo da avaliação de bibliotecas digitais, incluiriam a interface e o nível de
interação das atividades entre o usuário e o sistema. A tecnologia do usuário lida
com as funções que o sistema de Biblioteca Digital oferece ao usuário e devem ser
fornecidas através de uma interface adequada.
Marchionini, Plaisant e Komlodi (2003) relatam resultado de pesquisa e
afirmam que a interface do sistema e os efeitos de aprendizagem estão
correlacionados. Xie (2006) observou que os testes de usabilidade da interface e a
qualidade da coleção foram considerados critérios importantes pela maioria dos
100
participantes de pesquisa realizada com bibliotecas digitais. Para esses, a interface
é a conexão entre o usuário e o sistema, podendo ser considerada como um portão
entre um usuário e uma biblioteca digital.
Segundo Kani-Zabini, Ghinea e Sherry (2006) não é surpresa que os
usuários indiquem sua preferência por uma interface que não é baseada
predominantemente em textos. Kilker e Gay (1998) e Long (2003) observam que
projetos que realizam testes de usabilidade apresentam entre os resultados da
avaliação a necessidade de uma interface melhorada.
Na sequência do percurso metodológico, identificadas e analisadas
metodologias adotadas em avaliação de bibliotecas digitais, apresentamos nossa
proposta de modelo para avaliação de bibliotecas digitais com foco na usabilidade.
Em seguida, o modelo será aplicado na Biblioteca Virtual em Saúde (BVS), por
mestrandos, doutorandos e professores da Pós-Graduação em Saúde da
Universidade Federal da Paraíba (UFPB) e os resultados analisados e apresentados.
Buscando resposta para o nosso argumento de pesquisa baseado na
suposição de que existem lacunas nas metodologias para avaliação de
bibliotecas digitais, pautado em nossa prática como gestora de biblioteca e
respaldado na vivência biblioteconômica de orientar usuários nas buscas em bases
de dados e, especialmente, no uso da BVS, observamos que problemas de
usabilidade geram insatisfação nos usuários. Sendo assim, avaliações periódicas
com vistas a detectar problemas de usabilidade nas bibliotecas digitais poderia
possibilitar um melhor uso desse dispositivo informacional.
Na análise dos textos, que compõem o corpus da pesquisa, percebemos
que essa preocupação é recorrente entre os autores estudados, mas na prática
pouco foi realizado. Autores como Saracevic (2005), Jeng (2005a) e Cunha (2009)
relatam estudos abordando a questão de serem as bibliotecas digitais ainda pouco
avaliadas. Observa-se, na literatura da área, uma vasta produção sobre bibliotecas
digitais tratando de questões como projeto e arquitetura, metadados, ontologias,
usuários, entre outras. No entanto, quando o assunto é avaliação existem trabalhos
na literatura que tratam quase sempre das abordagens, metodologias e conceitos,
mas a produção de dados que pode corroborar efetivamente para a definição de
métricas usadas como padrão para a avaliação de bibliotecas digitais ainda é
escassa (SARACEVIC, 2005).
101
McGillis e Toms (2001) afirmaram que embora existam padrões para a
realização de testes de usabilidade, não temos padrões de benchmark com os quais
comparar os resultados. Não conhecemos valores aceitáveis para eficiência, eficácia
e satisfação. Nesta perspectiva, Jeng (2005b) observa que a literatura sobre o tema
indica uma necessidade de benchmarks de testes de usabilidade para comparação.
Relata ainda que, no teste de usabilidade nas Bibliotecas do MIT, os sujeitos tiveram
uma taxa de sucesso de 75%, mas questiona-se: 75% é uma taxa alta ou baixa?
Buscando sanar essas questões a autora afirma que os “resultados do teste de
usabilidade realizados na sua pesquisa serão publicados na tese de doutorado e
contribuirão para a literatura como um benchmark” (JENG, 2005b, p. 52).
Na busca por padrões para usabilidade de bibliotecas digitais, tentamos
localizar a tese acima citada, mas o documento não está disponível na íntegra.
Tivemos acesso a alguns artigos publicados pela autora, mas os mesmos não
apresentam os resultados da tese. Por essa razão, adotamos as medidas de
usabilidade global, apresentadas no anexo B da NBR 9241-11, (ABNT, 2002, p. 11)
para medirmos a eficácia, eficiência e usabilidade de bibliotecas digitais.
A análise do corpus da pesquisa evidenciou a necessidade de
apresentação de medidas para definição de níveis de usabilidade a serem adotados
na avaliação de bibliotecas digitais, adotamos os critérios de usabilidade indicados
na NBR 9241-11, (ABNT, 2002, p. 11) constantes no quadro 15.
Quadro 15 – Medidas de usabilidade adotadas no modelo metodológico desenvolvido
Medidas de eficácia Porcentagem de usuários completando a tarefa com sucesso
Medidas de eficiência Tempo para completar uma tarefa
Tarefas completadas por unidade de tempo
Medidas de satisfação Escala de satisfação
FONTE: NBR 9241-11 (ABNT, 2002, anexo B, p. 11)
102
5 AVALIAÇÃO DE USABILIDADE APLICADA A UMA BIBLIOTEC A DIGITAL: instrumento de avaliação proposto
A pesquisa baseou-se na literatura estudada que argumenta não
existirem metodologias específicas que atendam às necessidades de avaliação das
bibliotecas. Nossa experiência como gestora de biblioteca universitária e vivência de
orientar usuários em levantamentos bibliográficos para pesquisas acadêmicas, nos
fez perceber que precisamos conhecer quais bibliotecas digitais melhor atendiam às
necessidades informacionais dos usuários. Essa inquietação nos fez objetivar
conhecer um instrumento de avaliação que desse suporte à tomada de decisão
quanto à indicação de fontes de informação para pesquisa. Portanto, o modelo por
nós desenvolvido tem a função primeira de instrumentalizar os gestores na avaliação
das bibliotecas digitais e, assim, poderem ter segurança quanto à eficácia e
eficiência das bibliotecas indicadas, bem como confiar que o usuário ficará satisfeito
com a pesquisa realizada.
A etapa anterior da pesquisa, análise dos textos sobre avaliação de
bibliotecas digitais, deixou claro que as lacunas percebidas nas metodologias, até o
momento, adotadas, estão nos parâmetros para definir o nível de usabilidade dessas
bibliotecas. Por isso, a seguir, descrevemos o modelo de metodologia proposto que
busca conhecer as percepções do usuário ao utilizar uma biblioteca digital.
5.1 ASPECTOS GERAIS: níveis de usabilidade
O presente modelo para avaliação de bibliotecas digitais, com foco na
usabilidade, propõe um teste formal de usabilidade para medir a eficiência, a eficácia
e a satisfação, conforme a NBR 9241-11 (2002, anexo B, p.11). Este modelo
constitui como medida de: Eficácia – o número de usuários que completarem a
tarefa com sucesso e o número de tarefas completadas com êxito; Eficiência – o
tempo necessário para completar a tarefa; e Satisfação − a escala de satisfação
respondida a cada tarefa realizada e o questionário com perguntas abertas, aplicado
ao final do teste.
O modelo aqui proposto é passível de adequação para diferentes
objetivos de estudo de usabilidade em bibliotecas digitais, para tanto, o pesquisador
deverá definir critérios de medidas de acordo com suas necessidades e objetivos.
103
Esses critérios podem especificar tanto o nível mínimo aceitável quanto o nível
esperado de usabilidade.
Segundo a NBR 9241-11, Anexo B, os critérios podem ser determinados
como uma média para indivíduos ou para uma percentagem de usuários (ABNT,
2002, p.12). Os tipos de medidas podem ser objetivas, fornecem indicações diretas
de eficácia e eficiência; e subjetivas que podem estar ligadas diretamente à
satisfação. Para essa norma, “convém notar que é possível obter dados
relacionados para cada componente de usabilidade a partir de medidas objetivas ou
subjetivas” (ABNT, 2002, p.12). Isso quer dizer que a satisfação pode também ser
inferida a partir de dados objetivos do comportamento dos usuários, e as estimativas
de eficácia e eficiência podem ser derivadas de suas opiniões subjetivas.
Para conhecer o nível de usabilidade de bibliotecas digitais, definimos que
os dados resultantes do teste de usabilidade, referentes às categorias eficácia,
eficiência e satisfação, seriam analisados estatisticamente adotando séries
numéricas as quais, segundo Levin e Fox (2004, p. 9), “podem ser usadas para: a)
classificar ou categorizar no nível nominal de mensuração; b) ordenar por posto no
nível de mensuração; e c) atribuir um escore no nível intervalar de mensuração”.
Nesse modelo de avaliação a série numérica foi usada para mensuração
dos níveis de usabilidade, a saber:
• Eficácia - nível nominal de mensuração que consiste em nomear ou
rotular, ou seja, criar categorias e contar sua frequência de ocorrência
(LEVIN; FOX, 2004). Nesse estudo usamos as categorias concluídas e
não concluídas e contamos, utilizando o software TextStat versão 2.7 para
saber o número de tarefas concluídas com êxito e poder mensurar o nível
de eficácia. O resultado foi apresentado em números percentuais.
• Eficiência - nível intervalar de mensuração que indica a distância exata
entre as categorias. A mensuração intervalar utiliza unidades constantes
de mensuração. No presente estudo a unidade foi o tempo em minutos
que concluiu a tarefa. O intervalo das categorias foi determinado pelo
tempo mínimo e máximo usado para realização das tarefas e organizados
em quatro níveis, eficiência péssima, satisfatória, boa e ótima,
apresentado em gráfico no qual o escore foi evidenciado (LEVIN; FOX,
2004).
104
• Satisfação – nível ordinal de mensuração buscando ordenar as categorias
em termos de graus em que possuem determinadas características.
Adotamos as categorias satisfação péssima, satisfatória, boa e ótima para
conhecer o nível de satisfação dos usuários. Para uma melhor
visualização, os níveis foram apresentados em gráfico (LEVIN; FOX,
2004).
O parâmetro para saber se uma biblioteca digital é eficaz será mensurado
pelo percentual de usuários que concluíram as tarefas aplicadas no teste de
usabilidade. O resultado será representante da eficácia da biblioteca, quanto mais
afastar-se da unidade e aproximar-se dos 100%, mais eficaz será sua usabilidade.
A eficiência é calculada no intervalo do maior tempo usado para concluir a
tarefa e o menor tempo usado para o mesmo fim. Nesse intervalo de tempo será
calculado o tempo médio utilizado na realização da tarefa, e quanto mais essa média
se aproximar do menor tempo gasto na realização da tarefa mais eficiente será a
usabilidade da biblioteca digital.
A satisfação será definida pelo número de usuários que respondem ao
maior nível de satisfação apresentado na escala.
5.2 PLANO DE ATIVIDADE PARA AVALIAÇÃO DE USABILIDADE EM BIBLIOTECAS DIGITAIS
O modelo metodológico para avaliação de usabilidade de bibliotecas digitais é
um instrumento que pode ser customizado para atender a diversos ambientes e
necessidades de avaliação. Por essa razão, o plano de atividade é de fundamental
importância e deve ser planejado tendo sempre em mente o objetivo da avaliação
proposta. A seguir, apresentamos todas as etapas desse planejamento.
105
Quadro 16 – Etapas do planejamento do modelo metodológico
Etapas do Planejamento Descrição
Definir a intenção de uso do ambiente a ser avaliado
Fazer uma rápida descrição do ambiente, apresentar vinculação institucional, os objetivos e missão, descrever os produtos e serviços oferecidos.
Análise de contexto Falar qual o ambiente de uso e o público alvo. Usuários Dizer quais os usuários reais e potenciais Tarefas Descrever as tarefas a serem realizadas pelos
participantes do teste de usabilidade. Apresentar uma breve descrição das tarefas, o material e a máquina requerida para a execução, o significado da conclusão com sucesso da tarefa e o estabelecimento do tempo máximo para execução de cada tarefa devem ser incluídos na lista de tarefa
Ambiente de realização das atividades Apresentar o local onde será realizado o teste de usabilidade
Objetivos da avaliação de usabilidade Enumerar os pontos a serem avaliados Plano de Avaliação Descrever o plano de avaliação específico a ser
realizado Passos para aplicação do teste formal de usabilidade
1º Aplicar questionário para identificação do perfil dos participantes do Teste de Usabilidade; 2º realizar busca livre, com tema a escolha do usuário, objetivando familiarizá-lo a interface da biblioteca – cronometrar o tempo de realização e assim que concluir a atividade o usuário responde a escala de satisfação; 3º realizar tarefas pré-determinadas e verificar o número de conclusão com acertos, o tempo gasto para concluir cada tarefa e a impressão/sensação do usuário durante a realização com resposta a escala de satisfação (até 10 questões); 4º Responder questionário aberto sobre a satisfação com o resultado da pesquisa, saber opinião sobre a interface, facilidade de uso, apontar pontos fracos e fortes da biblioteca e sugestões para melhorar
Fonte: Dados da Pesquisa (2012)
É importante a aplicação de um pré-teste para observar se existe alguma
dificuldade na compreensão das tarefas e o tempo para o seu cumprimento.
106
6 A BVS COMO AMBIENTE DE TESTE DO INSTRUMENTO DE AV ALIAÇÃO
O modelo de metodologia para avaliação de bibliotecas digitais com foco
na usabilidade, desenvolvido nesta pesquisa, foi aplicado na Biblioteca Virtual em
Saúde (BVS). A seguir, descrevemos o plano de atividade para o desenvolvimento, a
aplicação e análise do teste.
6.1 PLANO DE ATIVIDADE PARA O TESTE FORMAL DE USABILIDADE DA BIBLIOTECA VIRTUAL EM SAÚDE
Para validação do instrumento de avaliação desenvolvido nesse estudo,
escolhemos uma biblioteca digital, conhecida e conceituada. Definimos que
gostaríamos de saber qual o nível de eficácia e eficiência da Biblioteca Virtual em
Saúde (BVS) e saber a opinião dos usuários ao realizarem atividades comuns
quando se busca informação em uma biblioteca digital. O planejamento a seguir
buscou também detectar problemas de usabilidade e apresentar sugestões aos
gestores/executores da referida biblioteca. A seguir, os passos do planejamento
para execução do teste de usabilidade na BVS.
6.1.1 Definição da intenção de uso da Biblioteca Vi rtual em Saúde
A proposta de criação e desenvolvimento da Biblioteca Virtual em Saúde
(BVS), nos moldes da cooperação técnica e liderada pela BIREME, estabelece um
novo paradigma na organização e tratamento da informação. O plano para a
execução da proposta de toma como base as seguintes linhas de ação: “promoção e
marketing; realinhamento de produtos e serviços tradicionais; produção de
publicações eletrônicas; desenvolvimento de ferramentas de integração e
localização de informação; e desenvolvimento de outros componentes da BVS”
(BIBLIOTECA VIRTUAL EM SAÚDE, 1998).
Packer (2005) relata que a criação da BVS foi aprovada em 1998, na 5ª
Reunião do Sistema Latino-Americano e do Caribe de Informação em Ciências da
Saúde, realizada na Costa Rica, com a participação de representantes dos sistemas
nacionais de informação científica e técnica em saúde de todos os países da
América Latina e da grande maioria das ilhas do Caribe. Na oportunidade, ficou
107
acordado que conjuntamente seria registrada e lançada a BVS na Declaração de
São José Rumo à Biblioteca Virtual em Saúde, assumindo o compromisso de uma
construção coletiva.
A BVS, segundo seus idealizadores “é uma rede de gestão da
informação, intercâmbio de conhecimento e evidência científica em saúde, que se
estabelece por meio da cooperação entre instituições e profissionais na produção”,
adota o acesso aberto e universal na Web para intermediar o acesso e uso de fontes
de informação científica em saúde (BIREME, 2012, p.4).
6.1.2 Análise do contexto da BVS
O ambiente de uso da BVS é diversificado, dado estar disponível na
internet com acesso livre. De acordo com as informações fornecidas no site da BVS,
o modelo de gestão da informação e conhecimento adotado pela BVS está baseado
no desenvolvimento das capacidades e infraestruturas nacionais de informação para
um trabalho cooperativo em rede.
6.1.3 Usuários da BVS
Os principais usuários da Biblioteca setorial do CCS que buscam/usam a
BVS são pesquisadores (docentes e discentes), profissionais da informação e
profissionais da área de saúde.
6.1.4 Tarefas aplicadas no teste da BVS
• Acessar a página da BVS;
• Realizar uma busca livre no site da BVS (www.bvs.br) sobre um tema de seu
interesse de pesquisa;
• Buscar em áreas especializadas, na base Cid/saúde, artigos que tratam da
qualidade da saúde em João Pessoa;
• Buscar como solicitar os serviços de fotocópias da BVS e o custo por artigo
recuperado;
108
• Verificar no catálogo de revistas científicas se a BVS tem Revista de
Administração Pública;
• Verificar quais são os eventos programados para o período de março a junho
de 2012 da área de saúde;
• Localizar na LILACs o tutorial como pesquisar;
• Localizar textos que tratam dos seguintes temas: saúde pública; políticas
públicas de saúde no Brasil;
• Verificar quantos trabalhos existem na base LILACS do pesquisador: Paim,
Jairnilson Silva;
• Para fazer o levantamento bibliográfico no MEDLINE com termos em inglês
localizados no DeCS;
• Fazer o cadastro nos serviços personalizados, em seguida efetuar o login
para conhecer e listar os serviços oferecidos;
6.1.5 Ambiente de realização do teste de usabilidad e na BVS
O teste de usabilidade seria realizado no ambiente da Biblioteca Setorial
do Centro de Ciências da Saúde (CCS), no espaço reservado para consulta e
pesquisas na internet. Devido à interdição para reforma do espaço físico, o teste foi
realizado nos computadores do laboratório de informática do CCS, adotando a
mesma sistemática que seria usada nessa biblioteca.
6.1.6 Objetivos da avaliação de usabilidade da BVS
Esta avaliação tem por finalidade identificar possíveis problemas de
usabilidade na interação do site da BVS e conhecer o nível de usabilidade da
biblioteca, com base na eficiência, na eficácia e na satisfação.
109
6.1.7 Plano de Avaliação da BVS
Trata-se de um plano de usabilidade global, baseado na NBR 9241-11
(2002, anexo B, p.11), que constitui as seguintes medidas de usabilidade: Eficácia –
o número de usuários que completarem a tarefa com sucesso e o número de tarefas
completadas com êxito; Eficiência – o tempo necessário para completar a tarefa; e
Satisfação - a escala de satisfação respondida a cada tarefa realizada e o
questionário com perguntas abertas, aplicado ao final do teste.
6.1.8 Procedimento para avaliação da BVS
1º Aplicar questionário para identificação do perfil dos participantes do
Teste de Usabilidade;
2º Realizar busca livre, com tema à escolha do usuário até o momento de
ter o texto completo encaminhado para seu e-mail – cronometrar o tempo de
realização e assim que concluir a atividade o usuário responde a escala de
satisfação;
3º Realizar tarefas pré-determinadas e verificar o número de conclusão
com acertos, o tempo gasto para concluir cada tarefa e a impressão/sensação do
usuário durante a realização com resposta à escala de satisfação (10 questões);
4º Responder questionário aberto sobre a satisfação com o resultado da
pesquisa, saber opinião sobre a interface, facilidade de uso, apontar pontos fracos e
fortes da biblioteca e sugestões para melhorar.
Foi aplicado um pré-teste para observar se existia alguma dificuldade na
compreensão das tarefas e o tempo para o seu cumprimento.
6.2 BIBLIOTECA VIRTUAL EM SAÚDE: campo de aplicação do modelo para avaliação de usabilidade em bibliotecas digitais.
O instrumento proposto para avaliação de usabilidade nas bibliotecas
digitais foi aplicado na Biblioteca Virtual em Saúde (BVS) 18, concebida como uma
coleção descentralizada e dinâmica de fontes de informação, com o objetivo de
proporcionar o acesso equitativo à produção científica na área de saúde. 18 http://regional.bvsalud.org/php/index.php
110
A BVS distingue-se de outras de fontes de informação, disponíveis na
Internet, por ser uma biblioteca pautada em critérios de seleção e de controle de
qualidade. Atua como rede de produtos e serviços na Internet, com a finalidade de
atender às necessidades de informação na área de saúde de pesquisadores,
professores, alunos, administradores e o público em geral.
A BVS reúne e organiza as fontes de informação de forma estrutura de
acordo com a natureza e características específicas de cada uma delas, agrupadas
em diferentes coleções disponibilizadas em estantes virtuais. Nessas estantes, as
fontes de informação são organizadas e classificadas em seis tipos, a saber:
1) fontes primárias - relacionadas com os produtos originados pela pesquisa científica, publicadas em texto completo em meio eletrônico; 2) fontes secundárias - são os registros referenciais das fontes primárias sistematizados em índices, bases de dados referenciais e diretórios; 3) fontes terciárias - referem-se aos conteúdos organizados para fins didáticos, como os objetos de aprendizagem; 4) serviços de disseminação e inclusão informacional - conjunto de serviços de inclusão informacional e promoção de acesso a BVS, direcionados tanto para usuários conectados a Internet como para comunidades sem conexão; 5) comunicação e colaboração - fontes de informação destinadas à socialização da informação e ao intercâmbio de conhecimento por meio da colaboração online e 6) componentes integradores, normas, padrões, metodologias e aplicativos comuns adotados por todas as instâncias BVS para sua integração numa única rede (BIREME, 2011, p. 15).
Objetivando promover a igualdade no acesso e disseminação da
informação técnica e científica em saúde, a BVS adota um modelo de gestão e
operação das atividades que,
[...] compreende a construção coletiva de um espaço comum de redes de fontes e fluxos de informação científica, técnica e factual operadas em rede por instituições e indivíduos produtores, intermediários e usuários de informação. Nesse sentido, devem ser parte integral do espaço da BVS as notícias relacionadas com todas as instâncias dos sistemas nacionais de saúde, educação e pesquisa, as agências internacionais e regionais de cooperação técnica e de modo geral as notícias relacionadas com a saúde coletiva e individual dos nossos povos (BIBLIOTECA VIRTUAL EM SAÚDE, 2008)19.
A BVS disponibiliza as pesquisas bibliográficas nas seguintes bases de
dados referenciais e de texto completo: Ciências da Saúde em geral: LILACS,
IBECS, MEDLINE, Biblioteca Cochrane, SCIELO; Áreas Especializadas: CidSaúde,
DESASTRES, HISA, HOMEOINDEX, LEYES, MEDCARIB, REPIDISCA e;
Organismos Internacionais: PAHO, WHOLIS. A BVS e suas redes formadas por
19 Disponível em: <http://bvsmodelo.bvs.br/php/level.php?lang=pt&component=16&item=177>
111
diversas BVS temáticas, parte integrante da cooperação técnica da OPAS/OMS, sob
a coordenação da BIREME (BIBLIOTECA VIRTUAL EM SAÚDE, 2008).
A BVS, enquanto biblioteca, é uma coleção em formato eletrônico
disponível na Internet, formada por uma rede de 29 países. A rede brasileira conta
com 376 centros cooperantes (colaboram com a indexação das bases); 1.010
unidades participantes (unidade de informação que usam os serviços do SCAD); 213
redes especializadas nas seguintes áreas: Adolescência; História da Saúde; Saúde
Pública; Toxicologia; Enfermagem, Odontologia, Psicologia, apoio e educação
Médica e a BiblioSUS.
O Portal de Revistas Científicas da BVS disponibiliza atualmente 12.900
títulos, dos quais: cerca 9.200 são indexados no Index Medicus/MEDLINE; mais de
650 são indexados na LILACS; 6.051 títulos registrados no Catálogo Coletivo SeCS;
mais de 4.300 registros contêm a informação sobre a disponibilidade e link de
acesso ao formato eletrônico sendo que, dentre estes, cerca de 910 têm acesso
gratuito ao texto completo dos artigos publicados20.
20 Disponíveis em: <http://portal.revistas.bvs.br/help/apresentacao%2016%20dez.htm>
112
7 VALIDAÇÃO DO INSTRUMENTO DE AVALIAÇÃO
Este instrumento caracteriza-se como um teste formal de usabilidade,
como definido pela NBR 9241-11, com a finalidade de medir a eficiência, a eficácia e
a satisfação do usuário de biblioteca digital, e terá como medida três aspectos:
Eficácia – o número de usuários que completarem a tarefa com sucesso; Eficiência –
pelo tempo necessário para completar a tarefa com êxito; Satisfação − pela escala
de satisfação (ABNT, 2002, anexo B, p.11).
O universo da pesquisa constituiu-se de quatro programas de Pós-
Graduação do CSS, a saber: Programa de Pós-Graduação em Odontologia;
Programa de Pós-Graduação em Produtos Naturais e Sintéticos Bioativos; Programa
de Pós-Graduação em Enfermagem e Programa de Pós-Graduação em Ciências da
Nutrição. Os participantes da pesquisa correspoderam a docentes e discentes. A
amostra representativa foi composta pelos que aceitaram participar da pesquisa
realizando testes de usabilidade: quinze sujeitos, quatro docentes e onze discentes,
dos referidos cursos. O número de participantes da pesquisa foi definido com base
em Nielsen e Landauer (1993) que constatou, a partir de vários estudos realizados,
que em média 31% dos problemas de usabilidade são encontrados por um único
usuário. Com base nesse estudo o autor conclui que cinco usuários são suficientes
para encontrar 85% dos problemas de usabilidade e que com quinze usuários
podem ser encontrados aproximadamente 100% dos problemas.
A aplicação do teste de usabilidade na BVS aconteceu em momentos
distintos, pois os dias e horários dependeram da disponibilidade dos sujeitos da
pesquisa. Assim, foram seis momentos no laboratório de informática do CCS, da
UFPB, com diferentes grupos de usuários (entre os dias 5 e 21 de dezembro de
2011). Na ocasião do planejamento da pesquisa, foi definido que o teste de
usabilidade aconteceria no espaço da biblioteca setorial do CCS, mas em
decorrência de reformas na estrutura física o teste foi aplicado no laboratório de
informática. A biblioteca foi escolhida devido ao fato de que quando o teste é feito no
próprio local de realização da tarefa é possível observar o usuário interagindo com o
sistema em uma situação real de uso, ou seja, com todos os ruídos e interferências
alheias à tarefa que exercem influência na interação. O pesquisador pode realizar a
113
observação fazendo as anotações, deixando o usuário à vontade e procurando
interferir o mínimo possível em sua rotina.
Segundo Nielsen e Landauer (1993b, p.165) realizar testes de usabilidade
com usuários reais é o método de usabilidade mais funcional e, de certa forma,
insubstituível uma vez que proporciona informações diretas sobre como as pessoas
estão usando o site e quais problemas estão encontrando com as interfaces
testadas. Corroborando com esse pensamento, Jordan (1998) afirma ser esta uma
das técnicas mais recomendadas para avaliar a usabilidade, pois nada pode
substituir a observação dos usuários tentando usar um produto.
Para Rocha e Baranauskas (2003), a escolha dos sujeitos da pesquisa
deve sempre ser realizada de forma que sejam tão representativos quanto possível
em relação aos usuários reais do referido sistema. Neste sentido, os participantes
deveriam atender aos seguintes critérios:
a) Ser docente ou discente de um dos programas de Pós-Graduação da
área de saúde da UFPB, por ser esse o perfil dos usuários de uma
biblioteca da área de saúde;
b) Ter experiência no uso do computador, uma vez que no contexto de
avaliação fará uso de computador para o acesso à biblioteca digital
pesquisada, portanto é importante que o participante já esteja
familiarizado com o seu uso para que dificuldades com o equipamento
não prejudiquem o resultado da avaliação. Para Nielsen e Landauer
(1993b), se o usuário não está treinado a usar o mouse e outros
dispositivos necessários à interação, estas dificuldades serão as
principais enfrentadas pelo participante e impedirão que se obtenha
qualquer informação sobre o diálogo com a interface.
Os participantes foram recrutados em cada um dos programas de Pós-
Graduação do CCS, seis participantes do Programa de Pós-Graduação em
Odontologia, cinco do Programa de Pós-Graduação em Nutrição, dois do Programa
de Pós-Graduação em Enfermagem, e dois do Programa de Pós-Graduação em
Produtos Naturais e Sintéticos Bioativos, todos do Campus I da UFPB. O processo
de seleção dos sujeitos da pesquisa se deu com visitas aos programas e solicitação
junto aos coordenadores de contato (telefone e/ou e-mail) com os docentes e
discentes dos programas.
114
Na ocasião, recebemos total apoio dos programas em fornecer a
informação solicitada. Entramos em contatos com vinte e dois docentes e vinte
discentes, num total de quarenta e duas pessoas, mas por ser final de semestre,
inclusive período de defesas e qualificações, muitos dos contatados não dispunham
de tempo para participar da pesquisa. Além do contato por telefone e e-mail, fomos
às salas de aula recrutar participantes. Ao final, conseguimos atingir o número de
quinze participantes, considerados por Nielsen e Landauer (1993b) como ideais.
No dia cinco de dezembro de 2011, foi realizado o pré-teste com três
sujeitos, um docente e dois discentes. Na ocasião, foi observada apenas à
necessidade de incluir um espaço para marcar se a tarefa foi concluída ou não
concluída. Feito o ajuste, os instrumentos de pesquisa foram aplicados como
descrito a seguir.
7.1 PARTICIPANTES DO TESTE DE USABILIDADE NA BVS
O teste de usabilidade da BVS foi realizado por quinze indivíduos, quatro
docentes e onze discentes, composto por dez mulheres e cinco homens. Havia
quatro doutores, um doutorando e dez mestrandos, sendo seis graduados em
Odontologia, cinco em Nutrição, dois em Farmácia, um em Enfermagem e um em
Psicologia. As idades variaram de vinte e três até cinquenta e quatro anos, sendo
nove participantes na faixa etária dos 20 aos 30 anos, três entre 31 e 40 anos, dois
entre 41 e 50 e um entre 51 e 60 anos. Estando nove discentes entre 20 e 30 anos,
cinco discentes e um docente entre 31 e 49 anos, dois docentes de 41 a 50 e um
docente entre 50 e 60 anos.
A totalidade dos participantes tinha experiência com computadores e
eram usuários da Internet há mais de quatro anos. Dez utilizavam computadores
mais de dez horas semanais, quatro usavam entre cinco e dez horas e um entre
duas e cinco horas. Todos têm acesso a Internet em suas residências e oito a
utilizam também na universidade. Sobre sua experiência com a informática, dez
consideram intermediaria, dois iniciantes, dois avançados e um considera-se expert.
Quanto aos recursos da Internet usados pelos participantes, todos responderam
usar e-mail e portais de periódicos, doze usam sites de buscas, onze pesquisam em
bibliotecas digitais, dez são usuários de redes sociais, sete leem jornais e revistas
online, quatro já fizeram cursos à distância e quatro utilizam sites de compras.
115
O último ponto sobre a experiência computacional foi se conhecim a BVS,
dos participantes, quatorze responderam que sim e outro não, e ao questionar sobre
há quanto tempo fazia uso desse dispositivo informacional, seis responderam que há
mais de quatro anos usam a biblioteca, seis utilizam há menos de um ano, dois
usam de dois a três anos e um afirmou que nunca usou.
O perfil dos participantes apresenta-se como de usuários experientes
no uso dos recursos da informática e da Internet. Percebe-se que são
pesquisadores que conhecem e usam os recursos informacionais disponíveis,
confirmado pelo tempo que dispensam diariamente ao usar o computador, bem
como por todos terem afirmado que fazem uso do e-mail e dos portais de
períodos como recursos mais utilizados. Outro ponto relevante é o número de
usuários de bibliotecas digitais é menor que das ferramentas de busca e dos
portais de periódicos. Os participantes conhecem e usam a BVS, o que facilita a
realização das tarefas indicadas no teste de usabilidade.
7.2 PROCEDIMENTOS DO TESTE DE USABILIDADE NA BVS
Os participantes completaram três tarefas: Um questionário de
perfil/experiência que incluía tanto informações demográficas como informações
sobre utilização de computadores, recursos da internet e site de biblioteca;
Realizaram dez tarefas utilizando o site da BVS (as tarefas foram desenvolvidas pela
pesquisadora a partir das funções básicas do site da biblioteca.) e completaram um
questionário com oito perguntas abertas que extraía percepções sobre o uso da
biblioteca e seus recursos (Apêndice I).
Antes do estudo, os procedimentos e instrumentos de teste foram pré-
testados com três sujeitos, um docente e dois discentes. Os participantes acessaram
o site da biblioteca utilizando o navegador de sua preferência entre os instalados na
máquina. Todos os participantes utilizaram computadores semelhantes com um
monitor de quinze polegadas configurado para uma resolução de 640 x 480. As
únicas pessoas presentes na sala durante o teste eram os participantes e a
pesquisadora. Em decorrência da disponibilidade de tempo dos participantes, o
número máximo de participantes concomitantemente foi de três.
Os participantes, inicialmente, liam a carta de informações que explicava
o objetivo do estudo e assinavam um termo de consentimento. Para começar, cada
116
participante completava uma pesquisa de perfil/experiência. Em seguida, completava
dez tarefas utilizando o site da biblioteca. A ordem de designação das dez tarefas foi
randomizada para controlar a ordem e os efeitos de aprendizagem. Ao iniciar cada
tarefa, o participante anotava a hora que iniciou e ao término a hora que concluiu a
tarefa, em seguida respondia à escala de satisfação sobre a tarefa concluída. Os
participantes não tinham permissão para examinar a próxima tarefa até que a
anterior estivesse concluída. Enquanto os participantes trabalhavam nas tarefas e
nas questões de acompanhamento, a pesquisadora ficava sentada observando à
distância, acompanhando o tempo e registrando o comportamento e os comentários
dos usuários. Houve pouca ou nenhuma interação entre os participantes e a
pesquisadora, exceto quando foi essencial à realização do teste. Após completar as
dez tarefas, os participantes respondiam a um questionário, com perguntas abertas,
oferecendo percepções em relação satisfação no uso do site e sobre a sua
experiência ao utilizá-lo.
7.3 DESCRIÇÃO DAS TAREFAS DO TESTE DE USABILIDADE NA BVS
As tarefas eram independentes umas das outras e estavam todas
inseridas em diferentes páginas do site. No quadro 16 é apresentada a descrição
das tarefas realizadas durante o teste de usabilidade na BVS.
Quadro 17 - Descrição das tarefas TAREFA DESCRIÇÃO
1
Você está fazendo uma pesquisa sobre um determinado assunto, e precisa de artigos científicos para usar no referencial teórico. Tarefa: Faça uma busca livre no site da BVS (www.bvs.br) sobre o tema da sua pesquisa. Caso encontre algum artigo, veja quais estão disponíveis em texto completo, leia o resumo, selecione os relevantes para seu trabalho e encaminhe o texto completo para seu e-mail. Informe quantos artigos localizou e quantos encaminhou para seu e-mail.
2
Você está fazendo um trabalho sobre a qualidade da saúde em João Pessoa, para isto precisa fazer uma busca em periódicos tenham tratado esse tema. Tarefa: Buscar em áreas especializada na base Cid/saúde artigos que tratam esse tema. Quantos documentos você conseguiu recuperar? Quantos em texto completo?
3
Você encontrou vários documentos relevantes para sua pesquisa na BVS, mas a base apresenta apenas as referências e agora gostaria de ter acesso aos textos completos. Para isso, você precisa saber como usar o serviço de fotocópias. Tarefa: Buscar como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado.
117
4
Você se interessa por um artigo sobre o ensino superior brasileiro que foi publicado na Revista de Administração Pública, volume 41, edição especial de 2007. Você precisa saber se essa revista disponibiliza o texto completo e como ter acesso a ele. Tarefa: Verificar no catálogo de revistas científicas se a BVS tem a revista, caso tenha, localizar o artigo, abrir em PDF e salvar.
5
Você está desenvolvendo uma pesquisa e gostaria de publicar os primeiros resultados em um evento da área de saúde. Por isso precisa saber quais eventos estão programados para acontecer e quais as temáticas propostas. Tarefa: Verificar quais são os eventos programados para o período de março a junho de 2012 da área de saúde e o período para submissão de trabalho.
6
As fontes de informação da BVS incluem produtos e/ou serviços de informação em saúde, entre elas as bases do sistema LILACS e outras bases de dados de referências bibliográficas, disponibilizadas integralmente na Internet, com projeções específicas para atender as diferentes especialidades em Ciências da Saúde. Você precisa fazer um levantamento bibliográfico sobre a temática da sua pesquisa, mas não tem familiaridade com a base, por isso necessita conhecer os passo para realização de pesquisa bibliográfica na base. Tarefa: Localizar na LILACs o tutorial como pesquisar, abrir e verificar se ele atende as necessidades de orientação para realização de pesquisas bibliográficas.
7
Agora que você sabe com fazer uma pesquisa na base LILACS, faça uma busca avançada e localize o texto completo e organize por relevância. Tarefa: Localizar textos que tratam dos seguintes temas: saúde pública; políticas públicas de saúde no Brasil, para isso usar a pesquisa avançada e os operadores booleanos.
8
Você quer saber quais os textos de um determinado pesquisador, para isso precisar usar o recurso da busca por autor usando o índice. Tarefa: Verificar quantos trabalhos existe na base LILACS do pesquisador: Paim, Jairnilson Silva e depois refinar usando o ano de publicação 2010. Apresentar quantos documentos recuperados e quantos em texto completo.
9
A BVS dispõe de um vocabulário estruturado e trilíngue DeCS - Descritores em Ciências da Saúde, criado pela BIREME para servir como uma linguagem única na indexação das informações disponíveis na BVS como LILACS, MEDLINE e outras. Os vocabulários são usados como uma espécie de filtro entre a linguagem utilizada pelo autor e a terminologia da área e também podem ser considerados como assistentes de pesquisa ajudando o usuário a refinar, expandir ou enriquecer suas pesquisas proporcionando resultados mais objetivos. Tarefa: Para fazer o levantamento bibliográfico no MEDLINE é necessário usar os termos em inglês, use a busca no DeCS e encontre o termo em inglês para os assuntos: saúde coletiva; câncer de mama e doenças infecciosas. Faça a busca utilizando os termos em inglês localizados no DeCS.
10
A BVS criou um espaço de colaboração online com serviços personalizados para os usuários, nesse espaço a BVS objetiva dotar seus usuários de maior capacidade para operar produtos e serviços de informação de forma a contribuir com o desenvolvimento e operação de coleções individuais sob o serviço “minha biblioteca”. Então você precisa conhecer esse serviço. Tarefa: Fazer o cadastro nos serviços personalizados em seguida efetuar o login para conhecer e listar os serviços oferecidos.
FONTE: Dados da pesquisa
As tarefas foram consideradas concluídas ou não concluídas. Por ser o
site o intermediário entre o usuário e uma série de recursos e serviços únicos, os
participantes foram informados que o teste buscava identificar problemas de
118
usabilidade da BVS e não a competência dos usuários. Uma tarefa era considerada
“concluída” quando o participante encontrava e acessava o recurso ou serviço
corretos.
7.4 RESULTADOS DO TESTE DE USABILIDADE NA BVS
Três tipos de dados foram coletados para conhecer o desempenho do
usuário e as suas percepções ao utilizar o site, como segue: a) A eficácia foi medida
pelo número de tarefas completadas com êxito. b) A eficiência foi medida pela
quantidade de tempo usado para completar cada tarefa; c) A satisfação foi medida
por uma escala de classificação com quatro níveis de satisfação.
7.4.1 Tarefa 1: Busca livre no site da BVS e envio do resultado para seu e-mail
Para realizar a primeira tarefa, os participantes acessavam o site da BVS
(http://www.bvs.br) para fazer uma busca livre e se familiarizar. Dos quinze
participantes, doze completaram a tarefa. O tempo médio gasto para concluir a
tarefa foi de onze minutos e dezessete e sete segundos (11min17s). Esse tempo
pode ser considerado alto, mas as observações no momento do teste nos
possibilitaram inferir que se deveu ao fato de ser uma busca livre e exploratória.
Assim, os participantes poderiam usar o tempo livremente para execução da tarefa.
Quanto à satisfação na realização da tarefa, apesar da maioria ter completado a
tarefa, quatro consideraram-na boa, seis satisfatória e cinco péssima, o que nos faz
inferir que não é apenas a completude da tarefa que conta para usabilidade
satisfatória, mas também a interação do usuário com a interface da biblioteca.
7.4.2 Tarefa 2: Busca em áreas especializadas na ba se Cid/saúde artigos que tratam esse sobre a qualidade da saúde em João Pess oa
Para realizar a segunda tarefa, os participantes localizavam na página
principal da biblioteca o link “Áreas especializadas” e o link “CidSaúde” para a partir
da busca avançada digitarem os termos, fazerem a busca e verificarem a relação
dos artigos recuperados. A tarefa apresentou treze participantes que concluíram com
sucesso e dois que não conseguiram localizar a informação solicitada. O tempo
médio para realização da tarefa foi de quatro minutos e oito segundos (4min08s).
119
Observamos, durante a realização do teste, que eles tiveram dificuldades em
localizar a base na página inicial e isso pode ser a causa de mesmo concluindo a
tarefa, a maioria (13) considera de satisfatória a péssima e dois de ótima a boa.
7.4.3 Tarefa 3: Busca como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado.
Para concluir a terceira tarefa, os participantes deveriam localizar, na
página inicial, o item “acesso a documentos”. Em seguida, deviam passar o mouse e
selecionar o link para o serviço de cópias de documentos, sendo encaminhado para
uma nova janela, na qual ele era encaminhado à outra janela para saber como pedir
cópia de documento e na mesma página podia verificar os preços. A tarefa foi
concluída por doze dos participantes. Levaram, em média, quatro minutos e dois
segundos (4min2s) para concluí-la, menos tempo do que para a tarefa anterior.
Semelhantemente às tarefas anteriores, a maioria dos participantes mesmo
concluindo as tarefas, considerou a realização da atividade na biblioteca de forma
diversa: seis satisfatória; quatro péssima, quatro boa e um considerou ótima.
7.4.4 Tarefa 4: Verificação no catálogo de revistas científicas para identificação da Revista de Administração Pública, volume 41, edi ção especial de 2007 na BVS.
Para completar a quarta tarefa, os participantes deveriam seguir os
passos da tarefa anterior e localizar o item “catálogo de revistas científicas”. Então,
seria encaminhado para uma nova janela na qual havia duas opções para realizar a
tarefa, digitar o título da revista no local indicado para buscas e ser encaminhado
para a página com a relação das revistas. Outro recurso seria localizar a área de
especialidade da revista, administração pública, e encaminhado à página da opção
anterior. Nessa página, deveria localizar o título da revista e selecionar. Em seguida,
ser encaminhado à outra janela onde poderia recuperar o artigo desejado. Dos
participantes, onze concluíram a tarefa e quatro não conseguiram. O tempo médio
gasto na realização da tarefa foi de cinco minutos e nove segundos (5min09s). Na
satisfação dos participantes quanto à realização da tarefa temos: quatro
consideraram ótima, dois boa, quatro satisfatória e cinco péssima.
120
7.4.5 Tarefa 5: Identificação dos eventos programad os para o período de março a junho de 2012 da área de saúde e o período para s ubmissão de trabalho
Para concluir a quinta tarefa, os participantes deveriam localizar na página
principal o “diretório de eventos”, e escolher entre fazer uma pesquisa por palavras e
indicar ano e mês do evento, ou descer a barra de rolagem para selecionar os
eventos de interesse, selecionar mais informações para ter todas as informações
disponíveis. A tarefa foi concluída por treze dos participantes e dois não concluíram.
Foram usados em média três minutos e quarenta e seis segundos (3min46s) para
realização da tarefa. Dentre eles, quatro consideram ótima a realização da tarefa,
três boa, quatro satisfatória e quatro péssima.
7.4.6 Tarefa 6: Localização na LILACs o tutorial co mo pesquisar, abrir e verificar se ele atende as necessidades de orientaç ão para realização de pesquisas bibliográficas
Para finalizar a sexta tarefa, os participantes deveriam localizar a base
LILACS na página incial da BVS, quando seriam encaminhados para uma nova
janela e procurar “como pesquisar”. Ao localizar, teriam três opções e deveriam
selecionar “iniciando pesquisa na LILACS” e assistir ao tutorial com o passo a passo
para realizar uma pesquisa na base. A maioria dos participantes realizou a tarefa
(treze) ficando dois sem conseguir. Em média, levaram três minutos e trinta e oito
segundos (3min38s) para concluir a tarefa. É importante ressaltar que o tutorial tem
dois minutos de execução, então o tempo usado para localizar o recurso foi de um
minuto e trinta e oito segundos (1min38s) em média. No que toca à satisfação, essa
foi uma das mais satisfatórias para os participantes: Cinco consideraram ótima,
quatro boa, três satisfatória e três péssima.
7.4.7 Tarefa 7: Localização na base LILACS de texto s que tratam dos seguintes temas: saúde pública; políticas públicas de saúde n o Brasil, para isso usar a pesquisa avançada e os operadores booleanos
Para realizar a sétima tarefa, os participantes deveriam selecionar a base
LILACS na página principal da BVS. Ao abrir em nova janela, escolher a busca
avançada que possibilita o uso dos operadores booleanos. Nesta tarefa, alguns
participantes tiveram problemas em usar os operadores booleanos, inclusive foram
necessários esclarecimentos e orientação no uso desses operadores. Concluíram a
121
tarefa onze participantes e quatro não conseguiram. A realização da tarefa levou em
média três minutos e tinta e seis segundos (3min36s) para conclusão. Quanto à
satisfação com a tarefa realizada dois participantes avaliaram como ótima, dois boa,
oito como satisfatória e três péssima.
7.4.8 Tarefa 8. Verificação do número de trabalhos existentes na base LILACS do pesquisador: Paim, Jairnilson Silva e depois ref inando a partir do ano de publicação 2010.
Para completar a oitava tarefa, os participantes deveriam escolher entre
duas formas de realizar a tarefa. Ao localizar a base na página principal, escolher a
busca avançada, digitar o nome do “autor” e escolher a busca no campo autor, ou,
escolher o “índice” para ser encaminhado à nova janela e digitar o nome do autor a
ser pesquisado, onde teria acesso a uma lista ordenada alfabeticamente para
escolher o autor buscado. Ao obter o resultado, deveria refinar a busca incluindo o
ano solicitado no campo “país, ano de publicação” e obter o resultado esperado. A
tarefa foi concluída por quatorze dos quinze participantes. O tempo médio para
conclusão da tarefa foi de três minutos e dezenove segundos (3min19s) Dos
participantes que realizaram a tarefa, seis consideraram ótima, cinco boa, dois
satisfatória e dois péssima. Essa tarefa apresentou o maior número de participante
que concluíram a tarefa e avaliaram-na como ótima. Observa-se que foi também
uma das tarefas realizada em menor tempo. Podemos inferir que isso decorre das
orientações obtidas no tutorial da base LILACS.
7.4.9 Tarefa 9: Busca no DeCS do termo em inglês pa ra os assuntos: saúde coletiva; câncer de mama e doenças infecciosas e re alização da busca no MEDLINE utilizando os termos em inglês localizados no DeCS.
Para concluir a nona tarefa, os participantes deveriam localizar na página
principal da BVS o “DeCS – Terminologia em Saúde”, e na nova janela selecionar a
“consulta ao DeCS”. Ao abrir o espaço para consulta, digitar os termos em inglês.
Para realizar a busca, deveriam ir até a página principal e selecionar a base
“MEDLINE” para serem encaminhados a uma nova janela e realizar a busca
avançada. Dos participantes do teste, doze conseguiram realizar a tarefa. O tempo
médio gasto para realização da tarefa foi de três minutos e cinquenta segundos
122
(3min50s). Na satisfação com a realização da tarefa, dois que consideram ótima,
cinco boa, seis satisfatória e dois péssima.
7.4.10 Tarefa 10: Cadastrar-se nos serviços persona lizados da BVS e efetuar o login para conhecer e listar os serviços oferecidos .
Para completar a décima e última tarefa, os participantes deveriam
realizar seu cadastro no site da BVS. Para isso precisavam localizar na página
principal o local “login para serviços personalizados”, então seriam direcionados para
uma nova janela onde teriam a opção de fazer o login, caso já fosse cadastrado ou
fazer o cadastro. Depois de cadastrado deveriam navegar na página para conhecer
os serviços oferecidos. Esta foi a tarefa com o menor número de conclusões, apenas
oito participantes conseguiram concluir e sete não. O tempo médio para execução foi
três minutos e treze segundos (3min13s). Na escala de satisfação, quatro
participantes consideraram como ótima, quatro como boa, um como satisfatória e
seis como péssima.
Em suma, apesar da maioria dos participantes terem concluído as tarefas,
num total de doze, o que corresponde a 79%, e o tempo médio gasto em cada tarefa
ter sido de quatro minutos e trinta e seis segundos (4min36s) por tarefa, apenas três
dos participantes consideraram como ótima a realização das tarefas.
7.5 ANÁLISE E DISCUSSÃO DOS RESULTADOS
Em média, os participantes concluíram 79 por cento das tarefas, levando
cerca de quatro minutos (4min) por tarefa, e, em geral, ficaram satisfeitos com sua
capacidade [como usuários] de realizá-las. A experiência dos docentes no uso da
BVS pode ter influenciado para uma melhor eficácia, uma vez que todos a
conheciam/usavam há mais de quatro anos. Enquanto os discentes informaram
conhecer/usar a BVS há um ou dois anos.
Quando solicitados para apresentarem algum comentário sobre a BVS, ao
fim das tarefas, alguns participantes responderam: “A BVS sem dúvida é um
instrumento bastante rico no que se refere à pesquisa cientifica, porém, sua
navegabilidade não é clara causando insegurança naqueles que não a usam com
tanta frequência”, “Acho difícil utilizar a BVS, prefiro utilizar a Pubmed”, “Conheci
123
várias ferramentas da BVS que estavam todo tempo à disposição, mas não são
dialogadas”; “Seria interessante haver uma melhora no cruzamento de palavras
chaves ou a BVS disponibilizar um tutorial referente aos links”, “O instrumento é
interessante e algumas das tarefas me levaram a usar espaços do site onde
normalmente não ando”. Eles também comentaram sobre as dificuldades para
concluir alguma tarefa: “Não consegui completar a última tarefa, pois o site afirmava
que a senha estava incorreta. Solicitei nova senha por duas vezes e mesmo assim
não tive acesso ao sistema”, “Fiz o cadastro, mas não consegui fazer o login, deu
erro!”, “Não consegui achar alguns atalhos, daí não ter concluído as tarefas”. Alguns
participantes sugeriram que seria mais útil que a BVS disponibilizasse um sistema
de tutorial geral do site para os usuários inexperientes.
TABELA 1 – Resultados das tarefas concluídas
TAREFAS
Nº Tarefas Concluídas (Eficácia)
Tempo Médio em Minutos
(Eficiência)
Facilidade de
Realização (Satisfação)
1. Realizar uma busca livre no site da BVS (www.bvs.br) sobre um tema de seu interesse de pesquisa.
12 (80%) 11.17 10 (66,7%)
2. Buscar em áreas especializada na base Cid/saúde artigos que tratam da qualidade da saúde em João Pessoa;
13 (87%) 4.08 9 (60%)
3. Buscar como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado;
12 (80%) 4.02 11 (73,3%)
4. Verificar no catálogo de revistas científicas se a BVS tem Revista de Administração Pública;
11 (73%) 5.09 6(40%)
5. Verificar quais são os eventos programados para o período de março a junho de 2012 da área de saúde
13 (87%) 3.46 7 (46,7%)
6. Localizar na LILACs o tutorial como pesquisar 13 (87%) 3.38 8 (53,3%) 7. Localizar textos que tratam dos seguintes temas: saúde pública; políticas públicas de saúde no Brasil
11 (73%) 3.36 10 (66,7%)
8. Verificar quantos trabalhos existe na base LILACS do pesquisador: Paim, Jairnilson Silva
14 (93%) 3.19 7 (46,7%)
9. Para fazer o levantamento bibliográfico no MEDLINE com termos em inglês localizados no DeCS;
12 (80%) 3.50 11 (73,3%)
10. Fazer o cadastro nos serviços personalizados em seguida efetuar o login para conhecer e listar os serviços oferecidos.
8 (53%) 3.13 4 (26,7%)
TOTAL/MÉDIA 11,9 (79%) 4.36 83 (55,3%) FONTE: Dados da pesquisa
Na Tabela 1 é apresentada a coluna com o nível de eficácia representada
pelo número de tarefas concluídas pelos participantes do teste de usabilidade
aplicado e entre parênteses o equivalente em percentual. Na outra coluna, temos o
124
nível eficiência da BVS medido pelo tempo médio em minutos utilizado para
conclusão das tarefas e na última coluna a satisfação dos usuários em realizar as
tarefas. A satisfação foi obtida pelas indicações feitas na escala de satisfação
respondida após a realização de cada tarefa. Para o cálculo dos valores
apresentados usamos a soma dos usuários que consideraram satisfatória e boa a
realização da atividade. Nesse calculo não contamos com os extremos, ou seja,
péssima e ótima. Com os dados apresentados podemos fazer inferências
importantes para análise da usabilidade da BVS.
7.5.1 Eficácia
Para analisar os dados obtidos com aplicação do teste de usabilidade na
BVS definimos como parâmetro para a eficácia o percentual de usuários que
concluíram as tarefas realizadas. Esse resultado será quanto mais indicador de
eficácia à medida que o percentual aproximar-se dos 100%. Nesse estudo, a eficácia
foi avaliada dentro dos seguintes parâmetros: menor que 50% péssima, de 51% a
70% satisfatória, de 71% a 90% boa e acima de 91% como ótima. Como resultado
obteveram-se os dados apresentados em gráficos a seguir.
GRÁFICO 1 – Apresentação da conclusão das tarefas em percentuais
FONTE: Dados da pesquisa
125
Observemos que a taxa percentual, resultante dos dados obtidos no teste
de usabilidade, foi 79%, um valor que representa mais da metade dos usuários que
concluíram as tarefas. Trata-se de um percentual significantivo, com base no qual
podemos inferir que a BVS tem uma eficácia que pode ser classificada como boa.
Dos textos analisados, doze abordam questões como eficácia, eficiência e
satisfação, sendo que dois apresentam dados referentes à aplicação de testes de
usabilidade que objetivaram conhecer a eficácia dos sites testados. Os dados do
estudo de Jeng (2004), que avaliou dois sites distintos, apresentam que a taxa
global de eficácia para todos os sujeitos no site da Rutgers é de 81% e no site da
Queens é 83%. Na pesquisa de McGillis e Toms (2001) os resultados apontaram
que 75% das tarefas foram concluídas pelos sujeitos da pesquisa.
Na literatura estudada temos a inquietação de autores pela falta de
parâmetros para definir uma biblioteca digital como eficaz, observado em McGillis e
Toms (2001, p. 366).
De fato, como podemos saber quando o site passa no teste de usabilidade? Se, em média, 75 por cento das tarefas podem ser concluídas com sucesso, esta taxa é meramente aceitável, bem sucedida, ou altamente bem sucedida? [...]. Estas perguntas permanecem sem resposta. Embora tenhamos padrões para a realização de testes de usabilidade, nós não temos padrões de benchmark com os quais compara os resultados. Não conhecemos os valores aceitáveis para eficiência, eficácia e satisfação.
Buscando cobrir essa lacuna, e observando dados apresentados em
outros testes de usabilidade em bibliotecas digitais, sugerimos que sejam usados
como benchmark para a eficácia da usabilidade em bibliotecas digitais os
parâmetros apresentados nessa pesquisa.
7.5.2 Eficiência
A eficiência da BVS foi calculada no intervalo do maior tempo usado para
concluir a tarefa e o menor tempo usado para o mesmo fim. Nessa pesquisa, como a
primeira tarefa foi uma busca livre e os participantes não realizaram tarefas
direcionadas, não foi incluído o tempo gasto nessa tarefa no calculo da média para
definição do nível de eficiência da BVS. Então, tivemos o menor tempo de 1 minuto
(1min) gasto para realização de tarefa e o maior tempo foi de dezesseis munintos
(16min). Obtivemos como tempo médio, gasto na realização das tarefas, três
minutos e vinte e um segundos (3min21s), seguindo os parâmetros definidos na
126
metodologia proposta que quanto mais essa média se aproximar do menor tempo
gasto na realização das tarefas, mais eficiente será a usabilidade da biblioteca digital
avaliada.
Atendendo aos objetivos do teste de usabilidade na BVS, temos que o
tempo entre dezesseis minutos (16min) e dez minutos e cinquenta e cinco segundos
(10min55s) pode ser considerado como eficiência péssima; entre cinquenta e cinco
segundos (10min55s) e cinco minutos e trinta e cinco segundos (5min35s) como
eficiência satisfatória; entre cinco minutos e trinta e cinco segundos (5min35s) e um
minuto (1min) como eficiência boa e com menos de um minuto como eficiência
ótima.
No gráfico 2, podemos visualizar o nível de eficiência obtida com o teste
de usabilidade da BVS.
GRÁFICO 2 – Resultado da avaliação da eficiência da BVS
FONTE: Dados da pesquisa
No gráfico 2 podemos perceber que o tempo médio gasto para realização
de cada tarefa de três minutos e vinte e um segundos (3min21s) evidenciado no
gráfico como a eficiência medida, é o ponto próximo à eficiência ótima. Ou seja,
podemos inferir que a pesquisa aponta a BVS como uma biblioteca digital avaliada
com uma eficiência próxima de ótima.
Comparada com a literatura, dos dois textos que apresentam elementos
que possibilitam confirmar os resultados obtidos na nossa pesquisa, temos que no
trabalho de Jeng (2004) a taxa global de eficiência, para todos os sujeitos,
127
correspondente ao tempo médio usado na realização das tarefas: no site da
Rutgers, 3 min. 26 seg. e no site da Queens, 2 min. 10 seg. e no estudo de McGillis
e Toms (2001) o tempo médio para realização das tarefas foi de dois minutos.
7.5.3 Satisfação
A satisfação, como medida de usabilidade da BVS, foi analisada pelo
percentual de participantes que apontaram na escala de satisfação aplicada após
cada tarefa como satisfatória e boa. O cálculo se deu com a soma do número de
participantes que apontaram na escala como satisfatória e ótima. A referida escala
contou com quatro níveis de satisfação (péssima, satisfatória, boa e ótima). Os
resultados da pesquisa foram obtidos com quinze participantes realizando dez
tarefas e indicando o grau de satisfação relacionado a cada uma das tarefas.
GRÁFICO 3 – Resultado da avaliação da satisfação da BVS
FONTE: Dados da pesquisa
Os indicadores de satisfação mostram que, das 150 respostas obtidas
(quinze participantes indicando o grau nas dez tarefas realizadas), cinquenta foram
indicadas como satisfatória, trinta e oito como péssima, trinta e três como boa e vinte
e nove como ótima. Desses dados, excluímos os extremos (péssimo e ótimo),
obtivemos oitenta e três respostas como satisfatória e boa, correspondendo a 55,3%
das tarefas consideradas satisfatórias. Além das questões referentes às tarefas, ou
seja, a parte quantitativa da pesquisa, por ser a satisfação uma questão subjetiva.
128
Foi aplicado, ao término do teste, um questionário com perguntas abertas para
coletar a opinião dos participantes sobre o processo de avaliação da BVS,
destacando pontos importantes da usabilidade das bibliotecas digitais.
As respostas das oito questões do questionário pós-teste, aplicado com o
objetivo de possibilitar maiores elementos para análise qualitativa do teste de
usabilidade em questão, foram agrupadas de acordo com as categoria e
subcategiras de análise extraidas do corpus analisado, quais seja: Satisfação –
facilidade de uso, organização da informação, rotulagem, aparência visual, interface,
conteúdo e correção de erros −Aprendizibilidade .
A categoria satisfação é avaliada na questão “qual a sua opinião a
respeito da página inicial da página inicial da BVS?” E nela podemos observar
também as subcategorias organização da informação , aparência visual e
interfac e. Essa preocupação com a aparência da BVS encontra suporte teórico em
Ferreira e Souto (2006, p.185) quando afirmam ser interface da biblioteca digital
“condição sine qua non”, para analisar a qualidade dessas bibliotecas.
Na opinião dos participantes da avaliação obtivemos posicionamentos
como: “A página apesar de apresentar todos os itens necessários para seu uso, não
é amistosa. Os links são apresentados em sua maioria com letras pequenas e
exigem certa curiosidade por parte de quem pesquisa”. Temos mais dois
participantes que consideram que a página “Deveria melhorar a forma de
apresentação das informações” e “Seria interessante que ela fosse mais fácil de
manusear”.
Mas, temos também opiniões como: “É autoexplicativa e indica de forma
objetiva onde encontra o que se procura” e “A página principal da BVS apresenta-se
de uma forma bem estruturada, simples e organizada a qual facilita a busca”. Outras
opiniões são enriquecedoras para avaliação, ao mesmo tempo em que elogiam a
BVS apresentam elementos que podem ser considerados como problemas de
usabilidade, a saber, “Bastante rica em se tratando de informações iniciais, mas
considero pouco aplicativos alguns tópicos, ou seja, deveria ser uma ferramenta de
uso mais simples”. “A página inicial da BVS é clara e facilita a localização de alguns
recursos, enquanto outros têm uma série de janelas para chegar ao destino final,
dificultando a pesquisa”.
Por ser a interface elemento importante da interação do usuário com a
biblioteca digital, foi apresentada mais de uma questão que possibilita avaliação
129
desse ponto, como quando se questiona “O que você acha da parte visual da BVS
(cores, formatação do texto, posição do conteúdo)?” Nessa questão, podemos
analisar as subcategorias aparência visual , conteúdo e interface. Segundo
Ferreira e Souto (2006, p. 187), “a interface passa a ser percebida tanto como o
meio para a interação usuário-sistema, quanto como uma ferramenta que oferece os
instrumentos para esse processo comunicativo”.
Na opinião de alguns participantes, o visual da BVS apresenta problemas
de interação e visualização como se constata a seguir: “A parte visual está
agradável, porém acho que poderiam aumentar um pouco o tamanho da fonte; “É
boa, mais acredito que pode ser criado recursos para melhorar a posição do
conteúdo”; “Não é atrativo, tamanho da letra pequena e organização de forma muito
confusa”; “Não chama atenção pra nada. Sugeriria que dados importantes tivessem
cores chamativas, ou pelo menos diferentes para auxiliar a busca de informação”.
No entanto, outros usuários consideram que o visual da BVS é simples e
adequado, como se observa nas palavras a seguir: “Acho perfeitos! As cores são
claras e diferenciadas”; “Boa formatação da página, com boa escolha de cores, não
cansando a vista do usuário”; “Excelente” e “Satisfatória”.
Outro ponto solicitado à opinião dos usuários foi quanto ao sistema de
busca, com as seguintes perguntas: O que você achou do sistema de busca da BVS
(tanto a busca integrada quanto a busca avançada)?” e “Você achou fácil pesquisar
no sistema BVS? Justifique”
Nas questões, observamos as subcategorias: facilidade de uso ,
organização da informação e rotulagem. Cardoso (2000) afirma que estudos
realizados considerando a interação com os Sistemas de Recuperação de
Informação confirmam que quando o usuário tem mais informação e controle sobre
suas buscas, sua performance e satisfação aumentam. Nesta perspectiva, é
necessário apresentar ao usuário uma interface de busca onde tenha a possibilidade
de conhecer todas as opções de busca para, assim, escolher aquelas que prefere
utilizar.
A opinião dos participantes da pesquisa confirma o relatado na literatura
como pode ser conferido nas respostas dos usuários:“O sistema de busca da BVS
se assemelha ao de outros portais o que não dificulta o uso, sendo assim considero
prático e aplicável”; O sistema é satisfatório e apresenta-se como outros por mim
utilizados”; “É um sistema de busca de fácil manuseio, ágil e que atende as
130
necessidades do pesquisador”; “Eu uso mais a busca simplificada, mas ambas são
de fácil execução” e “Gosto do sistema de busca avançada, da opção de ordenar por
preferências, ano de publicação, o número de textos completos”.
Outros usuários tiveram dificuldades em interagir com o sistema de busca.
Isso é visível nas opiniões a seguir: “Deixou a desejar, poderia ser mais didático e
mais direto”; “A busca integrada não é específica, ela traz referências que não são
de acordo com a palavra-chave ou descritores indicados. Enquanto a busca
avançada restringe demais a temática. Sempre me decepciono diante da busca
avançada” e “Tive um pouco de dificuldade, entretanto não sei se posso atribuir ao
fato de que normalmente não utilizo a BVS ou se é o próprio sistema que é falho”.
Quanto à facilidade de busca no sistema, observa-se que a opinião
depende da experiência de pesquisa na BVS como justificativa mais frequente,
constatado nas opiniões a seguir: “Sim. Já fiz bastante pesquisa em bases de
dados e não vejo dificuldade em procurar na BVS também”; “Sim, faço pesquisa e há
muito tempo”; “Considero fácil. Já utilizo a BVS há muitos anos e considero fácil se
familiarizar com o sistema” e “De início não é fácil, porem à medida que começamos
a utilizar, torna-se fácil e prático”. Já os com pouca experiência no uso da biblioteca
apresentaram alguma dificuldade, como se pode ver nas seguintes palavras: “Tive
um pouco de dificuldade. Não sei se isso é devido ao fato de não ter o hábito de
pesquisar na BVS”; “A falta de prática torna um pouco complicado, fazia algum
tempo que eu não pesquisava na BVS” e outros consideraram difícil justificando que
“É a terceira vez que pesquiso no sistema BVS e encontro muitos obstáculos nas
pesquisas”; “A informação está presente no sistema, mas é necessário abrir muitas
“abas” até encontrá-la” e “bastante complexo. Utilizar outros buscadores é bem
melhor, pois são muito mais rápidos e objetivos”.
Objetivando saber a satisfação quanto à aprendizibilidade da BVS foi
elaborada a questão “O que você achou do tutorial como pesquisar (ajuda) da
LILACS?” Segundo Jeng (2005b), a aprendizibilidade mede o esforço de
aprendizagem e leva em consideração o quão rápido o sujeito aprende como
realizar as tarefas.
Na opinião dos participantes fica evidente a importância dos tutoriais no
processo de aprendizibilidade do site. Ele apresenta o passo a passo da busca e
ajuda a localizar informações relevantes para boa interação com a biblioteca. Os
usuários consideraram o tutorial da base LILACS como: “Muito bom, eu não
131
conhecia”; “Interessante e muito explicativo”; “Muito bom, dinâmico, facilitando a
pesquisa”; “Excelente”; “Fácil de entender e bem prático. O fato de mostrar como se
faz ajuda bastante e o recurso visual é de grande valia” e “O caminho apontado no
tutorial é fácil para os iniciantes, mesmo para aqueles com pouca familiaridade na
pesquisa em portais”.
Mas outros apesar de reconhecerem a importância desse recurso
informacional apresentam pontos importantes a serem considerados pelos gestores
da BVS, tais como, “Gostei muito! Deveria ser mais destacado no site para aqueles
alunos que sentem dificuldades ou usam poucas vezes”; “Satisfatório, só considero
que deveria estar em destaque na página inicial” e “Muito bom, eu não conhecia”.
Percebe-se que o recurso que objetiva orientar o usuário não é facilmente localizado
na página principal da biblioteca.
Visando contribuir para melhoria da biblioteca avaliada, foi solicitada a
apresentação dos pontos fortes e fracos nas questões: “Quais são os pontos
positivos da BVS?” e “Quais são os pontos negativos da BVS?” As respostas serão
apresentadas pela ordem das perguntas, ou seja, primeiro os pontos positivos,
seguidos dos pontos negativos.
Das respostas obtidas apareceram termos como: “ser em português”
“sistema simples de busca” “acesso livre”, “bases temáticas”, “base de dados
brasileiros” “quantidade expressiva de informação sobre a produção do
conhecimento na área da saúde” “Facilidade de acesso aos documentos”, “agrega
um banco de dados para divulgação de informações técnico-científicas da America
Latina” “opção da busca avançada (com inúmeras possibilidades de pesquisa)”,
“acesso a base LILACS e vocabulário trilíngue DeCS”. “pesquisa gratuita”, “Fácil
acesso e integra diferentes bancos de dados”, “grande número de artigos
completos”, “Acessibilidade, comodidade, gratuito, prático e rápido”.
E como pontos negativos, mencionaram que: “os termos do DeCS, em
sua maioria, estão desatualizados”, “o DECS poderia ser atualizado”, “Nunca acho a
BBO”, “Necessita melhorar a forma de busca por nome e sobrenome, “Quando o
usuário não tem conhecimento ele não consegue utilizar”, “A ausência de um tutorial
como existe no LILACS”. “Confuso, difícil achar a informação, muitos passos para se
chegar ao objetivo da pesquisa” “Muitos atalhos para se chegar ao ponto de
interesse”, “buscas lenta”e “muito conteúdo na página inicial”
132
Na questão final, “Qual a sua avaliação geral a respeito da facilidade de
uso da BVS?”, objetivando obter elementos que reforcem os pontos anteriores
quanto à satisfação do usuário que pesquisa na BVS, de modo geral, foi
considerada como de fácil uso e conteúdo relevante para área de saúde, mas
ficaram evidentes alguns problemas que precisam ser avaliados e sanados pelos
gestores.
As opiniões dos usuários, nesta questão, estão transcritas na íntegra, por
considerar como relevante para aferir sobre quão satisfatória é a BVS para
participantes do teste de usabilidade.
Na avaliação geral da BVS dos quinze participantes da pesquisa, sete
avaliaram positivamente o uso da biblioteca como constatam as opiniões a seguir:
“Acredito que, de forma geral, a BVS tem uso simples, podendo ser operada mesmo
por usuários sem muita experiência. Creio que deveria apenas melhorar sua página
inicial, aumentando as fontes das palavras e talvez colocando um sistema de tutorial
geral do site, para os usuários inexperientes”, “Considero fácil, embora o envio de
artigos não tenha funcionado”, “Avalio o uso da BVS como ótimo, pois a grande
maioria das necessidades do pesquisador é atendida”, “Avaliação positiva. O fato da
existência do tutorial que explica como usar o portal e de suma importância pelo os
iniciantes”, “É uma biblioteca de fácil manuseio, só precisa de prática, como qualquer
outra ferramenta.”, “Excelente. Um meio importante para ampliar nossos
conhecimentos científicos” e “É uma ferramenta bastante necessária na vida
acadêmica”.
Na opinião de quatro sujeitos, a biblioteca é um dispositivo informacional
importante, mas apresenta problemas que dificultam a interação com o usuário,
como expressam a seguir: “Encontrei algumas dificuldades virtuais, entretanto há
serviços interessantes”; “É preciso passar algum tempo se familiarizando com seus
recursos para que a pesquisa seja satisfatória. A princípio não é tão fácil”;
“Considero uma ferramenta usual, mas que ainda pode melhorar em alguns
aspectos já referidos e assim passar a ser uma fonte mais utilizada pelos
pesquisadores como, por exemplo, o PUBMED” e “A partir da realização da
pesquisa, identifiquei algumas dificuldades, como encontrar uma revista
especializada, no entanto, em uma avaliação geral o site se mostrou dinâmico e de
fácil utilização”.
133
Entretanto, quatro usuários apresentaram uma avaliação negativa e
consideraram como difícil o uso da BVS: “O que não existe na BVS é FACILIDADE”,
“Não há facilidades de uso! Este é o problema. Acho muito confuso e prefiro utilizar
outras fontes”, “É necessário adquirir experiências para conseguir acessar as
ferramentas disponíveis na BVS. O tutorial é ineficaz, e o acesso é difícil para
pesquisadores iniciantes” e “Não achei tão fácil. Prefiro usar o PUBMED”.
Como análise geral do teste de usabilidade aplicado no site da BVS, os
dados nos possibilitam inferir que a mesma apresenta um bom nível de eficácia e
uma boa eficiência. Entretanto, a satisfação, ficou no nível satisfatório, conforme as
respostas apresentadas pelos participantes da pesquisa nas questões abertas. Com
isso, temos que a boa usabilidade de uma biblioteca digital não pode ser medida
apenas pela sua eficácia e eficiência. O usuário não se contenta apenas em localizar
a informação desejada no menor tempo possível, mas deseja tabém um sistema de
busca que seja fácil de usar, bem como um conteúdo relevante para sua área de
pesquisa. Essa questão ficou evidente quando um dos participantes da pesquisa
argumenta: “O portal BVS sem dúvidas é um instrumento bastante rico no que se
refere à pesquisa cientifica, porém, sua navegabilidade não é tão clara causando
insegurança naqueles que não a usam com tanta frequência”.
Os problemas de usabilidade, detectados com esta pesquisa, foram
observados principalmente nas questões abertas de satisfação. Mais da metade dos
dos usuários (oito) encontram dificuldade em usar o sistema de busca da biblioteca.
Outra questão de usabilidade apontada pelos participantes da pesquisa é o visual da
página principal, identificada como de visualização difícil com letra muito pequenas.
Outra questão é o número de novas janelas que são abertas sempre que um link é
acionado e isso deixa o usuário perdido na navegação.
Apesar de avaliarem como satisfatória a BVS, alguns usuários
apresentaram sugestões para melhorar a interação com sistema, tais como: criação
de um tutorial, aos modo do apresentado para base LILACS, que contemple a BVS
como um todo e o dispor de forma mais vísivel na página principal.
134
8 CONSIDERAÇÕES FINAIS
O reconhecimento da importância das tecnologias digitais de informação e
comunicação no cotidiano das pessoas nos leva a considerar que as bibliotecas
digitais podem ser compreendidas como dispositivos que conduzem os usuários ao
rápido acesso à informação, e seu uso, ampliando as possibilidades de
aprendizagem. Isso é possível pelas formas de acesso, uso e de aplicação dessas
tecnologias, que ocasionam mudanças substantivas nas maneiras de aprendizagem
dos sujeitos, alterando significativamente sua autonomia individual e por via de
consequência os sistemas culturais.
Isso faz com que as bibliotecas digitais sejam cada vez mais necessárias
para que se possa acessar a informação sistematizada, organizada, de fácil acesso
que pode ser usada a qualquer hora, nos mais diversos lugares, inclusive no
recôndito dos lares. A despeito disso, existe a necessidade de que seja usada,
divulgada e democratizada, porquanto é um dispositivo informacional usado quase
exclusivamente por professores e pesquisadores.
As bibliotecas digitais são objeto de muitos estudos como demonstra o
levantamento bibliográfico realizado nas bibliografias de Cunha (2009), Jeng (2008)
e Neuhaus (2005). Obtivemos uma listagem de exatamente 675 textos nacionais e
estrangeiros sobre esse tipo de dispositivo informacional, o que nos permite concluir
sobre a existência de uma significativa quantidade de pesquisadores estudando o
tema. No entanto, retomamos autores como Cunha (2009) e Saracevic (2005) para
reforçar que tais bibliotecas ainda são pouco avaliadas. Esta afirmação também é
confirmada por meio dos dados levantados nesse estudo, no qual constatamos após
seleção e análise do corpus da pesquisa, que desse expressivo número de
publicações temos 57 que abordam avaliação de bibliotecas digitais. Desse total, 29
apresentam também elementos relacionados com usabilidade os quais
possibilitaram constituir as categorias de análise para a construção do modelo
metodológico proposto.
A produção sobre bibliotecas digitais aborda questões como projeto,
arquitetura, metadados, ontologias, usuários, dentre outras. Mesmo quando o
assunto é avaliação, os trabalhos tratam de abordagens, metodologias e conceitos,
no entanto não se localizam dados que possam corroborar, efetivamente, para a
135
definição de métricas usadas como parâmetros para a avaliação de bibliotecas
digitais. Essa escassez de parâmetros na literatura analisada confirma a existência
de lacunas nas metodologias para avaliação de bibliotecas digitais. A adoção da
Análise de Conteúdo, para confrontar os textos com os critérios de usabilidade de
Jeng (2005a) e Saracevic (2005), deu conta de estabelecer as categorias de análise
para definir os critérios de usabilidade a serem adotados com a finalidade de definir
os níveis de eficácia, eficiência e satisfação na realização de tarefas nas bibliotecas
digitais. O modelo metodológico idealizado estabeleceu os parâmetros para estudos
de níveis de usabilidade dessas bibliotecas. Inclusive apresenta características de
flexibilidade, é passível de ajustamento a diversos objetivos de estudo de
usabilidade em bibliotecas digitais.
Para aplicação do modelo o pesquisador precisará definir critérios de
medidas que atendam suas necessidades e objetivos específicos. Esses critérios
devem explicitar tanto o nível mínimo aceitável, quanto o nível esperado de
usabilidade. Em suma, a eficácia, a eficiência e a satisfação podem ser medidas de
maneira objetiva a partir dos resultados da interação do usuário com o sistema.
Cada componente da usabilidade depende do contexto de uso e dos objetivos da
avaliação, que vão determinar a escolha e o nível de detalhes de cada medida.
Atendido o objetivo de analisar as metodologias para avaliação de
Bibliotecas Digitais, centradas na usabilidade, e os específicos de identificar
metodologias para avaliação de bibliotecas digitais e desenvolver um modelo
metodológico para avaliação de usabilidade em bibliotecas digitais, adentramos à
etapa final de validação do modelo metodológico proposto. Como resultado,
apresentamos um modelo metodológico para avaliação de usabilidade em
bibliotecas digitais baseado nas categorias analisadas e nas lacunas detectadas nos
modelos localizados na literatura.
Ao nosso ver, a praticidade do modelo metodológico caracteriza-se pela
facilidade de aplicação, dispensando conhecimentos aprofundados de sistemas
computacionais e usabilidade. Como profissional bibliotecária pude aplicar o
instrumento, observar a interação dos usuários com a biblioteca durante a realização
das tarefas e analisar os dados, detectando os problemas de usabilidade e
percebendo as sugestões para melhorias dos serviços por ela apresentados, mesmo
sem ser especialista.
136
O modelo tem aplicação simples, rápida e de baixo custo, possibilitando
adotar periodicidade na avaliação, aprofundar o conhecimento da opinião dos
usuários, atender as suas necessidades e acatar as sugestões sobre melhorias do
sistema. Para além do exposto, permite a associação a outros instrumentos de
coleta de dados para avaliação de usabilidade em bibliotecas, tais como análise de
logs, análise heurística, grupo focal entre outros que aplicados concomitantemente
ao modelo aqui proposto potencializam a identificação de problemas de usabilidade.
Ressaltamos que o teste com usuários reais é primordial no processo de avaliação
de usabilidade de bibliotecas digitais.
Além do que o avaliador dispõe, nesse instrumento, de um roteiro das
etapas a serem seguidas no processo de avaliação, do momento de planejamento,
passando pela execução e análise dos dados, concluindo com a detecção dos
problemas de usabilidade e observância às sugestões dos usuários. Os
instrumentos de coleta de dados são também customizáveis, estão apresentados
nos apêndices, se constituem em um modelo geral, que pode ser adotado e aplicado
na avaliação de qualquer biblioteca digital e do usado na avaliação da BVS.
O teste formal de usabilidade aplicado na BVS apresentou resultados
relevantes para validação do instrumento. As relações entre eficiência, eficácia e
satisfação – os três critérios de usabilidade adotados – não são correlatas, e são
fracas as relações entre eles, por isso, eficácia, eficiência e satisfação devem ser
considerados critérios de usabilidade independentes. Assim, testes de usabilidade
em bibliotecas digitais com realização de tarefas devem incluir medidas de eficácia,
de eficiência e de satisfação do usuário. Essas medidas precisam ser definidas e o
contexto de uso considerado.
O que nos leva a estas considerações conclusivas é a evidência
apresentada nos dados da pesquisa. Os resultados obtidos com aplicação do teste
de usabilidade na BVS apresenta a eficácia como boa, a taxa percentual foi de 79%,
valor representativo de que mais da metade dos usuários concluíram as tarefas.
Para definirmos que a BVS tem um nível de eficácia considerada boa, baseada nos
parâmetros indicados (item 5.1). Quanto à eficiência, o tempo médio gasto para
realização de cada tarefa foi de quatro minutos e trinta e seis segundos (4min36s)
identificado pelos parâmetros adotados na pesquisa, como um ponto próximo a
eficiencia ótima. Ou seja, a pesquisa aponta a BVS como uma biblioteca digital com
137
uma eficiência boa. No tocante à satisfação, os indicadores mostram que com 55,3%
as tarefas foram consideradas satisfatórias, excluídos os extremos péssimo e ótimo.
Por ser a satisfação uma questão que enseja subjetividade, as questões
abertas respondidas no último instrumento de avaliação, resultaram em ricas
respostas para avaliar a interação do usuário com a interface da BVS, destacando
pontos importantes da usabilidade das bibliotecas digitais.
Os participantes da validação do modelo metodológico apresentam-se
como usuários experientes no uso do computador e da Internet. São pesquisadores
que conhecem e usam os recursos informacionais disponíveis na rede mundial de
computadores, confirmado pelo tempo que dispensam ao uso diário da Web em
portais de periódicos, sites de busca, uso de e-mail, como os recursos mais
utilizados. É importante ressaltar que o número de usuários de bibliotecas digitais é
menor que os recém-citados, o que particularmente nos inquieta, pois mesmo
pesquisadores experientes com os recursos digitais utilizam pouco este dispositivo
informacional.
Os resultados da aplicação dos três instrumentos de coleta possibilitaram
conhecer o desempenho do usuário na realização das tarefas propostas e as suas
percepções ao utilizarem o site. Esses objetivaram conhecer o nível de eficácia,
medida pelo número de tarefas completadas com êxito; a eficiência, medida pela
quantidade de tempo usado para completar cada tarefa e a satisfação, medida por
uma escala de classificação com quatro níveis de satisfação.
Sobre a satisfação dos usuários em usar a BVS, dos quinze participantes
da pesquisa, sete avaliaram positivamente, quatro sujeitos, consideram a biblioteca
como um dispositivo informacional importante, mas apresentando problemas
relativos à interação com o usuário e os quatro últimos apresentaram uma avaliação
negativa, considerando difícil o uso da BVS.
Em conclusão, o teste de usabilidade aplicado na BVS constata que a
usabilidade de uma biblioteca digital não pode ser medida apenas pela sua eficácia
e eficiência. Evidencia que o usuário quer além do acesso à informação, interação
fácil e amigável com a interface da biblioteca digital. Esse ponto foi especialmente
evidenciado por um dos participantes da pesquisa ao expressar sua opinião
declarando a BVS um instrumento bastante rico para atender à pesquisa cientifica,
porém, a navegabilidade causa insegurança naqueles que a usam eventualmente.
138
Os problemas se constituem em: letra muito pequena na página inicial da
biblioteca; dificuldades para encontrar os links relacionados aos portais de
informação especializada; também foi considerado como fator que dificulta a
recuperação da informação o excessivo número de janelas que abrem para se
chegar ao ponto desejado. Esse fator maximiza o número de usuários que
abandonam a pesquisa. Com base nos dados e na literatura estudada, fica evidente
que a BVS apresenta também problemas de arquitetura da informação, ao se
observar que existe muito conteúdo na página inicial, ensejando melhor organização
visual da página principal.
Mesmo avaliando a BVS como satisfatória, há sugestões para melhorar a
interação com o sistema, tais como: melhoria no cruzamento de palavras chaves e
disponibilização de um tutorial referente ao uso das bases de dados.
Podemos apresentar como recomendações para trabalhos futuros, a
aplicação do modelo metodologico em outros tipos de bibliotecas digitais, como
bibliotecas acadêmicas ou BDTDs; Estudos de usuários de bibliotecas digitais com a
análise do perfil e uso de tecnologias digitais; Análise de interface de bibliotecas
digitais com foco na usabilidade e um estudo dos modelos de Arquitetura da
Informação nas bibliotecas digitais.
Por fim, estamos conscientes que a investigação sobre metodologias para
avaliação de bibliotecas digitais com foco na usabilidade não se encerra aqui. As
inovações nas tecnologias digitais, bem como a necessidade de maior interação do
usuário com essas bibliotecas farão emergir inquietações de pesquisas. Com
certeza, as bibliotecas digitais ainda sofrerão mudanças e adequações para atender
aos avanços das tecnologias e assim sendo os modelos de avaliação e de
usabilidade devem acompanhá-las.
139
REFERÊNCIAS21
ABNT. NBR 9050: acessibilidade a edificações, mobiliário, espaços e equipamentos urbanos. Rio de Janeiro, 2004.
ABNT. NBR 9241-11: requisitos ergonômicos para trabalho de escritório com computador – Parte 11 – orientações sobre usabilidade. Rio de Janeiro, 2002. Esta Norma é equivalente a ISO 9241 – 11: 1998.
ADOLFO, Luciane Baratto; SILVA, Rita de Cássia Portela da. A arquivística e a arquitetura da informação: uma análise interdisciplinar. Arquivística.net , Rio de Janeiro, v. 2, n. 1, p. 34-51, jan./jun. 2006. Disponível em: <http://www.arquivistica.net/ojs/include/getdoc.php?id=186&article=53&mode=pdf>. Acesso em: 02 out. 2011.
AFONSO, Carlos A. Internet no Brasil : o acesso para todos é possível? Rio de janeiro, jul. 2000. Disponível em: <http://reseau.crdi.ca/uploads/user-S/10245206800panlacafoant.pdf>. Acesso em: 23 jan. 2011.
AQUINO, Mirian de Albuquerque. Metamorfoses da cultura: do impresso ao digital, criando novos formatos e papéis em ambientes de informação. Ciência da Informação , Brasília, DF, v. 33, n. 2 p. 7-14, maio/ago. 2004.
AQUINO, Mirian de Albuquerque. O novo “status” da informação e do conhecimento na cultura digital. Biblioteca On-line de Ciências da Comunicação -BOCC , Covilhã, PT, 2006. Disponível em: <http://www.bocc.ubi.pt/pag/aquino-mirian-novo-status-da-informacao.pdf>. Acesso em: 14 jun. 2007.
ARMS, William Y. Digital libraries. Cambridge: Mit Press, 2000.
BAEZA-YATES, Ricardo; RIBEIRO-NETO, Berthier. Modern information retrieval . England: Addison Wesley, 1999.
BARDIN, Laurence. Análise de conteúdo: Lisboa: Edições 70, 2010.
BARRETO, Aldo de Albuquerque. Mudança estrutural no fluxo do conhecimento: a comunicação eletrônica. Ciência da Informação, Brasília, DF, v. 27, n. 2, p. 122-127, maio/ago. 1998.
BAX, Marcello Peixoto. Agentes de interface para bibliotecas digitais: a arquitetura SÁBIO. In: SEMINÁRIO SOBRE AUTOMAÇÃO EM BIBLIOTECAS E CENTROS DE DOCUMENTAÇÃO, 6., 1997, Águas de Lindóia. Anais ... Águas de Lindóia: UNIVAP, 1997.
BERTOT, John Carlos et al. Functionality, usability, and accessibility: Iterative user-centered evaluation strategies for digital libraries. Performance Measurement and Metrics , v. 7, n. 1, p. 17-28, 2006.
21 Este trabalho está de acordo com as normas de documentação da Associação Brasileira de Normas Técnicas (ABNT) vigentes.
140
BEZERRA, Ed Porto; BRENNAND, Edna Gusmão de Goes. Inclusão digital: as bibliotecas do polo digital como portais educativos In: SIMPÓSIO INTERNACIONAL DE BIBLIOTECAS DIGITAIS, 2., Campinas, 2004. Anais eletrônico... Campinas: UNICAMP, 2004. 1 CD-ROM.
BIBLIOTECA VIRTUAL EM SAÚDE. O que é a BVS? Disponível em: <http://www.bireme.br/php/level.php?lang=pt&component=112>. Acesso em: 20 jan. 2008.
BIBLIOTECA VIRTUAL EM SAÚDE. Resumo executivo. In: Reunión del Sistema Latinoamericano y del Caribe de Informação em Ciencias de La Salud. 1998, San José, Costa Rica. Disponível em: < http://regional.bvsalud.org/bvs/P/pdoc.htm>. Acesso em: 10 jan. 2012
BIBLIOTECA VIRTUAL EM SAÚDE. Tutorial de Pesquisa : portal de revistas científicas da BVS. . Disponível em: <http://portal.revistas.bvs.br/help/apresentacao%2016%20dez.htm>. Acesso em: 10 jan. 2012
BIREME. Guia da BVS 2011 : versão 19. São Paulo: OPAS;OMS, 2011. Disponível em: <http://bvsmodelo.bvsalud.org/download/bvs/Guia_da_BVS_2011_pt.pdf>. Acesso em: 15 fev. 2012.
BISHOP, Ann Peterson. Measuring access, use, and success in digital libraries . The Journal of Electronic Publishing , v. 4, n. 2, 1998. Disponível em: <http://www.press.umich.edu/jep/04-02/bishop.html>. Acesso em: 20 jun. 2008.
BISHOP, Ann Peterson et al. Building a university digital library : the need for a user-centered approach, 2002. Disponível em: <http://forseti.grainger.uiuc.edu/dlisoc/socsci_site/monterey-final.html>. Acesso em: 20 jan. 2008.
BLANDFORD, Ann et al. Analytical usability evaluation for digital libraries: A case study. In: ACM/IEEE JOINT CONFERENCE ON DIGITAL LIBRARIES, 4., 2004, London. Proceedings… London: ACM, 2004. p. 27-36.
BLANDFORD, Ann et al. The PRET a rapporter framework: evaluating digital libraries from the perspective of information work. Information Processing and Management, St. Louis, v. 44, n. 1, p. 4–21, Jan. 2008.
BOHMERWALD, Paula. Uma proposta metodológica para avaliação de bibliotecas digitais : usabilidade e comportamento de busca por informação na biblioteca digital da PUC-Minas. 2003. 174f. Dissertação (Mestrado em ciência da Informação) – Escola de Ciência da Informação, Universidade Federal de Minas Geral, Belo Horizonte, 2003.
BORGMAN, Christine L. et al. Evaluating digital libraries for teaching and learning in undergraduate education: a case study of the Alexandria Digital Earth ProtoType (ADEPT). Library Trends , v. 49, n. 2, p. 228-250, 2000.
BORGMAN, Christine L. What are digital libraries? Competing visions. Information Processing and Management, v. 35, n. 3, p. 227-243, 1999.
141
BORGMAN, Christine L.; SOLVBERG, Ingeborg; KOVDCS, Ldszló (Eds.) Evaluation of digital libraries: testbeds, measurements, and metrics. In: DELOS WORKSHOP , 4., 2002, Budapest. Proceedings... Budapest: MTA SZTAKI, 2002. Disponível em: <http://wwwold.sztaki.hu/conferences/deval/presentations/DELOSWorkshop4OnEvalreport.pdf.>. Acesso em: 03 mar. 2010.
BURKE, Peter. Uma história social do conhecimento: de Gutenberg a Diderot. Rio de Janeiro: Jorge Zahar, 2003.
CAMARGO, Liriane Soares de Araújo; VIDOTTI, Silvana Aparecida Borsetti Gregorio. Análise de elementos de arquitetura da informação em repositórios institucionais digitais: um enfoque ao acesso. In: SEMINÁRIO INTERNACIONAL DE BIBLIOTECAS DIGITAIS NO BRASIL, 2007, São Paulo. Anais... São Paulo: UNESP, 2007.
CANFORA, Luciano. A biblioteca desaparecida: histórias da biblioteca de Alexandria, São Paulo: Companhia das Letras, 1989.
CANFORA, Luciano. As bibliotecas antigas e a história dos textos. In: BARATIN, Marc; JACOB, Christian. O poder das bibliotecas: a memória dos livros no Ocidente. Rio de Janeiro: UFRJ, 2000. p. 234-245.
CARDOSO, Jiani Cordeiro. ILIB : uma Proposta de interface de consulta personalizável para bibliotecas digitais. 2000. 112 f. Dissertação (Mestrado em Ciência da Computação)– Faculdade de Informática, Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, 2000.
CASTELLS, Manuel. A Galáxia da Internet: reflexões sobre a Internet, os negócios e a sociedade. Rio de Janeiro: Jorge Zahar, 2003. (Coleção Interface)
CASTELLS, Manuel. A sociedade em rede. São Paulo: Paz e Terra, 1999. (A era da informação: economia, sociedade e cultura, v. 1).
CUNHA, Murilo Bastos. Bibliografia sobre o fluxo do documento na biblioteca digital. DataGramaZero - Revista de Ciência da Informação. Rio de Janeiro, v. 10, n. 5, out. 2009. Disponível em: <http://www.dgz.org.br/out09/Art_01.htm>. Acesso em: 20 ago. 2010.
CUNHA, Murilo Bastos. Biblioteca digital: bibliografia internacional anotada. Ciência da Informação , v. 26, n. 2, p. 195-213, 1997. Disponível em: <http://dici.ibict.br/archive/00000184/01/Ci%5B1%5D.Inf-2004-442.pdf>. Acesso em: 05 maio 2009.
CUNHA, Murilo Bastos. Desafios na construção de uma biblioteca digital. Ciência da Informação , Brasília, DF, v. 28, n. 3, p. 257-268, set./dez. 1999. Disponível em: <http://www.scielo.br/pdf/ci/v28n3/v28n3a3>. Acesso em: 22 dez. 2006.
CUNHA, Murilo Bastos; McCARTHY, Cavan. Estado atual das bibliotecas digitais no Brasil. In: MARCONDES, Carlos Henrique et al. (Orgs). Bibliotecas digitais : saberes e práticas. 2. ed. Salvador: UFBA; Brasília, DF: IBICT, 2006. p. 25-54.
142
DIAS, Claudia. Usabilidade na web: criando portais mais acessíveis. Rio de Janeiro: Alta Books, 2003.
DIAS, Eduardo Wense. Contexto digital e tratamento da informação. Data Grama Zero: Revista de Ciência da Informação, Rio de Janeiro, v. 2, n. 5, out. 2001. Disponível em: <http://www.dgz.org.br/out01/F_I_aut.htm>. Acesso em: 02 fev. 2008.
DICKSTEIN, Ruth; MILLS, Vicki. Usability testing at the University of Arizona library: How to let the users in on the design. Information Technology and Libraries , v. 19, n. 3, 144-151, 2000. Disponível em: <http://ils.unc.edu/~march/revision.pdf>. Acesso em:05 jan. 2011.
FERREIRA, Sueli Mara Soares Pinto; SOUTO, Patrícia Cristina do Nascimento. A Interface do usuário e as bibliotecas digitais. In: MARCONDES, Carlos Henrique et al. (Orgs.). Bibliotecas digitais : saberes e práticas. 2. ed. Salvador: UFBA; Brasília, DF: IBICT, 2006. p. 187-204
FERREIRA, Sueli Mara; PITHAN, Denise Nunes. Usability of digital libraries: A study based on the areas of information science and human-computer interaction. OCLC Systems & Services , v. 21, n. 4, p. 311-323, 2005.
FOX, Edward A.; URS, Shalini R. Digital libraries. Annual Review of Information Science and Technology , Medford, v. 36, p. 503-589, 2002.
FOX, Edward A. et al. Users, user interfaces, and objects: envision, a digital library. Journal of the American Society for Information Sci ence , v. 44, n. 8, p. 480-491, 1993.
FRANCO, Maria Laura P. Barbosa. Análise de conteúdo . 2. ed. Brasília: Líber Livro, 2007.
FROKJAER, Erik; HERTZUM, Morten; HORNBAEK, Kasper. Measuring usability: are effectiveness, efficiency, and satisfaction really correlated? In: ACM CHI 2000 CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2000, The Hague, The Netherlands. Proceedings… New York: ACM Press, 2000. p. 345-352.
FUHR, Norbert et al. Digital libraries: a generic classification and evaluation scheme. In: In: EUROPEAN CONFERENCE ON DIGITAL LIBRARIES, 2001. Proceedings… Springer, 2001. p. 187-199. Disponível em: <http://www.is.informatik.uni-duisburg.de/bib/pdf/ir/Fuhr_etal:01.pdf>. Acesso em: 05 maio 2011.
GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. 5. ed. São Paulo: Atlas, 1999.
GODOI, Christiane Kleinübing; BANDEIRA-DE-MELO, Rodrigo; SILVA, Anielson Barbosa. Pesquisa qualitativa e o debate sobre a propriedade de pesquisar. In: SILVA, Anielson Barbosa; GODOI, Christiane Kleinübing; BANDEIRA-DE-MELO, Rodrigo (Org.). Pesquisa qualitativa em estudos organizacionais: paradigmas, estratégias e métodos. 2. ed. São Paulo: Saraiva, 2010.
GOMES, Sônia de Conti. Bibliotecas e sociedade na primeira república. São Paulo: Pioneira, 1983.
143
GÓMEZ, Maria Nélida González. Metodologia de pesquisa no campo da Ciência da Informação. DataGramaZero: Revista de Ciência da Informação, Rio de janeiro, v.1, n. 6, 2000. Disponível em: < http://www.dgz.org.br/dez00/F_I_art.htm>. Acesso: 06 fev. 2008.
GONÇALVES, Marcos André et al. What is a good digital library?: a quality model for digital libraries. Information Processing and Management: an Interna tional Journal, v. 43, n. 5, p. 1416-1437, 2007.
HEATH, Fred et al. Emerging tools for evaluating digital library services: conceptual adaptations of LibQUA CAPM. Journal of Digital Information , v. 4, n. 2, 2003. Disponível em: <http://jodi.ecs.soton.ac.uk/Articles/v04/i02/Heath/>. Acesso em: 05 maio 2010.
HOMMERDING, Nadia Maria dos Santos. Em busca da avaliação de bibliotecas digitais : caminhos e descaminhos. 2007. 217 f. Tese (Doutorado em Ciência da Informação)- Escola de Comunicações e Artes, Universidade de São Paulo, São Paulo, 2007.
JACOB, Christian. Ler para escrever: navegações alexandrinas. In: BARATIN, Marc; JACOB, Christian. O poder das bibliotecas: a memória dos livros no Ocidente. Rio de Janeiro: UFRJ, 2000a. p. 45-73.
JACOB, Christian. Prefácio. In: BARATIN, Marc; JACOB, Christian. O poder das bibliotecas: a memória dos livros no Ocidente. Rio de Janeiro: UFRJ, 2000b. p. 9-17.
JENG, Judy. Evaluation of Digital Library: a bibliography. 2008. Disponível em: <http://web.njcu.edu/sites/faculty/jjeng/Content/evaluation_of_digital_library.asp>. Acesso em: 05 out. 2008
JENG, Judy. Usability assessment of academic digital libraries: effectiveness, efficiency, satisfaction, and learnability” Libri: International Journal of Libraries and Information Services, v. 55, n. 2/3, p. 96-121, 2005a.
JENG, Judy. Usability evaluation of academic digital libraries: From the perspectives of effectiveness, efficiency, satisfaction, and learnability. In: ANNUAL MEETING OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY, 67., 2004. Proceedings... p. 13-18. Disponível em: <http://www.asis.org/Conferences/AM04/posters/180.doc>. Acesso em: 03 jun. 2009.
JENG, Judy. What is usability in the context of the digital library and how can it be measured?” Information Technology and Libraries, v. 24, n. 2, p. 47-56, 2005b.
JOHNSON, Steven. Cultura da interface : como o computador transforma nossa maneira de criar e comunicar. Rio de Janeiro: Jorge Zahar, 2001. (Coleção Interface).
JORDAN, Patrick W. An introduction to usability . London, UK: Taylor & Francis, 1998.
KANI-ZABIHI, Elahe; GHINEA, Ghinea; CHEN, Sherry Y. Digital libraries: what do users want? Online Information Review, v. 30, n. 4, p. 395-412, 2006.
144
KILKER, Julian; GAY, Geri. The social construction of a digital library: A case study examining implications for evaluation. Information Technology and Libraries , v. 17, n. 2, p. 60-70, jun. 1998.
KURAMOTO, Hélio. Ferramentas de software livre para bibliotecas digitais. In: MARCONDES, Carlos Henrique et al. (Orgs.). Bibliotecas digitais : saberes e práticas. 2. ed. Salvador: UFBA; Brasília, DF: IBICT, 2006. p. 145-162.
LAUFER, Roger. Novas ferramentas, novos problemas. In: BARATIN, Marc; JACOB, Christian. O poder das bibliotecas: a memória dos livros no Ocidente. Rio de Janeiro: UFRJ, 2000. p. 155-166.
LE CROSNIER, Hervé. Bibliotecas digitais. In: AMBROSI, Alain; PEUGEOT, Valérie; PIMIENTA, Daniel (Coord.). Desafios de Palavras : enfoques multiculturais sobre as sociedades da informação. Caen: C & F Éditions, 2005. Disponível em: <http://www.vecam.org/article628.html>. Acesso em: 26 maio 2008.
LEÃO, Eneida; SANTOS, Robson. A usabilidade e o caráter espacial do ciberespaço. Expressiva Comunicação e Educação, Rio de janeiro, 2007. Disponível em: <http://www.expressivaonline.com.br/artigo.asp?idSelecionado=21&idTema=4>. Acesso em: 30 set. 2008.
LEINER, Barry M. The Scope of the Digital Library. DLib Working Group on Digital Library Metrics , Jan. 1998. Disponível em: <http://www.dlib.org/metrics/public/papers/dig-lib-scope.html>. Acesso em: 4 nov. 2008
LESK, Michael. Practical digital libraries : books, bytes, and bucks. San Francisco: Morgan Kaufmann, 1997.
LESK, Michael. Understanding digital libraries . 2. ed. San Francisco: Morgan Kaufmann, 2005.
LEVACOV, Marília. Bibliotecas virtuais. In: MARTINS, Francisco Menezes; SILVA, Juremir Machado (Orgs.). Para navegar no século XXI: tecnologias do imaginário e cibercultura. 2. ed. Porto Alegre: Sulina; EdiPUCRS, 2002. p. 261-286.
LEVACOV, Marília. Bibliotecas virtuais: (r)evolução? Ciência da Informação , Brasília, v. 26, n. 2, 1997. Disponível em: <http://www.ibict.br/cienciadainformacao/viewarticle.php?id=428&layout=abstract>. Acesso em: 20 mar. 2007.
LEVIN, Jack; FOX, James Alan. Estatística para ciências humanas. Tradução Alfredo Alves de Farias. São Paulo: Prentice Hall, 2004.
LÉVY, Pierre. As tecnologias da inteligência: o futuro do pensamento na era da informática. Tradução Carlos Irineu da Costa. Rio de Janeiro: Editora 34, 1993. (Coleção TRANS).
LÉVY, Pierre. Cibercultura. Tradução Carlos Irineu da Costa. São Paulo: Editora 34, 1999. (Coleção TRANS).
145
LÉVY, Pierre. O que é o virtual? Tradução Paulo Neves. São Paulo: Editora 34, 1996. (Coleção TRANS).
LIMA, Izabel França. Biblioteca Digital Paulo Freire como dispositivo de inclusão : visão de professoras de escola pública de João Pessoa/PB. 2007, 145f. Dissertação (Mestrado em Educação) – Centro de Educação, Universidade federal da Paraíba, 2007. Disponível em: <http://www.ce.ufpb.br/ppge/Dissertacoes/ dissert07/Izabel%20Fran%E7a%20de%20Lima.pdf>. Acesso em: 03 ago. 2008.
LIMA, Izabel França; SOUZA, Renato Rocha. A Concepção de biblioteca digital na literatura brasileira de periódicos em Ciência da Informação. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 11., 2010. Rio de Janeiro. Anais eletrônicos... Rio de Janeiro. ANCIB; UNIRIO, 2010. Disponível em: <http://enancib.ibict.br/index.php/xi/enancibXI/paper/viewFile/501/294>. Acesso em: 02 nov. 2011.
LIMA, Izabel França; SOUZA, Renato Rocha; DIAS, Guilherme Ataíde. Abordagens para avaliar bibliotecas digitais. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 12., 2011. Rio de Janeiro. Anais eletrônicos... Brasília, DF: ANCIB; UnB, 2011. 1 CD-ROM.
LONG, Holley. An assessment of the current state of digital libra ry evaluation . 2002. 43 p. Master’s Thesis, University of North Carolina at Chapel Hill, 2002.
MARCHIONINI, Gary. Evaluating digital libraries: a longitudinal and multifaceted view. Library Trends , Maryland, v. 49, v. 2, p. 304-333, 2000. Disponível em: <http://www.ideals.illinois.edu/bitstream/handle/2142/8336/librarytrendsv49i2g_opt.pdf?sequence=1>. Acesso em: 04 jun. 2008.
MARCHIONINI, Gary; PLAISANT, Catherine; KOMLODI, Anita. The people in digital libraries: multifaceted approaches to assessing needs and impact In: BISHOP, Ann Peterson; VAN HOUSE, Nancy A.; BUTTENFIELD, P. Barbara. Uso da biblioteca digital : a prática social na concepção e avaliação. Massachusetts: MIT Press, 2003, Cap. 6, p.119-160.
MARCHIORI, Patrícia Zeni. “Ciberteca” ou biblioteca virtual: uma perspectiva de gerenciamento de recursos de informação. Ciência da Informação , Brasília, DF, v. 26, n. 2, p. 115-124, maio/ago. 1997.
MARCONDES, Carlos Henrique et al. (Org.). Bibliotecas digitais : saberes e práticas. 2. ed. Salvador: UFBA; Brasília, DF: IBICT, 2006.
MARCOS, Mari Carmen. Interacción en interfaces de recuperación de información: conceptos, metáforas y visualización. Ediciones Trea, S.L. 2004, Gijón (Asturias), Espanha.
MAY, Tim. Pesquisa social : questões, métodos e processos. 3. ed. Porto Alegre: Artmed, 2004.
MCGILLIS, Louise; TOMS, Elaibe G. Usability of the academic library web site: Implications for design. College & Research Libraries , v. 62, n. 4, 355-367, 2001.
146
MILANESI, Luiz. O que é biblioteca. 3. Ed. São Paulo: Brasiliense, 1985. (Coleção primeiros passos, 94).
MINAYO, Maria Cecília de Souza et al. Pesquisa social: teoria, método e criatividade. Petrópolis: Vozes, 2005.
MINAYO, Maria Cecília de Souza. Ciência, técnica e arte: o desafio da pesquisa social. In: ______. (org.). Pesquisa social: teoria, método e criatividades. Petrópolis, RJ: Vozes, 1994. Cap. 1, p. 9-29.
MINAYO, Maria Cecília de Souza. O desafio do conhecimento : pesquisa qualitativa em saúde. 11. ed. São Paulo: Hucitec, 2008.
MINAYO; Maria Cecília de Souza; SOUZA, Edinilsa Ramos. Métodos, técnicas e relações em triangulação. In: MINAYO; Maria Cecília de Souza; ASSIS, Simone Gonçalves; SOUZA, Edinilsa Ramos (Org.) Avaliação por triangulação de métodos . Rio de Janeiro: Fiocruz, 2005. Cap. 2, p. 71-103.
MOREIRA, Barbara Lagoeiro. 5SQUAL: uma ferramenta baseada no modelo 5S para avaliação de qualidade em bibliotecas digitais. 2007. 100 f. Dissertação (Mestrado em Ciência da Computação)– Programa de Pós-Graduação em Ciência da Computação, Universidade Federal de Minas Gerais, Belo Horizonte, 2003.
NEUHAUS, Chris. Digital library evaluation and assessment bibliogra phy . 2005. Disponível em: <http://www.uni.edu/neuhaus/digitalbibeval.html>. Acesso em: 20 set. 2008.
NIELSEN, Jakob. Usability 101: introduction to usability. Current Issues in Web Usability, 2003. Disponível em: <http://www.useit.com/alertbox/20030825.html>. Acesso em: 10 maio 2010.
NIELSEN, Jakob. Usability Engineering. San Francisco, CA: Morgan Kaufmann, 1993.
NIELSEN, Jakob. Why you only need to test with five users . Alertbox March, 2000. Disponível em: <http://www.useit.com/alertbox/20000319.html>. Acesso em: 05 maio 2002.
NIELSEN, Jakob; LANDAUER, Thomas K. A mathematical model of the finding of usability problems. In: INTERACT '93 AND CHI '93 CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1993, Amsterdam, the Netherlands. Proceedings... New York: ACM, 1993. p. 24-29.
NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na Web : projetando websites com qualidade. Rio de Janeiro: Elsevier, 2007.
PACKER, Abel Laerte. A Construção coletiva da Biblioteca Virtual em Saúde. Interface – Comunicação, saúde e Educação, Botucatu, v. 9, n. 17, p. 249-272, mar./ago. 2005. Disponível em: <http://www.scielo.br/pdf/icse/v9n17/v9n17a04.pdf>. Acesso em: 04 jul. 2008.
147
PADOVANI, Stephania; MOURA, Dinara. O conceito de navegação. In: ______. Navegação em hipermídia : uma abordagem centrada no usuário. Rio de Janeiro: Ciência Moderna, 2008. Cap. 1, p.9-18.
PARENTE, André. O virtual e o hipertextual . Rio de Janeiro: Pajulin, 1999.
PEREIRA, Maria de Nazaré Freitas. Bibliotecas virtuais: realidade, possibilidade ou alvo de sonho. Ciência da Informação , Brasília, v. 24, n. 1, 1995. Disponível em: <http://www.ibict.br/cionline/viewarticle.php?id=583&layout=abstract>. Acesso em: 22 dez. 2006.
PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen. Design de interação: além da interação homem-computador. Tradução Viviane Possamai. Porto Alegre: Bookman, 2005.
RICHARDSON, Roberto Jerry et al. Pesquisa Social : Métodos e Técnicas. 3. ed. São Paulo, Ed. Atlas, 1999.
ROCHA, Heloísa Vieira da, BARANAUSKAS, M.C. Design e Avaliação de Interfaces Humano-Computador . Campinas: NIED, 2003.
ROSENFELD, Louis; MORVILLE, Peter. Information for Architecture for the Word Wide Web . 3. ed. Sebastopol, CA: O'Reilly, 2006.
SALGADO, Luciana Maria Allan. A biblioteca virtual do estudante brasileiro da escola do futuro da Universidade Federal da Paraíba : um estudo da sua estrutura e de seus usuários. 2002. 170 f. Dissertação (Mestrado em Ciências da Comunicação) – Escola de Comunicação e Artes, Universidade de São Paulo, são Paulo, 2002.
SARACEVIC, Tefko. Digital library evaluation: toward an evolution of concepts. Library Trends , Maryland, v. 49, n. 2, p. 350-369, 2000. Disponível em: <http://comminfo.rutgers.edu/~tefko/LibraryTrends2000.pdf>. Acesso em: 04 jun. 2008.
SARACEVIC, Tefko. Evaluation of digital libraries: An overview. In: DELOS WORKSHOP ON THE EVALUATION OF DIGITAL LIBRARIES, 2004, Padova. Proceedings… Padova: University of Padua, 2004. Disponível em: <http://www.scils.rutgers.edu/~tefko/DL_evaluation_Delos.pdf>. Acesso em: 20 jun. 2009.
SARACEVIC, Tefko. How were digital libraries evaluated? In: LIDA CONFERENCE LIBRARIES IN THE DIGITAL AGE, 2005, Dubrovnik, Croatia. Proceedings... Disponível em: <http://comminfo.rutgers.edu/~tefko/DL_evaluation_LIDA.pdf>. Acesso em: 22 set. 2008.
SAYÃO, Luis Fernando. Bibliotecas digitais e suas utopias. Ponto de Acesso, Salvador, v. 2, n. 2, p. 2-36, ago./set. 2008. Disponível em: <http://www.portalseer.ufba.br/index.php/revistaici/article/view/2661/2166>. Acesso em: 30 out. 2008.
148
SENGER, Igor; BRITO, Mozar José. Gestão de sistema de informação acadêmica. Revista de Administração Mackenzie , ano 6, n. 3, p. 12-40, 2005. Disponível em: <http://www3.mackenzie.br/editora/index.php/RAM/article/view/77/77>. Acesso em: 05 nov. 2010.
SHEN, Rao et al. What is a successful digital library? Lecture Notes in Computer Science, v. 4172, p. 208-219, 2006.
SILVA, Anielson Barbosa; ROMAN NETO, João. Perspectiva multiparadigmática nos estudos organizacionais. In: SILVA, Anielson Barbosa. (Orgs.) Pesquisa qualitativa em estudos organizacionais: paradigmas, estratégias e métodos. São Paulo: Saraiva, 2006.
SMITH, Angela. From the feel of the page or the touch of a button : envisioning the role of digital technology in the English and language arts classroom. Spring, 2000. Disponível em: <http://www.msu.edu/~smitha62/computer.htm>. Acesso em: 10 abr. 2011.
SNEAD, John T. et al. Developing multi-method, iterative, and user-centered evaluation strategies for digital libraries: functionality, usability, and accessibility. In: ANNUAL MEETING OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY (ASIST), 68., 2005, Charlotte, USA. Proceedings… Disponível em: <http://eprints.rclis.org/bitstream/10760/7005/1/Snead_Developing.pdf>. Acesso em: 05 maio 2010.
SOUZA, Clarice Muhlethaler. Aviso aos navegantes ou onde fica a biblioteca? Transinformação , Campinas, v. 9, n. 2, p. 49-56, maio/ago. 1997.
SOUZA, Renato Rocha. Aprendizagem colaborativa em comunidades virtuais. 2000. 103f. Dissertação (Mestrado em Engenharia de Produção) – Centro Tecnológico, Universidade Federal de Santa Catarina, Florianópolis, 2000. Disponível em: <http://www.eci.ufmg.br/rsouza/Documentos/mestrado%20-%20Renato%20 Rocha%20 Souza.pdf>. Acesso em: 05 nov. 2008.
SOUZA, Renato Rocha. O que é realmente, o Virtual? A Revista da Informação e Tecnologia. Campinas, abr. 2001. Disponível em: <http://www.ccuec.unicamp.br/revista/infotec/index2.html>. Acesso em: 10 nov. 2008.
TAKAHASHI, Tadao. Sociedade da Informação no Brasil : o livro verde. Brasília, DF: Ministério da Ciência e Tecnologia, 2000.
TAMMARO, Anna Maria; SALARELLI, Alberto. Conversações sobre a biblioteca digital. In: ______. A biblioteca digital . Brasília, DF: Briquet Lemos, 2008a. Cap. 5, p. 111-142.
TAMMARO, Anna Maria; SALARELLI, Alberto. Medição e avaliação da biblioteca digital. In: ______. A biblioteca digital . Brasília, DF: Briquet Lemos, 2008b. Cap. 13, p. 309-339.
TARGINO, Maria das Graças. Conceito de biblioteca. Brasília, DF: ASDF, 1984.
149
TOUB, Steve. Evaluating information architecture: a practical gu ide to assessing web site organization . Argus Center for Information Architectute, 2000. Disponível em:<http://argus-acia.com/white_papers/evaluating_ia.pdf>. Acesso em: 20 nov. 2011.
VALDES, Leo. Accessibility on the Internet . 1998. Disponível em: <http://www.un.org/esa/socdev/enable/disacc00.htm>. Acesso em: 10 jan. 2012.
VALENTIM, Marta Lígia Pomim. Análise de conteúdo. In: VALENTIM, Marta Lígia Pomim (Org.) Métodos qualitativos de pesquisa em Ciência da Info rmação. São Paulo: Polis, 2005. Cap. 6, p. 119-134.
VIANA, Michelângelo Mazzardo Marques. A Internet e o bibliotecário : a adequação de habilidades profissionais frente aos novos serviços. 1996. Disponível em: <http://paginas.terra.com.br/educacao/mique/artigo.htm>. Acesso em: 17 out. 2008.
VIDOTTI, Silvana Aparecida B. Gregório; SANT’ANA, Ricardo Gonçalves. Infra-estrutura tecnológica de uma biblioteca digital: elementos básicos. In: MARCONDES, Carlos Henrique et al. (Orgs). Bibliotecas digitais : saberes e práticas. 2. ed. Salvador: UFBA; Brasília, DF: IBICT, 2006.
WATERS, Donald J. What are digital libraries? CLIR Issues: Council on Library and Information Resources, n. 4, jul./ago. 1998. Disponível em: <http://www.clir.org/pubs/issues/issues04.html>. Acesso em: 20 out. 2011.
WITTEN, Ian H.; BAINBRIDGE, David. How to build a digital library . USA: Elsevier Science 2003.
WURMAN, Richard Saul. Information architects . Zurich: Graphis, 1996.
XIE, Hong Iris. Evaluation of digital libraries: Criteria and problems from users' perspectives. Library & Information Science Research , v. 28, n. 3, 433-452, 2006.
ZHANG, Ying. Developing a holistic model for digital library eva luation . 2007. 248 f. Dissertation (Doctor of Philosophy)- Graduate Program in Communication, Information, and Library Studies, State University of New Jersey, New Brunswick, 2007.
150
APÊNDICES
151
APÊNDICE A – Quadro do levantamento realizado na BDTD da UFMG
N Ano Título Autor/orientador Grau M/D
Área
1. 2007 Uso de apontadores na classificação de documentos em coleções digitais
Thierson Couto Rosa, / Nívio Ziviani,
D C.Computação
2. 2006 Um arcabouço baseado em componentes, serviços web e arquivos abertos para construção de bibliotecas digitais
Pablo Alexandre Roberto/ Marcos André Gonçalves
D C.Computação
3. 2005 Análise do padrão brasileiro de metadados de teses e dissertações segundo o modelo entidade-relacionamento
Cintia de Azevedo Lourenco; Lidia Alvarenga
D C.Informação
4. 2011 Avaliação de usabilidade em bibliotecas digitais: um estudo de caso
Fernanda Pereira; Gercina Angela Borem de Oliveira Lima
M C.Informação
5. 2007 Estratégias para busca do texto completo de artigos catalogados em uma biblioteca digital
Allan Jones Costa e Silva; Alberto Henrique Frade Laender
M C.Computação
6. 2007 5SQUAL: Uma ferramenta baseada no modelo 5S para avaliação de qualidade em bibliotecas digitais
Barbara Lagoeiro Moreira; Marcos Andre Goncalves
M C.Computação
7. 2007 Uma Abordagem de Componentes Combinados para a Geração de Funções de Ordenação Usando Programação Genética
Humberto Mossri de Almeida / Marcos André Gonçalves
M C.Informação
8. 2007 Whizkey: um ambiente para instalação de bibliotecas digitais
SANTOS, Rodrygo Luis Teodoro; GONÇALVES,
M C.Computação
152
Marcos André
9. 2007 Um Estudo sobre Referências Bibliográficas na Área de Ciência da Computação.
Paulo José Lage Alvarenga/ Berthier Ribeiro de Araújo Neto
M C.Computação
10. 2007 WhizKEY: Um Ambiente para Instalação de Bibliotecas Digitais
Rodrygo Luis Teodoro Santos./ Marcos André Gonçalves
M C.Computação
11. 2006 Metadados para descrição de documentos remanescentes de fundo eclesiástico: uma proposta de metadados e biblioteca digital para os assentos de batismo, casamento e óbito da Matriz do Pilar de Ouro Preto
Agnaldo Lopes Martins; Lidia Alvarenga
M C.Informação
12. 2005 Um ambiente baseado em arquivos abertos para integração de dados ecológicos.
Evandrino Gomes Barros; Alberto Henrique Frade Laender
M C.Computação
13. 2005 Uma metodologia para avaliação automática de sites
Luís Carlos Silva Eiras / Beatriz Valadares Cendón
M C.Informação
14. 2005 Uma estratégia para remoção de ambiguidades na identificação de autoria de objetos bibliográficos
Jean Wanderlei Alves de Oliveira; Alberto Henrique Frade Laender
M C.Computação
15. 2005 Análise de citações da produção científica de uma comunidade: a construção de uma ferramenta e sua aplicação em um acervo de teses e dissertações do PPGCI-UFMG
Igor Campos Leal; Marcello Peixoto Bax
M C.Informação
16. 2005 Um ambiente baseado em arquivos abertos para
Evandrino Gomes
M C.Computação
153
integração de dados ecológicos
Barros/Alberto Henrique Frade Laender
17. 2005 Desenvolvimento de aplicações hipermídia para gerenciamento de documentos multimídia e preservação de acervos digitais um estudo de caso no CECOR
Flávio Humberto Cabral Nunes/ Arnaldo de Albuquerque Araújo
M C.Computação
18. 2005 Uma Estratégia para Remoção de Ambiguidades na Identificação de Autoria de Objetos Bibliográficos.
Jean Wanderlei Alves de Oliveira Alberto Henrique Frade Laender
M C.Informação
19. 2005 Uma biblioteca digital para o fomento de atitudes colaborativas nos usuários de um ambiente de aprendizagem online
Marcio de Paula Faria / Hilton de Azevedo
M Tecnologia da UFPR
20. 2005. Uso de periódicos eletrônicos um estudo sobre o Portal de Periodicos CAPES na Universidade Federal de Minas Gerais.
Luiz Cláudio Gomes Maia / Beatriz Valadares Cendón
M C.Informação
21. 2004 Modelagem e prototipação de uma biblioteca digital usando a abordagem 5S
David Patricio Viscarra Del Pozo / Alberto Henrique Frade Laender
M C.Computação
22. 2004 Metodologia para desenvolvimento de sistemas para aquisição, processamento e exibição de imagens.
Cristiane Beatriz Ferreira Marques / Mário Fernando Montenegro Campos
M C.Computação
23. 2004 Um serviço de auto-arquivamento de publicações científicas compatível com o padrão OAI.
Lena Veiga E Silva/ Alberto Henrique Frade Laender
M C.Computação
24. 2003 Inter-operabilidade entre Mauricio M C.Informação
154
fontes heterogênias: um meta-modelo baseado em ontologias
Barcellos Almeida; Marcello Peixoto Bax
25. 2003 Uma proposta metodológica para a avaliação de bibliotecas digitais usabilidade e comportamento de busca por informação na biblioteca digital da Puc-Minas.
Paula Böhmerwald /Beatriz Valadares Cendón.
M C.Informação
26. 2002 Estudo da interlocução entre biblioteca-escola-tecnologia, baseada na Internet um estudo de caso na escola estadual.
Gildenir Carolino Santos / Sérgio Ferreira Do Amaral
M Educação/ Campinas
27. 1998 Desempenho de consultas em bibliotecas digitais fortemente acopladas.
Ramurti de Alencar Barbosa / Berthier Ribeiro de Araújo Neto
M C.Computação
28. 1998 Desempenho de Consultas para Bibliotecas Digitais Distribuídas Fortemente Acopladas
Ramurti Alencar Barbosa./ Berthier Ribeiro de Araújo Neto
M C.Computação
29. 1997 Uma interface baseada em campos estelares para pesquisa a bibliotecas digitais.
Rodrigo Otavio Rodrigues Antunes / Berthier Ribeiro de Araújo Neto
M C.Computação
30. 1997 Uma Interface baseada em Campos Estelares parea Pesquisa em Bibliotecas Digitais
Rodrigo Otávio Rodrigues Antunes / Berthier Ribeiro de Araújo Neto
M C.Computação
Fonte: http://www.bibliotecadigital.ufmg.br/dspace/advanced-search
155
APÊNDICE B – Quadro do levantamento realizado no Banco de Teses da Capes
Nº Ano Título Autor/orientador Grau M/D
Área/Instiruição
1. 2007 Em busca da avaliação de bibliotecas digitais : caminhos e descaminhos
Nadia Maria dos Santos Hommerding / Waldomiro Castro Santos Vergueiro
D C. Informação / USP
2. 2006 Integrando Repositórios de Sistemas de Bibliotecas Digitais e Sistemas de Gerência de Aprendizagem
Geórgia Regina Rodrigues Gomes / Sean Wolfgand Matsui Siqueira
D Informática/ PUCRJ
3. 2006 Geração automática de metadados: uma contribuição para a Web semântica
Eveline Cruz Hora Gomes Ferreira /Sergio Takeo Kofuji
D C. Informação / USP
4. 2005 Desenvolvimento de Bibliotecas Digitais de Learning Objects Utilizando Técnicas de Data Warehousing e Data Mining
Cássia Blondet Baruque / Rubens Nascimento Melo
D Informática/ PUCRJ
5. 2004 Ambiente de Gerenciamento de Imagens e dados Espaciais para Desenvolvimento de Aplicações em Biodiversidade
Ricardo da Silva Torres. / Claudia Maria Bauzer Medeiros
D C. Computação / Universidade Estadual de Campinas
6. 2007 Análise da Qualidade de Metadados em um Sistema Integrado de Bibliotecas Digitais.
Eduardo da Rocha Ruthes Marcos Sfair Sunye
M UFPR / Informática
7. 2007 SCOL uma biblioteca digital
Eduardo Souto Maior Sales
M Modelagem computacional /
156
multimídia de teses e dissertações baseada no SCORM
Hernane Borges de Barros Pereira
Fundação Visconde De Cairu
8. 2007 Metodologias para Desenvolvimento de Sistemas de Bibliotecas Digitais
Emanuelle Elena da Silva Gomes. João Marcos Bastos Cavalcanti
M Informática / UFAM
9. 2007 Sistema de Recomendação para Bibliotecas Digitais sob a Perspectiva da Web Semântica
Giseli Rabello Lopes / Jose Palazzo Moreira de Oliveira e Maria Aparecida Martins Souto
M C. Computação / UFRGS
10. 2007 A biblioteca digital Paulo Freire como dispositivo de inclusão na sociedade da informação e do conhecimento
Izabel França de Lima / Mirian de Albuquerque Aquino
M Educação / UFPB
11. 2007 Clio-i: Interoperabilidde entre Repositórios Digitais Utilizando o Protocolo OAI-PMH
Marcos José de Menezes Cardoso Junior / Ana Carolina Brandão Salgado
M C. Informação / UFPE
12. 2007 Acervo digital médico para o sistema integrado de protocolos eletrônicos-SINPE
Mario de Paula Soares Filho / Antonio Carlos Ligocki Campos
M Medicina / UFPR
13. 2006 Uma proposta de arquitetura distribuída para biblioteca digital de teses e dissertações usando ontologia
Douglas Sanches da Cunha / Marcos Luiz Mucheroni
M C. Computação Fundação de Ensino “Eurípides Soares da Rocha
14. 2006 Uma proposta de arquitetura distribuída para biblioteca digital de teses e
Douglas Sanches da Cunha Marcos Luiz Mucheroni
M C. Computação Fundação de Ensino “Eurípides Soares da
157
dissertações usando ontologia.
Rocha
15. 2006 Um Serviço de Geração de Metadados Compatível com o Padrão OAI para o Sistema JEMS
Diego Fraga Contessa / Jose Palazzo Moreira de Oliveira
M C. Computação / UFRGS
16. 2006 Aplicações de Algoritmos Usando Visões Materializadas para Integração de Bibliotecas Digitais
João Bosco Delfino Júnior. Marcos Sfair Sunye
M Informática / UFPR
17. 2006 Biblioteca Digital Para A Coleção De Lundus Do Acervo Mozart De Araújo
Jupter Martins de Abreu Júnior. / Rosana S G Lanzelotte
M Música / UFRJ
18. 2006 Sistemas De Informações Geográficas: Elementos Para O Desenvolvimento De Bibliotecas Digitais Geográficas Distribuídas
Marcel Santos Silva/ Silvana Aparecida Borsetti Gregorio Vidotti
M C. Informação / UNESP - Marília
19. 2006 ÁGORABD: UM Framework para a criação de bibliotecas digitais
Márlon Oliveira da Silva / Henrique Elias Borges
M Modelagem Matemática e Computacional / CEFET MG
20. 2005 Um Mecanismo Para Automatizar A Criação Dos Metadados Das Imagens De Bibliotecas Digitais E Prover Buscas Por Conteúdo
Beatriz do Carmo Langiano / Marcos Sfair Sunye
M Informática / UFPR
21. 2005 Viabilidade De Acesso Público A Informações Geográficas Por Meio De Metadados
Cyntia Mara Costa. / Hélio Pedrini
M C. Geodésicas / UFPR
158
Espaciais Em Sistema De Código Aberto
22. 2005 Uma linguagem de definição da correlação entre metadados de bibliotecas digitais proprietárias em metadados Dublin Core e seu uso em servidores Z39.50.
Fernando Carlos Ponce de Leon Antunes / Roberto Willrich
M C.Computação / UFSC
23. 2005 Organização do conhecimento em bibliotecas digitais de teses e dissertações: análise da aplicabilidade das teorias macroestruturais para categorização de áreas de assunto
Flávia Maria Bastos / Mariângela Spotti Lopes Fujita
M C. Informação / UNESP - Marília
24. 2005 Modelo De Uma Biblioteca Digital Baseada No Padrão Dublin Core E Na Arquitetura Resource Description Framework
Gabriela Inácio Alves. / Rafael Timóteo de Sousa Júnior
M Eng. Elétrica / UnB
25. 2005 Uma biblioteca digital para o fomento de atitudes colaborativas nos usuários de um ambiente de aprendizagem online
Márcio de Paula Faria / Hilton José Silva de Azevedo
M Universidade Tecnológica Federal do Paraná Tecnologia
26. 2005 Uma técnica de recuperação adaptativa de obras em bibliotecas digitais baseada no
Sérgio Murilo Penedo Roberto Willrich
M C. Computação / UFSC
159
perfil do usuário
27. 2004 Arquitetura da Informação para Biblioteca Digital Personalizável.
Liriane Soares de Araújo de Camargo / Silvana Aparecida Borsetti Gregorio Vidotti
M C. Informação / UNESP - Marília
28. 2003 Uma Abordagem de Implementação de uma Biblioteca Eletrônica Usando Ferramentas de Domínio Público
Augusto Eduardo Porto Paes / Vitório Bruno Mazzola
M C.Computação UFSC
29. 2003 RECDOC: Um Sistema de Recomendação para uma Biblioteca Digital na Web
Catarina Carneiro Rocha / Geraldo Bonorino Xexeo
M Eng. Sistemas / UFRJ
30. 2003 Adaptando padrões, atividades e serviços das bibliotecas tradicionais para bibliotecas digitais
Edilene Cristiana da Silva Roberto Willrich
M UFSC / C.Computação
31. 2003 Uma Arquitetura de Biblioteca Digital de Aulas Baseada no Padrão IEEE LOM
Débora Dutra Roberto Willrich
M C. Computação / UFSC
32. 2003 Busca em conteúdo de música em bibliotecas digitais
Marilia Andrea Rathje Roberto Willrich
M C. Computação / UFSC
33. 2003 Uma Proposta de Arquitetura para Gerenciamento de Direitos Autorais em bibliotecas digitais
Sonia Martha Kesseler / Roberto Willrich
M C. Computação / UFSC
34. 2003 Uma Arquitetura de Recuperação de Informações Adaptada ao perfil de Usuário Aplicada a Bibliotecas Digitais
Teresinha Letícia da Silva Roberto Willrich
M C. Computação / UFSC
160
35. 2002 DILIFRAME: um framework para o desenvolvimento de bibliotecas digitais
Eliane Cristina de Araújo Cláudio de Souza Baptista
M Informática / UFCG
36. 2002 Uma Proposta de Arquitetura para Bibliotecas Digitais
Danielli Veiga Carneiro / Jose Gonçalves Pereira Filho
M Informática / UFES
37. 2002 A biblioteca virtual do estudante brasileiro da escola do futuro da Universidade de São Paulo : um estudo da sua estrutura e dos seus usuários
Luciana Maria Allan Salgado Fredric Michael Litto
M C. Informação / USP
38. 2002 Escalabilidade no acesso em biblioteca Digital
Pedro Chaves da Rocha Roberto Willrich
M C. Computação / UFSC
39. 2002 Bibliotecas Digitais Multimídias : Motores de Busca em Conteúdo Baseado na Linguagem Natural
Valmor José Prevedello. /Roberto Willrich
M C. Computação / UFSC
40. 2001 Um Ambiente Genérico para Construção de Bibliotecas Digitais
Agnaldo Izidoro de Souza / Murilo Silva de Camargo
M C.Computação UFSC
41. 2000 IMAGUS - Ambiente para Elaboração de Material Didático
André Luis Alice Raabe / Lúcia Maria Martins Giraffa
M C.Computação / PUC RS
42. 2000 Arquitetura de Implementação de uma Biblioteca Digital Multimídia Distribuída
Jeferson Pistori Roberto Willrich
M C. Computação / UFSC
43. 2000 iLib, uma Interface de Consulta Personalizável para
Jiani Cordeiro Cardoso /João Batista Souza de
M C. Computação / PUC RS
161
Bibliotecas Digitais Oliveira
44. 2000 Bibliotecas Digitais: um sistema para o controle de empréstimos e devoluções de objetos digitais
Karen Selbach Borges / João Batista Souza de Oliveira
M C. Computação / PUC RS
45. 2000 Geração Dinâmica de Interfaces de Bibliotecas Digitais Baseada em Metadados
Luís Alexandre Estevão da Silva. / Maria Luiza Machado Campos
M Sistemas e Computação / Instituto Militar De Engenharia
46. 1997 Uso de Modelos Hipermidia em Bibliotecas Digitais para Dados Geograficos
Marcos Andre Gonçalves Claudia Maria Bauzer Medeiros
M C. Informação / UNESP - Marília
47. 1998 As Coleções de Obras raras na Biblioteca Digital
Miguel Ângel Márdero Arellano Suzana Pinheiro Machado Mueller
M C. Informação / UnB
48. 1999 Videoteca Multimeios: em direção a um banco de dados multimídia
Maria Lúcia Figueiredo Fagundes
M Artes / UNESP - Marília
Fonte: http://servicos.capes.gov.br/capesdw/
162
APÊNDICE C – Quadro do levantamento realizado na Biblioteca Digital Brasileira de Teses e Dissertações do IBICT
Nº Ano Título Autor/orientador
Grau
M/D
Área / Instiruição
1. 2005 BIBLIOTECA DIGITAL: uma proposta para publicação e disseminação do conhecimento produzido através das teses e dissertações
Juçara Salete Gubiani / Rafael Port da Rocha
M Engenharia de Produção /Universidade Federal de Santa Maria
2. 2004 Analise dos padrões e indicadores de qualidade para disponibilização das teses e dissertações na biblioteca digital da Unicamp
Regina Aparecida Blanco Vicentini / Olivio Novaski
M Engenharia Mecanica / Universidade Estadual de Campinas .
FONTE: http://bdtd2.ibict.br/index.php?option=com_wrapper&Itemid=39
163
APÊNDICE D – Quadro do levantamento realizado nas BDTD em Universidades estrangeiras
Nº Universidade Endereço eletrônico resultado
1. Cybertesis - Universidad de Chile
http://www.cybertesis.cl/ Não foi localizado nenhum trabalho
2. California Institute of Technology
http://etd.caltech.edu/ETD-db/ETD-search/search
Não foi localizado nenhum trabalho
3. University of Pittsburg http://www.pitt.edu/~graduate/etd/
Não foi localizado nenhum trabalho
Fonte: http://polaris.bc.unicamp.br/sbu/index.php?link=50
Nº Ano Título Autor/orientador
Grau M/D
Área / Instiruição
1. 2005. Developing semantic digital libraries using data mining techniques
Hyunki Kim. D Philosophy/ University of Florida,
Fonte: http://web.uflib.ufl.edu/etd.html
Nº Ano Título Autor/orientador Grau M/D
Área / Instiruição
1.
2006 A Digital Library Success Model for Computer Science Student Use of a Meta-Search System
Vidya Sagar, Vikram Raj
Master's Thesis
Computer Science
2. 2004 The Claims Library Capability Maturity Model: Evaluating a Claims Library
Allgood, Christian Master's Thesis
Computer Science
3. 2004 Streams, Structures, Spaces,Scenarios, and Societies (5S): A Formal Digital Library Framework and Its Applications
Gonçalves, Marcos André
Dissertation/ PhD
Computer Science
4. 2007 Practical Digital Library Gorton, Douglas Master' Computer
164
Generation into DSpace with the 5S Framework
Christopher s Thesis Science
5. 2003 Scenario-based generation of digital library services
Kelapure, Rohit Dilip
Master's Thesis
Computer Science
Fonte: http://scholar.lib.vt.edu/theses/etd-search.html
165
APÊNDICE E – Quadro do levantamento realizado nos periódicos qualis A da Ciência da Informação
Perspectivas em Ciência da Informação (UFMG) Nº Título do Artigo Autor Ano 1. Uma proposta metodológica para
avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na biblioteca digital da Puc-Minas (resumo)
Paula Bohmerwald v. 8, n 2, 2003
2. Surgimento, implantação e gestão de bibliotecas virtuais: uma revisão da literatura
Elisabeth Gonçalves Vilarino
v. 8, n 1, 2003
3. Modelagem de dados como ferramenta de análise de padrões de metadados em bibliotecas digitais: o padrão de metadados brasileiro para teses e dissertações segundo o modelo entidade-relacionamento
Cintia Azevedo Lourenço
v. 11, n. 1, 2006
4. ETDs, NDLTD, and open access: a 5S perspective
Edward A. Fox, Seungwon Yang, Seonho Kim
v. 35, n. 2, 2006
5. Das bibliotecas convencionais às digitais: diferenças e convergências
Murilo Bastos da Cunha
v. 13, n. 1, 2008
Ciência da Informação (IBICT/UFRJ) 6. Bibliotecas virtuais:realidade,
possibilidade ou alvo de sonho Maria de Nazaré Freitas Pereira
v. 24, n, 1, 1995
7. Bibliotecas virtuais na Internet: a experiência do Prossiga
Yone Chastinet, Patrícia Henning, Sandra Lúcia Rebel Gomes, Maria de Nazaré Freitas Pereira, Ludmila dos Santos Guimarães
v. 25, n. 3, 1996
8. Orientações estratégicas para a implementação de bibliotecas virtuais no Brasil
Grupo de Trabalho sobre Bibliotecas Virtuais
v. 26, n. 2, 1997
9. Revisão analítica da biblioteca do futuro Karen M. Drabenstott, Celeste M. Burman, Neusa Dias de Macedo
v. 26, n. 2, 1997
10. Biblioteca digital: bibliografia internacional anotada
Murilo Bastos da Cunha
v. 26, n. 2, 1997
11. "Ciberteca" ou biblioteca virtual: uma perspectiva de gerenciamento de recursos de informação
Patricia Zeni Marchiori
v. 26, n. 2, 1997
12. Bibliotecas virtuais: (r)evolução? Marília Levacov v. 26, n. 2,
166
1997
13. Design de biblioteca virtual centrado no usuário: a abordagem do Sense-Making para estudo de necessidade e procedimentos de busca e uso da informação
Sueli Mara S. P. Ferreira
v. 26, n. 2, 1997
14. Bibliotecas virtuais e digitais: análise de artigos de periódicos brasileiros (1995/2000)
Maria Lourdes Blatt Ohira, Noêmia Schoffen Prado
v. 31, n. 1, 2002
15. Digital libraries. ARMS, William Y. Cambridge (Massachusetts): MIT Press, 2000
Murilo Bastos da Cunha
v. 31, n. 1, 2002
16. Biblioteca digital de peças teatrais Angela Maria Silva, Ilmerio Reis Silva, Luiz Humberto Martins Arantes
v. 33, n. 2, 2004
17. Uma proposta metodológica para avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da Puc-Minas
Paula Bohmerwald v. 34, n. 1, 2005
18. The Brazilian electronic theses and dissertations digital library: providing open access for scholarly information
Sílvia Barcellos Southwick
v. 35, n. 2, 2006
Informação & Sociedade. Estudos (UFPB) O Conceito De Biblioteca Nas
Bibliotecas Digitais Clarinda Rodrigues Lucas
v.14 n.2, 2004
19. Bibliotecas Digitais: uma nova aproximação
Anderson Fernandes de Alencar
v.14 n.1, 2004
20. Os Metadados Como Instrumentos Tecnológicos Na Padronização E Potencialização Dos Recursos Informacionais No Âmbito Das Bibliotecas Digitais Na Era Da Web Semântica
Fabiano Ferreira de Castro, Plácida Leopoldina Ventura Amorim da Costa Santos
v. 17, n. 2, 2007
Encontros Bibli (UFSC) 21. Serviço de referência online nas
bibliotecas virtuais da região Nordeste
Alzira Karla Araújo da Silva, Zailton Frederico Beuttenmüller
v. 10, n. 20,2005
22. Arquitetura da informação para biblioteca digital personalizável
Liriane Soares de Araújo de Camargo, Silvana Ap. Borseti Gregório Vidotti
n. 1 espec 2006
23. Padrões para bibliotecas digitais abertas e interoperáveis
Luís Fernando Sayão
edição especial n. 1 do primeiro
167
semestre de 2007
24. Bibliotecas virtuais e desenvolvimento de coleções: o caso dos repertórios de sites web
Eric Leroux
v. 12, n. 23,2007
25. A arquitetura da informação centrada no usuário: estudo do website da Biblioteca Virtual em Saúde (BVS)
Patricia Maria da Silva, Guilherme Ataíde Dias
v. 13, n. 26,2008
Transinformação (PUC -Campinas) 26. Interoperabilidade das bibliotecas
digitais: o papel dos sistemas de identificadores persistentes - URN, PURL, DOI, Handle System, CrossRef e OpenURL
Luís Fernando Sayão v. 19, n 1, 2007
27. O desafio da interoperabilidade e as novas perspectivas para as bibliotecas digitais
Luis Fernando Sayão; Carlos Henrique Marcondes
v. 20,n. 2, 2008
28. Derecho de autor y bibliotecas digitales: a la búsqueda del equilibrio entre intereses contrapuestos
Juan Carlos Fernández-Molina
v. 20, n. 2, 2008
Datagramazero (Rio de Janeiro) 29. Contexto Digital e Tratamento da
Informação Eduardo Wense Dias v. 2, n.5,
2001 30. A Teoria do Conceito Revisitada em
Conexão com Ontologias e Metadados no Contexto das Bibliotecas Tradicionais e Digitais
Lídia Alvarenga v. 2, n. 6, 2001
31. Perspectivas de una Cultura Digital en Latinoamerica
Rafael Capurro v. 3, n. 2, 2002
32. Biblioteca virtual: um novo território para a pesquisa científica no Brasil
Sandra Lúcia Rebel Gomes
v. 5, n. 6, 2004
Fonte: Dados da pesquisa
168
APÊNDICE F – Quadro com bibliografias localizadas na literatura Norte Americana
Nº Digital Library Evaluation and Assessment: Bibliography
Chris Neuhaus - Updated February 1, 2005
Evaluation of Digital Library : A Bibliography
Judy Jeng - Last Update: April 1, 2008
1. Abbas, June, Cathleen Norris, and Elliot
Soloway. 2001. "Analyzing Middle School Students' Use of the ARTEMIS Digital Library." Proceedings of the IEEE International Conference on Advanced Learning Techniques. (ICALT 2001) p.107-08. http://csdl.computer.org/comp/proceedings/icalt/2001/1013/00/10130107.pdf
Abbas, J., Norris, C., & Soloway, E. (2002). Middle school children’s use of the ARTEMIS digital library. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital Libraries, 98-105. Retrieved December 23, 2005, from ACM Digital Library database.
2. Aladwani, Adel M. and Prashant C. Palvia. 2002. "Developing and Validating an Instrument for Measuring User-Perceived Web Quality." Information & Management. Vol. 39. No. 6. p. 467-476.
Arms, W. Y. (2000). Digital libraries. Cambridge, MA: MIT Press
3. Banwell L, K Ray, G. Coulson, C. Urquhart, R. Lonsdale, C. Armstrong, R. Thomas, S. Spink S, A. Yeoman A, R. Fenton and J. Rowley. (2004). "The JISC User Behaviour Monitoring and Evaluation Framework." Journal of Documentation. Vol. 60 No. 3 p. 302-320.
Baldonado, M. Q. W. (2000). A user-centered interface for information exploration in a heterogeneous digital library. Journal of the American Society for Information Science, 51(3), 297-310.
4. Barton, Jane. 2004. "Measurement, Management and the Digital Library." Library Review. Vol. 53 No. 3 p. 138-141.
Battleson, B., Booth, A., & Weintrop, J. (2001). Usability testing of an academic library web site: A case study. The Journal of Academic Librarianship, 27(3), 188-198.
5. Bertot, John C., McClure, Charles R., and William E. Moen. 2004. "Assessing Digital Libraries: Evaluation Strategies, Practices, and Issues" Proceedings of the Annual Meeting- American Society for Information Science. Vol 41 p. 561 online at - http://www.kc.tsukuba.ac.jp/dlkc/e-proceedings/papers/dlkc04pp72.pdf
Beagrie, N., & Greenstein, D. (1998). Managing digital collections: Arts and Humanities Data Service (AHDS) policies, standards and practices: Evaluation criteria for evaluation. Retrieved August 23, 2002, from http://ahds.ac.uk/digital
6. Bertot, John C. 2004. "Libraries and Networked Information Services: Issues and Considerations in Measurement." Performance Measurement and Metrics.
Bennett, S. (2001). The golden age of libraries. Journal of Academic Librarianship, 27(4), 256-260.
169
Vol. 5. No. 1 p. 11-19. 7. Bishop, Ann Peterson, Imani Bazzell,
and Cynthia Smith. 2003. "Participatory Action Research and Digital Libraries: Reframing Evaluation." in Digital Library Use: Social Practice in Design and Evaluation. Cambridge, MA : MIT Press. p. 161-190
Bertot, J. C., Snead, J. T., Jaeger, P. T., & McClure, C. R. (2006). Functionality, usability, and accessibility: Iterative user-centered evaluation strategies for digital libraries. Performance Measurement and Metrics, 7(1), 17-28.
8. Bishop, Ann Peterson, Nancy A. Van House, and Barbara Buttenfield (eds.). 2003. Digital Library Use: Social Practice in Design and Evaluation. Cambridge, MA : MIT Press.
Bishop, A. P. (1998). Measuring access, use, and success in digital libraries . The Journal of Electronic Publishing, 4(2). Retrieved August 24, 2002, from http://www.press.umich.edu/jep/04-02/bishop.html
9. Bishop, Ann Peterson and Bertram (Chip) Bruce. 2002. "Digital Library Evaluation as Participative Inquiry." Graduate School of Library and Information Science. University of Illinois. - website [http://alexia.lis.uiuc.edu/~chip/pubs/02delos.pdf]
Bishop, A. P. (2005). Digital library use: Social practice in design and evaluation. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 276-277. Retrieved December 23, 2005, from ACM Digital Library database.
10. Bishop, Ann Peterson and Bertram (Chip) Bruce. 2002. " Usability Research as Participative Inquiry " - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
Bishop, A. P., & Star, S. L. (1996). Social informatics for digital library use and infrastructure. In M. E. Williams (Ed.), Annual review of information science and technology, Vol. 31 (pp. 301-401). Medford, NJ: Information Today.
11. Bishop, Ann Peterson, Mehra Bharat, Imani Bazzell, and Cynthia Smith. 2001. "Scenarios in the Design and Evaluation of Networked Information Services: An Example from Community Health." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 45-66.
Bishop, A. P., Star, S. L., Neumann, L., Ignacio, E., Sandusky, R. J., & Schatz, B. Building a university digital library: The need for a user-centered approach. Retrieved August 24, 2002, from http://forseti.grainger.uiuc.edu/dlisoc/socsci_site/monterey-final.html
12. Bishop, Ann Peterson, Clifford Lynch, Christine Borgman, Catherine C. Marshall, Susan Leigh Star, and Geoffry C. Bowker. 2000. "Digital Library Use (panel session): Social Practice in Design and Evaluation." Proceedings of the Fifth ACM Conference on Digital Libraries. San Antonio, Texas June 2000. p. 276-277.
Blandford, A., Keith, S., Connell, I., & Edwards, H. (2004). Analytical usability evaluation for digital libraries: A case study. Proceedings of the 4th ACM/IEEE Joint Conference on Digital Libraries, 27-36. Retrieved December 23, 2005, from ACM Digital Library database.
170
13. Bishop, Ann Peterson. 1999. "Making Digital Libraries Go: Comparing Use Across Genres." International Conference on Digital Libraries. Proceedings of the Fourth ACM Conference on Digital Libraries. 1999 , Berkeley, California. (ACM Digital Library) p. 94-103.
Bollen, J., & Luce, R. (2002, June). Evaluation of digital library impact and user communities by analysis of usage patterns. D-Lib Magazine, 8(6). Retrieved August 15, 2002, from http://www.dlib.org/dlib/june02/bollen/06bollen.html
14. Bishop, Ann Peterson. 1998. "Measuring Access, Use, and Success in Digital Libraries" The Journal of Electronic Publishing. Vol. 4, no. 2.
Bollen, J., Vemulapalli, S. S., Xu, W. & Luce, R. (2003, May). Usage analysis for the identification of research trends in digital libraries. D-Lib Magazine, 9(5). Retrieved May 16, 2003, from http://www.dlib.org/dlib/may03/bollen/05bollen.html
15. Bishop, Ann Peterson. 1998. "Digital Libraries and Knowledge Disaggregation: the Use of Journal Article Components." International Conference on Digital Libraries. Proceedings of the Third ACM conference on Digital Libraries. 1998 , Pittsburgh, Pennsylvania. (ACM Digital Library) p. 29-39.
Bonn, M. S., Lougee, W. P., MacKie-Mason, J. K., & Riveros, J. F. (1999, June). A report on the PEAK experiment. D-Lib Magazine, 5(6). Retrieved May 29, 2002, from http://www.dlib.org/dlib/june99/06bonn.html
16. Bishop, Ann Peterson and S.L. Star, 1996. "Social Informatics of Digital Libraries Use and Infrastructure." Annual Review of Information Science and Technology. Vol 31 p.301-401.
Borgman, C. L. (1999). What are digital libraries? Competing visions. Information Processing and Management, 35(3), 227-243.
17. Bland, Rose and Allison Howard. 2003. "Library Statistics and Outcomes Assessment." in Building a Virtual Library Ardis Hanson and B.L. Levin eds. Hershey, PA: Information Science Pub. p. 194-211.
Borgman, C. L. (2000). From Gutenberg to the global information infrastructure: Access to information in the networked world. Cambridge, MA: MIT Press.
18. Blanford, Ann, Bob Fields, and Suzette Keith. 2003. "Usability Evaluation of Digital Libraries." JCDL 2003 - Joint Conference on Digital Libraries - May 27, 2003, Houston.
Borgman, C. L., & Larsen, R. (2003). ECDL 2003 workshop report: Digital library evaluation – metrics, testbeds, and processes. D-Lib Magazine, 9(9). Retrieved May 28, 2005, from http://www.dlib.org/dlib/september03/09inbrief.html#BORGMAN
19. Blanford, Ann and George Buchanan. 2002. " Usability of Digital Libraries: A workshop at JCDL 2002 - JCDL'02
Borgman, C. L., Leazer, G. H., Gilliland-Swetland, A. J. & Gazan, R. (2001). Iterative design and
171
Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
evaluation of a geographic digital library for university students: A case study of the Alexandria Digital Earth Prototype (ADEPT). In P. Constantopoulos & I. T. Solvberg (Eds.), Research and Advanced Technology for Digital Libraries: 5th European Conference (ECDL 2001). Lecture Notes in Computer Science, 2163, 390-401.
20. Blanford, Ann, Hanna Stelmaszewska, and Nick Bryan-Kinns. 2001. "Use of Multiple Digital Libraries: A Case Study." International Conference on Digital Libraries. JCDL 2001 June 24-28. Proceedings of the first ACM/IEEE-CS joint conference on Digital libraries 2001 , Roanoke, Virginia (ACM Digital Library) p. 179-188.
Borgman, C. L., Gilliland-Swetland, A. J., Leazer, G. H., Mayer, R., Gwynn, D., Gazan, R., & Mautone, P. (2000). Evaluating digital libraries for teaching and learning in undergraduate education: A case study of the Alexandria Digital Earth ProtoType (ADEPT). Library Trends, 49(2), 228-250.
21. Blixrud, Julia. 2002. "Measures for Electronic Use: The ARL E-Metrics Project."delivered at the "Statistics in Practice" IFLA Preconference in Loughborough, UK, August 13-25 2002.
Borgman, C. L., Leazer, G. H., Gilliland-Swetland, A., Millwood, K., Champeny, L., Finley, J., & Smart, L. J. (2004). How geography professors select materials for classroom lectures: Implications for the design of digital libraries. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 179-185. Retrieved December 23, 2005, from ACM Digital Library database.
22. Block, C.C. and S.E. Israel. 2004. "The ABC's of Performing Highly Effective Think-Alouds." Reading Teacher. Vol. 58 no. 2 p. 154-167.
Borlund, P. (2000). Experimental components for the evaluation of interactive information retrieval systems. Journal of Documentation, 56(1), 71-90.
23. Blocks, D., C. Binding, D. Cunliffe, and D. Tudhope. 2002. "Qualitative Evaluation of Thesaurus-Based Retrieval." Lecture Notes in Computer Science. 2458. p. 346-361. Maristella Agosti, Constantino Thanos (Eds.): Research and Advanced Technology for Digital Libraries, 6th European Conference, ECDL 2002, Rome, Italy, September 16-18, 2002, Proceedings.
Budhu, M. (2002, November). The design and evaluation of interactivities in a digital library. D-Lib Magazine, 8(11). Retrieved February 8, 2006, from http://www.dlib.org/dlib/november02/coleman/11coleman.html
172
Springer 2002, ISBN 3-540-44178-6 24. Bollen, Johan, Rick Luce, Soma
Sekhara Vemulapalli, and Weining Xu. 2003. "Usage Analysis for the Identification of Research Trends in Digital Libraries." D-Lib Magazine. Vol. 9, No. 5.
Buhr, S., Barker, L., & Reeves, T. C. (2005). The DLESE evaluation services group: A framework for evaluation within a digital library. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 370. Retrieved December 23, 2005, from ACM Digital Library database.
25. Bollen, Johan and Rick Luce. 2002. "Evaluation of Digital Library Impact and User Communities by Analysis of Usage Patterns" D-Lib Magazine. Vol. 8, No. 6.
Byrd, S., Courson, G., Roderick, E., & Taylor, J. M. (2001). Cost/benefit analysis for digital library projects: The Virginia Historical Inventory Project (VHI). The Bottom Line: Managing Library Finances, 14(2), 65-75.
26. Bollen, Johan, Somasekhar Vemulapalli, and Weining Xu. 2002. "Digital Library Evaluation by Analysis of User Retrieval Patterns." Lecture Notes in Computer Science. 2458. p. 432-447. Maristella Agosti, Constantino Thanos (Eds.): Research and Advanced Technology for Digital Libraries, 6th European Conference, ECDL 2002, Rome, Italy, September 16-18, 2002, Proceedings. Springer 2002, ISBN 3-540-44178-6
Champeny, L., Borgman, C. L., Leazer, G. H., Gilliland-Swetland, A. J., Millwood, K. A., D’Avolio, L. et al. (2004). Developing a digital learning environment: An evaluation of design and implementation processes. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 37-46. Retrieved December 23, 2005, from ACM Digital Library database.
27. Bollen, Johan and Luis Mateus Rocha. 2000. "An Adaptive Systems Approach to the Implementation and Evaluation of Digital Library Recommendation Systems." Lecture Notes in Computer Science. No. 1923 p. 2000
Cherry, J. M. & Duff, W. M. (2002). Studying digital library users over time: A follow-up survey of Early Canadiana Online. Information Research, 7(2). Retrieved April 5, 2006, from http://informationr.net/ir/7-2/paper123.html
28. Borgman, Christine L., and Ronald Larsen. 2003. "ECDL 2003 Workshop Report: Digital Library Evaluation - Metrics, Testbeds and Processes Computer File." D Lib Magazine. Vol 9 No. 9. p. 1
Ching, H-H, S., Shih, C-L, & Chang-Chien, J. J. (2001). Economic analyses of scholarly electronic journal: Part I. Journal of Library & Information Science, 27, 37-50.
29. Borgman, Christine L. 2002. "Challenges in Building Digital Libraries for the 21st Century." Lecture Notes in Computer Science 2555. p. 1-13. Ee-
Chisman, J., Diller, K., & Walbridge, S. (1999). Usability testing: A case study. College & Research Libraries, 60(6), 552-569.
173
Peng Lim, Schubert Foo, Christopher S. G. Khoo, Hsinchun Chen, Edward A. Fox, Shalini R. Urs, Costantino Thanos (Eds.): Digital Libraries: People, Knowledge, and Technology, 5th International Conference on Asian Digital Libraries, ICADL 2002 Singapore, December 11-14, 2002, Proceedings. Springer 2002, ISBN 3-540-00261-8
30. Borgman, Christine L., Gregory H. Leazer, Anne J. Gilliland-Swetland, and Rich Gazan. 2001. "Iterative Design and Evaluation of a Geographic Digital Library for University Students: A Case Study of the Alexandria Digital Earth Prototype (ADEPT)." Lecture Notes in Computer Science. 2163. p. 390-401. Panos Constantopoulos, Ingeborg Sølvberg (Eds.): Research and Advanced Technology for Digital Libraries, 5th European Conference, ECDL 2001, Darmstadt, Germany, September 4-9, 2001, Proceedings. Springer 2001, ISBN 3-540-42537-3
Choudhury, S., Hobbs, B., Lorie, M., & Flores, N. (2002, July/August). A framework for evaluating digital library services. D-Lib Magazine, 8(7/8). Retrieved August 13, 2002, from http://www.dlib.org/dlib/july02/choudhury/07choudhury.html
31. Borgman, Christine, Anne Gilliland-Swetland, Gregory Leazer, Richard Mayer, David Gwynn, Rich Gazan and Patricia Mautone. 2000. "Evaluating Digital Libraries for Teaching and Learning in Undergraduate Education: A Case Study of the Alexandria Digital Earth ProtoType (ADEPT). Library Trends. Vol 49, no. 2. p. 228-250. --- Online copy at http://is.gseis.ucla.edu/adept/pubs/lt822.html
Clarke, Z. (1999). Performance indicators for the electronic library: The EQUINOX Project. Multimedia Information & Technology, 25(3), 235-237.
32. Budhu, Muniram, and Anita Coleman. 2002. "The Design and Evaluation of Interactivities in a Digital Library." D-Lib Magazine. Vol. 8. No. 11.
Coleman, A. S., Bartolo, L. M., & Jones, C. (2004). Bricoleurs: Exploring digital library evaluation as participation interactions, research, and processes. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 377. Retrieved December 23, 2005, from ACM Digital Library database.
33. Butler, Keith A. 1996. "Usability Engineering Turns 10." internations Vol. 3 No. 1 p. 58-75.
Coleman, A. S., Bartolo, L. M., & Jones, C. (2005). Impact: The last frontier in digital library evaluation.
174
Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 372. Retrieved December 23, 2005, from ACM Digital Library database.
34. Buttenfield, Barbara. 1999. "Usability Evaluation of Digital Libraries." Science & Technology Libraries. Vol. 17. No. 3/4. p. 39-59.
Coleman, A., & Oxnam, M. (2002). Interactional digital libraries: Introduction to a special issue on interactivity in digital libraries. Journal of Digital Information, 2(4). Retrieved September 12, 2002, from http://jodi.ecs.soton.ac.uk/Articles/v02/i04/editorial
35. Byerley, Suzanne L, and Mary Beth Chambers. 2002. "Accessibility and Usability of Web-Based Library Databases for Non-Visual Users." Library Hi Tech. Vol. 20 No. 2 p. 169-78.
Cook, C., Heath, F., Kyrillidou, M., Lincoln, Y., Thompson, B., & Webster, D. (2003). Developing a National Science Digital Library (NSDL) LibQUAL+TM protocol: An E-service for assessing the library of the 21st century. Retrieved January 3, 2006, from http://www.libqual.org/documents/admin/NSDL_workshop_web1.pdf
36. Byrd, Sam, Glenn Courson, Elizabeth Roderick, and Jean Marie Taylor. 2001. "Cost/Benefit Analysis for Digital Library Projects: The Virginia Historical Inventory Project (VHI)." The Bottom Line: Managing Library Finances. Vol. 14 No. 2 p. 65-75.
Crane, G. (1996). Building digital library: The Perseus project as a case study in the humanities. Proceedings of the First ACM International Conference on Digital Libraries, 3-19.
37. Byrne, Alex. 2003. "Digital Libraries: Barriers or Gateways to Scholarly Information?" The Electronic Library. Vol 21 No. 5. p. 414-21.
Crawford, G. A. (1999). Issues for the digital library. Computers in Libraries, 19(5), 62.
38. Cadez, Igor, David Heckerman, Christopher Meek, Padhraic Smyth and Steven White. 2003. "Model-Based Clustering and Visualization of Navigation Patterns on a Web Site." Data Mining and Knowledge Discovery. Vol. 7 p. 399-424.
Cullen, R. (2003). Evaluating digital libraries in the health sector. Part 1: measuring inputs and outputs. Health Information and Libraries Journal, 20(4), 195-204.
39. Caidi, Nadia, and Anita Komlodi. 2003. "Digital Libraries Across Cultures: Design and Usability Issues Outcomes of the "Cross-Cultural Usability for Digital Libraries" workshop at JCDL '03" SIGIR Forum. Vol. 37 No. 2 p. 62-64.
Cullen, R. (2004). Evaluating digital libraries in the health sector. Part 2: measuring impacts and outcomes. Health Information and Libraries Journal, 21(1), 3-13.
175
40. Calhoun, Karen. 2002. "From Information Gateway to Digital Library Management System: A Case Analysis." Library Collections, Acquisitions, & Technical Services. Vol. 26 p. 141-150.
Day, C. (1993, November). Economics of Electronic Publishing. Paper presented at AAUP/ARL Symposium on Electronic Publishing. Retrieved December 1, 2000, from http://www.press.umich.edu/jep/works/colin.econ.html
41. Carter, David and Joseph Janes. 2000. "Unobtrusive Data Analysis of Digital Reference Questions and Service at the Internet Public Library: An Exploratory Study" Library Trends. Vol. 29, no. 2. p. 251-265.
Dickstein, R., & Mills, V. (2000). Usability testing at the University of Arizona library: How to let the users in on the design. Information Technology and Libraries, 19(3), 144-151.
42. Cassel, Lillian (Boots). 2003. " CITIDEL and the XML Log Standard" (PowerPoint - Use Explorer) Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact - NSDL Annual Meeting, Washington DC
Digital Library Federation. (1999, April 21). A working definition of digital library. Retrieved September 29, 2000 from http://www.clir.org/diglib/dldefinition.htm
43. Casserly, M. 2004. "Digital Library Use: Social Practice in Design and Evaluation." Library Collections Acquisitions and Technical Services. Vol. 23 No. 3 p. 351-352.
Dillon, A. (2004). Designing usable electronic text. 2nd ed. New York: CRC Press.
44. Chao, Hungyune. 2002. "Assessing the Quality of Academic Libraries on the Web: The Development and Testing of Criteria." Library & Information Science Research. Vol. 24 p. 169-94.
Dillon, A., & Song, M. (1997). An empirical comparison of the usability for novice and expert searchers of a textual and a graphic interface to an art-resource database. Journal of Digital Information, 1(1). Retrieved September 12, 2002, from http://jodi.ecs.soton.ac.uk/Articles/v01/i01/Dillon
45. Cherry, Joan M. and Wendy M. Duff. 2002. " Studying digital library users over time: a follow-up survey of Early Canadiana Online." Information Research. Vol. 7. No. 2.
Dorward, J., Reinke, D., & Recker, M. (2002). An evaluation model for a digital library services tool. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital Libraries, 322-323. Retrieved December 23, 2005, from ACM Digital Library database.
46. Chignell, Mark H., Jacek Gwizdka and Richard C. Bodner. 1999. "Discriminating Meta-Search: A
Downie, J. S. (2002). Workshop on the creation of standardized test collections, tasks and metrics for
176
Framework for Evaluation." Information Processing and Management. Vol 35. p. 337-362.
music information retrieval (MIR) and music digital library (MDL) evaluation. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital Libraries, 426. Retrieved December 23, 2005, from ACM Digital Library database.
47. Choudhury, Sayeed, Benjamin Hobbs and Mark Lorie. 2002. "A Frame work for Evaluating Digital Library Services" D-Lib Magazine. Vol. 8, No. 7/8.
Downie, J. S. (2003a). Establishing music information retrieval (MIR) and music digital library (MDL) evaluation frameworks: Preliminary foundations and infrastructures. The MIR/MDL Evaluation Project White Paper Collection, Edition 3, 3-6. Champaign, IL: Graduate School of Library and Information Science. Retrieved February 9, 2006, from http://www.music-ir.org/evaluation/wp2/wp1_downie_establishing.pdf
48. Chowdhury, G.G. and Sudatta Chowdury. 2000. "An Overview of the Information Retrieval Features of Twenty Digital Libraries." Program: Electronic & Information Systems. Vol. 34, No. 4. p. 341-373.
Downie, J. S. (2003b). Report on the panels and workshops of the music information retrieval (MIR) and Music Digital Library (MDL) evaluation framework project. ACM SIGIR Forum, 37(2), 38-44. Retrieved December 23, 2005, from ACM Digital Library database.
49. Christel, Michael G., Pedro Cubilo, Junius Gunaratne, William Jerome, Eun-Ju O, and Sohini Solanki. 2002. "Evaluating a Digital Video Library Web Interface." International Conference on Digital Libraries. Poster Session: International Conference on Digital Libraries. Proceedings of the Second ACM/IEEE-CS Joint Conference on Digital Libraries. 2002 , Portland, Oregon. (ACM Digital Library). p. 389.
e Silva, L. V., Laender, A. H. F., & Gonçalves, M. A. (2005). A usability evaluation study of a digital library self-archiving service. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 176-177. Retrieved December 23, 2005, from ACM Digital Library database.
50. Christodoulou, S.P., G.D. Stryliaras, and T.S. Papatheodorou. 1998. "Evaluation of Hypermedia Application Development and Management Systems." Proceedings of the Ninth ACM Conference on Hypertext and Hypermedia : Links, Objects, Time and Space---Structure in Hypermedia
Edmondson, B. (2005). NSDL 2005 Annual Report: Examining NSDL’s impact. Retrieved January 4, 2006, from http://nsdl.org/about/download/misc/NSDL_ANNUAL_REPORT_2005.pdf
177
Systems: Links, Objects, Time and Space---Structure in Hypermedia Systems. Pittsburgh, Pennsylvania p. 1 - 10
51. Clark, Jason A. 2004. "A Usability Study of the Belgian-American Research Collection: Measuring the Functionality of a Digital Library." OCLC Systems & Services. Vol. 20 No. 3 p. 115-127.
Ferreira, S. M., & Pithan, D. N. (2005). Usability of digital libraries: A study based on the areas of information science and human-computer interaction. OCLC Systems & Services, 21(4), 311-323.
52. Cohen, Laura B. 2003. "A Two-Tiered Model for Analyzing Library Website Usage Statistics, Part 1: Web Server Logs." portal: Libraries and the Academy. Vol. 3 No. 2. p. 315-326.
Fox, E. A.; Urs, S. R. (2002). Digital libraries. In Blaise Cronin (Ed.), Annual Review of Information Science and Technology: Vol. 36, (pp. 503-589). Medford, NJ: Information Today.
53. Cohen, Laura B. 2003. "A Two-Tiered Model for Analyzing Library Web Site Usage Statistics, Part 2: Log File Analysis." portal: Libraries and the Academy. Vol 3. No. 3. p. 517-526.
Frokjaer, E., Hertzum, M., & Hornbaek, K. (2000). Measuring usability: Are effectiveness, efficiency, and satisfaction really correlated? Proceedings of the CHI 2000 Conference on Human Factors in Computing Systems, 2(1), 345-352.
54. Cooper, Alan. 1999. The Inmates Are Running the Asylum: Why High-Tech Products Drive Us Crazy and How to Restore the Sanity. Indianapolis, Ind. Sams.
Fuhr, N., Hansen, P., Mabe, M., Micsik, A., & Sølvberg, I. (2001). Digital libraries: A generic classification and evaluation scheme. Lecture Notes in Computer Science. Retrieved January 13, 2006, from http://citeseer.ist.psu.edu/fuhr01digital.html
55. Covey, Denise Toll. 2002. "Academic Library Assessment: New Duties and Dilemmas." New Library World. Vol. 103, No. 4. p. 156-164.
Garoufallou, E., Siatri, R., & Balatsoukas, P. (2008). Virtual maps – Virtual worlds: Testing the usability of a Greek virtual cultural map. Journal of the American Society for Information Science and Technology, 59(4), 591-601.
56. Covey, Denise Toll. 2002. Usage and Usability Assessment: Library Practices and Concerns. Washington: Digital Library Federation, Council on Library
Gilliland-Swetland, A. J., & Leazer, G. L. (2001). Iscapes: Digital libraries environments for the promotion of scientific thinking by
178
and Information Resources - website [ http://www.clir.org/pubs/abstract/pub105abst.html]
undergraduates in geography. Proceedings of the 1st ACM/IEEE-CS Joint Conference on Digital Libraries, 120-121. Retrieved December 23, 2005, from ACM Digital Library database.
57. Cullen, Rowena. 2003. "Evaluating Digital Libraries in the Health Sector. Part 1: Measuring Inputs and Outputs." Health Information and Libraries Journal. Vol. 20, No. 4. p. 195-204
Greenstein, D. (2000). Digital libraries and their challenges. Library Trends, 49(2), 290-303.
58. Cullen, Rowena. 2004. "Evaluating Digital Libraries in the Health Sector. Part 2: Measuring Impacts and Outcomes." Health Information and Libraries Journal. Vol. 21, No. 1. p. 3-13
Harter, S. P. (1997). Scholarly communication and the digital library: Problems and issues. Journal of Digital Information, 1(1). Retrieved August 22, 2002, from http://jodi.ecs.soton.ac.uk/Articles/v01/i01/Harter
59. D'Alessandro, M.P., D.M. D'Alessandro, J.R. Galvin, and W.E. Erkonen. 1998. "Evaluating Overall Usage of a Digital Health Sciences Library." Bulletin Of The Medical Library Association. Vol. 86 No. 4 p. 602-609.
Heath, F., Kyrillidou, M., Webster, D., Choudhury, S., & Hobbs, B. (2003). Emerging tools for evaluating digital library services: Conceptual adaptations of LibQUA CAPM. Journal of Digital Information, 4(2). Retrieved July 2, 2003 from http://jodi.ecs.soton.ac.uk/Articles/v04/i02/Heath/
60. Darmoni, Stefan J., Francis Roussel, Jacques Benichou, Benoit Thirion, and Nicole Pinhas. 2002. "Reading Factor: A New Bibliometric Criterion for Managing Digital Libraries." Journal of the Medical Library Association. Vol. 90. No. 3. p. 323-327.
Hill, L. L., Carver, L., Larsgaard, M., Dolin, R., Smith, T. R., Frew, J., & Rae, M-A. (2000). Alexandria digital library: User evaluation studies and system design. Journal of the American Society for Information Science, 51(3), 246-259.
61. Dempsey, Bert J, Robert C. Vreeland, Robert G. Sumner Jr., and Kiduk Yang. 2000. "Design and Empirical Evaluation of Search Software for Legal Professionals on the WWW." Information Processing & Management. Vol 36 p. 253-73.
Hill, L. L., Dolin, R., Frew, J., Kemp, R. B., Larsgaard, M., Montello, D. R., Rae, M.-A., & Simpson, J. (1997). User evaluation: Summary of the methodologies and results for the Alexandria digital library, University of California at Santa Barbara. Proceedings of the 60th annual meeting of the American Society for Information Science, (pp. 225-243). Medford, NJ: Information
179
Today. Also available: http://www.asis.org/annual-97/alexia.htm
62. Dhyani, Devanshu, Wee Keong Ng, and Sourav S. Bhowmick. 2002. "A Survey of Web Metrics." ACM Computing Surveys (CSUR). Vol. 34 No. 4. p. 469-503.
Hirtle, P. (2001, March). Planning enduring repositories for digital scholarly communication. D-Lib Magazine, 7(3). Retrieved August 22, 2002, from http://www.dlib.org/dlib/march01/03editorial.html
63. Dillon, Andrew. 1999. "TIME - a Multi-Leveled Framework for Evaluating and Designing Digital Libraries." International Journal on Digital Libraries. Vol. 2. No. 2/3. pp. 170-177
Hsieh, L. F., Chin, J. B., & Wu, M. C. (2006). Performance evaluation for university electronic libraries in Taiwan. The Electronic Library, 24(2), 212-224.
64. Dillon, Andrew, and Min Song. 1997. "An Empirical Comparison of the Usability for Novice and Expert Searchers of a Textual and a Graphic Interface to an Art-Resource Database." JoDI: Journal of Digital Information. Vol. 1 No. 1
Jeng, J. (2004). Usability evaluation of academic digital libraries: From the perspectives of effectiveness, efficiency, satisfaction, and learnability. Proceedings of the 67th Annual Meeting of the American Society for Information Science and Technology, v. 41, November 13-18, 2004, Providence, RI. Available at: http://www.asis.org/Conferences/AM04/posters/180.doc
65. Dorward, Jim, Derek Reinke and Mimi Recker. 2002. "An Evaluation Model for Digital Library Services Tool." International Conference on Digital Libraries. Proceeding of the Second ACM/IEEE-CS Joint Conference on Digital Libraries. 2002 , Portland, Oregon, USA. (ACM Digital Library)
Jeng, J. (2004). Usability of digital libraries: An evaluation model. Proceedings of the Fourth ACM/IEEE Joint Conference on Digital Libraries, 407. Retrieved March 13, 2006, from ACM Digital Library database.
66. Doty, Philip. 2001. "Policy Analysis and Networked Information: 'There Are Eight Million Stories'..." in Evaluating Networked Information Services: Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 213-253.
Jeng, J. (2005). Usability assessment of academic digital libraries: Effectiveness, efficiency, satisfaction, and learnability” Libri: International Journal of Libraries and Information Services, 55(2/3), 96-121.
67. Downey, Laura L., and Dawn M. Tice. 1999. "A Usability Case Study Using TREC and ZPRISE." Information Processing & Management. Vol. 35 p. 589-603.
Jeng, J. (2005). What is usability in the context of the digital library and how can it be measured?” Information Technology and Libraries 24(2), 47-56.
180
68. Downie, J. Stephen. 2003. "Report on
the Panels and Workshops of the Music Information Retrieval (MIR) and Music Digital Library (MDL) Evaluation Frameworks Project." SIGIR Forum. Vol. 37 No. 2 p. 38-44.
Jeng, J. (2006). Usability of the digital library: An evaluation model. Ph. D. dissertation, Rutgers University. January 2006.
69. Downie, J. Stephen. 2002. "Worskshop on the Creation of Standardized Test Collections, Tasks and Metrics for Music Information Retrieval (MIR) and Music Digital Library (MDL) Evaluation." JCDL 2003 - Joint Conference on Digital Libraries - July 13-17, 2002, Portland, Oregon.
Jeng, J. (2006). Usability of the digital library: An evaluation model. Summary report from the 2004 ACRL Doctoral Dissertation Fellowship Recipient. College and Research Libraries News, 67(2), 78-79.
70. Downs, Robert R. and Edward A. Friedman. 1999. "Digital Library Support for Scholarly Research." Information Processing and Management. Vol 35. p. 281-291.
Johnson, R. K. (2000, May). A question of access: SPARC, BioOne, and Society-Driven electronic publishing. D-Lib Magazine, 6(5). Retrieved May 8, 2002, from http://www.dlib.org/dlib/may00/johnson/05johnson.html
71. Dresang, Eliza T. and Melissa Gross. 2001. "Evaluating Children's Resources and Services in a Networked Environment." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 23-43.
Jones, M. L. W., Gay, G. K., & Rieger, R. H. (1999, November). Project Soup: Comparing evaluations of digital collection efforts. D-Lib Magazine, 5(11). Retrieved August 27, 2002, from http://www.dlib.org/dlib/november99/11jones.html
72. Eason, Ken, Susan Harker, Ann Apps, and Ross MacIntyre. 2004. "Towards an Integrated Digital Library: Exploration of User Responses to a Joined-Up Service." Lecture Notes in Computer Science. No. 3232 p. 452
Kahle, B., Prelinger, R., & Jackson, M. E. (2001, October). Public access to digital material. D-Lib Magazine, 7(10). Retrieved August 16, 2002, from http://www.dlib.org/dlib/october01/kahle/10kahle.html
73. Edgar, Katrina D., David M. Nichols, Gordon W. Paynter, Kirsten Thomson and Ian H. Witten. 2004. "A User Evaluation of Hierarchical Phrase Browsing." Lecture Notes in Computer Science. No. 2769 p. 313-324.
Kani-Zabihi, E., Ghinea, G., & Chen, S. Y. (2006). Digital libraries: What do users want? Online Information Review, 30(4), 395-412.
74. Egan, Dennis E., Joel R. Remde, Thomas K Landauer, Carol C. Lochbaum, and Louis M. Gomez. 1989.
Kassim, A. R. C., & Kochtanek, T. R. (2003). Designing, implementing, and evaluating an educational digital
181
"Behavioral Evaluation and Analysis of Hypertext Browser." ACM SIGCHI Bulletin , Proceedings of the SIGCHI Conference on Human Factors in Computing Systems: Wings for the Mind. p. 205-210.
library resource. Online Information Review, 27(3), 160-168.
75. Egan, Dennis E., Joel R. Remde, Louis M. Gomez, Thomas K Landauer, Jennifer Eberhardt, and Carol C. Lochbaum. 1989. "Formative Design-Evaluation of SuperBook." ACM Transactions on Information Systems (TOIS), Vol 7 No 1 p. 30-57
Kastens, K. A., & Holzman, N. (2006). The digital library for earth system education provides individualized reports for teachers on the effectiveness of educational resources in their own classrooms. D-Lib Magazine, 12(1). Retrieved January 18, 2006, from http://www.dlib.org/dlib/january06/kastens/01kastens.html
76. Eick, Stephen G. 2002. "Visual Analysis of Website Browsing Patterns." Lecture Notes in Computer Sciences 2539. p. 65-80. Katy Börner, Chaomei Chen (Eds.): Visual Interfaces to Digital Libraries [JCDL 2002 Workshop]. Springer 2002, ISBN 3-540-00247-2
Kastens, K. A., & Holzman, N. (2006). The digital library for earth system education provides individualized reports for teachers on the effectiveness of educational resources in their own classrooms. D-Lib Magazine, 12(1). Retrieved January 18, 2006, from http://www.dlib.org/dlib/january06/kastens/01kastens.html
77. Entlich, Richard G., Lorrin R. Garson, and Michael Lesk. 1996. "Testing a Digital Library: User Response to the CORE Project." Library Hi Tech. Vol 14 No. 4 p. 99-118
Khoo, M. (2001). Community design of DLESE’s collections review policy: A technological frames analysis. Proceedings of the 1st ACM/IEEE-CS Joint Conference on Digital Libraries, 157-164. Retrieved December 23, 2005, from ACM Digital Library database.
78. Esteban, Alberto Diaz, Pablo Gervás Gómez-Navarro, and Antonio García Jiménez. 2000. "Evaluating a User-Model Based Personalisation Architecture for Digital News Services." Lecture Notes in Computer Science. 1923. p. 259-268. José Luis Borbinha, Thomas Baker (Eds.): Research and Advanced Technology for Digital Libraries, 4th European Conference, ECDL 2000, Lisbon, Portugal, September 18-20, 2000, Proceedings. Springer 2000, ISBN 3-540-41023-6
Kilker, J., & Gay, G. (1998). The social construction of a digital library: A case study examining implications for evaluation. Information Technology and Libraries, 60-70.
182
79. "Final Report of the American Memory User Evaluation, 1991-1993." American Memory Project - Library of Congress - website [http://lcweb2.loc.gov/ammem/usereval.html]
Kramer, E. F. (2005). IUPUI image collection: A usability survey. OCLC Systems & Services, 21(4), 346-359.
80. Ford, Geoffrey. 2001. "Theory and Practice in the Networked Environment: A European Perspective." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 1-22.
Krowne, A., & Halbert, M. (2005). An initial evaluation of automated organization for digital library browsing. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 246-255. Retrieved December 23, 2005, from ACM Digital Library database.
81. Fraser, Bruce T., Charles R. McClure and Emily H. Leahy. 2002. "Toward a Framework for Assessing Library and Institutional Outcomes." in portal: Libraries and the Academy Vol 2. No. 4. p. 505-528.
Kyrillidou, M. & Giersch, S. (2005). Developing the DigiQUAL protocol for digital library evaluation. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital Libraries, 172-173. Retrieved December 23, 2005, from ACM Digital Library database.
82. French, James C. and Allison L. Powell. 2000. "Metrics for Evaluating Database Selection Techniques." World Wide Web. Vol. 3. p. 153-163.
Lancaster, F. W. (1993). If you want to evaluate your library. 2nd ed. Urbana-Champaign: University of Illinois, Graduate School of Library and Information Science.
83. Fuhr, Norbert, Preben Hansen, Michael Mabe, Andras Micsik, and Ingeborg Sølvberg. 2001. "Digital Libraries: A Generic Classification and Evaluation Scheme." Lecture Notes in Computer Science. 2163. p. 187-199. Panos Constantopoulos, Ingeborg Sølvberg (Eds.): Research and Advanced Technology for Digital Libraries, 5th European Conference, ECDL 2001, Darmstadt, Germany, September 4-9, 2001, Proceedings. Springer 2001, ISBN 3-540-42537-3
Lancaster, F. W. (1995). Are evaluation criteria applied to traditional libraries equally applicable to digital libraries? In How we do user-centered design and evaluation of digital libraries: A methodological forum, 37th Allerton Institute, October 29-31, 1995, Monticello, IL. Retrieved August 24, 2002, from http://alexia.lis.uiuc.edu/gslis/allerton/95/lancaster.html
84. Garzotto, Franca, Luca Mainetti, and Paolo Paolini. 1995. "Hypermedia Design, Analysis, and Evaluation Issues." Communications of the ACM. Vol. 38, No. 8. p. 74-86.
Lancaster, F. W. (1997). Evaluation in the context of the digital library. In A. H. Helal & J. W. Weiss (Eds.), Towards a worldwide library: A ten year forecast. Essen: Universitattsbibliothek Essen.
183
85. Goncalves, Marcos Andre, Ganesh Panchanathan, Unnikrishnan Ravindranathan, Aaron Krowne, Edward A. Fox, Filip Jagodzinski, and Lillian Cassel. 2003. "The XML Log Standard for Digital Libraries: Analysis, Evolution, and Deployment." 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 312-314.
Lawrence, S. R., Connaway, L. S., & Brigham, K. H. (2001). Life cycle costs of library collections: Creation of effective performance and cost metrics for library resources. College & Research Libraries, 62(6), 541-553.
86. Goncalves, Marcos Andre, Ming Luo, Rao Shen, Mir Farooq Ali, and Edward A. Fox. 2002. "An XML Log Standard and Tool for Digital Library Logging Analysis." Lecture Notes in Computer Science. 2458. p. 129-143. Maristella Agosti, Constantino Thanos (Eds.): Research and Advanced Technology for Digital Libraries, 6th European Conference, ECDL 2002, Rome, Italy, September 16-18, 2002, Proceedings. Springer 2002, ISBN 3-540-44178-6
Leazer, G. H., Gilliland-Swetland, A. J., & Borgman, C. L. (2000). Evaluating the use of a geographic digital library in undergraduate classrooms: ADEPT. Proceedings of the 5th ACM Conference on Digital Libraries, 248-249. Retrieved December 23, 2005, from ACM Digital Library database.
87. Gorman, Paul, Joan Ash, Mary Lavelle, Jason Lyman, Lois Delcambre, David Maier, Mathew Weaver, and Shawn Bowers. 2000. "Bundles in the Wild: Managing Information to Solve Problems and Maintain Situation Awareness." Library Trends. Vol. 49, no. 2. p. 266-289.
Lesk, M. (1997). Practical digital libraries: Books, bytes, and bucks. San Francisco, CA: Morgan Kaufmann Publishers.
88. Greenstein, Daniel. 2000. "Digital Libraries and Their Challenges." Library Trends. Vol. 49, no. 2. p. 290-303.
Levy, D. M. (2000). Digital libraries and the problem of purpose. Bulletin of the American Society for Information Science, 26(6), 22-25.
89. Greisdorf, Howard and Amanda Spink. 2001. "Median Measure: An Approach to IR Systems Evaluation." Information Processing and Management. Vol. 37 p. 843-857.
Lewis, J. R. (2002). Psychometric evaluation of the PSSUQ using data from five years of usability studies. International Journal of Human-Computer Interaction, 14(3&4), 463-488.
90. Hartland-Fox, Becky and Pete Dalton. 2002. "eVALUED - an evaluation model for e-library developments." ARIADNE. Issue 31.
Lodato, J. (2004). Creating an educational digital library: GROW a National Civil Engineering Education Resource Library. Conference on Human Factors in Computing Systems, 810-824. Retrieved December 23, 2005, from ACM Digital Library database.
184
91. Heath, Fred, Martha Kyrillidou, Duane
Webster, Sayeed Choudhury, Ben Hobbs, Mark Lorie and Nicholas Flores. 2003. "Emerging Tools for Evaluating Digital Library Services: Conceptual Adaptations of LibQUAL+ and CAPM." JoDI: Journal of Digital Information. Vol. 4, No. 2.
Long, H. (2002). An assessment of the current state of digital library evaluation. Unpublished master’s thesis, University of North Carolina at Chapel Hill.
92. Hembise, Celine. 2000. "Appropriation of Legal Information: Evaluation of Data Bases for Researchers." Lecture Notes in Computer Science. No. 1923 p. 445
Long, H., Lage, K., & Cronin, C. (2005). The flight plan of a digital initiatives project, part 2: Usability testing in the context of user-centered design. OCLC Systems & Services, 21(4), 324-345.
93. Herlocker, Jonathan L., Joseph A. Konstan, Loren G. Terveen, and John T. Riedl. 2004. "Evaluating Collaborative Filtering Recommender Systems." ACM Transactions on Information Systems (TOIS) Vol. 22 No. 1 p. 5-53.
Lyman, P. (2001). What is a digital library? The social impact of information artifacts. Digital libraries: Research and practice, 2000, Kyoto, International Conference on, 57-61.
94. Hert, Carol A. 2001. "User-Centered Evaluation and Its Connection to Design." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 155-173.
MacKie-Mason, J. K., & Jankovich, A. L. L. (1997). PEAK: Pricing electronic access to knowledge. Retrieved December 1, 2000, from http://www-personal.umich.edu/~jmm/papers/PEAK/
95. Hill, Linda L., Larry Carver, Mary Larsgaard, Ron Donlin, Terence Smith, James Frew, and Mary-Anna Rae. 2000. "Alexandria Digital Library: User Evaluation Studies and System Design ." Journal of the American Society for Information Science. Vol 51. No. 3. p. 246-59.
MacKie-Mason, J. K., Riveros, J. F., Bonn, M. S., & Lougee, W. P. (1999, July/August). A report on the PEAK experiment: Usage and economic behavior. D-Lib Magazine, 5(7/8). Retrieved May 17, 2002, from http://www.dlib.org/dlib/july99/mackie-mason/07mackie-mason.html
96. Hill, Linda L., Ron Dolin, James Frew, Randall B. Kemp, Mary Larsgaard, Daniel R. Montello, Mary-Anna Rae, and Jason Simpson. 1997. "User Evaluation: Summary of the Methodologies and Results for the Alexandria Digital Library, University of California at Santa Barbara." in ASIS97 Digital Collections: Implications for Users, Funders, Developers and Maintainers - Proceedings of the 60th ASIS Annual
Majka, D. R. (2000). The “great exchange”: The economic promise and peril of the digital library. Bottom Line: Managing Library Finances, 13(2), 68-73.
185
Meeting. Vol. 34. p. 225-243. 97. Hollmann, Jochen, Anders Ardö, Per
Stenström. 2004. "An Evaluation of Document Prefetching in a Distributed Digital Library." Lecture Notes in Computer Science. No. 2769 p. 276-287.
Maly, K., Zubair, M., Balusani, S., Mathur, A., & Sudeep, S. (2002). DL-COTF: An XML based digital library for U.S. Navy’s operational test and evaluation force. Proceedings of the 2002 ACM Symposium on Applied Computing, 493-497. Retrieved December 23, 2005, from ACM Digital Library database.
98. Holmquist, Selma, and N. Hari Narayanan. 2000. "Tightly Coupling Authoring and Evaluation in an Integrated Tool to Support Iterative Design of Interactive Hypermedia Educational Manuals." Proceedings of the Conference on Designing Interactive Systems: Processes, Practices, Methods, and Techniques. New York City, New York p. 155 - 164
Marchionini, G. (2000). Evaluating digital libraries: A longitudinal and multifaceted view . Library Trends, 49(2), 304-333.
99. Hook, Kristina. 1998. "Designing and Evaluating Intelligent User Interfaces." International Conference on Intelligent User Interfaces. Proceedings of the 4th International Conference on Intelligent User Interfaces. Los Angeles, California. p. 5-6
Marchionini, G., & Crane, G. (1994). Evaluating hypermedia and learning: Methods and results from the Perseus project. ACM Transactions on Information Systems, 12(1), 5-34.
100. Hook, Kristina. 1997. "Evaluating the Utility and Usability of an Adaptive Hypermedia System." International Conference on Intelligent User Interfaces. Proceedings of the 2nd International Conference on Intelligent User Interfaces. Orlando, Florida, United States p. 179-86
Marchionini, G., Plaisant, C., & Komlodi, A. (2003). The people in digital libraries: Multifaceted approaches to assessing needs and impacts. In A. P. Bishop, N. A. VanHouse & P. Butterfield (Eds.), Digital library use: Social practice in design and evaluation (pp. 119-160). Cambridge, MA: MIT Press. Retrieved August 27, 2002, from http://ils.unc.edu/~march/revision.pdf
101. Hovater, Jessica, M. Krot, D.L. Kiskis, Ilona Holland and Micah Altman. 2002. Usability Testing of the Virtual Data Center - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
Mathur, M. (2005). Advent of digital libraries and measuring their performance: A review. DESIDOC Bulletin of Information Technology, 25(2), 19-25.
102. Ivory, Melody Y., and Marti A. Hearst. Matson, L. D., & Bonski, D. J.
186
2001. "The State of the Art in Automating Usability Evaluation." ACM Computing Surveys (CSUR), Vol 33 No. 4 p. 470-516.
(1997). Do digital libraries need librarians? Online, 21(6), 87-92.
103. Jacobson, Frances F. and Emily N. Ignacio. 1997. "Teaching Reflection: Information Seeking and Evaluation in a Digital Library Environment." Library Trends. Vol. 45 No. 4 p. 771-802.
McClure, C. R., Snead, J., Thompson, K. M., & Bertot, J. C. (2004). Measures and statistics to assess the Florida Electronic Library (FEL). Tallahassee, FL: School of Information Studies, Florida State University.
104. Janes, Joseph. 2001. "Digital Reference Services in Public and Academic Libraries." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 175-195.
McCray, A. T., & Gallagher, M. E. (2001). Principles for digital library development. Communications of the ACM, 44(5), 49-54.
105. Jansen, Bernard J., Amanda Spink, and Tefko Saracevic. 2000. "Real Life, Real Users, and Real Needs: A Study and Analysis of User Queries on the Web." Information Processing and Management. Vol 36. p. 207-227.
McGillis, L., & Toms, E. G. (2001). Usability of the academic library web site: Implications for design. College & Research Libraries, 62(4), 355-367.
106. Jayawardana, Champa, K. Priyantha Hewagamage, and Masahito Hirakawa. 2001. "A Personalized Information Environment for Digital Libraries." Information Technology and Libraries. Vol. 20. No. 4. p. 185-197.
Mead, J. P., & Gay, G. (1995). Concept mapping: An innovative approach to digital library design and evaluation. ACM SIGOIS Bulletin, 16(2), 10-14.
107. Jones, Casey and Tamara Sumner. 2002. " Evaluation of the National Science Digital Library - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
Meyyappan, N., Foo, S., & Chowdhury, G. G. (2004). Design and evaluation of a task-based digital library for the academic community. Journal of Documentation, 60(4), 449-475.
108. Jones, Steve, and Gordon W. Paynter. 2003. "An Evaluation of Document Keyphrase Sets." Journal of Digital Information. Vol 4 No 1
Morse, E. L. (2002, September). Evaluation methodologies for information management systems. D-Lib Magazine, 8(9). Retrieved September 19, 2002, from http://www.dlib.org/dlib/september02/morse/09morse.html
109. Jones, Steve, and Gordon W. Paynter. 2002. "Automatic Extraction of Document Keyphrases for Use in Digital Libraries: Evaluation and Applications." Journal of the American Society for
Moyo, L. M. (2002). Collections on the web: Some access and navigation issues. Library Collections, Acquisitions, & Technical Services, 26, 47-59.
187
Information Science and Technology. Vol 53 No. 8 p. 653-677.
110. Jones, Steve, Sally Jo Cunningham, Rodger J. McNab, Stefan Boddie. 2000. "A Transaction Log Analysis of a Digital Library." International Journal on Digital Libraries. Vol. 3 No. 2 p. 152-169.
Muller, J. P., & Pischel, M. (1999). Doing business in the information marketplace. Proceedings of the Third Annual Conference on Autonomous Agents, 139-146.
111. Jones, Steve, Sally Jo Cunningham, Rodger J. McNab. 1998. "An Analysis of Usage of a Digital Library." Lecture Notes in Computer Science. p. 261-277. Christos Nikolaou, Constantine Stephanidis (Eds.): Research and Advanced Technology for Digital Libraries, Second European Conference, ECDL '98, Heraklion, Crete, Greece, September 21-23, 1998, Proceedings.
Nielsen, J. (1993). Usability Engineering. Cambridge, MA: Academic Press.
112. Kantor, Paul B. "White Paper." - website [http://www.scils.rutgers.edu/~kantor/dlmetric.html]
Norberg, L. R., Vassiliadis, K., Ferguson, J., & Smith, N. (2005). Sustainable design for multiple audiences: The usability study and iterative redesign of the documenting the American South digital library. OCLC Systems & Services, 21(4), 285-299.
113. Kantor, Paul B. and Tefko Saracevic. 1999. "Quantitative Study of the Value of Research Libraries: A Foundation for the Evaluation of Digital Libraries." in ASIS99 Knowledge: Creation, Organization and Use - Proceedings of the 62nd Annual Meeting of the American Society for Information Science. Vol. 36. p. 407-419.
Odlyzko, A. M. (1998). The economics of electronic journals. Journal of Electronic Publishing, 4(1). http://www.press.umich.edu/jep/04-01/odlyzko.htm. Also appeared in 1997 First Monday 2(8), http://www.firstmonday.dk/ and in R. Ekman and R. Quandt (Eds.), Technology and Scholarly Communication. Berkeley: University of California Press. http://www.research.att.com/~amo.
114. Kassim, Ahmed Rafee Che, and Thomas R. Kochtanek. 2003. "Designing, Implementing, and Evaluating an Educational Digital Library Resource." Online Information Review. Vol. 27 No. 3 p. 160-168.
Pan, B., Gay, G., Saylor, J., Hembrooke, H., Henderson, D. (2004). Usability, learning, and subjective experience: User evaluation of K-MODDL in an undergraduate class. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 188-189. Retrieved December 23,
188
2005, from ACM Digital Library database.
115. Keith, Suzette, Ann Blandford, Bob Fields and Yin Leng Theng. 2002. An Investigation Into the Application of Claims Analysis to Evaluate Usability of a Digital Library Interface - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
Park, S. (2000). Usability, user preferences, effectiveness, and user behaviors when searching individual and integrated full-text databases: Implications for digital libraries. Journal of the American Society for Information Science, 51(5), 456-468.
116. Kengeri, Rekha, Cheryl D. Seals, Hope D. Harley, Himabindu P. Reddy, Eward A. Fox. 1999. "Usability Study of Digital Libraries: ACM, IEEE-CS, NCSTRL, NDLTD." International Journal on Digital Libraries. Vol. 2 No. 2/3 pp. 157-169.
Payette, S. D., & Rieger, O. Y. (1997, April). The user’s perspective. D-Lib Magazine. Retrieved May 17, 2002, from http://www.dlib.org/dlib/april97/cornell/04payette.html
117. Khoo, Michael. 2001. "Ethnography, Evaluation, and Design as Integrated Strategies: A Case Study from WES." Lecture Notes in Computer Science. 2163. p. 263-274. Panos Constantopoulos, Ingeborg Sølvberg (Eds.): Research and Advanced Technology for Digital Libraries, 5th European Conference, ECDL 2001, Darmstadt, Germany, September 4-9, 2001, Proceedings. Springer 2001, ISBN 3-540-42537-3
Peterson, Elaine. (May 2005). Evaluation of digital libraries using snowball sampling. First Monday, 10(5). Retrieved May 3, 2005, from http://firstmonday.org/issues/issue10_5/peterson/index.html
118. Kibirige, Harry M. 2000. "Telecommunications Alternatives in Accessing Image Intensive Digital Libraries." Vol. 18, No. 5. p. 347-353.
Quam, E. (2001). Informing and evaluating a metadata initiative: Usability and metadata studies in Minnesota’s Foundations Project. Government Information Quarterly, 18(3), 181-194.
119. Kilker, Julian and Geri Gay. 1998. "The Social Construction of a Digital Library: A Case Study Examining Implications for Evaluation." Information Technology and Libraries. Vol. 17, No. 2. p. 60-70.
Quijano-Solís, Á., & Novelo-Peña, R. (2005). Evaluating a monolingual multinational digital library by using usability: An exploratory approach from a developing country. International Information & Library Review, 37(4), 329-336.
120. Kim, Kyunghye. 2002. " A Model-Based Approach to Usability Evaluation for Digital Libraries ." - JCDL'02 Workshop on Usability of Digital Libraries. Joint
Reeves, T., C., Buhr, S., & Barker, L. (2005). Evaluating digital libraries. Proceedings of the 5th ACM/IEEE-CS Joint Conference on Digital
189
Conference on Digital Libraries - July 18, 2002, Portland Oregon.
Libraries, 420. Retrieved December 23, 2005, from ACM Digital Library database.
121. Kirkpatrick, Andrew. 2003. "Accessibility in Digital Libraries." (PowerPoint - Use Explorer) Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact - NSDL Annual Meeting, Washington DC
Roda, C., Borel, A. M., Gentchev, E., & Thomas, J. (2005). Digital image library development in academic environment: Designing and testing usability. OCLC Systems & Services, 21(4), 264-284.
122. Klas, Claus-Peter, Norbert Fuhr, and André Schaefer. 2004. "Evaluating Strategic Support for Information Access in the DAFFODIL System." Lecture Notes in Computer Science. No. 3232 p. 476
Sairamesh, J., Nikolaou, C., Ferguson, D., & Yemini, Y. (1996). Economic framework for pricing and charging in digital libraries. D-Lib Magazine, 2(2). Retrieved May 17, 2002, from http://www.dlib.org/dlib/february96/forth/02sairamesh.html.
123. Komlodi, Anita, Nadia Caidi, and Kristin Wheeler. 2004. "Cross-Cultural Usability of Digital Libraries." Lecture Notes in Computer Science. No. 3334 p. 584
Saracevic, T. (1995). Evaluation of evaluation in information retrieval . Proceedings of the Association for Computing Machinery Special Interest Group on Infomration Retrieval (ACM/SIGIR). (pp. 138-146). 18th Annual International Conference on Research and Development in Information Retrieval, July 9-13, Seattle, WA. New York: ACM.
124. Kurtz, Michael J., Eichhorn Guenther, Alberto Accomazzi, Carolyn S. Grant, Markus Demleitner, and Stephen S. Murray. 1999. "The NASA ADS Abstract Service and the Distributed Astronomy Digital Library." D-Lib Magazine. Vol. 5, No. 11.
Saracevic, T. (2000). Digital library evaluation: Toward an evolution of concepts. Library Trends, 49(2), 350-369. Available at http://scils.rutgers.edu/~tefko/LibraryTrends2000.pdf
125. Kwak, Byeong Heui, Woochun Jun, Le Gruenwald, and Suk-Ki Hong. 2002. "A Study on the Evaluation Model for University Libraries in Digital Environments." Lecture Notes in Computer Science. 2458. p. 204-217. Maristella Agosti, Constantino Thanos (Eds.): Research and Advanced Technology for Digital Libraries, 6th European Conference, ECDL 2002, Rome, Italy, September 16-18, 2002,
Saracevic, T. (2004). Evaluation of digital libraries: An overview. Presented at the DELOS Workshop on the Evaluation of Digital Libraries. Retrieved May 9, 2006, from http://www.scils.rutgers.edu/~tefko/DL_evaluation_Delos.pdf
190
Proceedings. Springer 2002, ISBN 3-540-44178-6
126. Landoni, Monica and Paloma Diaz. 2003. "E-education: Design and Evaluation for Teaching and Learning." Journal of Digital Information. Vol. 3 No 4
Saracevic, T., & Dalbello, M. (2001). A survey of digital library education. Proceedings of the American Society for Information Science and Technology, 38, 209-223.
127. Lankes, David. 2001. "Assessing the Provision of Networked Services: ERIC as an Example." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 67-83.
Schwartz, C. (2000). Digital libraries: An overview. Journal of Academic Librarianship, 26(6), 385-393.
128. Larsen, Ronald L. 2002. "The DLib Test Suite and Metrics Working Group: Harvesting the Experience from the Digital Library Initiative." - website [http://www.dlib.org/metrics/public/papers/The_Dlib_Test_Suite_and_Metrics.pdf]
Shiaw, H. Y., Jacob, R. J. K., & Crane, G. R. (2004). The 3D Vase Museum: A new approach to context in a digital library. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 125-134. Retrieved December 23, 2005, from ACM Digital Library database.
129. Lazar, Johathan and Jennifer Preece. 2001. "Using Electronic Surveys to Evaluate Networked Resources: From Idea to Implementation." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 137-154.
Shim, W., & Kantor, P. (1999). Evaluation of digital libraries: A DEA approach. Proceedings of the 62nd ASIS Annual Meeting, 36, 605-615.
130. Leazer, Gregory H., Anne J. Gilliland-Swetland, and Christine L. Borgman. 2000. "Evaluating the Use of a Geographic Digital Library in Undergaduate Classrooms: ADEPT." International Conference on Digital Proceedings of the Fifth ACM Conference on Digital Libraries Table of Contents. San Antonio, Texas.
Shim, W., & Kantor, P. B. (1998). A novel economic approach to the evaluation of academic research libraries. Retrieved September 24, 2002, from http://scils.rutgers.edu/ci/aplab/reports/dea_asis98.html
131. Lee, Yang W., Diane M. Strong, Beverly K. Kahn, and Richard Y. Wang. 2002. "AIMQ: A Methodology for Information Quality Assessment." Information & Management. Vol. 40 p. 133-46.
Sistla, A. P., Wolfson, O., Yesha, Y., & Sloan, R. H. (1999). Towards a theory of cost management for digital libraries and electronic commerce. ACM Transactions on Database Systems, 23(4), 411-452.
132. Leouski, Anton, and James Allan. 1998. Snead, J. T., Bertot, J. C., Jaeger,
191
"Evaluating a Visual Navigation System for a Digital Library." Lecture Notes in Computer Science. p. 535-554. Christos Nikolaou, Constantine Stephanidis (Eds.): Research and Advanced Technology for Digital Libraries, Second European Conference, ECDL '98, Heraklion, Crete, Greece, September 21-23, 1998, Proceedings
P. T., & McClure, C. R. (2005). Developing multi-method, iterative, and user-centered evaluation strategies for digital libraries: Functionality, usability, and accessibility. Paper presented at 2005 Annual Meeting of the American Society for Information Science & Technology. Retrieved March 9, 2006, from http://www.ii.fsu.edu/presentation/digilib_asist2005.pdf
133. Liddy, Elizabeth D., Eileen E. Allen, Christina M. Finneran, Geri Gay, Helene Hembrooke, and Laura Granka. 2003. "MetaTest: Evaluation of Metadata from Generation to Use." Poster Session: 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 398
Snowhill, L. (2001, July/August). E-books and their future in academic libraries. D-Lib Magazine, 7(7/8). Retrieved August 21, 2002, from http://www.dlib.org/dlib/july01/snowhill/07snowhill.html
134. LiLiew, C. 2004. "Cross-cultural Design and Usability of a Digital Library Supporting Access to Maori Cultural Heritage Resources: An Examination of Knowledge Organization Issues." Advances in Knowledge Organization. Vol. 9 p. 127-132.
Suleman, H., & Fox, E. A. (2001, December). A framework for building open digital libraries. D-Lib Magazine, 7(12). Retrieved August 15, 2002, from http://www.dlib.org/dlib/december01/suleman/12suleman.html
135. Long, Holley. 2002. "An Assessment of the Current State of Digital Library Evaluation." Master's Paper. University of North Carolina at Chapel Hill.
Sumner, T., & Marlino, M. (2004). Digital libraries and educational practice: A case for new models. Proceedings of the 4th ACM/IEEE-CS Joint Conference on Digital Libraries, 170-178. Retrieved December 23, 2005, from ACM Digital Library database.
136. Lochore, Stephen. 2004. "How Good are the Free Digital Reference Services? A Comparison of Library-Based and Expert Services." Library Review. Vol. 53 No. 1 p. 24-29.
Sumner, T., Giersch, S., & Jones, C. (2003). Steps towards establishing shared evaluation goals and procedures in the National Science Digital Library. Proceedings of the 3rd ACM/IEEE-CS Joint Conference on Digital Libraries, 407. Retrieved December 23, 2005, from ACM Digital Library database.
192
137. Lopez, Manuel J. Maña, Manuel de Buenaga Rodríguez, and José María Gómez Hidalgo. 1999. "Using and Evaluating User Directed Summaries to Improve Information Access." Lecture Notes in Computer Science. 1696. p. 198-214. Serge Abiteboul, Anne-Marie Vercoustre (Eds.): Research and Advanced Technology for Digital Libraries, Third European Conference, ECDL'99, Paris, France, September 22-24, 1999, Proceedings. Springer 1999, ISBN 3-540-66558-7
Sumner, T., Khoo, M., Recker, M., & Marlino, M. (2003). Understanding educator perceptions of “quality” in digital libraries. Proceedings of the 3rd ACM/IEEE-CS Joint Conference on Digital Libraries, 269-279. Retrieved December 23, 2005, from ACM Digital Library database.
138. Lowe, David B., Andrew J. Bucknell, and Richard G. Weddy. 1999. "Improving Hypermedia Development: a Reference Model-Based Process Assessment Method." Proceedings of the Tenth ACM Conference on Hypertext and Hypermedia : Returning to Our Diverse Roots. Darmstadt, Germany. February 1999. p. 139-146.
Talbot, D., Lowell, G. R., & Martin, K. (1998). From the user’s perspective – The UCSD libraries user survey project. Journal of Academic Librarianship, 24(5), 357-364.
139. Lynch, Clifford. 2001. "Measurement and Evaluation in the Networked Information World." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 293-326.
Thaller, M. (2001, February). From the digitized to the digital library. D-Lib Magazine, 7(2). Retrieved August 15, 2002, from http://www.dlib.org/dlib/february01/thaller/02thaller.html
140. MacCall, Steven L., Ana D. Cleveland, and Ian E. Gibson. 1999. "Outline and Preliminary Evaluation of the Classical Digital Library Model." Proceedings of the ASIS Annual Meeting. Vol 36 p. 33-46
Thong, J. Y. L., Hong, W., & Tam, K. Y. (2004). What leads to user acceptance of digital libraries? Communications of the ACM, 47(11), 79-83.
141. Madle, Gemma, Patty Kostkova, Jane Mani-Saada and Julius R. Weinberg. 2004. "Evaluating the Changes in Knowledge and Attitudes of Digital Library Users." Lecture Notes in Computer Science. No. 2769 p. 29-40
Unruh, K. T., Pettigrew, K. E., Durrance, J. C. (2002). Evaluation of digital community information systems. Proceedings of the 2nd ACM/IEEE-CS Joint Conference on Digital Libraries, 240-241. Retrieved December 23, 2005, from ACM Digital Library database.
142. Mahoui, Malika and Sally Jo Cunningham. 2001. "Search Behavior in a Research-Oriented Digital Library." Lecture Notes in Computer Science. 2163. p. 13-24. Panos Constantopoulos, Ingeborg Sølvberg (Eds.): Research and
Wolfram, D., & Xie, H. (2002). Traditional IR for web users: A context for general audience digital libraries. Information Processing and Management, 38, 627-648.
193
Advanced Technology for Digital Libraries, 5th European Conference, ECDL 2001, Darmstadt, Germany, September 4-9, 2001, Proceedings. Springer 2001, ISBN 3-540-42537-3
143. Mahoui, Malika and Sally Jo Cunningham. 2000. "A Comparative Transaction Log Analysis of Two Computing Collections." Lecture notes in Computer Science. 2163. p. 418-423. José Luis Borbinha, Thomas Baker (Eds.): Research and Advanced Technology for Digital Libraries, 4th European Conference, ECDL 2000, Lisbon, Portugal, September 18-20, 2000, Proceedings. Springer 2000, ISBN 3-540-41023-6
Xie, H. I. (2006). Evaluation of digital libraries: Criteria and problems from users' perspectives. Library & Information Science Research, 28(3), 433-452.
144. Manduca, C.A., McMartin, F.P. and Mogk, D.W. 2001. Pathways to Progress: Vision and Plans for Developing the NSDL, National Science, Mathematics, Engineering, and Technology (SMET) Education Digital Library (NSDL)." - http://nsdl.comm.nsdlib.org/Comm.Center_Archive/workgroups/whitepaper.pdf. Evaluation discussed on p. 20-21.
Yang, S. C. (2001). An interpretive and situated approach to an evaluation of Perseus digital libraries. Journal of the American Society for Information Science and Technology, 52 (14), 1210-1223.
145. Marchionini, Gary. 2000. "Evaluating Digital Libraries: A Longitudinal and Multifaceted View." Library Trends. Vol. 49. No. 2. p. 304-333 --- Online copy at http://www.ils.unc.edu/~march/perseus/lib-trends-final.pdf
Zahray, W. P., & Sirbu, M. (1989/90). The provision of scholarly journals by libraries via electronic technologies: An economic analysis. Information Economics and Policy, 4, 127-154.
146. Marchionini, Gary. 1998. "Interfaces and Tools for the Library of Congress National Digital Library Program." Information Processing & Management. Vol. 34, No. 5. p. 535-555.
147. Marchionini, Gary, Catherine Plaisant, and Anita Komlodi. 1999. "The People in Digital Libraries: Multifaceted Approaches to Assessing Needs and Impact." - website [http://www.ils.unc.edu/~march/revision.pdf]
148. Marchionini, Gary. 1995. "User-Centered Methods for Library Interface Design." ACM SIGOIS Bulletin. Vol 16 No. 2 p. 34-36.
194
149. Marchionini, Gary and Gregory Crane. 1994. "Evaluating Hypermedia and Learning: Methods and Results from the Perseus Project." ACM Transactions on Information Systems. Vol. 12, No. 1. p. 5-34.
150. Marcondes, Carlos Henrique and Luis Fernando Sayão. 2003. "Brazilian Digital Library of Theses and Dissertations." The International Information & Library Review. Vol. 35 No. 2-4 p. 265-279.
151. Matylonek, John. 2002. " Maintaining Quality of Library Web Sites Using Cluster and Path Analysis." LIBRES: Library and Information Science Research Electronic Journal. Vol. 12, No. 1.
152. Matylonek, John. 2001. "The Design of Complex Library Web Sites." Transforming Traditional Libraries. Vol. 1, No. 2
153. McClure, Charles R. 2002. "Assessing Quality in Digital Reference" - website at http://quartz.syr.edu/quality/
154. McClure, Charles R. and John C. Bertot. 2001. Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today.
155. McClure, Charles R. and J. Timothy Sprehe. 2001. "Using U.S. Information Policies to Evaluate Federal Web Sites." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 255-292.
156. McClure, Charles R., R. David Lankes, Melissa Gross, and Beverly Choltco-Devlin. 2002. Statistics, Measures, and Quality Standards for Assessing Digital Reference Library Services: Guidelines and Procedures. Syracuse, N.Y.: Information Institute of Syracuse, School of Information Studies, Syracuse University. - Draft Copy at http://quartz.syr.edu/quality/Field_Test_Draft.pdf
157. McCrea, Richard. 2004. "Evaluation of Two Library-Based and One Expert Reference Service on the Web." Library
195
Review. Vol. 53 No. 1 p. 11-16. 158. McMullen, Susan. 2001. "Usability
Testing in a Library Web Site Redesign Project." Reference Services Review. Vol. 29, No. 1. p. 7-22.
159. Melucci, Massimo, and Nicola Orio. 2002. "Evaluating Automatic Melody Segmentation Aimed at Music Information Retrieval." JCDL 2003 - Joint Conference on Digital Libraries - July 13-17, 2002, Portland, Oregon.
160. Mendonca, E.A. and J.J. Cimino. 1999. "Evaluation of the Information Sources Map." Proceedings: AMIA Symposium. p. 873-877
161. Meyyappan, N, Schubert Foo, G.G. Chowdhury. 2004. "Design and Evaluation of a Task-Based Digital Library for the Academic Community." Journal of Documentation. Vol. 60 No. 4 p. 449-475.
162. Moen, William. 2001. "Assessing Interoperability in the Networked Environment: Standards, Evaluation, and Testbeds in the Context of Z39.50." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 85-109.
163. Moen, William E., Charles R. McClure. 1997. "An Evaluation of the Federal Government’s Implementation of the Government Information Locator Service (GILS)." submitted to General Services Administration Office of Information Technology Integration. Washington, DC.
164. Monopoli, Maria, David Nicholas, Panagiotis Georgiou, Marina Korfiati. 2002. "A User-Oriented Evaluation of Digital Libraries: Case Study the "Electronic Journals" Service of the Library and Information Service of the University of Patras, Greece. Aslib Proceedings. Vol. 54 No. 2 p. 103-117.
165. Morse, Emile. 2002. "Evaluation Methodologies for Information Management Systems" D-Lib Magazine. Vol. 8, No. 9
166. Mowshowitz, Abbe and Akira
196
Kawaguchi. 2002. "Assessing Bias in Search Engines." Information Processing and Management. Vol. 38 p. 141-156.
167. Mudrock, Theresa. 2002. "Revising Ready Reference Sites: Listening to Users through Server Statistics and Query Logs." Reference & User Services Quarterly. Vol. 42, No. 2. p. 155-63.
168. Mukaiyama, Hiroshi. 2000 "A Large Scale Component-Based Multi-media Digital Library System: Development Experience and User Evaluation." Lecture Notes in Computer Science. No. 1923 p. 336
169. Musante, Susan. 2003. "Evaluating MicrobeLibrary on Many Levels: Library Use, User Needs, Accessibility Issues, and Educational Impact." (PowerPoint - Use Explorer) Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact - NSDL Annual Meeting, Washington DC
170. Nicholas, David, Paul Huntington, Peter Williams and Tom Dobrowolski. 2004. "Re-Appraising Information Seeking Behaviour in a Digital Environment: Bouncers, Checkers, Returnees and the Like
171. Nicholas, David, Paul Huntington, Nat Lievesley, and Richard Withey. 1999. "Cracking the Code: Web Log Analysis." Online & CD-ROM Review. Vol. 23 No. 5. p. 263-69.
172. Nitecki, Danuta A., and William Rando. 2004. "A Library and Teaching Center Collaboration to Assess the Impact of Using Digital Images on Teaching, Learning, and Library Support." VINE. Vol. 34 No. 3 p. 119-125.
173. Nowick, Elaine. 2001. " Using Server Logfiles to Improve Website Design." Library Philosophy and Practice. Vol. 4, No. 1.
174. NSDL. 2003. " Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact" NSDL Annual
197
Meeting 2003 175. O'Donnell, James J.. 2000. "LC21 -
Hopes and Cautions for the Library of Congress." D-Lib Magazine. Vol. 6 No. 10
176. Palmer, David and Bridget Robinson. 2000. "Agora: the hybrid library from a users perspective." ARIADNE. Issue 26.
177. Pang, Natalie Lee-San and Pang-Leang Hiew. 2004. "Assessing Users, Uses, and Usage of a Collaborated Digital Library." Lecture Notes in Computer Science. No. 3334 p. 666
178. Parsons, Ann Marie. 2000. "The Trouble with Tools: Designing Effective Survey Mechanisms." Digital Library Federation Newsletter. Volume 1 Number 2 July 2000
179. Peng, Lew Kan, Chennupati K Ramaiah and Schubert Foo. 2004. "Heuristic-Based User Interface Evaluation at Nanyang Technological University in Singapore." Program: Electronic Library & Information Systems. Vol. 38 No. 1 p. 42-59.
180. Perlman, Gary. 1994. "Practical Usability Evaluation." Conference on Human Factors and Computing Systems. Conference Companion on Human Factors in Computing Systems. Boston, Massachusetts. p. 407-08
181. Perlman, Gary, Dennis E. Egan, Kate Ehrlich, Gary Marchionini, Jakob Nielsen, and Ben Shneiderman. 1990. Panel - "Evaluating Hypermedia Systems." Conference on Human Factors and Computing Systems. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems: Empowering People. Seattle, Washington. p 387-90
182. Perlman, Gary. 1989. "Asynchronous Design/Evaluation Methods for Hypertext Technology Development." Conference on Hypertext and Hypermedia - Proceedings of the Second Annual ACM Conference on Hypertext. Pittsburgh, Pennsylvania, United States p. 61-81.
198
183. Peters, Thomas. 2000. "Assessing Digital Library Services." Library Trends. Vol. 49. No. 2. p. 221-227.
184. Peters, Thomas. 2000. "Current Opportunities for the Effective Meta-Assessment of Online Reference Services." Library Trends. Vol. 49. No. 2. p. 334-349.
185. Peterson, Elaine and Vicky York. 2003. "User Evaluation of the Montana Natural Resource Information System (NRIS): In-Depth Evaluation of Digital Collections Using Snowball Sampling and Interviews." D-Lib Magazine. Vol. 9 No. 7/8
186. Petrie, Helen, Sarah Morley, Peter McNally, Anne-Marie O'Neill, and Dennis Majoe. 1997. "Initial Design and Evluation of an Interface to Hypermedia Systems for Blind Users." Conference on Hypertext and Hypermedia. Proceedings of the Eighth ACM Conference on Hypertext. Southampton, United Kingdom. p. 48-56
187. Pitkow, James E. and Krishna A Bharat. 1994. "Webviz: A Tool For World-Wide Web Access Log Analysis."
188. Polydoratou, Panayiota, Michael Pendalton, David Nichols. 2002. "The Use and Functionality of the Environmental Data Registry: An Evaluation of User Feedback." Lecture Notes in Computer Science 2555. p. 406-418. Ee-Peng Lim, Schubert Foo, Christopher S. G. Khoo, Hsinchun Chen, Edward A. Fox, Shalini R. Urs, Costantino Thanos (Eds.): Digital Libraries: People, Knowledge, and Technology, 5th International Conference on Asian Digital Libraries, ICADL 2002 Singapore, December 11-14, 2002, Proceedings. Springer 2002, ISBN 3-540-00261-8
189. Pottenger, William M., Bruce R. Schatz, Duncan H. Lawrie, and Robert E. McGrath. 1998. "Evaluation of Concept Space and Category Map Semantic Indexes." CANIS Community Systems Laboratory. University of Illinois at
199
Urbana-Champaign - website [http://www.canis.uiuc.edu/~billp/metricsWG-position.html]
190. Quam, Eileen. 2001. "Informing and Evaluating a Metadata Initiative: Usability and Metadata Studies in Minnesota's Foundations Project." Government Information Quarterly. vol 18 p. 181-94.
191. Quintana, Yuri, Mohamed Kamel, and Rob McGeachy. 1993. "Formal Methods for Evaluating Information Retrieval in Hypertext Systems." Annual ACM Conference on Systems Documentation - Proceedings of the 11th Annual International Conference on Systems Documentation. Waterloo, Ontario, Canada p. 259-72.
192. Ragains, Patrick. 2001. "A Primer on Developing and Using Course-Related Library Web Pages." Research Strategies. Vol. 18 p. 85-93.
193. Rapp, David N., Holly A. Taylor, and Gregory R. Crane. 2003. "The Impact of Digital Libraries on Cognitive Processes: Psychological Issues of Hypermedia." Computers in Human Behavior. Vol 19 p. 609-628.
194. Redalen, Aaron and Naomi Miller. 2000. "Evaluating Website Modifications at the National Library of Medicine through Search Log Analysis" D-Lib Magazine Vol 6 No 1 (January 2000).
195. Reeves, T.C. and J. G. Hedberg. 2003. "Interactive learning systems evaluation." Englewood Cliffs, NJ: Educational Technology Publications.
196. Reeves, T. C., X. Apedoe, X, and Y. Woo. 2004. Evaluating digital libraries: A user-friendly guide. NSDL, Educational Impact and Evaluation Standing Committee
197. Rehman, Sajjad ur, and Vivian Ramzy. 2004. "Awareness and Use of Electronic Information Resources at the Health Sciences Center of Kuwait University." Library Review. Vol. 53 No. 3 p. 150-156.
198. Renninger, K. Ann. 2003. " The Math
200
Forum/Math Tools: Evaluation." (PowerPoint - Use Explorer) Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact - NSDL Annual Meeting, Washington DC
199. Rieger, Robert, and Geri Gay. 1999. "Tools and Techniques in Evaluating Digital Imaging Projects." RLG DigiNews. June 15, 1999, Vol. 3. No. 3.
200. Rosenstein, Mark. 2000. "What is Actually Taking Place on Web Sites: E-Commerce Lessons from Web Server Logs." Proceedings of the 2nd ACM Conference on Electronic Commerce. Minneapolis, Minnesota p. 38-43.
201. Rousseau, Gabriel K., Brian A. Jamieson, Wendy A. Rogers, Sherry E. Mead and Richard A. Sit. 1998. "Assessing the Usability of On-Line Library Systems." Behaviour & Information Technology. Vol. 17 No. 5 p. 274-81.
202. Roussel, Francis, Stefan J. Darmoni, and Benoit Thirion. 2001. "Cost Effectiveness of a Medical Digital Library." Medical Informatics and the Internet in Medicine. Vol. 26 No. 4 p. 325-30.
203. Rubin, Jeffrey H. 2001. "Introduction to Log Analysis Techniques: Methods for Evaluating Networked Services." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 197-212.
204. Ryan, Joe, Charles R. McClure, John C. Bertot. 2001. "Choosing Measures to Evaluate Networked Information Resources and Services: Selected Issues." in Evaluating Networked Information Services : Techniques, Policy, and Issues. Medford, N.J.:Information Today. p. 111-135.
205. Salampasis, Michail, Konstantinos I. Diamantaras. 2002. "Experimental User-Centered Evaluation of an Open Hypermedia System and Web Information Seeking Environments." Journal of Digital Information. Vol 2 No
201
4. 206. Salampasis, Michail. 1998. "Evaluation
of Information-Seeking Performance in Hypermedia Digital Libraries." Interacting with Computers. Vol. 10. No. 3. p. 269-284.
207. Sandusky, Robert J. 2002. " Digital Library Attributes: Framing Usability Research ." - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
208. Saracevic, Tefko. 2000. "Digital Library Evaluation: Toward an Evolution of Concepts" Library Trends. Vol. 49. No. 2. p. 350-369.
209. Saracevic, Tefko, and Lisa Covi. 2000. "Challenges for Digital Library Evaluation." in ASIS2000 Knowledge Innovations: Celebrating Our Heritage, Designing Our Future. - Proceedings of the 63rd Annual Meeting of the American Society for Information Science. Draft Copy
210. Savoy, Jacques and Justin Picard. 2001. "Retrieval Effectiveness on the Web." Information Processing & Management. Vol. 37 p. 543-569.
211. Seadle, Michael. 2003. "Outcome-Based Evaluation." Library Hi Tech. Vol. 21 No. 1. p. 5-7.
212. Seadle, Michael. 2000. "Project Ethnography: An Anthropological Approach to Assessing Digital Library Services." Library Trends. Vol. 49. No. 2. p. 370-385.
213. Sellen, Mary and Brenda Hazard. 2001. "User Assessment of Electronic Reserves and Implications for Digital Libraries." Journal of Interlibrary Loan. Vol. 12. No. 1. p. 73-83.
214. Sfakakis, Michalis and Sarantos Kapidakis. 2002. "User Behavior Tendencies on Data Collections in a Digital Library." Lecture Notes in Computer Science. 2458. p. 550-559. Maristella Agosti, Constantino Thanos (Eds.): Research and Advanced Technology for Digital Libraries, 6th European Conference, ECDL 2002,
202
Rome, Italy, September 16-18, 2002, Proceedings. Springer 2002, ISBN 3-540-44178-6
215. Shim, Wonsik and Paul B. Kantor. 1999. "Evaluation of Digital Libraries: A DEA Approach." in ASIS99 Knowledge: Creation, Organization and Use - Proceedings of the 62nd Annual Meeting of the American Society for Information Science. Vol 36. p. 605-615.
216. Shiri, Ali, Nicholson, Dennis, and Emma McCulloch. 2004. "User Evaluation of a Pilot Terminologies Server for a Distributed Multi-Scheme Environment." Online Information Review. Vol. 28 No. 4 p. 273-283.
217. Song, Ji Hee, and George M. Zinkhan. 2003. "Features of Web Site Design, Perceptions of Web Site Quality, and Patronage Behavior." Proceedings of the Annual Meeting of the Association of Collegiate Marketing Educators.
218. Spasser, Mark A. 2002. "Realist Activity Theory for Digital Library Evaluation: Conceptual Framework and Case Study." Computer Supported Cooperative Work (CSCW). Vol 11. No. 1 January 2002 p. 81-110
219. Spink, Amanda. 2002. "A User-Centered Approach to Evaluating Human Interaction with Web Search Engines: An Exploratory Study." Information Processing and Management. Vol. 38 p. 401-426.
220. Stelmaszewska, Hanna and Ann Blandford. 2002. " Patterns of Interactions: User Behaviour in Response to Search Results ." - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
221. Stoeffler, Matt and James Reed. 2002. " A User Study of Multi-Collection Text Retrieval ." - JCDL'02 Workshop on Usability of Digital Libraries. Joint Conference on Digital Libraries - July 18, 2002, Portland Oregon.
222. Su, L.T. 1992. "Evaluation Measures for Interactive Information Retrieval."
203
Information Processing & Management. Vol 28, No. 4 p. 503-16.
223. Sumner, Tamara, Michael Khoo, Mimi Recker, and Mary Marlino. 2003. "Understanding Educator Perceptions of 'Quality' in Digital Libraries." 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 269-279.
224. Sumner, Tamara, Sarah Giersch, and Casey Jones. 2003. "Steps Towards Establishing Shared Evaluation Goals and Procedures in the National Science Digital Library." Poster Session: 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 407.
225. Sumner, Tamara, Sonal Bhushan, Faisal Ahmad, and Lynne Davis. 2003. "A Comparison of Two Educational Resource Discovery Systems." Poster Session: 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 408.
226. Sumner, Tamara, Melissa Dawe, and Holly Devaul. 2002. "Creating Reusable Education Components: Lessons from DLESE." Journal of Geoscience Education. Vol. 50 No. 1 pp. 25-30.
227. Sumner, Tamara, and Melissa Dawe. 2001. "Looking at Digital Library Usability from a Reuse Perspective." JCDL 2001 June 24-28. Proceedings of the first ACM/IEEE-CS joint conference on Digital libraries 2001 , Roanoke, Virginia (ACM Digital Library). p. 416-425
228. Tang, Muh-Chyun, and Ying Sun. 2003. "Evaluation of Web-Based Search Engines Using User-Effort Measures." LIBRES: Library and Information Science Research Electronic Journal Vol. 13 No. 2
229. Taniguchi, Toshio. 2003. "Digital Library Evaluation." The Journal of Information Science and Technology Association.
204
Vol. 53 No. 12 pp. 602-608. 230. Teng, Xia, Brandon Muramatsu, Jian
Wei Zhang, Joseph G. Tront, Flora McMartin, and Alice Agogino. 2004. Lecture Notes in Computer Science. No. 3143 p. 2004
231. Unruh, K.T., K.E. Pettigrew, and J.C. Durance. 2002. "Evaluation of Digital Community Information Systems." International Conference on Digital Libraries. Proceedings of the Second ACM/IEEE-CS Joint Conference on Digital Libraries. 2002 , Portland, Oregon. (ACM Digital Library)
232. Van Waes, Luuk. 1998. "Evaluating On-Line and Off-Line Searching Behavior Using Thinking-Aloud Protocols to Detect Navigation Barriers." Annual ACM Conference on Systems Documentation - Proceedings of the 16th Annual International Conference on Computer Documentation. Quebec, Quebec, Canada p. 180-83.
233. Viles, Charles L. and James C. French. 1999. "Content Locality in Distributed Digital Libraries." Information Processing & Management. Vol. 35. p. 317-336.
234. Waard, Jewel. 2003. "A Quantitative Analysis of Unqualified Dublin Core Metadata Element Set Usage within Data Providers Registered with the Open Archives Initiative." 2003. 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries. p. 315-317.
235. Walker, Christine and Chris Neuhaus. 2003. " Digital Library Evaluation: Measuring Impact, Quantifying Quality, or Tilting at Windmills?." (PowerPoint - Use Explorer) Evaluating Digital Libraries on Many Levels: Library Use, User Needs, Accessibility Issues and Educational Impact - NSDL Annual Meeting, Washington DC
236. Wang, Peiling, William B. Hawk, and Carol Tenopir. 2000. "Users' Interaction with World Wide Web Resources: An Exploratory Study Using a Holistic
205
Approach." Information Processing and Management. Vol. 36 p. 229-51.
237. Weiss-Lijn, Janet T. McDonnell, and Leslie James. 2002. "An Empirical Evaluation of the Interactive Visualization of Metadata to Support Document Use." Lecture Notes in Computer Science. 2539. p. 50-64. Katy Börner, Chaomei Chen (Eds.): Visual Interfaces to Digital Libraries [JCDL 2002 Workshop]. Springer 2002, ISBN 3-540-00247-2
238. Wiil, Uffe Kock. 1998. "Evaluating Hyperdisco as an Infrastructure for Digital Libraries" The Danish National Centre for IT Research. In Proceedings of the ACM Symposium on Applied Computing (SAC '98)- website [http://www.cs.aue.auc.dk/~kock/Publications/HyperDisco/sac98.pdf]
239. Wildemuth, Barbara M., Gary Marchionini, Meng Yang, Gary Geisler, Todd Wilkens, Anthony Hughes and Richard Gruss. 2003. "How Fast Is Too Fast? Evaluating Fast Forward Surrogates for Digital Video." 2003 Joint Conference on Digital Libraries, Rice University, Houston, Texas, May 27-31 2003, IEEE Technical Committee on Digital Libraries p. 221-230.
240. Williams, D.D. and T.C. Wilson. 2002. "An Illustration of the Need for Situational Responsiveness in Technology-Related Evaluations." Evaluation and Program Planning Vol. 25 p. 95-100
241. Williams, Michael. 1998. "An Evaluation of Passage-Level Indexing Strategies for a Technical Report Archive" LIBRES: Library and Information Science Research. Vol. 8, No. 1.
242. Wilson, Ruth and Monica Landoni. 2001. "Evaluating Electronic Textbooks: A Methodology." Lecture Notes in Computer Science. 2163. p. 1-12. Panos Constantopoulos, Ingeborg Sølvberg (Eds.): Research and Advanced Technology for Digital Libraries, 5th European Conference, ECDL 2001, Darmstadt, Germany,
206
September 4-9, 2001, Proceedings. Springer 2001, ISBN 3-540-42537-3
243. Yamada, Shoji, Jung-Kook Hong, and Shigeharu Sugita. 1995. "Development and Evaluation of Hypermedia for Museum Education: Validation of Metrics." ACM Transactions on Computer-Human Interaction (TOCHI). Vol. 2 , No. 4 p. 284-307
244. Yan, Hongfei, Jianyong Wang, Xiaoming Li and Lin Guo. 2002. "Architectural Design and Evaluation of an Efficient Web-Crawling System." The Journal of Systems and Software. Vol. 60. p. 185-193.
245. Yang, Shu Ching. 2001. "An Interpretive and Situated Approach to an Evaluation of Perseus Digital Libraries." Journal of the American Society for Information Science and Technology. Vol. 52 No. 14 p. 1210-23.
246. Young, Peter R. 1997 "Measurement of Electronic Services in Libraries: Statistics for the Digital Age." Paper presented to the 63rd IFLA General Conference, Copenhagen, Denmark, August 31- September 5, 1997
247. Yu, Liangzhi and Ann Apps. 2000. "Studying E-Journal User Behavior Using Log Files: The Experience of SuperJournal." Library & Information Science Research. Vol. 22. No. 3. p. 311-338.
Fonte: http://www.uni.edu/neuhaus/digitalbibeval.html e http://web.njcu.edu/sites/faculty/jjeng/Content/evaluation_of_digital_library.asp
207
APÊNDICE G – Quadro com bibliografia brasileira sobre bibliotecas digitais localizadas na literatura
Nº BIBLIOGRAFIA DE CUNHA (2009) Definições de biblioteca digital 1. Atkinson, R. Library functions, scholarly communication and the foundation of
the digital libraries: laying claim to the control zone. Library Quartely, v. 66, p. 239
2. Cabrera Facundo, A. M.; Coutín Domínguez, A. Las bibliotecas digitales. Parte I. Consideraciones teóricas. Acimed, v. 13, n. 2, 2005. URL: <http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352005000200004&lng=es&nrm=iso>.
3. Candela, L. et al. Setting the foundations of digital libraries: The DELOS Manifesto. D-Lib Magazine, v. 13, n. 3-4, March 2007. URL: http://www.dlib.org/dlib/march07/castelli/03castelli.html
4. Cunha, M. B. da. Das bibliotecas convencionais às digitais: diferenças e convergências. Perspectivas em Ciência da Informação, v. 13, n. 1, p. 2-17, jan. 2008. URL: http://www.eci.ufmg.br/pcionline/index.php/pci/article/view/221
5. D-Lib Working Group on Digital Library Metrics. The scope of the digital library. URL: http://www.dlib.org/metrics/public/papers/dig-lib-scope.html
6. Digital Library Federation. A working definition of digital library. 1998. URL: http://www.diglib.org/about/dldefinition.htm .
7. Drabenstott, K. M.; Burman, C. M. Analytical review of the library of the future. Washington (DC): Council on Library Resources, 1994. 200 p
8. Harter, S. P. What is a digital library? Definitions, content, and issues. In: International conference on digital libraries and information services for the 21st century, Seoul, September 10
9. Levy, D. M.; Marshall, C. C. Going digital: A look at assumptions underlying digital libraries. Communications of the ACM, v. 38, n. 4, p. 77
10. Lynch, C. A. Where do we go from here? The next decade for digital libraries. D-Lib Magazine, v. 11, n. 7/8, 2005. URL: http://www.dlib.org/dlib/july05/lynch/07lynch.html
11. Maignien, Y. La bibliotheque virtuelle ou de l'ars memoria à Xanadu. Bulletin Bibliothèques de France, v. 40, n. 2, p. 8
12. Miksa, F.; Doty, P. Intellectual realities and the digital library. In: Annual Conference on the Theory and Practice of Digital Libraries, 1, 1994, College Station, Texas. Proceedings. College Station (TX): Texas A & M University, 1994. p. 1. http://www.csdl.tamu.edu/DL94/paper/miksa.html
13. Seadle, M.; Greifeneder, E. Defining a digital library. Library Hi Tech, v. 25, n./ 2, p. 169
Projeto e Arquitetura da biblioteca digital. 14. Arms, W. Y. Key concepts in the architecture of the digital library. D-Lib
Magazine, July 1995. URL: http://www.dlib.org/dlib/July95/07arms.html 15. Arms, W. Y.; Blanchi, C.; Overly, E. A. An architecture for information in digital
libraries. D-Lib Magazine, February 1997. URL: http://www.dlib.org/dlib/July95/07arms.htmlwww.dlib.org/dlib/february97/cnri/02arms1.html
16. Bainbridge, D.; Don, K. J.; Buchanan, G. R.; Witten, I. H.; Jones, S.; Jones, M.; Barr, M. I. Dynamic digital library construction and configuration In:European
208
conference on research and advanced technology for digital libraries, 8th, Bath (UK), 12-17 September 2004. Proceedings. Berlin: Springer, 2004. p. 1-13.
17. Borbinha, J.; Freire, N.; Neves, J. BND: the architecture of a national digital library. In: Joint Conference on Digital Libraries, Tucson, Arizona, June 7-11, 2004. Proceedings. New York: ACM Press, 2004. p. 21-22.
18. Camargo, L. S. de A. de; Vidotti, S. A. B. G. Arquitetura da informação para biblioteca digital personalizável. Encontros-Bibli n. especial, 1º sem., p. 103-118, 2006. URL: www.periodicos.ufsc.br/index.php/eb/article/view/346/389
19. Castelli, D. Digital libraries of the future and the role of libraries. Library hi tech, v. 24, n. 4, p. 496-503, 2006
20. Gilchrist, A.; Mahon, B. Information architecture: designing information environments for purpose. New York: Neal-Schuman, 2003. 266 p.
21. Greenstein, D.; Thorin, S. The digital library: a biography. 2nd ed. Washington: Digital Library Federation, Council on Library and Information Resources, 2002. 76 p. URL: http://www.clir.org/pubs/reports/pub109/pub109.pdf
22. Ioannidis, Y. et al. Digital library information-technology infrastructures. International journal on digital libraries, v. 5, n. 4, p. 266-274, 2005.
23. Kapidakis, S. Issues in the development and operation of a Digital Library. In: European conference on research and advanced technology for digital libraries, Paris, 22-24 September 1999. Lecture notes in computer science, v. 1696, p. 363-382, 1999.
24. Keller, M. A. Establishing a digital library. Sun Microsystems, White Paper, 2009. URL: http://dlib.libh.uoc.grwww.sun.com/offers/docs/digital_libraries.pdf
25. Lakshmi, R. A step towards developing a digital library. Library Science with a Slant to Documentation and Information Studies, v. 35, n. 1, p. 25-36, 1998.
26. Library of Congress. National Digital Library Program. NDLP Project Planning Checklist. January 1997. URL: http://lcweb2.loc.gov/ammem/prjplan.html
27. Monteiro, F. de S. Organização da informação em repositórios digitais institucionais com ênfase na descrição física e descrição temática. Brasília, 2008. 199 f. Dissertação (Mestrado em Ciência da Informação) da Universidade de Brasília. Departamento de Ciência da Informação e Documentação
28. Morville, P.; Rosenfeld, L. Information architecture for the world wide web: designing large-scale web sites. 3rd ed. Sebastopol (CA): O’Reilly, 2006. 526 p.
29. Nonato, R. dos S.; Borges, G. S. B.; Maculan, B. C.; Lima, G. A. B. de O. Arquitetura da informação em bibliotecas digitais: uma abordagem da Ciência da Informação e da Biblioteconomia. Informação & Informação, v. 13, n. 2, p. 125-141, 2008. URL: http://dlib.libh.uoc.grwww.sun.com/offers/docs/digital_libraries.pdfwww.uel.br/revistas/uel/index.php/informacao/article/viewFile/1812/1682
30. Nurnberg, P. J.; Furuta, R.; Legget, J. J.; Marshall, C. C.; Shipman, F. M. Digital libraries: issues and architecture. In: Annual Conference on the Theory and Practice of Digital Libraries, 2, 1995, Austin, Texas. Proceedings. College Station (TX): Texas A & M University, 1995. p. 147-153
31. Reis, G. A. dos. Centrando a arquitetura de informação no usuário. São Paulo, 2007. 250 f. Dissertação (Mestrado em Ciência da Informação) Universidade de São Paulo. Escola de Comunicações e Artes.
32. Renda, M. E; Straccia, U. A personalized collaborative digital library environment: a model and a application. Information Processing &
209
Management, v. 41, p. 5-21. 2005. Normas e padrões Normas e padrões em geral 33. A Dozen Primers on standards. Computers in Libraries v. 24, n. 2, February
2004. URL: www.infotoday.com/cilmag/feb04/primers.shtml 34. Feitosa, A. Organização da informação na web: das tags à web semântica.
Brasília: Thesaurus Editora, 2006. 131 p. 35. McClelland, C. Digital standards bibliography, version 2.0 exposure draft.
Collections Council of Australia, 2008. URL:http://www.collectionscouncil.com.au/Portals/0/Digital standards bibliography, Version 2.0, Exposure Draft, 18 Nov.pdf
36. Sayão, L. F. Padrões para bibliotecas digitais abertas e interoperáveis. Encontros Bibli, n. especial 1º Semestre, p. 18-47, jan/jun 2007. URL:http://www.periodicos.ufsc.br/index.php/eb/article/view/378/436
37. Vidotti, S. A. B. G., org. Tecnologia e conteúdos informacionais: abordagens teóricas e práticas. São Paulo: Polis, 2004. 187 p. (Coleção Palavra-Chave, 15).
Standard Generalized Markup Language (SGML) 38. Cover, R. SGML web page. 2002. URL: http://www.sil.org/sgml/sgml.html 39. Corthouts, J.; Philips, R. SGML: a librarian's perception. Electronic library, v.
14, n. 2, p. 101-110, April 1996. 40. Price-Wilkins, J. Just-in-time conversion, just-in-case collections: effectively
leveraging rich document formats for the WWW. D-Lib Magazine, May 1997. URL: http://www.dlib.org/dlib/may97/michigan/05pricewilkin.html
Text Encoding Initiative (TEI) 41. Mertz, D. XML matters: TEI – the Text Encoding Initiative. 2003. URL:
http://www.ibm.com/developerworks/library/x-matters30.html 42. TEI Members Meeting.
URL:http://www.cch.kcl.ac.uk/cocoon/tei2008/index.html 43. Text Encoding Initiative. URL: http://www.tei-c.org/index.xml HTML World Wide Web Consortium 44. Especificação HTML 4.01. Trad. do documento original: HTML 4.01
Specification. 16 de maio de 2006. URL: http://desenaviegas.com/cover.html L. 45. World Wide Web Consortium. XHTML™ 1.0 The Extensible HyperText Markup
Language (Segunda Edição), URL:www.maujor.com/w3c/xhtml10_2ed.html XML 46. Bax, M. P. Introdução às linguagens de marcas. Ciência da Informação, v. 30,
n. 1, p. 32-38, jan./abr. 2001. 47. Cavalcanti, M. J. Representação e intercâmbio de informação cientifica na
internet através da linguagem de marcação extensivel (XML). Rio de Janeiro, 2001. 52 p. Dissertação (Mestrado Ciência da Informação) IBICT/UFRJ/ECO.
48. Flamino, A. N.; Santos, P. L. V. A. C.; Fujita, M. S. L. Uma breve reflexão sobre documento, estruturas textuais e a XML nos repositórios institucionais digitais. In: Simpósio Internacional de Bibliotecas Digitais, 3, 28 nov. - 2 dez. 2005, São Paulo. Anais. São Paulo: Universidade de São Paulo: Universidade Estadual Paulista, 2005. URL: http://bibliotecas-cruesp.usp.br/3sibd/docs/flamino194.pdf
49. Furgeri, S. Ensino didático da linguagem XML: aprenda a criar padrões e documentos inteligentes com a XML. São Paulo: Érica, 2001. 278 p.
50. Miller, D.; Clarke, K. Putting XML to work in the library: tools for improving
210
access and management. Chicago: American Library Association, 2003. 208 p. 51. Moen, W. E. From MARC to XML. New York: Libraries Unlimited, 2008. 52. Ng, K. B. Using XML: a how-to-do-it manual and CD-ROM for librarians. New
York: Neal-Schuman, 2007. 171 p. 53. Santarém Segundo, J. E.; Vidotti, S. A. B. G. A linguagem XML como
ferramenta facilitadora no processo estrutural de comunicação científica no formato digital. In: Congresso Brasileiro de Biblioteconomia, Documentação e Ciência da Informação, 2, 2007, Brasília. Anais. Brasília: FEBAB, 2007.
54. Tennant, R. XML in Libraries. New York: Neal-Schuman, 2002. 213 p. 55. Veloso, R. R. Guia de consulta rápida: Java e XML: processamento de
documentos XML com Java. São Paulo: Novatec, 2003. 96 56. World Wide Web Consortium. Esquema XML, Parte 0: Princípios Básicos. 2ª.
Edição. Trad. do documento: “XML Schema Part 0: Primer Second Edition”. URL: http://desenaviegas.com/XML_Primer(1).htm
Protocolo Z39.50 57. Coyle, K. The virtual union catalog: a comparative study. D-Lib magazine, v. 6,
n. 2, March 2000. URL: www.dlib.org/dlib/march00/coyle/03coyle.html 58. Evans, P. Z39.50 Part 2: Technical Details .BiblioTech Review; 2001. URL:
www.biblio-tech.com/html/z39_50_part_2.html 59. Lundberg, S. St. Laurentius Digital Manuscript Library: an excursion along the
border between resource discovery and resource description. Lund: Lund University Libraries, August 2002. 11 p. URL: http://laurentius.ub.lu.se/search/presentation/laurentius.pdf
60. Lynch, C. A. The Z39.50 Information retrieval standard, Part I: a strategic view of is past, present and future. D-Lib Magazine, v. 3, n. 4, April 1997. URL: www.dlib.org/dlib/april97/04lynch.html
61. Miller, P. Z39.50 for All. Ariadne, n. 21; September 1999. URL: www.ariadne.ac.uk/issue21/z3950/
62. Rosseto, M. Uso do protocolo Z39.50 para recuperação de informação em redes eletrônicas. Ciência da Informação, v. 26, n. 2, 1997. URL: http://revista.ibict.br/index.php/ciinf/article/view/391/351
63. Vicente, G. et al. O uso do protocolo de comunicação Z39.50 e a extensão biblioteca YAZ da linguagem de programação PHP e seus vínculos entre a biblioteca digital da Unicamp, tópicos, dissertações e teses, TCCs, partituras e mapas digitais que utilizam software livre e o integrado de funções - Virtua. In:Seminário Nacional de Bibliotecas Universitárias, 13, 2004, Natal. Anais. Natal: Universidade Federal do Rio Grande do Norte, 2004. 14p.
64. Z39.50 International Standard Maintenance Agency. URL: http://lcweb.loc.gov/z3950/agency
Digitalização 65. Amaral, C. M. G. Diretrizes para a digitalização no Arquivo Público da Cidade
de Belo Horizonte. In: CINFORM Encontro Nacional de Ciência da Informação, 5, 2004, Salvador. Anais. Salvador: EDUFBA, 2004. URL: www.cinform.ufba.br/v_anais/artigos/cleiamarciagomesamaral.html
66. Arthur, K. et al. Recognizing digitization as a preservation reformatting method. Association for Research Libraries. 2004. URL: www.arl.org/bm~doc/digi_preserv.pdf
67. Aziza Technology Associates. Digitizing research collections for access bibliography and resources. 2004. URL: www.azizatech.com/bibliography.html
211
68. Boock, M. Organizing for digitization at Oregon State University: A Case Study and Comparison with ARL Libraries. Journal of Academic Librarianship, v. 34, n. 5 p. 445-451, 2008.
69. British Library. Digitisation strategy 2008-2011. London: British Library, August 2008. URL:www.bl.uk/aboutus/stratpolprog/digi/digitisation/digistrat
70. Bouche, N. Digitization for scholarly use. CLIR March 1999. URL: www.clir.org/pubs/reports/pub81-bouche/pub81text.html
71. Caldera-Serrano, J. Changes in the management of information in audio-visual archives following digitization: current and future outlook. Journal of Librarianship and Information Science, v. 40, n. 1, p. 3-20, 2008.
72. Calmon, T. L.; Alves, R. M. Digitalização do acervo fotográfico: uma experiência na Biblioteca Làjuomim. In: CINFORM Encontro Nacional de Ciência da Informação, 6, 14-17, jun., 2005, Salvador. Anais. Salvador: Editora da Universidade Federal da Bahia, 2005. 6p. URL:www.cinform.ufba.br/vi_anais/docs/RenatoAlvesTatianeCalmon.pdf
73. Chapman, S. Techniques for creating sustainable digital collections. Library Technology Reports, v. 40, n. 5, 63 p., Sept./Oct. 2004.
74. Federal Agencies Digitization Guidelines Initiative. URL: www.digitizationguidelines.gov/
75. Hazen, D.; Horrell, J.; Merrill-Oldham, J. Selecting research collections for digitization. CLIR August 1998. URL:www.clir.org/pubs/reports/hazen/pub74.html
76. Hughes, L. M. Digitizing collections: strategic issues for the information manager. London: Facet, 2004. 327 p.
77. International Federation of Library Associations and Institutions. Directrices para proyectos de digitalización de colecciones y fondos de dominio público,en particular para aquellos custodiados en bibliotecas y archivos. Haia: IFLA, 2002. 174 p. URL: http://archive.ifla.org/VII/s19/pubs/digit-guide-es.pdf
78. Jordan, M. Putting content online: a practical guide for libraries. Oxford: Chandos Publishing, 2006. 349 p.
79. Kenney, A.; Chapman, S. Digital imaging for libraries and archives. Ithaca (NY): Cornell University Library, Department of Preservation and Conservation, 1996. sem paginas numeradas
80. Lee, St. D. Digital imaging: a practical handbook. New York: Neal Schumann; London: Library Association, 2001. 194 p.
81. Oliveira, J. B. de. Abordagem prática da digitalização da hemeroteca do Núcleo Temático da Seca. In: Congresso Brasileiro de Biblioteconomia, Documentação e Ciência da Informação, 22, 2007, Brasília. Anais. Brasília: FEBAB, 2007.
82. Puglia, S.; Rhodes, E. Digital imaging—how far have we come and what still needs to be done? RLG DigiNews, v. 11, n. 1, 2007. URL:worldcat.org/arcviewer/1/OCC/2007/08/08/0000070519/viewer/file137.html#article2
83. Raabe, A.; Pohlmann Filho, O. Estudo comparativo entre sistemáticas de digitalização de documentos: formatos HTML e PDF. Ciência da Informação, v. 27, n. 3, p. 300-310, set./dez. 1998. .
84. Riley, J.; Whitsel, K. Practical quality control procedures for digital imaging projects. OCLC Systems & Services, v. 21, n. 1, p. 40-48, 2005.
85. Saffady, W. Digital library concepts and technologies for the management of library collections: an analysis of methods and costs. Library Technology
212
Reports, v. 31, n. 3, p. 223 86. Sitts, M. K. Handbook for digital projects: a management tool for preservation
and access. Andover, MA, Northeast Document Conservation Center, 2000. URL: worldcat.org/arcviewer/1/OCC/2007/08/08/0000070519/ viewer/file137.html#article2
87. Walshe, E. The dark side of digitization. Portal: Libraries and the Academy, v. 7, n. 4, p. 491
Desenvolvimento de coleções 88. Ackerman, M. S.; Fielding, R. T. Collection development in the digital library.
Annual Conference on the Theory and Practice of Digital Libraries, Austin (Texas), 1995. Proceedings. College Station (TX): Texas A & M University, Department of Computer Science, 1995. p. 39-47. URL: URL:http://csdl.tamu.edu/DL95/papers/ackerman/ackerman.html
89. Agee, J. Acquisitions go global: an introduction to library collection management in the 21st century . Oxford: Chandos Publishing, 2007. 132 p.
90. Atkinson, R. Managing traditional materials in an online environment: some definitions and distinctions for a future collection management. Library Resources & Technical Services, v. 42, n. 1, p. 7-20, Jan. 1998.
91. Baker, D. Inside every fat man: balancing the digital library budget. Interlending & document supply, v. 36, n. 4, p. 213-217, 2008.
92. Dawson, A. Revising digital library content in response to user requests. Library review, v. 55, n. 8-9, p. 549-555, 2006.
93. Jones, D. Collection development in the digital library. Science & technology libraries, v. 17, n. 3-4, p. 27-37, 1999.
94. Lee, H. L. What is a collection? Journal of the American Society for Information Science, v. 51, n. 12, p. 1106-1113, 2000.
95. Lee, S. D.; Boyle, F. Building an electronic resource collection: a practical guide. 2nd ed. London: Facet, 2004. 174 p..
96. Lee, S. H. Print versus digital: the future of coexistence. New York: Haworth Information Press, 2007. 138 p.
97. Morris, K.; Larson, B. revolution or revelation? Acquisitions for the digital library. Acquisition librarian, v. 35-36, p. 97-105, 2006.
98. National Information Standards Organization. A framework of guidance for building good digital collections. 3rd ed. Baltimore (MD): NISO, 2007. 100 p. URL: www.niso.org/publications/rp/framework3.pdf
99. Schreibman, S. Best practice guidelines for digital collections at University of Maryland Libraries. 2nd ed. College Park: University of Maryland, Office of Digital Collections and Research, 2007. 81 p. URL: www.lib.umd.edu/dcr/publications/best_practice.pdf
100. Smith, A. Strategies for building digitized collections. Washington, DC: Digital Library Federation, Council on Library and Information Resources, 2001. 41 p. URL: www.clir.org/pubs/reports/pub101/pub101.pdf
101. Zhang, A.; Gourley, D. Creating digital collections: a practical guide. Oxford: Chandos, 2008. 248 p.
Controle bibliográfico Catalogação (FRBR, MARC) 102. Alves, M. das Dores R.; Souza, M. I. F. Estudo de correspondência de
elementos metadados: Dublin Core e MARC 21. Revista Digital de Biblioteconomia e Ciência da Informação, v. 4, n. 2, 2007. URL:
213
http://polaris.bc.unicamp.br/seer/ojs/viewarticle.php?id=94&layout=abstract 103. Carter, R., ed. Managing cataloging and the organization of informatioln:
philosophies, practices and challenges at the onset of the 21st century. New York: Haworth, 2000. 390
104. Denton, W. The FRBR Blog. URL: www.frbr.org/ 105. Dillon, M.; Jul, E. Cataloging internet resources: the convergence of libraries
and internet resources. Cataloguing and Classification Quartely, v. 22, n. 3-4, p. 197-238, 1996.
106. Heinrich, H. E-journal invasion: A cataloger's guide to survival. Oxford: Chandos Publishing, 2007. 233 p
107. Herrera, G.; Aldana, L. Integrating electronic resources into the library catalog: a collaborative approach. Portal: Libraries and the Academy, v. 1, n. 3, p. 241-256, 2001.
108. International Federation of Library Associations and Institutions. Statement of International Cataloguing Principles: Final Draft Based on Responses through Dec. 2004 showing further recommended changes from Buenos Aires August 2004. Jan. 2005. URL: www.loc.gov/loc/ifla/imeicc/source/statement-draft_jan05.pdf
109. International Federation of Library Associations and Institutions. Study Group on the Functional Requirements for Bibliographic Records. Requisitos funcionais dos registos bibliográficos: relatório final. Lisboa: Biblioteca Nacional de Portugal, 2008. 160 p. http://www.bnportugal.pt:80/index.php?option=com_content&view=article&id=290:requisitos-funcionais&catid=62:edicoes&Itemid=327
110. Library of Congress. MARC Standards. URL: www.loc.gov/marc/marc.html 111. Library of Congress. On the Record: Report of the Library of Congress Working
Group on the Future of Bibliographic Control. 2008. URL: www.loc.gov/bibliographic-future/news/
112. Maxwell, R. FRBR: A guide for the perplexed. Chicago: American Library Association, 2009. 164 p.
113. Miller, E. An Introduction to the Resource Description Framework. D-Lib Magazine, May, 1998. URL: www.dlib.org/dlib/may98/miller/05miller.html
114. Mitchell, A. M.; Surratt, B. E. Cataloging and organizing digital resources: a how-to-do-it manual for librarians. New York: Neal-Schuman, 2005.
115. Naun, C. C.; Braxton, S. M. Developing recommendations for consortial cataloging of electronic resources: lessons learned. Library Collections, Acquisitions, and Technical Services, v. 29, n. 3, p. 307-325, September 2005.
116. Qin, J. Representation and organization of information in the Web space: from MARC to XML. Informing Science, v. 3, n. 2, p. 83-87, 2000. URL: http://inform.nu/Articles/Vol3/v3n2p83-88.pdf
117. Svenonius, E. The intellectual foundation of information organisation. Cambridge: MIT Press, 2000. 255 p.
118. Taylor, A. Understanding FRBR: what it is and how it will affect our retrieval tools. Libraries Unlimited, 2007. 192 p.
119. Weber, M. B.; Austin, F. Cataloging nonbook, electronic, web and networked resources: a how-to-do-it manual for librarians. New York: Neal Schuman, 2009. 250 p.
120. Weitz, J. Cataloging Electronic Resources: OCLC-MARC Coding Guidelines. Dublin (OH): OCLC, 2006. URL:www.oclc.org/support/documentation/ worldcat/cataloging/electronicresources/
214
Metadados 121. Baptista, A. A.; Machado, A. B. Um gato preto num quarto escuro: falando
sobre metadados. Revista de Biblioteconomia de Brasília, Brasília, v. 25, n. 1, p. 77-90, jan./jun. 2001.
122. Baptista, D. M. O impacto dos metadados na representação descritiva. Revista ACB, v. 12, n. 2, 2007. URL:www.acbsc.org.br/revista/ojs/viewissue.php?id=21
123. Brand, A.; Daly, F.; Meyers, B. Metadata demystified: a guide for publishers. National Information Standards Organization (NISO), Sheridan Press, 2003. URL: www.niso.org/standards/resources/Metadata_Demystified.pdf
124. Conselho Nacional de Arquivos. Esquema de Metadados do Modelo de Requisitos para Sistemas Informatizados de Gestão Arquivística de Documentos (Resolução nº 25, do CONARQ, de 27 de abril de 2007). URL: www.conarq.arquivonacional.gov.br/media/consulta/esquema_metadados_earq_consulta_publica_2009.pdf
125. Buckland, M. K. Descrição e pesquisa: metadados como infra-estrutura. Brazilian Journal of Information Science, v. 0, 2006. URL: www.niso.org/standards/resources/Metadata_Demystified.pdf http://www.niso.org/standards/resources/Metadata_Demystified.pdf
126. Campos, L. F. de B. Metadados digitais: revisão bibliográfica da evolução e tendências por meio de categorias funcionais. Encontros BIBLI: revista eletrônica de Biblioteconomia e Ciência da Informação, v. 12, n. 23, p. 16-46, 2007. URL: www.periodicos.ufsc.br/index.php/eb/issue/view/143
127. Caplan, P. Metadata fundamentals for all librarians. Chicago: American Library Association, 2003. 192 p.
128. Caplan, P. Understanding PREMIS. URL: www.loc.gov/standards/premis/understanding-premis.pdf
129. Dublin Core Metadata Initiative (DCMI) Homepage. URL: http://dublincore.org/ 130. Duval, E.; Hodgins, W.; Sutton, S.; Weibel, S. Metadata Principles &
Practicalities. D-Lib Magazine, v. 8, n. 4, April 2002. URL:www.dlib.org/dlib/april02/weibel/04weibel.html
131. Foulonneau, M. Metadata for digital resources: implementation, systems design and interoperability. Oxford: Chandos, 2008. 220 p.
132. .Gill, T.; Gilliland, A. J.; Whalen, M.; Woodley, M. S. Introduction to metadata: pathways to digital information. Los Angeles: Getty Publications, 2008. Version 3.0. URL: www.getty.edu/research/conducting_research/standards/ intrometadata/index.html
133. Intner, S. S.; Lazinger, S. I.; Weihs, J. Metadata and its impact on libraries. Westport, CT: Libraries Unlimited, 2005. 262 p
134. Journal of Library Metadata. Philadelphia: Taylor & Francis Routledge, v. 1-, 2008-, trimestral.
135. Library of Congress. Network Development and MARC Standards Office. Metadata Encoding Transmission Standard. URL: www.loc.gov/standards/mets/
136. Lourenço, C. de A.; Alvarenga, L. Análise do Padrão Brasileiro de Metadados de Teses e Dissertações segundo o Modelo Entidade-Relacionamento. In: Congresso Brasileiro de Biblioteconomia, Documentação e Ciência da Informação, 22, 2007, Brasília. Anais. Brasília: FEBAB, 2007.
137. Marcondes, C. Metadados: descrição e recuperação de informações na web. In: Marcondes, Carlos H. et al. Bibliotecas digitais: saberes e práticas. Brasília: Instituto Brasileiro de Informação em Ciência e Tecnologia, 2005. p. 95-111.
215
138. Miller, S. J. Metadata and cataloging online resources selected reference documents, web sites, and articles. URL: www.uwm.edu/~mll/resource.html
139. Feldman, S. Metadata: Cataloging by any other name. Online, v. 23, n. 1, p. 25-31, Jan. 1999. URL: www.onlineinc.com/onlinemag/OL1999/milstead1.html
140. National Information Standards Organization. Understanding metadata. Bethesda, MD: NISO Press, 2004. 20 p. URL:www.niso.org/standards/resources/UnderstandingMetadata.pdf
141. O'Neill, E.; Lavoie, B.; Bennett, R. Trends in the evolution of the public web 1998-2002. D-lib Magazine, v. 9, n. 4, April 2003. URL:www.dlib.org/dlib/april03/lavoie/04lavoie.html
142. Rosetto, M. Metadados e formatos de metadados em sistemas de informação: caracterização e definição. São Paulo, 2003. 95 p. Dissertação (Mestrado em Ciências da Comunicação)-USP. Escola de Comunicações e Artes. Departamento de Biblioteconomia e Documentação
143. Weibel, S. Metadata: the fundations of resources description. D-Lib Magazine, July, 1995. URL: www.dlib.org/dlib/July95/07weibel.html
144. Yamaoka, E. J. Taxonomia e metadados como elementos estruturantes da organização e representação do conhecimento numa empresa. Brasília, 2005. 151 p. Dissertação (Mestrado em Ciência da Informação)-Universidade de Brasília. Departamento de Ciência da Informação e Documentação.
145. Zeng; M. L.; Qin, J. Making sense with metadata. London: Facet Publishing, 2008. 365 p.
Ontologias 146. Fensel, D.; Brodie, M. L. Ontologies: A silver bullet for knowledge management
and electronic commerce. 2. ed. New York: Springer, 2003.162 p 147. Guarino, N., ed. Formal ontology in information systems. Amsterdam: IOS
Press. 1998. 337 p. 148. Guarino, N. Understanding, building and using ontologies. International Journal
of Human-Computer Studies, n. 46, p. 293-310, 1997. URL: http://ksi.cpsc.ucalgary.ca/KAW/KAW96/guarino/ guarino.html
149. King, B.; Reinold, K. Finding the concept, not just the word: a librarian's guide to ontologies and semantics. Oxford: Chandos, 2008. 224 p
150. On Knowledge Tool. OTK Tools Repository. URL: www.ontoknowledge.org/tools/toolrep.shtml
151. Seminário de Pesquisa em Ontologia no Brasil, Universidade Federal Fluminense, Departamento de Ciência da Informação, Niterói, 11-12 de agosto de 2008. URL: www.uff.br/ontologia/
152. Kruk, S. R.; McDaniel, W, eds. Semantic digital libraries. Berlin: Springer, 2008. 246 p
153. Staab, S. et al. Knowledge Processes and Ontologies. IEEE Intelligent Systems, Special Issue on Knowledge Management, v.16, n. 1, p. 26-34, Jan.-Feb. 2001.
Preservação digital 154. Arquivo Nacional. A conservação de documentos em seus diferentes suportes:
recomendações básicas. Rio de Janeiro, 1989. 51 p. 155. Barreiros, A. de A.; Watanabe, E. T. Y.; Paletta, F. A. C. Informação digital:
uma abordagem sobre a necessidade de estabelecer uma política de preservação. In: Seminário Nacional de Bibliotecas Universitárias, 13, 2004, Natal. Anais do SNBU. Natal: Universidade Federal do Rio Grande do Norte,
216
2004. 156. Berman, F. Got data? A guide to data preservation in the information age.
Communications of the ACM , v. 51, n. 12, 2008. URL:www.sdsc.edu/about/director/pubs/communications200812-DataDeluge.pdf
157. Beagrie, N.; Semple, N.; Williams, P.; Wright, R. Digital preservation policies study. London: JISC, 2008. 60 p. URL: www.jisc.ac.uk/media/documents/programmes/preservation/jiscpolicy_p1finalreport.pdf
158. Bearman, D. Reality and chimeras in the preservation of electronic records. D-lib Magazine, v. 5, n. 4, 1999 URL: www.dlib.org/dlib/april99/bearman/04bearman.html
159. Chapman, S. Counting the costs of digital preservation: is repository storage affordable? Journal of Digital information, v. 4, n. 2, 2003. URL:http://jodi.tamu.edu/Articles/v04/i02/Chapman/
160. Conselho Nacional de Arquivos. Carta para a Preservação do Patrimônio Arquivístico Digital. Rio de Janeiro, 2004. URL:www.arquivonacional.gov.br/conarq/cam_tec_doc_ele/preservacao/cartapreservacao.asp
161. Conway, P. Preservação no universo digital. 2. ed. Rio de Janeiro: Arquivo Nacional, 2001. 32 p. URL: http://143.106.151.46:80/cpba/ Obra clássica que aborda os diversos problemas e soluções para a preservação digital.
162. Cunha, J. de A.; Lima, M. G. Preservação digital: o estado da arte. In: Encontro Nacional de Pesquisa em Ciência da Informação, 8, 28-31 out. 2007, Salvador. Anais do VIII ENANCIB. Salvador: UFBA/PPGCI; Ancib, 2007. 21p. URL: http://www.enancib.ppgci.ufba.br/
163. Day, M. Preservation 2000. Ariadne, v. 26, Jan. 2001. URL: www.ariadne.ac.uk/issue26/metadata/intro.html
164. Digital Preservation Coalition. Handbook. 2008. URL:www.dpconline.org/graphics/handbook/
165. Ferreira, M. Introdução à preservação digital: conceitos, estratégias e atuais consensos. Guimarães, Portugal: Universidade do Minho, Escola de Engenharia, 2006. 88 p. ISBN 978-972-8692-30-8. URL: https://repositorium.sdum.uminho.pt/bitstream/1822/5820/1/livro.pdf
166. Galloway, P. Preservation of digital objects.Annual Review of Information Science and Technology, v. 38, p. 549-590, 2004.
167. Graham, P. S. Intellectual preservation and electronic intellectual property. IP Workshop Proceedings 1994. URL: www.ifla.org/documents/infopol/copyright/graham.txt
168. Granger, S. Digital preservation and deep infrastructure. D-Lib Magazine, v. 8, n. 2, Feb. 2002. URL: www.dlib.org/dlib/february02/granger/02granger.html.
169. Hedstrom, M. Digital preservation: a time bomb for digital libraries. Computers and the Humanities, v. 31. 1998. URL: www.uky.edu/~kiernan/DL/hedstrom.html
170. Hendley, T. Comparison of methods & costs of digital preservation. London: British Library and Innovation Centre, 1998. (Report, n. 106). ISBN 0712397132. URL:www.ukoln.ac.uk/services/elib/papers/tavistock/hendley/hendley.html
171. Hitchcock, S., Brody, T., Hey, J. M. N.; Carr, L. Digital preservation service provider models for institutional repositories: Towards distributed services. D-
217
Lib Magazine, v. 13, n. 5-6, 2007. URL: www.dlib.org/dlib/may07/hitchcock/05hitchcock.html
172. Hodge, G.; Frangakis, E. Digital preservation and permanent access to scientific information: the state of the practice.International Council for Scientific and Technical Information (ICSTI); U.S. Federal Information Managers Group. 2009. URL: www.cendi.gov/publications/04-3dig_preserv.pdf
173. Innarelli, H. C. Preservação de acervos digitais: a fragilidade do suporte e seus elementos de elementos de preservação. 52 p. URL: http://bibliotecas-cruesp.usp.br/bibliotecas/APRESENT/Humberto_Innarelli_H_C.pdf
174. International Council of Archives. Documentos de arquivo electronicos: manual para arquivistas. ICA Study 16 (Portuguese), 2005. URL: www.ica.org/sites/default/files/ICAEstudo16_PT_4.pdf
175. Kenney, A. R.; Rieger, O. Y. Moving theory into practice: digital imaging for libraries and archives. Dublin, Ohio: OCLC, 2000. 189 p. URL: www.oclc.org/programs/publications/reports.htm
176. Library and Archives Canada. Documentary Heritage Collection Sector. Digital collection development policy. URL:www.collectionscanada.ca/collection/003-200-e.html
177. Library of Congress. Digital Preservation. URL: URL: www.digitalpreservation.gov/
178. Lynch, C. The integrity of digital information: mechanics and definitional issue. Journal of the American Society for Information Science, v. 45, n. 10, p. 737-744, 1994.
179. Márdero Arellano, M. Critérios para a preservação digital da informação científica. Brasília: Universidade de Brasília, Departamento de Ciência da Informação e Documentação, 2008. 354 p. (Tese de doutorado). URL: http://bdtd.bce.unb.br/tedesimplificado/tde_busca/arquivo.php?codArquivo=4547
180. National Library of Australia. Preserving Access to Digital Information (PADI). Bibliography on long-term digital preservation. URL: www.nla.gov.au/padi/topics/18.html
181. National Library of Australia. Preservation of and long-term access to Australian digital objects. URL: www.nla.gov/archive/npo/natco/princ.html
182. Online Computer Library Center. OCLC digital archive preservation policy and supporting documentation. 2006. URL: www.oclc.org/americalatina/pt/support/documentation/digitalarchive/preservationpolicy.pdf
183. Online Computer Library Center. PREMIS Working Group. Data dictionary for preservation metadata: final report of the PREMIS (Preservation Metadata: Implementation Strategies) Working Group. 2005. 237 p. URL: www.oclc.org/research/projects/pmwg/premis-final.pdf
184. Online Computer Library Center. Working Group on Preservation Metadata. Preservation metadata for digital objects: a review of the state of the art: a white paper. 50 p. 2001. URL: www.oclc.org/research/projects/pmwg/presmeta_wp.pdf
185. Preserv bibliography on digital preservation. 2008. URL: http://preserv.eprints.org/Preserv-bibliography.html
186. Research Library Group. Commission on Preservation and Access. The preserving digital information report. URL: www.oclc.org/programs/ourwork/past/digpresstudy/final-report.pdf
218
187. Rosenthal, D. S. H, Robertson T., Lipkis, V. R.; Morabito, S. Requirements for digital preservation systems: a bottom-up approach. D-Lib Magazine, v. 11, n. 11, November 2005. URL: www.dlib.org/dlib/november05/rosenthal/11rosenthal.html
188. Rothenberg, J. Avoiding technological quicksand: Finding a viable technical foundation for digital preservation. Washington, D.C.: Digital Library Federation; Council on Library and Information Resources, 1999.URL: www.clir.org/pubs/reports/rothenberg/contents.html
189. Rothenberg, J. Ensuring the longevity of digital documents. Scientific American, p. 24-29, January 1995.
190. Rusbridge, C. Excuse me... some digital preservation fallacies? Ariadne,n. 46, Feb. 2006. URL: www.ariadne.ac.uk/issue46/rusbridge/intro.html
191. Sant’Anna, M. L. Os desafios da preservação de documentos públicos digitais. Revista IP, v. 3, n. 2, dez. 2001. URL: http://www.informaticapublica.mg.gov.br/revista0302/ip0302santanna.pdf
192. Thomaz, K. P.; Soares, A. J. A preservação digital e o modelo de referência Open Archival Informations System (OAIS). DataGramaZero Revista de Ciência da Informação, v. 5, n. 1, fev. 2004. URL: www.dgz.org.br/fev04/Art_01.htm
193. Thomaz, K. P. Estudo qualitativo-descritivo para identificação de fatores condicionantes da preservação digital. In: Encontro Nacional de Pesquisa em Ciência da Informação, 6, 28-30 nov. 2005, Florianópolis. Anais do VI ENANCIB. Florianópolis: Universidade Federal de Santa Catarina, 2005. 17 p.
194. Universidade Estadual de Campinas. Arquivo Central do Sistema de Arquivos. Projeto de Gestão, Acesso e Preservação de Documentos Aquivísticos Eletrônicos. URL: http://www.unicamp.br/siarq/doc_eletronico/index.html
Acesso à biblioteca digital 195. Anderson, L. C.; Lotspiech, J. B. Rights management and security in the
electronic library. Bulletin of the American Society for Information Science, v. 22, n. 1, p. 21-23, 1995.
196. Dias, C. Usabilidade na web: criando portais mais acessíveis. Rio de Janeiro: Alta Books, 2007. 296 p. ISBN 9788576081401.
197. Dillon, A. What is the shape of information? Human factors in the development and use of digital libraries. Allerton Institute, 37. 1995, Monticello, Illinois.Proceedings. 1995. URL: http://edfu.lis.uiuc.edu/allerton/95/s4/dillon.html
198. Marchionini, G. User-centered methods for library interface design. Allerton Institute, 37. 1995, Monticello, Illinois. Proceedings. URL:http://edfu.lis.uiuc.edu/allerton/95/s4/marchio.html
199. Marcondes, C. H.; Sayão, L. F. Integração e interoperabilidade no acesso a recursos informacionais eletrônicos em C&T: a proposta da Biblioteca Digital Brasileira. Ciência da Informação, v. 30, n. 3, p. 24-33, set./dez. 2001.
200. Nielsen, J.; Loranger, H. Usabilidade na web: projetando websites com qualidade. Rio de Janeiro: Campus Elsevier, 2007. 406 p
201. Sayão, L. F.; Marcondes, C. H. O desafio da interoperabilidade e as novas perspectivas para as bibliotecas digitais. TransInformação, Campinas, 20(2): 133-148, maio/ago., 2008. URL: http://revistas.puc-campinas.edu.br/transinfo/viewissue.php?id=19#Artigos
202. Oliveira, V. S. de; Marcondes, C. H. Interoperabilidade entre diferentes bases de dados. In: Congresso Brasileiro de Biblioteconomia, Documentação e
219
Ciência da Informação, 21, 17- 22 jul. 2005, Curitiba. Anais. Curitiba: FEBAB, 2005.
203. Paepcke, A.; Chang, C. K.; Garcia-Molina, H.; Winograd, T. Interoperability for Digital Libraries Worldwide. Communications of the ACM, v. 41, p. 33-43, April 1998. UJRL: http://ilpubs.stanford.edu:8090/317/1/1998-24.pdf
204. Rao, R.; Pedersen, J. O.; Hearst, M. A.; Mackinlay, J. D.; Card, S. K.; Masinter, L. Rich interaction in the digital library. Communications of the ACM, v. 38, n.4, p. 29-40, 1995
Referência digital. 205. Abram, S. Evolution to revolution to chaos? Reference in transition. Searcher,
v. 16, n. 8, p. 42-48, 2008. URL: www.infotoday.com/searcher/sep08/Abram.shtml
206. Bottari, C. T. R.; Silva, N. C.. Serviços de referência virtual: subsídios para implantação em bibliotecas brasileiras. In: Simpósio Internacional de Bibliotecas Digitais, 3, 28 nov. - 02 dez. 2005, São Paulo. Anais do 3º Simpósio Internacional de Bibliotecas Digitais. São Paulo: Universidade de São Paulo: Universidade Estadual Paulista, 2005. URL: http://bibliotecas-cruesp.usp.br/3sibd/docs/bottari193.pdf
207. Buckland, M. K. Reference library service in the digital environment. Library and Information Science Research, v. 30, n. 2, p. 81-85, 2008. URL:http://people.ischool.berkeley.edu/~buckland/libref.pdf
208. Han, L.; Goulding, A. Information and reference services in the digital library. Information services & use, v. 23, n.4, p. 251-262, 2003.
209. International Federation of Library Associations and Institutions. IFLA digital reference guidelines. URL: www.ifla.org/VII/s36/pubs/drg03.htm
210. Janes, J. Introduction to reference work in the digital age. New York: Neal-Schuman, 2003. 213 p.
211. Katz, W., ed. Digital reference services. Binghamton, NY: Haworth Information Press, 2003. 407 p
212. Kern, M. K. Virtual reference best practices: tailoring services to your library. Chicago: American Library Association, 2009. 148 p
213. Kelly, J. S.; Robbins, K. Changing roles for reference libraries. Journal of Library Administration, v. 22, n. 2/3, p. 111-121, 1996.
214. Lankes, R. D.; Gross, M.; Mcclure, C. R. Cost, statistics, measures, and standards for digital reference services: a preliminary view. Library trends, v. 51, n. 3, p. 401-413, 2003.
215. Lankes, R. D., org. Virtual reference service: from competencies to assessment. New York: Neal-Schuman, 2008. 206 p.
216. Manso Rodríguez, R. A. Servicio de Referencia Virtual: concepto, organización y evaluación. Santa Clara, Cuba: Editorial Feijó, 2006. 84 p. URL:http://eprints.rclis.org/archive/00015079/
217. Pessoa, P.; Cunha, M. B. Perspectivas dos serviços de referência digital. Informação & Sociedade: Estudos, v. 17, n. 3, 2007. URL:www.ies.ufpb.br/ojs2/index.php/ies/article/view/836/1587
218. McClure, C.; Lankes, D. R.; Gross, M.; Choltco-Devlin, B. Statistics, measures, and quality standards for assessing digital reference library services: guidelines and procedures. Syracuse (NY): Syracuse University; Talhahassee (FL): Florida State University, 2002. 111 p. URL:http://quartz.syr.edu/quality/.
219. Guidelines for implementing and maintaining virtual reference services. URL:www.ala.org/ala/mgrps/divs/rusa/resources/guidelines/virtrefguidelines.cf
220
m 220. Rona, J. Chat reference: a guide to live virtual reference services. Westport:
Libraries Unlimited, 2003. 225 p. 221. Straw, J. E. A virtual understanding : the reference interview and question
negotiation in the digital age: digital reference services. Reference and user services quarterly, v. 39, n. 4, p. 376-379, 2000.
Aspectos jurídicos 222. Adams, D. Copyright law for the digital library: a bibliography. Indianapolis (IN):
Indiana University, 2003. URL: 223. Agnew, G. Digital Rights Management: A Librarian's Guide to Technology and
Practise. Oxford: Chandos, 2008. 452 p. ISBN 9781843341253. 224. Amaral, S. M. M.; Rossi, P. R. V. Direito autoral e internet. Consulex: revista
jurídica, v. 11, n. 255, p. 55, ago. 2007. 225. Arnold, K. The body in the virtual library: Rethinking scholarly communication.
Journal of Electronic Publishing, v. 1, n. 1, 1995. URL:www.press.umich.edu/jep/works/arnold.body.html
226. Association for Research Libraries. Know your copy rights: using copyrighted works in academic setting. 2007. URL: www.knowyourcopyrights.org/
227. Barlow, J. P. The economy of ideas: a framework for rethinking patents and copyrights in the digital age. Wired, v. 2, n. 3, March 1994. URL: www.nlc-bnc.ca/documents/infopol/copyright/jpbarlow.htm
228. Branco Junior, S. V. Direitos autorais na internet e o uso de obras alheias. Rio de Janeiro: Lumen Juris, 2007. 203 p.
229. Cardoso, J. A. Direitos autorais no trabalho acadêmico. Revista Jurídica, Brasília, v. 9, n. 86, p. 58086, ago./set. 2007.
230. Covey, D. T. Acquiring copyright permission to digitize and provide open access to books. Washington, DC: Council on Library and Information Resources, Digital Library Federation, 2005. 63 p. ISBN 9781932326222. URL: www.clir.org/pubs/reports/pub134/pub134col.pdf
231. Gandelman, H. De Gutenberg à internet: direitos autorais das origens à era digital. 5. ed. Rio de Janeiro: Record, 2007. 295 p.
232. Gillespie, T. Wired shut: copyright and the shape of digital culture. Cambridge, Mass: MIT Press, 2007. 420 p. ISBN: 9780262072823.
233. Gonzalez, M.; Pohlmann Filho, O. Informação digital no ensino presencial e no ensino a distância. Ciência da Informação, v.30, n.2, p. 101-111. 2001. URL: www.ibict.br/cionline/
234. Hindle, P. B. Copyright renewal, copyright restoration, and the difficulty of determining copyright status. D-Lib Magazine, v. 14, n. 7/8, 2008. URL:www.dlib.org/dlib/july08/hirtle/07hirtle.html
235. Hoorebeek, M. van. Law, libraries and technology. Oxford: Chandos Publishing, 2005. 145 p. ISBN 1843340712.
236. International Federation of Library Associations and Institutions. Copyright and Intellectual Property Resources of the IFLA. URL: www.nlc-bnc.ca/ifla/II/cpyright.htm
237. Library of Congress. Copyright Office; Electronic Registration, Recordation & Deposit System (CORDS). URL:
238. Lynch, C. A. Copyright law, intellectual property policy, and academic culture. In: Bonner, Kimberly M. The Center for Intellectual Property Handbook. New York, NY: Neal-Schuman, 2006. p. 153-174.
221
URL:www.cni.org/staff/cliffpubs/Lynchcopyrightlaw.pdf 239. Lyons, P.; Garrett, J. Toward an electronic copyright management information
system.Journal of the American Society for Information Science, v. 44, n. 8, p. 68-73, 1993.
Aspectos econômicos 240. Baker, D.; Evans, W., ed. Digital library economics. Oxford: Chandos, 2009.
362p. 241. Breu, M.; Weber, R. Charging for a digital library: the business model and the
cost models of the MeDoc* digital library. In: European conference on digital libraries, 1st, Pisa, Italia, September 1-3, 1997.
242. Collier, M. The business aims of eight national libraries in digital library co-operation: a study carried out for the business plan of the European Library (TEL) project. Journal of documentation, v. 61, n. 5, p. 602-622, 2005.
243. French, B. The economics and management of digital resources in a multi-campus, multi-library university: the shared digital collection. Collection management, v. 28, n. 1-2, p. 45-54, 2003
244. Hamilton, V. Sustainability for Digital Libraries. Library Review v. 53, n. 8, p. 392-395, 2004. URL: http://eprints.rclis.org/archive/00001930/
245. Heinisch, Christian. CyberLib, vision and economic analysis. Libri, v. 44, n. 4, p. 393-399, 1994.
246. Herzberg, A. Safeguarding digital library contents: charging for online content. D-lib magazine, Jan. 1998. URL:www.dlib.org/dlib/january98/ibm/01herzberg.html
247. Henderson, K. Marketing strategies for digital library services. Library review, v. 54, n. 5-6, p. 342-345, 2005.
248. Lawrence, S. R.; Connaway, L. S.; Brighman, K. H. Life cycle costs of library collections: creation of effective performance and cost metrics for library resources. College and Research Libraries, v. 62, n. 6, p. 541–553, 2001.
249. Lougee, W. P.; MacKie-Mason, J. K. Economics and usage of digital libraries: byting the bullet. Ann Arbor: University of Michigan University Library, Scholarly Publishing Office, 2008. URL: http://quod.lib.umich.edu/cgi/t/text/textidx?c=spobooks;;idno=5621225.0001.001
250. Newby, G. Digital library models and prospects. American Society for Information Science, Mid-year Meeting, San Diego (CA), May 18-22, 1996.Proceedings. Medford: Information Today, 1996. p. 101-111.
251. San Diego Supercomputer Center. Sustaining the digital investment: issues and challenges of economically sustainable digital, interim report of the blue ribbon task force on sustainable digital preservation and access, December 2008. URL: www.sdsc.edu/News%20Items/PR121608_brtf_report.html
252. Schonfeld, R. C., King, D. W.; Okerson, A.; Fenton, E. G. The nonsubscription side of periodicals: changes in library operations and costs between print and electronic formats. Washington: Council on Library and Information Resources, 2004. 57 p. URL:www.clir.org/pubs/reports/pub127/pub127.pdf
253. Waters, D. J. Building on Success, Forging New Ground: The Question of Sustainability. First Monday, v. 9, n. 5, May 2004. URL:http://firstmonday.org/htbin/cgiwrap/bin/ojs/index.php/fm/article/view/1148/1068
Usuários 254. Bawden, D.; Vilar, P. Digital Libraries: To Meet or Manage User Expectations.
222
Aslib Proceedings, v. 58, n. 4, p. 346-354, 2006. 255. Bishop, A. P.; Van House, N. A.; Buttenfield, B. P., ed. Digital library use: social
practice in design and evaluation. Cambridge, MA: MIT Press, 2003. 328 p 256. Chowdhury, S.; Landoni, M.; Gibb, F. Usability and impact of digital libraries: a
review. Online information review, v. 30, n. 6, p. 656-680, 2006. 257. Covi, L. Material mastery: situating digital library use in university research
practices, Information processing & management, v. 35, n. 3, 1999, p. 293-316. 258. Jeng, J. What is usability in the context of the digital library and how can it be
measured? Information technology and libraries, v. 24, n. 2, p. 47-56, 2005 259. Jones, S.; Cunningham, S. J.; Mcnab, R. An analysis of usage of a digital
library In: European conference on digital libraires, 2, Heraklion, Greece, 21-23 September 1998. Proceedings. Berlin: Springer, 1998. p. 261-277.
260. Kani-Zabihi, E.; Ghinea, G.; Chen, S. Y. Digital libraries: what do users want? Online Information Review, v. 30, n. 4, p. 395-412, 2006.
261. Blandford, A.; Makri, S.; Gow, J.; Rimmer, J.; Warwick, C.;Buchanan, G. A library or just another information resource? A case study of users’ mental models of traditional and digital libraries. Journal of the American Society for Information Science and Technology, v. 58, n. 3, p. 433–445, February 2007
262. Tammaro, A. M. User perceptions of digital libraries: a case study in Italy. Performance Measurement and Metrics, v. 9, n. 2, p. 130-137, 2008.
263. Tenopir, C. Use and users of electronic library resources: An overview and analysis of recent research studies. Washington, D.C.: Council on Library and Information Resources, 2003. 72 p. URL: www.clir.org/pubs/abstract/pub120abst.html.
264. Troll, C. D. Survey of methods for assessing use and usability of online collections and services. Washington: Council on Library and Information Resources, 2002. 99 p. URL:www.clir.org/pubs/reports/pub105/pub105.pdf
265. Tsakonas, G.; Papatheodorou, C. Exploring usefulness and usability in the evaluation of open access digital libraries. Information Processing & Management, v. 44, n. 3, p. 1234-1250, 2008.
266. Xie, H. Users' evaluation of digital libraries (DLs): their uses, their criteria, and their assessment. Information processing & management, v. 44, n. 3, p. 1346-1373, 2008.
Avaliação 267. Blandford, A.; Adams, A.; Attfield, S.; Buchanan, G.; Gow, J.; Makri, S.;
Rimmer, J.; Warwick, C. The PRET A Rapporter framework: Evaluating digital libraries from the perspective of information work. Information. Processing and Management, v. 44, n. 1, p. 4-21, 2008.
268. Choudhury, S.; Hobbs, B.; Lorie, M.; Flores, N. A framework for evaluating digital library services. D-Lib Magazine, v. 8, n. 7-8, July/August 2002
269. Fuhr, N. et al. Evaluation of digital libraries. International Journal of Digital Libraries, v. 8, n.1, 2007.
270. Gonçalves, M. A.; Moreira, B. L.; Fox, E. A.; Watson, L. T. What is a good digital library? A quality model for digital libraries. Information processing & management, v. 43, n. 5, p. 1416-1437, 2007.
271. Hill, L. L.; Carver, L.; Larsgaard, M.; Dolin, R.; Smith, T. R.; Frew, J.; Era, M. A. Alexandria Digital Library : User evaluation studies and system design Journal of the American Society for Information Science, v. 51, n. 3, p. 246-259, 2000.
272. Kilker, J.; Gay, G. The social construction of a digital library: a case study
223
examining implications for evaluation. Information Technology and Libraries,v. 17, p. 60-70, June 1998.
273. Koohang, A. Students' perceptions toward the use of the digital library in weekly web-based distance learning assignments portion of a hybrid programme. British Journal of Educational Technology, v. 35, n. 5, p. 617-626, 2004.
274. Lancaster, F. W. Evaluating the digital library. In: Northumbria international conference on performance measurement in libraries and information services, 2nd, Northumberland, 7-11 September 1997.
275. Marchionini, G.; Plaisant, C.; Komlodi, A. The people in digital libraries: multifaceted approaches to assessing needs and impact. 1999
276. Melo, L. B. Estatísticas e avaliação da qualidade e do desempenho em bibliotecas e serviços de informação: investigações recentes e novos projectos. Porto: Universidade do Porto, 2004.
277. Neuhaus, C. Digital library evaluation and assessment bibliography.2005. 278. Peterson, E. Evaluation of digital libraries using snowball sampling. First
Monday v. 10, n. 5, May 2005. 279. Shen, R.; Srinivas, V. N.; Weiguo, F.; Fox, E. A. What is a successful digital
library? In: European Conference on Digital Libraries, ECDL 2006 280. Reeves, T. C; Apedoe, X.; Woo, Y. Hee. Evaluating digital libraries: a user-
friendly guide. NSDL, Educational Impact and Evaluation Standing Committee, 2004.
281. Roswitha, Poll. Impact/outcome measures for libraries. Utrecht University, 2003.
282. Saracevic, T. Digital library evaluation: toward an evolution of concepts. Library Trends, v. 49, n. 2, p. 350-369, 2000.
283. Yang, S. C. An interpretive and situated approach to an evaluation of Perseus digital libraries. Journal of the American Society for Information Science and Technology, v. 52, n. 14, p. 1210-1223, 2001.
Fonte: http://dgz.org.br/out09/Art_01.htm
224
APÊNDICE H – Modelo de instrumento de coleta de dados para avaliação de usabilidade em bibliotecas digitais
Questionário para identificação do perfil dos usuários participantes do Teste
de Usabilidade
O objetivo deste questionário é colher informações sobre o perfil do
participante do teste de usabilidade a ser realizado utilizando o site da Biblioteca
___________. O mesmo é composto de 4 eixos principais e questões a eles
relacionadas, O tempo estimado para preenchimento é de 5 minutos . Responda a
todas, marcando com um X.
1) Informações Pessoais
a) Qual é a sua idade? ________ anos.
b) Sexo: Masculino ( ) Feminino ( ).
c) Profissional ( ) Estudante ( )
2) Informações Educacionais
a) Qual sua formação acadêmica? ________________________
b) Qual o seu grau acadêmico?
Doutor( ) Aluno Doutorado ( ) Mestre ( ) Aluno Mestrado ( )
Graduação ( ) Aluno de Graduação ( )
3) Experiência Computacional
a) Há quanto tempo você utiliza computador?
( ) Entre 1 ano a 2 anos
( ) Entre 2 anos a 3 anos
( ) Entre 3 anos a 4 anos
( ) Mais de 4 anos.
b) Em média, quantas horas por semana você utiliza o computador?
( ) Menos de 2 horas
225
( ) Entre 2 a 5 horas
( ) Entre 5 a 10 horas
( ) Mais de 10 horas
c) Quais ferramentas abaixo você utiliza em suas atividades diárias? (Pode-se
marcar mais de uma opção)
( ) DOS
( ) Excel
( ) Windows
( ) Power Point
( ) Word
( ) Access
( ) Corel Draw
( ) Internet Explorer
( ) Firefox ( ) Chrome ( ) Outros, favor especificar: ________________________
d) Quais os recursos da Internet você mais utiliza? (Pode-se marcar mais de
uma opção)
( ) sala de bate papo
( ) sites de compras
( ) redes sociais (facebook, twitter e outros)
( ) cursos a distância
( ) leitura de jornais e revistas
( ) sites de busca
( ) portais de periódicos
( ) bibliotecas digitais/virtuais
( ) Outros, favor especificar: __________________
e) Qual local você costuma acessar a internet? (Pode-se marcar mais de uma
opção)
( ) em sua residência
226
( ) na universidade (biblioteca/laboratório)
( ) em seu local de trabalho
( ) na casa de amigo
( ) cyber café/lan-house
( ) Outros, favor especificar: __________________
f) Qual opção abaixo você acha que define melhor o seu grau de aptidão com computadores e Internet?
( ) Iniciante ( ) Intermediário ( ) Avançado ( ) Expert
4) Experiência com a Biblioteca pesquisada
a) Você já usou na Biblioteca ______? _________
b) Se sim, há quanto tempo você utiliza a Biblioteca________?
( ) Menos de 1 ano
( ) Entre 1 ano a 2 anos
( ) Entre 2 anos a 3 anos
( ) Entre 3 anos a 4 anos
( ) Mais de 4 anos.
Obrigada!
227
Lista de tarefas a serem realizadas pelos participantes
A lista de tarefas é composta de 10 questões com orientações para realização de pesquisa na Biblioteca__________, para isso é necessário acessar o site www.______. Você poderá utilizar o tempo que achar necessário, mas deve anotar a hora de início e conclusão das tarefas. Ao término de cada tarefar assinalar o grau de satisfação com a realização da mesma. Caso queira fazer alguma observação, favor utilizar as linhas que estão no final da lista ou o verso da folha. Em caso de dúvida, pergunte ao pesquisador. Tarefa 1 Você está fazendo uma pesquisa sobre um determinado assunto, e precisa de artigos científicos para usar no referencial teórico. Tarefa: Faça uma busca livre no site da Biblioteca (www...) sobre o tema da sua pesquisa. Caso encontre algum artigo, veja quais estão disponíveis em texto completo, selecione os relevantes para seu trabalho e encaminhe o texto completo para seu e-mail.. Início: __h:__min. Término: __h:__min. Nº de textos completos:__________ textos encaminhados:__________
Tarefa 2 Você está fazendo um trabalho sobre o assunto_______, para isto precisa fazer uma busca em periódicos científicos sobre tema. Tarefa: Buscar em base especializada artigos que tratam esse tema. Quantos documentos você conseguiu recuperar? Quantos em texto completo? Início: __h:__min. Término: __h:__min. Nº de textos recuperados:___________ nº textos completos:__________
Tarefa 3 Você encontrou vários documentos relevantes para sua pesquisa na Biblioteca, mas a base apresenta apenas as referências e agora gostaria de ter acesso aos textos completos. Para isso, você precisa saber como usar o serviço de fotocópias. Tarefa: Buscar como solicitar os serviços de fotocópias da biblioteca___ e o custo por artigo recuperado. Início: __h:__min. Término: __h:__min. Custo por artigo solicitado:__________
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
228
Tarefa 4
Você se interessa por um artigo sobre o _______ que foi publicado no
periódico X, volume __, número__ de ano. Você precisa saber se esse periódico tem
na base da biblioteca, se disponibiliza o texto completo e como ter acesso a ele.
Tarefa: Verificar no catálogo de revistas científicas se a Biblioteca tem a
revista, caso tenha, localizar o artigo, abrir em PDF e salvar
Início: __h:__min. Término: __h:__min.
Tarefa 5
Você está desenvolvendo uma pesquisa e gostaria de publicar os primeiros resultados em um evento da área. Por isso precisa saber quais eventos estão programados para acontecer e quais as temáticas propostas. Tarefa: Verificar o site da biblioteca disponibiliza informações sobre os eventos, quais são os programados para o período de ________ do ano na área de ______ e o período para submissão de trabalho. Início: __h:__min. Término: __h:__min. Título do evento:_____________ Período para submissão:__________
Tarefa 6
As fontes de informação da Biblioteca incluem produtos e/ou serviços de informação, entre eles, bases de dados de referências bibliográficas, disponibilizadas integralmente na Internet. Você precisa fazer um levantamento bibliográfico sobre a temática da sua pesquisa, mas não tem familiaridade com as bases, por isso necessita conhecer os passos para realização da pesquisa bibliográfica.
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
229
Tarefa: Localizar na biblioteca o tutorial como pesquisar, abrir e verificar se ele atende as necessidades de orientação para realização de pesquisas bibliográficas. Início: __h:__min. Término: __h:__min.
Tarefa 7
Agora que você sabe com fazer uma pesquisa na base, faça uma busca avançada e localize artigos em texto completo e organize por relevância. Tarefa: Localizar textos que tratam dos seguintes temas: ______ e _______, para isso usar a pesquisa avançada e os operadores booleanos. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:__________ nº textos completos:__________
Tarefa 8
Você quer saber quais os textos um determinado pesquisador tem na biblioteca, para isso precisar usar o recurso da busca por autor usando o indice. Tarefa: Verificar quantos trabalhos existe na biblioteca do pesquisador: X e depois refinar usando o ano de publicação Y. Apresentar quantos documentos recuperados e quantos em texto completo. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:__________ nº textos completos:__________
Tarefa 9
A biblioteca dispõe de um vocabulário estruturado criado para servir como uma linguagem única na indexação de das informações disponíveis. Os vocabulários são usados como uma espécie de filtro entre a linguagem utilizada pelo autor e a terminologia da área e também podem ser considerados como assistentes de pesquisa ajudando o usuário a refinar, expandir ou enriquecer suas pesquisas proporcionando resultados mais objetivos. Tarefa: Para fazer o levantamento bibliográfico mais preciso da base é necessário usar os termos indexados, use a busca no vocalulário controlado
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
230
(tesauro/descritores) e encontre os termos para os assuntos: ______; _______ e _______. Faça a busca utilizando os termos localizados. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:_____________
Tarefa 10
A Biblioteca criou um espaço de colaboração online com serviços personalizados para os usuários, nesse espaço ela objetiva dotar seus usuários de maior capacidade para operar produtos e serviços de informação de forma a contribuir com o desenvolvimento e operação de coleções individuais. Então você precisa conhecer esse serviço. Tarefa: Localizar o serviço no site da biblioteca, fazer o cadastro nos serviços personalizados em seguida efetuar o login para conhecer e listar os serviços oferecidos. Início: __h:__min. Término: __h:__min.
Espaço para comentários: ___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Obrigada!
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) ruim ( ) satisfatória ( ) boa ( ) ótima
231
Pós-Teste: Questionário sobre a satisfação com o resultado da pesquisa
O presente questionário é composto de 8 questões abertas. O tempo estimado
para preenchimento é de 5 minutos. Responda a todas as questões com a sua
opinião sobre a Biblioteca______
1) Qual sua opinião a respeito da página inicial da Biblioteca Pesquisada? ___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
__________________________________________________________________
2) O que você achou do sistema de busca da biblioteca (tanto a busca integrada quanto a busca avançada)? ___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
3) O que você acha da parte visual da Biblioteca (cores, formatação do texto, posição
do conteúdo)?
___________________________________________________________________
___________________________________________________________________
____________________________
4) Você achou fácil pesquisar na Biblioteca? Justifique? ___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
________________________________________________________
5) Quais são os pontos positivos da Biblioteca?
232
___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
6) Quais são os pontos negativos da Biblioteca? ___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
_______________
7) O que você achou do tutorial como pesquisar (ajuda) da biblioteca?
___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
_______________
8) Qual a sua avaliação geral a respeito da facilidade de uso da Biblioteca? ___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
___________________________________________________________________
Mais uma vez agradecemos a sua participação na pesquisa,
Obrigada!
233
APÊNDICE I – Instrumento de pesquisa usado na avaliação da Biblioteca Virtual em
Saúde (BVS)
Questionário para identificação do perfil dos parti cipantes do Teste de
Usabilidade na BVS
O objetivo deste questionário é colher informações sobre o perfil do participante do
teste de usabilidade a ser realizado utilizando no site da Biblioteca Virtual em Saúde
(BVS). O mesmo é composto de 4 eixos principais e questões a eles relacionadas, O
tempo estimado para preenchimento é de 5 minutos . Responda a todas elas,
marcando com um X.
1) Informações Pessoais
1. Qual é a sua idade? ________ anos.
2. Sexo: Masculino ( ) Feminino ( ).
3. Docente ( ) Discente ( )
2) Informações Educacionais
1. Qual sua graduação? ________________________
2. Qual o seu grau acadêmico? Doutor( ) Aluno Doutorado ( ) Aluno Mestrado ( )
3. Qual o seu programa de pós-graduação?_________________________
3) Experiência Computacional
a. Há quanto tempo você utiliza computador?
( ) Entre 1 ano a 2 anos
( ) Entre 2 anos a 3 anos
( ) Entre 3 anos a 4 anos
( ) Mais de 4 anos.
b. Em média, quantas horas por semana você utiliza o computador?
( ) Menos de 2 horas
( ) Entre 2 a 5 horas
234
( ) Entre 5 a 10 horas
( ) Mais de 10 horas
c. Quais ferramentas abaixo você utiliza em suas atividades diárias? (Pode-se
marcar mais de uma opção)
( ) DOS
( ) Excel
( ) Windows
( ) Power Point
( ) Word
( ) Access
( ) Corel Draw
( ) Internet Explorer
( ) Firefox ( ) Chrome ( ) Outros, favor especificar: ________________________
d. Quais os recursos da Internet você mais utiliza? (Pode-se marcar mais de uma
opção)
( ) sala de bate papo
( ) sites de compras
( ) redes sociais (facebook, twitter e outros)
( ) cursos a distância
( ) leitura de jornais e revistas
( ) sites de busca
( ) portais de periódicos
( ) bibliotecas digitais/virtuais
( ) Outros, favor especificar: __________________
e. Qual local você costuma acessar a internet?
( ) em sua residência
( ) na universidade (biblioteca/laboratório)
( ) em seu local de trabalho
235
( ) na casa de amigo
( ) cyber café/lan-house
( ) Outros, favor especificar: __________________
f. Qual opção abaixo você acha que define melhor o seu grau de aptidão com computadores e Internet? ( ) Iniciante ( ) Intermediário ( ) Avançado ( ) Expert
4) Experiência com a BVS
a. Você já usou na Biblioteca Virtual em Saúde (BVS)?______________
b. Se sim, há quanto tempo você utiliza a BVS?
( ) Menos de 1 ano
( ) Entre 1 ano a 2 anos
( ) Entre 2 anos a 3 anos
( ) Entre 3 anos a 4 anos
( ) Mais de 4 anos.
Obrigada!
236
Lista de tarefas a serem realizadas pelos participa ntes
A lista de tarefas é composta de 10 questões com orientações para realização de pesquisa na Biblioteca Virtual em Saúde (BVS), para isso é necessário acessar o site www.bvs.br. Você poderá utilizar o tempo que achar necessário, mas deve anotar à hora de início e conclusão das tarefas. Ao término de cada tarefar assinalar o grau de satisfação com a realização da mesma.
Caso queira fazer alguma observação, favor utilizar as linhas que estão no final da lista ou o verso da folha.
Em caso de dúvida, pergunte ao pesquisador.
Tarefa 1 Você está fazendo uma pesquisa sobre um determinado assunto, e precisa de artigos científicos para usar no referencial teórico. Tarefa: Faça uma busca livre no site da BVS (www.bvs.br) sobre o tema da sua pesquisa. Caso encontre algum artigo, veja quais estão disponíveis em texto completo, leia o resumo, selecione os relevantes para seu trabalho e encaminhe o texto completo para seu e-mail. Informe quantos artigos localizou e quantos encaminhou para seu e-mail. Início: __h:__min. Término: __h:__min. Resposta: Assunto pesquisado______________________ Nº de textos completos:_____________ textos encaminhados:__________
Tarefa 2 Você está fazendo um trabalho sobre a qualidade da saúde em João Pessoa, para isto precisa fazer uma busca em periódicos tenham tratado esse tema. Tarefa: Buscar em áreas especializada na base Cid/saúde artigos que tratam esse tema. Quantos documentos você conseguiu recuperar? Quantos em texto completo? Início: __h:__min. Término: __h:__min. Nº de textos recuperados:_____________ nº textos completos:__________
Tarefa 3 Você encontrou vários documentos relevantes para sua pesquisa na BVS, mas a base apresenta apenas as referências e agora gostaria de ter acesso aos textos completos. Para isso, você precisa saber como usar o serviço de fotocópias.
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
237
Tarefa: Buscar como solicitar os serviços de fotocópias da BVS e o custo por artigo recuperado. Início: __h:__min. Término: __h:__min. Custo por artigo recuperado:__________
Tarefa 4 Você se interessa por um artigo sobre o ensino superior brasileiro que foi publicado na Revista de Administração Pública, volume 41, edição especial de 2007. Você precisa saber se essa revista disponibiliza o texto completo e como ter acesso a ele. Tarefa: Verificar no catálogo de revistas científicas se a BVS tem a revista, caso tenha, localizar o artigo, abrir em PDF e salvar Início: __h:__min. Término: __h:__min.
Tarefa 5
Você está desenvolvendo uma pesquisa e gostaria de publicar os primeiros resultados em um evento da área de saúde. Por isso precisa saber quais eventos estão programados para acontecer e quais as temáticas propostas. Tarefa: Verificar quais são os eventos programados para o período de março a junho de 2012 da área de saúde e o período para submissão de trabalho. Início: __h:__min. Término: __h:__min. Título do evento:_____________ Período para submissão:__________
Tarefa 6
As fontes de informação da BVS incluem produtos e/ou serviços de informação em saúde, entre elas as bases do sistema LILACS e outras bases de dados de referências bibliográficas, disponibilizadas integralmente na Internet, com projeções específicas para atender as diferentes especialidades em Ciências da Saúde. Você precisa fazer um levantamento bibliográfico sobre a temática da sua pesquisa mas não tem familiaridade com as base, por isso necessita conhecer os passo para realização de pesquisa bibliográfica na base. Tarefa: Localizar na LILACs o tutorial como pesquisar, abrir e verificar se ele atende as necessidades de orientação para realização de pesquisas bibliográficas. Início: __h:__min. Término: __h:__min.
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
238
Tarefa 7
Agora que você sabe com fazer uma pesquisa na base LILACS, faça uma busca avançada e localize o texto completo e organize por relevância. Tarefa: Localizar textos que tratam dos seguintes temas: saúde pública; políticas públicas de saúde no Brasil, para isso usar a pesquisa avançada e os operadores booleanos. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:_____________ nº textos completos:__________
Tarefa 8
Você quer saber quais os texto de um determinado pesquisador, para isso precisar usar o recurso da busca por autor usando o indice. Tarefa: Verificar quantos trabalhos existe na base LILACS do pesquisador: Paim, Jairnilson Silva e depois refinar usando o ano de publicação 2010. Apresentar quantos documentos recuperados e quantos em texto completo. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:_____________ nº textos completos:__________
Tarefa 9
A BVS dispõe de um vocabulário estruturado e trilíngue DeCS - Descritores em Ciências da Saúde criado pela BIREME para servir como uma linguagem única na indexação de das informação disponíveis na BVS como LILACS, MEDLINE e outras. Os vocabulários são usados como uma espécie de filtro entre a linguagem utilizada pelo autor e a terminologia da área e também podem ser considerados como assistentes de pesquisa ajudando o usuário a refinar, expandir ou enriquecer suas pesquisas proporcionando resultados mais objetivos. Tarefa: Para fazer o levantamento bibliográfico no MEDLINE é necessário usar os termos em inglês, use a busca no DeCS e encontre o termo em inglês para os assuntos: saúde coletiva; câncer de mama e doenças infecciosas. Faça a busca utilizando os termos em inglês localizados no DeCS. Início: __h:__min. Término: __h:__min. Nº de textos recuperados:_____________
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
239
Tarefa 10
A BVS criou um espaço de colaboração online com serviços personalizados para os usuários, nesse espaço a BVS objetiva dotar seus usuários de maior capacidade para operar produtos e serviços de informação de forma a contribuir com o desenvolvimento e operação de coleções individuais sob o serviço “minha biblioteca”. Então você precisa conhecer esse serviço. Tarefa: Fazer o cadastro nos serviços personalizados em seguida efetuar o login para conhecer e listar os serviços oferecidos. Início: __h:__min. Término: __h:__min.
Espaço para comentários: ___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
Obrigada!
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
Resultado: ( ) não concluída ( ) Concluída
Satisfação com o resultado da pesquisa
( ) péssima ( ) satisfatória ( ) boa ( ) ótima
240
Pós-Teste: Questionário sobre a satisfação com o re sultado da pesquisa
O presente questionário é composto de 8 questões abertas. O tempo estimado
para preenchimento é de 5 minutos. Responda a todas as questões com a sua
opinião sobre a BVS
1) Qual sua opinião a respeito da página inicial da Biblioteca Virtual em Saúde (BVS)? ______________________________________________________________
______________________________________________________________
______________________________________________________________
_________________________________________________________
2) O que você achou do sistema de busca da BVS (tanto a busca integrada quanto a busca avançada)? ______________________________________________________________
______________________________________________________________
______________________________________________________________
_________________________________________________________
3) O que você acha da parte visual da BVS (cores, formatação do texto, posição
do conteúdo)?
______________________________________________________________
______________________________________________________________
_____________________________________________________________
4) Você achou fácil pesquisar no sistema BVS? Justifique? ______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
_________________________________________________________
241
5) Quais são os pontos positivos da BVS? ______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________________________
6) Quais são os pontos negativos da BVS? ______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________
7) O que você achou do tutorial como pesquisar (ajuda) da LILACS?
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________
8) Qual a sua avaliação geral a respeito da facilidade de uso da BVS? ______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________
Mais uma vez agradecemos a sua participação na pesquisa,
Obrigada!
242
Termo de consentimento livre e esclarecido
Prezado(a) Docente/Discente,
Esta pesquisa é sobre avaliação de usabilidade em bibliotecas digitais, está
sendo desenvolvida por Izabel França de Lima, aluna do Curso de Doutorado da Universidade Federal de Minas Gerais, sob a orientação dos Professores Dr. Renato Rocha Souza (orientador - UFMG) e Dr. Guilherme Ataíde Dias (co-orientador – UFPB).
O objetivo do estudo é proceder a uma avaliação de usabilidade da Biblioteca Virtual em Saúde (BVS) por pesquisadores (docentes e discentes) da pós-graduação do Centro de Ciências da saúde da UFPB, no intuito de averiguar a eficácia do modelo de avaliação proposto na tese. A finalidade deste trabalho é contribuir para avaliação da usabilidade de bibliotecas digitais. Esclarecemos que o nosso objetivo não é o de avaliar os docentes/discentes da pós-graduação em saúde do CCS/UFPB, mas analisar a usabilidade da BVS.
Solicitamos sua colaboração na pesquisa, como também, autorização para apresentar os resultados deste estudo em eventos das áreas da Ciência da Informação e publicar em revistas científicas. Por ocasião da publicação dos resultados, os participantes do teste de usabilidade não serão identificados.
Esclarecemos que a participação no estudo é voluntária e, portanto, caso decida não participar do estudo, ou resolver a qualquer momento desistir do mesmo, não sofrerá nenhum dano.
Os pesquisadores estarão a sua disposição para qualquer esclarecimento que considere necessário em qualquer etapa da pesquisa.
Diante do exposto, declaro que fui devidamente esclarecido(a) e aceito participar da pesquisa e dou o meu consentimento para publicação dos resultados. Estou ciente que receberei uma cópia desse documento.
______________________________________ Assinatura do Participante da Pesquisa
______________________________________ Assinatura da Testemunha Caso necessite de maiores informações sobre o presente estudo, favor ligar
para a Pesquisadora Responsável: Izabel França de Lima 99229962 ou por e-mail: [email protected].
Endereço (Setor de Trabalho): Universidade Federal da Paraíba, Centro de Ciências da Saúde, Biblioteca Setorial. Telefone: 3216.7278
Atenciosamente,
___________________________________________
Assinatura do Pesquisador Responsável
