Post on 07-Apr-2016
2006-02-09
Universidade do Minho
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
is
Miguel Ferreiramferreira@dsi.uminho.pt
Ana Alice Baptistaanalice@dsi.uminho.pt
José Carlos Ramalhojcr@di.uminho.pt
CRIB: A Service Oriented Architecture for Digital
Preservation Outsourcing
Universidade do Minho
2
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isConteúdo
• Vantagens dos Repositórios Digitais
• Limitações dos actuais Repositórios Digitais
• Estratégias de preservação baseadas em Migração
• Introdução ao sistema CRiB• Conclusões
Universidade do Minho
3
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isVantagens dos Repositórios Digitais
• Grande volume de informação digital
• Aumento exponencial do número de repositórios digitais
• Economia de espaço físico de armazenamento
• Facilidade de disseminação dos materiais
• Tecnologia económica – e.g. DSpace, Eprints, Fedora, Greenstone, etc.
• Impossibilidade de armazenar determinados materiais por meios analógicos (e.g. sítios Web, modelos 3D)
Universidade do Minho
4
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isNúmero de Repositórios Institucionais
Universidade do Minho
5
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isLimitações dos Repositórios Digitais
• Muito bons a arquivar e disseminar materiais digitais
• Pobres no que toca à preservação dos materiais– Não vão para além da normalização de
formatos durante a ingestão de material– Pouca preocupação com a autenticidade
e valor probatório dos materiais– Custos de preservação geralmente
elevados
Universidade do Minho
6
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isPreservação Digital
• Preservação digital– Conjunto de actividades responsáveis por
garantir o acesso continuado à informação existente em formatos digitais
• Objecto digital– Todo o objecto de informação que possa
ser representado por uma sequência de dígitos binários (bit stream)
– Documentos de texto, fotografias digitais, gráficos vectoriais, bases de dados, páginas Web, software
Universidade do Minho
7
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
is
Estratégias de preservação digital
• Emulação– Software capaz de reproduzir o
comportamento de uma plataforma de hardware e/ou software
• Encapsulamento– Conservação junto do objecto digital de toda
a informação necessária à sua interpretação
– Conversores, visualizadores ou emuladores
• Migração– Transferência periódica de material
digital de uma configuração de hardware/software para uma outra
Universidade do Minho
8
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isMigração distribuída
• Rede distribuída de serviços de conversão
• Vantagens– Independente da plataforma– Redundância– Múltiplos caminhos de migração– Redução de custos
• Desvantagens– Largura de banda
• Exemplos– PANIC– MyMorph (NLMed)– TOM Format
B
FormatC
FormatD
FormatE
FormatA
ConversionA-C
ConversionB-C
ConversionC-E
ConversionA-E
Universidade do Minho
9
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isQual a melhor estratégia?
• Múltiplas alternativas existentes
• Falta de aceitação universal• Depende dos requisitos
individuais de cada organização– Satisfação da comunidade de
interesse– Características da colecção– Orçamento disponível
Universidade do Minho
10
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isCRiB: uma proposta!
• Extensão às actuais redes de conversão
• Arquitectura Orientada ao Serviço (SOA) suportada por Web Services
• Permite aos actuais repositórios:– Realizar migrações de formatos– Determinar a quantidade de informação
perdida numa migração– Documentar a intervenção de
preservação– Obter sugestões de alternativas de
migração adequadas ao problema de preservação em causa
Universidade do Minho
11
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isArquitectura geral
Universidade do Minho
12
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isA arquitectura detalhada
Universidade do Minho
13
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isMetaconverter
• Interface entre o cliente e o sistema CRiB– Trata-se de um Web service
• Geração e gestão de mensagens no interior do sistema
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
Application layer
Digital repositoriesCustom applications
Web client DSpaceRich client Fedora Eprints
Individual Archive
Universidade do Minho
14
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isService Registry
• Gestão de metainformação de suporte à descoberta de serviços
• Baseado na norma UDDI– Service, Business, Binding templates
• Elementos adicionais– Formatos de partida/chegada (PRONOM)– Custo de utilização
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
Universidade do Minho
15
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isMigration Broker
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
• Responsável pela invocação de serviços de conversão
• Medição da performance de cada serviço de conversão:– Disponibilidade– Estabilidade– Escalabilidade– Débito
Universidade do Minho
16
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isObject Evaluator
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
• Determina a quantidade de informação perdida na migração
• Múltiplos critérios de avaliação / propriedades significativas– Conteúdo textual, dimensões da página, nº de
páginas, layout gráfico, tamanho da fonte, etc.• Emissão de relatórios baseados no
PREMIS Data Dictionary (Event entity):– Data e hora da intervenção– Descrição dos agentes envolvidos– Tipo de evento (e.g. migração)– Resultado da intervenção
Universidade do Minho
17
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isFormat Evaluator
• Informa o sistema sobre o estado dos formatos digitais– Cota de mercado– Nível de suporte– Especificação aberta?– Etc…
• Fontes de informação– Base de dados com factos sobre
formatos– Fontes dinâmicas de informação
• PRONOM Registry• Google Web APIs
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
Universidade do Minho
18
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isMigration Advisor
Business layer
Metaconverter
Migration Advisor
Object Evaluator
Format Evaluator
ServiceRegistry
MigrationBroker
• Geração de sugestões de alternativas de migração
• Combina os requisitos de cada organização cliente…– Pesos atribuídos a cada propriedade significativa
• …com o conhecimento acumulado sobre a qualidade de cada conversor– Performance– Perda de informação associada– Estado de cada formato
Universidade do Minho
19
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isCálculo de sugestões
User
Migration Advisor
Weights
30%30%40%
40%30%0%
20%10%40%40%20%
(1) Average evaluations per
service
(2) User assigned
weights of importance
(3) Normalised evaluations
[1-5]
1.61.61
22
0.40.61.52
1.21.20.4
21.50
21.50
0.2 10.5 0.1
WS1 WS2
x =
(5)Overall rating
12.5 11.8
70%60%80%
95%85%20%
30%5
yes
70%4
no
95%80%
1
90%90%1.5
1 Kb/s 2 Kb/s0.01 € 0.05 €
WS1 WS2
Obj
ect
Evaluation criteria
Market shareSupport levelOpen standardFo
rmat
AvailabilityStabilityScalabilityThroughputCost
Pro
cess
Number of charsOrdering of charsPage layout
445
552
255
441
551
555
1 55 1
WS1 WS2
(4)Ranking process
Weights
0.30.30.4
0.40.30
0.20.10.40.40.2
Format Evaluator
Evaluations Repository
Object Evaluator
MigrationBroker
Universidade do Minho
20
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isConclusões (1/2)
• Plataforma de avaliação, recomendação e selecção de alternativas de migração
• Prestação de serviços de conversão• Avaliação de resultados de
conversões• Produção de relatórios para anexação
à metainformação de preservação– Documentação da intervenção– Autenticidade
• Redução de custos– Sugestão de alternativas de migração– Avaliação automática das intervenções de
preservação
Universidade do Minho
21
XA
TA’0
6 B
iblio
teca
s e
Arq
uivo
s D
igita
isConclusões (2/2)
• Extensível através da utilização de novos serviços de conversão e avaliação
• Publicação e venda de serviços de conversão
• Benchmarking de conversores• Partilha de experiências
práticas de utilização de normas recém-criadas (e.g. PREMIS)