HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
1
HAREM e MiniHAREM:Uma análise comparativa
Nuno Cardoso
Encontro HAREM
15 de Julho de 2006
FLUP, Porto
Linguateca
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
2
Participação no HAREM
HAREM (14-2-2005)● 10 participantes● 6 países
– PT, BR, MX, DK, ES e FR
● 18 saídas (3 não-oficiais)
MiniHAREM (3-4-2006)● 5 participantes● 2 países
– PT e BR● 20 saídas
- Só para os participantes do primeiro HAREM
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
3
HAREM numa casca de noz
Eça de Queirós nasceu naPóvoa de Varzim em 1845.
Colecção de textos HAREM
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
4
HAREM numa casca de noz
Eça de Queirós nasceu naPóvoa de Varzim em 1845.
Participante
Sistema REM participante
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Póvoa</PESSOA> de Varzim em 1845.
Etiquetagem automáticaSaída do Participante
Colecção de textos HAREM
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
5
HAREM numa casca de noz
Eça de Queirós nasceu naPóvoa de Varzim em 1845.
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<LOCAL TIPO=”ADMINISTRATIVO” MORF=”M,S”>Póvoa de Varzim</LOCAL> em <TEMPOTIPO=”DATA”>1845</TEMPO>.
Colecção Dourada
Avaliação HAREM
Colecção de textos HAREM Participante
Sistema REM participante
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Póvoa</PESSOA> de Varzim em 1845.
Etiquetagem automáticaSaída do Participante
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
6
HAREM numa casca de noz
Eça de Queirós nasceu naPóvoa de Varzim em 1845.
Identificação:Eça de Queirós: CorrectoPóvoa de Varzim:
Parcialmente Correcto1845: EmFalta
Classificação Morfológica:Eça de Queirós: CorrectoPóvoa de Varzim: Errado
no Género
Classificação Semântica:Eça de Queirós: CorrectoPóvoa de Varzim: EmFalta LOCALEspúrio PESSOA1845:EmFalta TEMPO
Pontuações
Colecção de textos HAREM Participante
Sistema REM participante
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Póvoa</PESSOA> de Varzim em 1845.
Etiquetagem automáticaSaída do Participante
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Póvoa</PESSOA> de Varzim em 1845.
Etiquetagem automáticaSaída do Participante
Colecção Dourada
<PESSOA TIPO=”INDIVIDUAL” MORF=”M,S”>Eça de Queirós</PESSOA> nasceu na<LOCAL TIPO=”ADMINISTRATIVO” MORF=”M,S”>Póvoa de Varzim</LOCAL> em <TEMPOTIPO=”DATA”>1845</TEMPO>.
Avaliação HAREM
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
7
Cenários selectivos em 2005
● HAREMSistema Saída PESSOA ORGAN. LOCAL TEMPO VALOR ACONT. ABSTR. COISA OBRA VARIADO
CaGE1 2 3
Cortex1 2 3
ELLEMalinche
Nerua123
RSN-NILCPALAVRAS-NERRENA
SIEMÊS12
= alguns tipos = todos os tipos
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
8
● MiniHAREM
= alguns tipos = todos os tipos
Sistema Saída PESSOA ORGAN. LOCAL TEMPO VALOR ACONT. ABSTR. COISA OBRA VARIADOCaGE Siemês 2Cortex
SMELL12
Stencil-NooJ
Cenários selectivos em 2006
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
9
Colecção Dourada (CD)
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
10
● Incluir todas as EMs relevantes em texto português, obtendo uma marcação “ideal” de EMs no texto
● Categorias das EMs criadas empiricamente a partir de análise do texto. Categorização feita em dois níveis, categorias e tipos.
● Não representa o que os sistemas REM devem obter hoje, mas permitem:
– avaliar a dificuldade da tarefa REM– estabelecer um limite superior
● Há muito mais em REM do que pessoas, organizações, locais e números...
Propósito da Colecção Dourada
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
11
Colecções Douradas usadas
● HAREM: Colecção Dourada de 2005 (CD 2005)● MiniHAREM: Colecção Dourada de 2006 (CD 2006)● Ambas as CDs foram retiradas da Colecção
HAREM
Tamanhos Colecção HAREM CD 2005 CD 2006 AmbasPalavras 600 086 92 830 62 461 155 291Documentos 1 202 129 128 257EMs ~ 40 000 5 270 3 858 9 128EMs vagas (class.) ~ 1 000 133 142 275EMs vagas (ident.) ~ 500 71 56 127
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
12
Categorias e Tipos em 2005
● ABSTRACCAO– DISCIPLINA– ESTADO– ESCOLA– OBRA– PLANO– IDEIA– NOME
● PESSOA– INDIVIDUAL– GRUPOIND– CARGO– GRUPOCARGO– MEMBRO– GRUPOMEMBRO
● ORGANIZACAO– INSTITUICAO– ADMINISTRACAO– EMPRESA– SUB
● OBRA– ARTE– REPRODUZIDA– PRODUTO– PUBLICACAO
● LOCAL– GEOGRAFICO– ADMINISTRATIVO– VIRTUAL– ALARGADO– CORREIO
● VALOR– MOEDA– CLASSIFICACAO– QUANTIDADE
● ACONTECIMENTO– EFEMERIDE– ORGANIZADO– EVENTO
● TEMPO– DATA– HORA– PERIODO– CICLICO
● COISA– OBJECTO– SUBSTANCIA– CLASSE
● VARIADO– OUTRO
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
13
Categorias e Tipos em 2006
● ABSTRACCAO– DISCIPLINA– ESTADO– ESCOLA– OBRA– PLANO– IDEIA– NOME
● PESSOA– INDIVIDUAL– GRUPOIND– CARGO– GRUPOCARGO– MEMBRO– GRUPOMEMBRO
● ORGANIZACAO– INSTITUICAO– ADMINISTRACAO– EMPRESA– SUB
● TEMPO– DATA– HORA– PERIODO– CICLICO
● OBRA– ARTE– REPRODUZIDA– PRODUTO– PUBLICACAO
● LOCAL– GEOGRAFICO– ADMINISTRATIVO– VIRTUAL– ALARGADO– CORREIO
● COISA– OBJECTO– SUBSTANCIA– CLASSE– MEMBROCLASSE
● ACONTECIMENTO– EFEMERIDE– ORGANIZADO– EVENTO
● VARIADO– OUTRO
● VALOR– MOEDA– CLASSIFICACAO– QUANTIDADE
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
14
Principais alterações HAREM => MiniHAREM
● OBRA TIPO=”PRODUTO” eliminado● COISA TIPO=”MEMBROCLASSE” criado● Emails e URLs deixam de ser marcados● Referências anafóricas mantêm
significado semântico – ex: Revolução de 1830 (...) e a de 1832...
● PESSOA TIPO=”MEMBRO” para referências a pessoas a partir de uma organização
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
15
CD: Distribuição por Categorias
24,59%
21,10%
18,61%
9,18%
9,13%
8,48%
4,04%2,49%1,57%0,80%
Colecção Dourada de 2005 (regras 2005)
23,54%
22,24%
16,80%
9,46%
8,76%
8,63%
5,08%3,40%1,74%0,36%
Colecção Dourada de 2006 (regras 2006)
23,91%
21,64%
17,91%
8,98%
8,98%
8,96%
3,71%
3,12%2,17%0,62%
Ambas as Colecções Douradas
LOCALPESSOAORGANIZACAOVALORABSTRACCAOTEMPOCOISAOBRAACONTECIMENTOVARIADO
(regras 2006)
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
16CD: Distribuição por Género Textual (nº de palavras)
15,23%
34,43%
5,40%
14,31%
6,65%
12,67%
3,03%8,27%
Colecção Dourada de 2005
22,82%
27,56%
8,04%
9,95%
6,45%
10,07%
6,94%
8,17%
Colecção Dourada de 2006
18,28%
31,66%
6,46%
12,56%
6,57%
11,62%
4,60%
8,23%
Ambas as Colecções Douradas
WebEntrevistaEmailJornalísticoPolíticoLiterárioTécnicoExpositivo
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
17
25,98%
19,64%
22,09%
9,09%
8,29%
6,26%
6,74%1,92%
Colecção Dourada de 2005 (regras 2005)
CD: Distribuição por Género Textual(nº de EMs)
28,88%
19,68%17,58%
10,53%
10,38%
5,45%
5,34%2,14%
Ambas as Colecções Douradas
WebEntrevistaJornalísticoExpositivoEmailLiterárioPolíticoTécnico
32,97%
19,57% 11,33%
12,44%
13,56%
4,30%3,40%2,44%
Colecção Dourada de 2006 (regras 2006)
(regras 2006)
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
18
Densidade de EMs, por Género Textual
Jornalístico Web
ExpositivoEmail
LiterárioEntrevista
PolíticoTécnico
0%
5%
10%
15%
20%
25%
30%
20052006
Densidade EMG =
Nº palavras que pertencem e EMs, para o género G
Nº total de palavras, para o género G
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
19
Nº de palavras das EMs, por Categoria
2005 2006
ACONTECIMENTO 3,34 3 2,94 3,76 3 3,16OBRA 3,26 2 2,89 3,5 3 3,19VARIADO 2,25 1 2,51 2,23 1 2,48ABSTRACCAO 2,19 1 2,44 2,21 1 2,01ORGANIZACAO 2,19 1 1,96 2,21 1 2,45PESSOA 1,9 2 1,12 1,9 2 1,10TEMPO 1,81 1 1,34 1,82 1 1,34VALOR 1,75 2 0,90 1,75 2 0,91LOCAL 1,65 1 1,43 1,66 1 1,46COISA 1,45 1 0,83 1,54 1 0,88TOTAL 1,97 1 1,73 1,98 1 1,76
Categorias Média Mediana Desv.Pad. Média Mediana Desv.Pad.
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
20
Teor de Sobreposição de EMs
CD 2005 CD 2006Número Total de EMs 5132 3712Número de EMs Distintas 3060 2434Rácio 59,63% 65,57%
Nº Total de EMs comuns 623Nº EMs Distintas comums 380Rácio de total EMs 12,14% 16,78%Rácio de EMs distintas 12,42% 15,61%
• Quantas EMs aparecem em ambas as Colecções Douradas?
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
21
Análise Estatística ao HAREM e MiniHAREM
vs
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
22
● Determinar o nível de confiança dos resultados do HAREM e MiniHAREM
● Distinguir os sistemas / estratégias realmente diferentes
● Verificar se o tamanho da CD é suficiente● Validar os eventos de avaliação
Objectivos da análise estatística
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
23
● Não paramétrico -- distribuição de EMs (quase) impossível de determinar --
● Comparação directa entre pares de saídas● Simples e robusto● Nível de confiança calculado facilmente
Requisitos dos testes estatísticos
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
24
● Escolha: Testes de permutação– Approximate Randomization
● Sinopse do teste de permutação: – Permutar aleatoriamente observações entre
duas saídas– Se a diferença inicial diminuir, é provável que
as duas saídas sejam diferentes– Se a diferença inicial se mantiver, é provável
que seja obra do acaso
Teste estatístico escolhido: permutação
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
25
Teste de Permutação - exemplo
Saída A
Saída B
PA = 16/20 = 80%
PB = 6/20 = 30%
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
26
Teste de Permutação - exemplo
Saída A
Saída B
Saída A
Saída B
Fase 1: Permutação
- Troca de observações, com ½ de probabilidade
PA = 16/20 = 80%
PB = 6/20 = 30%
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
27
Teste de Permutação - exemplo
Saída A
Saída B
Saída A
Saída B
Fase 1: Permutação
- Troca de observações, com ½ de probabilidade
Fase 2: Cálculo da nova diferença
P*A = 12/20 = 60%
P*B = 10/20 = 50%
PA = 16/20 = 80%
PB = 6/20 = 30%
Pseudo-Saída A
Pseudo-Saída B
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
28
Teste de Permutação - exemplo
Saída A
Saída B
Saída A
Saída B
Fase 1: Permutação
- Troca de observações, com ½ de probabilidade
Pseudo-Saída A
Pseudo-Saída B
Fase 2: Cálculo da nova diferença
P*A = 12/20 = 60%
P*B = 10/20 = 50%
PA = 16/20 = 80%
PB = 6/20 = 30% 50%
10%
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
29
Teste de Permutação - exemplo
● Repetir para n iterações (ou seja, gerar pseudo-saídas) – Contar o nº de vezes m que a diferença
aumentou em vez de diminuir
● Valor de P: Pvalue
=
Pvalue
Erro tipo I
FrequênciaRelativa
Diferença absoluta
m+1n+1
Distribuição empírica
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
30
Mas... como permutar no HAREM?
● Observações das saídas são dependentes!
● Como permutar “Costa”? E se “Silva” não for permutado?
CD
A
B
1 2 3
1
1 2
2 3 4 5
Saídas Texto / EMs
Segundo o presidente da Fundação para o Desenvolvimento da Produção, Costa e Silva, ...
Segundo o presidente da Fundação para o Desenvolvimento da Produção, Costa e Silva, ...
Segundo o presidente da Fundação para o Desenvolvimento da Produção, Costa e Silva, ...
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
31
Permutação por blocos
● Solução: agrupar EMs em blocos independentes
– Mantém pontuações– Resolve diferenças dadas pelo <ALT>
● Ver a permutação como a troca de desempenho entre saídas, para uma determinada frase ou pedaço de texto
A
B
1 2 3
1 2 3 4 5
Saídas Texto / EMs
Segundo o presidente da Fundação para o Desenvolvimento da Produção, Costa e Silva, ...
Segundo o presidente da Fundação para o Desenvolvimento da Produção, Costa e Silva, ...
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
32
Tabelas de valores P0,7977 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00050 0,00020 0,00090 0,000100,8700 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,8323 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7977 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00060 0,00010 0,00040 0,000100,8700 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,8323 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7284 0,00010 0,00010 1,00000 0,00640 0,00520 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00040 0,000100,6958 0,00010 0,00010 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7117 0,00010 0,00010 1,00000 0,00870 0,00930 0,00890 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7284 0,00010 0,00010 1,00000 0,00610 0,00560 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00040 0,000100,6958 0,00010 0,00010 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7117 0,00010 0,00010 1,00000 0,00900 0,00840 0,00900 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7320 0,00010 0,00010 0,0047 0,00610 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00080 0,000100,6852 0,00010 0,00010 0,00010 0,00010 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7078 0,00010 0,00010 0,00650 0,00810 1,00000 0,03210 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7320 0,00010 0,00010 0,00520 0,00540 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00100 0,000100,6852 0,00010 0,00010 0,00010 0,00010 1,00000 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7078 0,00010 0,00010 0,01 0,00750 1,00000 0,02980 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,8733 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00100 0,011600,5707 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00720 0,00010 0,00010 0,00010 0,00010 0,000100,6903 0,00010 0,00010 0,00960 0,00930 0,03430 0,03200 0,84950 0,00530 0,00010 0,00010 0,00010 0,00010 0,000100,7584 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,42330 0,00010 0,00010 0,00010 0,48480 0,000100,6310 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,6888 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,85220 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,7570 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,42050 0,00010 0,00010 0,00010 0,41450 0,000100,5969 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00710 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,6675 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00700 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,6835 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,5317 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00020 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,5982 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,8311 0,00060 0,00040 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,64320 0,00010 0,075500,4165 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,31040 0,10520 0,000100,5549 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,43020 0,00290 0,000100,8366 0,00010 0,00020 0,00010 0,00010 0,00010 0,00010 0,00020 0,00010 0,00010 0,00010 0,61220 0,00010 0,000300,4072 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,31530 0,49480 0,000100,5477 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,43520 0,01730 0,000100,7655 0,00080 0,00110 0,00010 0,00030 0,00080 0,00120 0,00010 0,46020 0,39540 0,00010 0,00010 0,00010 0,000100,4011 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,10620 0,49600 0,000100,5264 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00260 0,01770 0,052800,8511 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,01250 0,00010 0,00010 0,00010 0,06780 0,00030 0,000100,3617 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,5076 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,050600,8288 0,00140 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,3606 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,5026 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010
0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,000100,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010 0,00010
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
33
Testes estatísticos com tamanho da CD
Saída A Saída B DiferençaPrec Abr MedF Prec Abr MedF Prec Abr MedF0.728 0.696 0.712 0.798 0.870 0.832 0.069 0.174 0.121
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
34
Testes estatísticos com tamanho da CD
Saída A Saída B DiferençaPrec Abr MedF Prec Abr MedF Prec Abr MedF0.728 0.696 0.712 0.798 0.870 0.832 0.069 0.174 0.121
n iterações = 9999 PSEUDO-SAÍDAS de A PSEUDO-SAÍDAS de BValor de P Média Média
# Blocos Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedFTodos 0.0001 0.0001 0.0001 0.765 0.783 0.774 0.003 0.004 0.003 0.765 0.783 0.774 0.003 0.004 0.003
2000 0.0001 0.0001 0.0001 0.765 0.772 0.769 0.008 0.009 0.007 0.765 0.772 0.769 0.008 0.009 0.0071000 0.0001 0.0001 0.0001 0.765 0.765 0.765 0.013 0.015 0.012 0.765 0.765 0.765 0.013 0.014 0.012500 0.0004 0.0001 0.0001 0.766 0.761 0.763 0.019 0.022 0.017 0.765 0.761 0.763 0.018 0.021 0.017250 0.0181 0.0001 0.0001 0.765 0.759 0.762 0.027 0.031 0.025 0.766 0.760 0.763 0.027 0.031 0.025200 0.0351 0.0001 0.0001 0.765 0.759 0.762 0.030 0.034 0.028 0.765 0.759 0.762 0.030 0.035 0.028100 0.1391 0.0009 0.0047 0.766 0.759 0.761 0.043 0.049 0.040 0.765 0.758 0.761 0.044 0.049 0.04175 0.1912 0.0034 0.0123 0.767 0.759 0.762 0.050 0.057 0.047 0.767 0.759 0.762 0.050 0.057 0.04750 0.2900 0.0181 0.0453 0.766 0.759 0.761 0.062 0.069 0.058 0.766 0.760 0.761 0.062 0.068 0.05725 0.4488 0.0843 0.1505 0.767 0.762 0.762 0.087 0.093 0.079 0.766 0.760 0.760 0.086 0.093 0.079
Desvio Padrão Desvio Padrão
● Utilizando cada vez menos blocos no teste...
● ... aumenta o desvio padrão das pseudo-saídas...
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
35
Testes estatísticos com tamanho da CD
Saída A Saída B DiferençaPrec Abr MedF Prec Abr MedF Prec Abr MedF0.728 0.696 0.712 0.798 0.870 0.832 0.069 0.174 0.121
● ... e aumenta a média e desvio padrão das diferenças entre pseudo-saídas!
PSEUDO-DIFERENÇASValor de P Média
# Blocos Prec Abr MedF Prec Abr MedF Prec Abr MedFTodos 0.0001 0.0001 0.0001 0.006 0.006 0.005 0.004 0.005 0.004
2000 0.0001 0.0001 0.0001 0.008 0.009 0.008 0.006 0.007 0.0061000 0.0001 0.0001 0.0001 0.012 0.013 0.011 0.009 0.010 0.008500 0.0004 0.0001 0.0001 0.017 0.018 0.015 0.013 0.014 0.011250 0.0181 0.0001 0.0001 0.024 0.026 0.021 0.018 0.020 0.016200 0.0351 0.0001 0.0001 0.026 0.029 0.024 0.020 0.022 0.018100 0.1391 0.0009 0.0047 0.037 0.041 0.034 0.028 0.031 0.02675 0.1912 0.0034 0.0123 0.043 0.048 0.039 0.032 0.036 0.02950 0.2900 0.0181 0.0453 0.053 0.058 0.048 0.040 0.045 0.03625 0.4488 0.0843 0.1505 0.073 0.081 0.066 0.056 0.061 0.051
Desvio Padrão
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
36
Variação do nº de blocos vs valor de P
FrequênciaRelativa
Diferença absolutaPSEUDO-DIFERENÇAS
Valor de P Média# Blocos Prec Abr MedF Prec Abr MedF Prec Abr MedF
Todos 0.0001 0.0001 0.0001 0.006 0.006 0.005 0.004 0.005 0.0042000 0.0001 0.0001 0.0001 0.008 0.009 0.008 0.006 0.007 0.0061000 0.0001 0.0001 0.0001 0.012 0.013 0.011 0.009 0.010 0.008500 0.0004 0.0001 0.0001 0.017 0.018 0.015 0.013 0.014 0.011250 0.0181 0.0001 0.0001 0.024 0.026 0.021 0.018 0.020 0.016200 0.0351 0.0001 0.0001 0.026 0.029 0.024 0.020 0.022 0.018100 0.1391 0.0009 0.0047 0.037 0.041 0.034 0.028 0.031 0.02675 0.1912 0.0034 0.0123 0.043 0.048 0.039 0.032 0.036 0.02950 0.2900 0.0181 0.0453 0.053 0.058 0.048 0.040 0.045 0.03625 0.4488 0.0843 0.1505 0.073 0.081 0.066 0.056 0.061 0.051
Desvio Padrão
2000 blocos
500 blocos
200 blocos50 blocos
Diferençainicial
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
37
Prova dos nove...
PSEUDO-DIFERENÇASValor de P Média
# Blocos Prec Abr MedF Prec Abr MedF Prec Abr MedFTodos 0.0001 0.0001 0.0001 0.006 0.006 0.005 0.004 0.005 0.004
2000 0.0001 0.0001 0.0001 0.008 0.009 0.008 0.006 0.007 0.0061000 0.0001 0.0001 0.0001 0.012 0.013 0.011 0.009 0.010 0.008500 0.0004 0.0001 0.0001 0.017 0.018 0.015 0.013 0.014 0.011250 0.0181 0.0001 0.0001 0.024 0.026 0.021 0.018 0.020 0.016200 0.0351 0.0001 0.0001 0.026 0.029 0.024 0.020 0.022 0.018100 0.1391 0.0009 0.0047 0.037 0.041 0.034 0.028 0.031 0.02675 0.1912 0.0034 0.0123 0.043 0.048 0.039 0.032 0.036 0.02950 0.2900 0.0181 0.0453 0.053 0.058 0.048 0.040 0.045 0.03625 0.4488 0.0843 0.1505 0.073 0.081 0.066 0.056 0.061 0.051
Desvio Padrão
Teste T-Studentt (99%) = 2,58Média - t * desvPad Média + t * desvPad
-0.005 -0.006 -0.005 0.016 0.019 0.015-0.008 -0.009 -0.007 0.024 0.028 0.022-0.011 -0.013 -0.01 0.035 0.039 0.032-0.016 -0.017 -0.014 0.050 0.054 0.044-0.022 -0.025 -0.02 0.069 0.078 0.063-0.025 -0.028 -0.023 0.078 0.086 0.070-0.036 -0.039 -0.033 0.110 0.122 0.100-0.041 -0.045 -0.037 0.126 0.140 0.114-0.05 -0.057 -0.046 0.155 0.173 0.142
-0.072 -0.078 -0.065 0.218 0.239 0.198
Saída A Saída B DiferençaPrec Abr MedF Prec Abr MedF Prec Abr MedF0.728 0.696 0.712 0.798 0.870 0.832 0.069 0.174 0.121
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
38
Influencia do nº de iterações no valor de P
n blocos = 2000 PSEUDO-SAÍDAS de A PSEUDO-SAÍDAS de B PSEUDO-DIFERENÇASValor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.0001 0.0001 0.0001 0.765 0.772 0.769 0.008 0.009 0.007 0.765 0.772 0.769 0.008 0.009 0.007 0.00831 0.00937 0.00750 0.00626 0.00707 0.00570
999 0.0010 0.0010 0.0010 0.765 0.772 0.768 0.008 0.009 0.007 0.765 0.771 0.768 0.008 0.009 0.007 0.00836 0.00930 0.00744 0.00609 0.00692 0.0056299 0.0100 0.0100 0.0100 0.764 0.771 0.768 0.009 0.009 0.007 0.766 0.772 0.769 0.009 0.009 0.008 0.00984 0.00952 0.00855 0.00750 0.00642 0.00609
n blocos = 200Valor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.0351 0.0001 0.0001 0.765 0.759 0.762 0.030 0.034 0.028 0.765 0.759 0.762 0.030 0.035 0.028 0.02650 0.02904 0.02379 0.01991 0.02212 0.01804
999 0.0290 0.0010 0.0010 0.767 0.758 0.762 0.030 0.036 0.029 0.767 0.759 0.762 0.030 0.035 0.028 0.02516 0.02896 0.02360 0.01866 0.02212 0.0175399 0.0500 0.0100 0.0100 0.772 0.760 0.766 0.032 0.035 0.029 0.767 0.760 0.763 0.032 0.039 0.032 0.02613 0.03271 0.02526 0.02005 0.02390 0.01957
n blocos = 25Valor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.4488 0.0843 0.1505 0.767 0.762 0.762 0.087 0.093 0.079 0.766 0.760 0.760 0.086 0.093 0.079 0.07302 0.08053 0.06637 0.05618 0.06136 0.05085
999 0.4330 0.0930 0.1580 0.766 0.761 0.761 0.086 0.094 0.079 0.764 0.761 0.760 0.089 0.096 0.082 0.07373 0.08299 0.06646 0.05823 0.06107 0.0539399 0.4800 0.0800 0.1200 0.762 0.764 0.760 0.090 0.088 0.077 0.765 0.763 0.762 0.088 0.096 0.082 0.07849 0.08180 0.06811 0.05604 0.06272 0.04987
Desvio Padrão Desvio Padrão
Desvio Padrão Desvio Padrão Desvio Padrão
Desvio Padrão
Desvio Padrão Desvio Padrão Desvio Padrão
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
39
Uma experiência com nº iterações
n blocos = 2000 PSEUDO-SAÍDAS de A PSEUDO-SAÍDAS de B PSEUDO-DIFERENÇASValor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.0001 0.0001 0.0001 0.765 0.772 0.769 0.008 0.009 0.007 0.765 0.772 0.769 0.008 0.009 0.007 0.00831 0.00937 0.00750 0.00626 0.00707 0.00570
999 0.0010 0.0010 0.0010 0.765 0.772 0.768 0.008 0.009 0.007 0.765 0.771 0.768 0.008 0.009 0.007 0.00836 0.00930 0.00744 0.00609 0.00692 0.0056299 0.0100 0.0100 0.0100 0.764 0.771 0.768 0.009 0.009 0.007 0.766 0.772 0.769 0.009 0.009 0.008 0.00984 0.00952 0.00855 0.00750 0.00642 0.00609
n blocos = 200Valor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.0351 0.0001 0.0001 0.765 0.759 0.762 0.030 0.034 0.028 0.765 0.759 0.762 0.030 0.035 0.028 0.02650 0.02904 0.02379 0.01991 0.02212 0.01804
999 0.0290 0.0010 0.0010 0.767 0.758 0.762 0.030 0.036 0.029 0.767 0.759 0.762 0.030 0.035 0.028 0.02516 0.02896 0.02360 0.01866 0.02212 0.0175399 0.0500 0.0100 0.0100 0.772 0.760 0.766 0.032 0.035 0.029 0.767 0.760 0.763 0.032 0.039 0.032 0.02613 0.03271 0.02526 0.02005 0.02390 0.01957
n blocos = 25Valor de P Média Média Média
# Iter Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF Prec Abr MedF9999 0.4488 0.0843 0.1505 0.767 0.762 0.762 0.087 0.093 0.079 0.766 0.760 0.760 0.086 0.093 0.079 0.07302 0.08053 0.06637 0.05618 0.06136 0.05085
999 0.4330 0.0930 0.1580 0.766 0.761 0.761 0.086 0.094 0.079 0.764 0.761 0.760 0.089 0.096 0.082 0.07373 0.08299 0.06646 0.05823 0.06107 0.0539399 0.4800 0.0800 0.1200 0.762 0.764 0.760 0.090 0.088 0.077 0.765 0.763 0.762 0.088 0.096 0.082 0.07849 0.08180 0.06811 0.05604 0.06272 0.04987
Desvio Padrão Desvio Padrão
Desvio Padrão Desvio Padrão Desvio Padrão
Desvio Padrão
Desvio Padrão Desvio Padrão Desvio Padrão
FrequênciaRelativa
Diferença absoluta
iteraçõesDiferençainicialiterações
● Sem grandes diferenças. Média e desvio padrão na mesma.
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
40
Resultados finais
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
41
Cage
2Ca
ge1
Cage
3No
oj1
NILC
Corte
x1Co
rtex2 Elle
Mal
inche
neru
a_ct
neru
a_em
neru
a_cp
Nooj
2no
Rena
Corte
x3no
Siem
es2
Siem
es1
Palav
ras
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
CD 2005CD 20062 CDs
Med
ida
F
HAREM 2005Ca
ge2
Cage
1NI
LCM
alinc
heCa
ge3
neru
a_em
neru
a_ct
neru
a_cp
Nooj1
Corte
x1Co
rtex2
Corte
x3no
Siem
es2
Siem
es1
Nooj2
no Elle
Rena
Palav
ras
0
10
20
30
40
50
60
70
80
90
CD 2005CD 20062 CDs
Prec
isão
(%)
Tarefa de Identificação
Cage
2Ca
ge1
Cage
3No
oj1 Elle
Corte
x1Co
rtex2
NILC
Nooj2
none
rua_
ctne
rua_
cpne
rua_
emRe
naM
alinc
heSi
emes
2Si
emes
1Pa
lavra
sCo
rtex3
no
0
10
20
30
40
50
60
70
80
90
CD 2005CD 20062 CDs
Abra
ngên
cia
(%)
***
* - Saídas não oficiais
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
42
Cage
1Ca
ge2
siem
es_s
impl
esSt
encil
_1st
encil
_dicp
rosie
mes
_pos
terio
rst
encil
_pol
cor
Smel
l1sie
mes
_exa
ctst
encil
_pol
cor
Smel
l2sie
mes
_pre
fixo4
Corte
x2ce
msie
mes
_pre
fixo2
siem
es_d
ifuso
2sie
mes
_difu
so1
siem
es_t
otal
2sie
mes
_tot
al1
Corte
x1re
mCo
rtex3
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
CD 2005CD 20062 CDs
Med
ida
F
Cage
1Ca
ge2
siem
es_s
impl
esSt
encil
_1st
encil
_dicp
rosie
mes
_pos
terio
rst
encil
_pol
cor
siem
es_e
xact
sten
cil_p
olco
rSm
ell1
Smel
l2Co
rtex2
cem
siem
es_p
refix
o4sie
mes
_pre
fixo2
siem
es_d
ifuso
1sie
mes
_difu
so2
siem
es_t
otal
1sie
mes
_tot
al2
Corte
x1re
mCo
rtex3
0
10
20
30
40
50
60
70
80
90
CD 2005CD 20062 CDs
Abra
ngên
cia
(%)
Smel
l2sie
mes
_tot
al1
siem
es_t
otal
2sie
mes
_difu
so2
siem
es_d
ifuso
1sie
mes
_pre
fixo4
siem
es_p
refix
o2
siem
es_s
impl
esCa
ge1
Smel
l1Ca
ge2
Corte
x1re
mCo
rtex3
sten
cil_d
icpro
siem
es_p
oste
rior
siem
es_e
xact
sten
cil_p
olco
rSt
encil
_1st
encil
_pol
cor
Corte
x2ce
m0
10
20
30
40
50
60
70
80
90
CD 2005CD 20062 CDs
Pre
cisã
o (%
)
MiniHAREM 2006
Tarefa de Identificação
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
43ne
rua_
ctRe
nane
rua_
cpCa
ge3
Cage
2Ca
ge1
Nooj2
noCo
rtex1
Siem
es1
Corte
x2Si
emes
2No
oj1Pa
lavra
sEl
le
0
10
20
30
40
50
60
70
CD 2005CD 20062 CDs
Prec
isão
(%)
Cage
2Ca
ge1
Cage
3No
oj1Re
nane
rua_
cpne
rua_
ctNo
oj2no
Corte
x1Co
rtex2 Elle
Siem
es1
Siem
es2
Palav
ras
0
10
20
30
40
50
60
70
CD 2005CD 20062 CDs
Abr
angê
ncia
(%)
Cage
2Ca
ge1
Cage
3No
oj1Re
nane
rua_
cpne
rua_
ctNo
oj2no
Corte
x1Co
rtex2 Elle
Siem
es1
Siem
es2
Palav
ras
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
CD 2005CD 20062 CDs
Med
ida
F
HAREM 2005
Tarefa de Classificação Semântica (Combinada)
*
* - Saída não-oficial
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
44sie
mes
_difu
so1
siem
es_d
ifuso
2sie
mes
_tot
al1sie
mes
_tot
al2Sm
ell2
Corte
x3sie
mes
_pre
fixo2
siem
es_p
oste
rior
siem
es_p
refix
o4Sm
ell1
siem
es_e
xact
siem
es_s
imple
sCa
ge1
Cage
2st
encil
_dicp
rost
encil
_polc
orSt
encil
_1st
encil
_pol
Corte
x2ce
m0
10
20
30
40
50
60
70
80
CD 2005CD 20062 CDs
Prec
isão
(%)
Cage
1Ca
ge2
siem
es_s
imple
sSt
encil
_1sie
mes
_pos
terio
rst
encil
_dicp
rosie
mes
_difu
so1
siem
es_e
xact
sten
cil_p
olSm
ell1
sten
cil_p
olcor
siem
es_d
ifuso
2Sm
ell2
siem
es_p
refix
o4
siem
es_p
refix
o2Co
rtex2
cem
Corte
x3sie
mes
_tot
al1sie
mes
_tot
al2
0
10
20
30
40
50
60
CD 2005CD 20062 CDsAb
rang
ênci
a (%
)
Cage
1Ca
ge2
siem
es_s
imple
ssie
mes
_difu
so1
siem
es_p
oste
rior
Sten
cil_1
sten
cil_d
icpro
siem
es_d
ifuso
2sie
mes
_exa
ctSm
ell1
sten
cil_p
olSm
ell2
sten
cil_p
olcor
siem
es_p
refix
o2
siem
es_p
refix
o4Co
rtex3
siem
es_t
otal1
siem
es_t
otal2
Corte
x2ce
m
0
0,1
0,2
0,3
0,4
0,5
0,6
CD 2005CD 20062 CDs
Med
ida
F
MiniHAREM 2006
Tarefa de Classificação Semântica (Combinada)
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
45
Evolução dos Sistemas, em 1 ano?
Identificação 2005 2006 %0,178 0,266 49,4%0,523 0,624 19,2%0,798 0,720 -9,7%0,655 0,569 -13,0%0,746 0,839 12,6%
Semântica (CSC) 2005 2006 %0,101 0,141 39,8%0,438 0,468 6,9%0,501 0,508 1,4%0,369 0,482 30,7%0,395 0,582 47,5%
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
46
Estado da Arte em REM:Categorias
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
47
Panorama de Identificação, por Categorias
Identificação por Categorias (HAREM)
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
OBR
A
COIS
AABS
TRACCA
O
ACO
NT
ORG
PESS
OA
LOCA
L
TEM
PO
VAL
OR
Me
did
a F
2cd
cd2005
cd2006
Identificação por Categorias (MiniHAREM)
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
OBR
A
COIS
AABS
TRACCA
O
ACO
NT
ORG
LOCA
L
PESS
OA
VAL
OR
TEM
PO
Me
did
a F
2cd
cd2005
cd2006
2005 2006
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
48
Panorama de Identificação, por Categorias
HAREM: Melhores Categorias (com ambas as CDs)
0
10
20
30
40
50
60
70
80
90
100
0 10 20 30 40 50 60 70 80 90
Abrangência (%)
Pre
cisã
o (
%)
ABSTRACCAO ACONTECIMENTOCOISA VALORTEMPO LOCALPESSOA ORGANIZACAOOBRA
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
49
Panorama de Identificação, por Categorias
HAREM e MiniHAREM: Melhores Categorias (com ambas as CDs)
0
10
20
30
40
50
60
70
80
90
100
0 10 20 30 40 50 60 70 80 90
Abrangência (%)
Pre
cisã
o (
%)
ABSTRACCAO ACONTECIMENTOCOISA VALORTEMPO LOCALPESSOA ORGANIZACAOOBRA
HAREM 2005
MiniHAREM 2006
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
50
Panorama de Identificação, por Género
Identificação por Género (HAREM)
0.4
0.5
0.6
0.7
0.8
0.9
1
Emai
l
Técn
ico
Web
Expo
sitiv
o
Polít
ico
Entr
evis
ta
Jorn
alís
tico
Lite
rário
Me
did
a F
2cd
cd2005
cd2006
Identificação por Género (HAREM)
0.4
0.5
0.6
0.7
0.8
0.9
1
Técn
ico
Emai
l
Web
Expo
sitiv
o
Lite
rário
Polít
ico
Jorn
alís
tico
Entr
evis
ta
Me
did
a F
2cd
cd2005
cd2006
2005 2006
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
51
Panorama de Identificação, por Género
HAREM: Melhores Géneros (com ambas as CDs)
0
10
20
30
40
50
60
70
80
90
20 30 40 50 60 70 80
Abrangência (%)
Pre
cisã
o (
%)
Web Email
Literário Político
Expositivo Técnico
Entrevista Jornalístico
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
52
Panorama de Identificação, por Género
HAREM e MiniHAREM: Melhores Categorias (com ambas as CDs)
0
10
20
30
40
50
60
70
80
90
20 25 30 35 40 45 50 55 60 65 70 75 80
Abrangência (%)
Pre
cisã
o (
%)
Web Email
Literário Político
Expositivo Técnico
Entrevista Jornalístico
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
53
Conclusões
● HAREM e MiniHAREM: São comparáveis– CDs são semelhantes– Produzem desempenhos semelhantes– Tamanho da CD mais que adequado
● A avaliação HAREM está validada.● As melhores estratégias para REM foram
aferidas e comparadas● Os sistemas REM melhoraram em 1 ano!● REM em PT com futuro risonho.
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
54
Fim
Obrigado pela atenção.
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
55
Web
Entre
vista
Jorn
alíst
icoEx
posit
ivoEm
ail
Lite
rário
Políti
coTé
cnico
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regras de 2006
Distribuição de Categorias, por Género TextualW
ebEn
trevis
taJo
rnal
Emai
lEx
posit
ivoLi
terá
rioPo
lítico
Técn
ico
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regras de 2005
VARIADOACONTECIMENTOCOISAOBRATEMPOVALORABSTRACCAOORGANIZACAOPESSOALOCAL
HAREM e MiniHAREM: uma análise comparativa Encontro HAREM - FLUP, Porto - 2006-07-15
56
LOC
AL
PESS
OA
OR
GAN
IZAC
AO
VALO
R
ABST
RAC
CAO
TEM
PO
CO
ISA
OBR
A
ACO
NTE
CIM
ENTO
VAR
IAD
O
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Regras de 2006
Distribuição de Género Textual, por CategoriaLO
CAL
PESS
OA
OR
GAN
IZAC
AO
ABST
RAC
CAO
VALO
R
TEM
PO
OBR
A
CO
ISA
ACO
NTE
CIM
ENTO
VAR
IAD
O
0%10%20%30%40%50%60%70%80%90%
100%
Regras de 2005
TécnicoPolíticoLiterárioExpositivoEmailJornalísticoEntrevistaWeb
Top Related