Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides.
Transcript of Answer Extraction (IST; resumo por Pedro Freire; 2007) 45 slides.
Answer ExtractionAnswer Extraction
(IST; resumo por Pedro Freire; 2007)(IST; resumo por Pedro Freire; 2007)45 slides45 slides
22
O que é?O que é?
O sistemas de pesquisa habituais O sistemas de pesquisa habituais esperam dar-nos uma lista ordenada de esperam dar-nos uma lista ordenada de documentosdocumentos relevantes à pesquisa relevantes à pesquisa
Este sistema pretende obter uma Este sistema pretende obter uma quantidade de texto bem mais pequena, quantidade de texto bem mais pequena, nomeadamente, uma nomeadamente, uma respostaresposta directa directa à pergunta do utilizadorà pergunta do utilizador
33
DiferençaDiferença
44
Exemplo: “Quem descobriu Exemplo: “Quem descobriu Plutão?”Plutão?”
A pesquisa habitual devolve uma A pesquisa habitual devolve uma lista de documentos que são lista de documentos que são relevantesrelevantes
O utilizador provavelmente prefere O utilizador provavelmente prefere ter uma lista de possíveis respostas ter uma lista de possíveis respostas juntamente com os documentos que juntamente com os documentos que as suportamas suportam
55
Exemplos de respostasExemplos de respostas
PerguntaPergunta OrdemOrdem RespostaResposta
Who is the author of the book, The Iron Who is the author of the book, The Iron Lady: A Biography of Margaret Thatcher?Lady: A Biography of Margaret Thatcher? 22 Hugo YoungHugo Young
What is the name of the managing director What is the name of the managing director of Apricot Computer?of Apricot Computer? 11 Dr Peter HorneDr Peter Horne
What country is the biggest producer of What country is the biggest producer of tungsten?tungsten? 11 ChinaChina
Who was the first Taiwanese President?Who was the first Taiwanese President? 11Taiwanese PresidentTaiwanese President Li Teng huiLi Teng hui
When did Nixon visit China?When did Nixon visit China? 11 19721972
How many calories are there in a Big Mac?How many calories are there in a Big Mac? 44 562 562 caloriescalories
What is the acronym for the rating system What is the acronym for the rating system for air conditioner efficiency?for air conditioner efficiency? 11 1 EER1 EER
66
Outros tipo de perguntasOutros tipo de perguntas
Perguntas quantitativas; e.g.: Perguntas quantitativas; e.g.: “Quantas vezes é que o Estado “Quantas vezes é que o Estado aumentou as taxas de juros este aumentou as taxas de juros este ano?”ano?”
Etc. (os autores deixam muito trabalho Etc. (os autores deixam muito trabalho para desenvolvimento futuro)para desenvolvimento futuro)
O sistema de respostasO sistema de respostas
88
Processamento em duas Processamento em duas etapasetapas
1.1. Recuperação de informação – são Recuperação de informação – são recuperados os trechos mais recuperados os trechos mais prometedores dos documentos prometedores dos documentos mais prometedoresmais prometedores
2.2. Processamento linguístico – Processamento linguístico – potenciais respostas são extraídas potenciais respostas são extraídas dos trechos e ordenadasdos trechos e ordenadas
99
ComponentesComponentes
Recuperação de trechos
Extracção de entidades
Classificação de entidades
Classificação da consulta
Ordenação de entidades
Recuperaçãode informação
Processamentolinguístico
Recuperação de trechosRecuperação de trechos(passage retrieval)(passage retrieval)
1111
ObjectivoObjectivo
Identificar documentos relevantesIdentificar documentos relevantes
Dentro desses, identificar os trechos Dentro desses, identificar os trechos que maior probabilidade têm de que maior probabilidade têm de conter a resposta à questãoconter a resposta à questão
1212
AbordagemAbordagem
Os autores decidiram usar uma Os autores decidiram usar uma versão modificada do sistema SMART versão modificada do sistema SMART para obter os documentos relevantespara obter os documentos relevantes
Definem-se “trechos” como sendo Definem-se “trechos” como sendo uma frase e as suas duas frases uma frase e as suas duas frases vizinhas (cada documento tem assim vizinhas (cada documento tem assim vários trechos que se sobrepõem)vários trechos que se sobrepõem)
1313
AbordagemAbordagem Chamemos Chamemos SSjj á pontuação á pontuação (score)(score) da frase da frase jj
SSjj é a soma dos pesos IDF para todas as palavras é a soma dos pesos IDF para todas as palavras que não sejam que não sejam stop-wordsstop-words que partilha com a que partilha com a consulta, mais um bónus adicional por cada par consulta, mais um bónus adicional por cada par de palavras que partilhemde palavras que partilhem
A pontuação de um trecho A pontuação de um trecho ii é então dado por: é então dado por:
Os 50 trechos com maior pontuação são enviados Os 50 trechos com maior pontuação são enviados ara processamento linguísticoara processamento linguístico
141
21
141
iii SSS
Extracção de entidadesExtracção de entidades
1515
ObjectivoObjectivo
Extrair um conjunto candidato de Extrair um conjunto candidato de possíveis respostas a partir dos possíveis respostas a partir dos trechostrechos
1616
AbordagemAbordagem
Os autores decidiram usar o Os autores decidiram usar o parserparser parcial Cassparcial Cass
Este devolve datas, durações, medidas Este devolve datas, durações, medidas lineares e quantidadeslineares e quantidades
Construíram também código Construíram também código especializado para extrair nomes especializado para extrair nomes própriospróprios
1717
CASSCASS
1818
Extrair nomes própriosExtrair nomes próprios Classifica cada palavra em maiúsculas Classifica cada palavra em maiúsculas
como intrinsecamente capitalizada ou nãocomo intrinsecamente capitalizada ou não
Palavras não intrinsecamente Palavras não intrinsecamente capitalizadas são as que se encontram ao capitalizadas são as que se encontram ao início das frases ou em títulos e início das frases ou em títulos e cabeçalhoscabeçalhos
O extractor também usa várias heurísticas O extractor também usa várias heurísticas incluindo a consideração se as palavras incluindo a consideração se as palavras aparecem sempre capitalizadas da mesma aparecem sempre capitalizadas da mesma forma no resto do documentoforma no resto do documento
Classificação de entidadesClassificação de entidades
2020
ObjectivosObjectivos O conjunto candidato de respostas é uma O conjunto candidato de respostas é uma
lista de entidades que caem em várias lista de entidades que caem em várias categorias incluindocategorias incluindo– PessoasPessoas– LocalizaçõesLocalizações– OrganizaçõesOrganizações– QuantidadesQuantidades– DatasDatas– Medidas linearesMedidas lineares
As primeiras 3 categorias são obtidas a As primeiras 3 categorias são obtidas a partir da extracção de nomes própriospartir da extracção de nomes próprios
2121
Classificação de nomes Classificação de nomes própriospróprios
Os autores usaram métodos descritos Os autores usaram métodos descritos noutro artigo noutro artigo (“U(“Unsupervised models for nsupervised models for named entity classificationnamed entity classification”)”) para para classificar nomes próprios emclassificar nomes próprios em– PessoasPessoas– LocalizaçãoLocalização– OrganizaçõesOrganizações– OutrosOutros
Esses métodos envolvem (entre outras Esses métodos envolvem (entre outras coisas) saber se ao pé de cada nome existe coisas) saber se ao pé de cada nome existe “Sr.” (Pessoa), “Lda.” (Organização), etc.“Sr.” (Pessoa), “Lda.” (Organização), etc.
2222
Classificação de datasClassificação de datas
Todos os números com o aspectoTodos os números com o aspecto– 1###1###– 20##20##
foram considerados anosforam considerados anos
Usou-se o Cass para extrair Usou-se o Cass para extrair expressões mais complexas (e.g.: expressões mais complexas (e.g.: Sábado, 1 de Janeiro de 2000)Sábado, 1 de Janeiro de 2000)
2323
Classificação de Classificação de quantidadesquantidades
Quantidades incluem números simples e Quantidades incluem números simples e expressões numéricas comoexpressões numéricas como– Os três mosqueteirosOs três mosqueteiros– 9½ maçãs9½ maçãs– 27%27%
Identifica-se também a palavra (unidade) Identifica-se também a palavra (unidade) associada às expressões (e.g.: associada às expressões (e.g.: “mosqueteiros”, “maçãs”, “porcento”)“mosqueteiros”, “maçãs”, “porcento”)
Isto permite identificar respostas a Isto permite identificar respostas a perguntas como “Quantos eram os perguntas como “Quantos eram os mosqueteiros?”mosqueteiros?”
2424
Classificação de durações e Classificação de durações e medidasmedidas
São essencialmente casos especiais São essencialmente casos especiais das quantidades em que a unidade é das quantidades em que a unidade é temporal ou de medida lineartemporal ou de medida linear
E.g.:E.g.:– três anostrês anos– 6 horas e meia6 horas e meia– 225 milhões de quilómetros225 milhões de quilómetros– aproximadamente 360cmaproximadamente 360cm
2525
Outras classificaçõesOutras classificações
Isto não cobre todas as classificações Isto não cobre todas as classificações possíveispossíveis
Por exemplo, uma classificação de Por exemplo, uma classificação de valores monetários (e.g.: “25 milhões valores monetários (e.g.: “25 milhões de dólares”) já foi adicionada pelos de dólares”) já foi adicionada pelos autoresautores
Classificação da consultaClassificação da consulta
2727
ObjectivoObjectivo
Determinar por que categoria está a Determinar por que categoria está a consulta do utilizador a pedirconsulta do utilizador a pedir
E.g.:E.g.:– Quem é o autor do livro “O código Quem é o autor do livro “O código
DaVinci”?DaVinci”?
seria uma consulta da categoria seria uma consulta da categoria “Pessoa”“Pessoa”
2828
AbordagemAbordagem
Os autores, ao trabalhar na língua Inglesa, Os autores, ao trabalhar na língua Inglesa, usaram as seguintes regras para determinar usaram as seguintes regras para determinar a categoria da consulta:a categoria da consulta:
““Who”Who”, , “Whom”“Whom” Pessoa Pessoa ““Where”Where”, , “Whence”“Whence”, , “Whither”“Whither” Localização Localização ““How few”How few”, , “How great” “How great” , , “How little” “How little” , , “How “How
many” many” , , “How much”“How much” Quantidade (também Quantidade (também obtém a unidade para comparação posterior)obtém a unidade para comparação posterior)
2929
AbordagemAbordagem
““How long”How long” Duração ou medida linear Duração ou medida linear ““How tall”How tall”, , “How wide”“How wide”, , “How high”“How high”, , “How “How
big”big”, , “How far”“How far” Medida linear Medida linear ““Which”Which”, , “What”“What” extrai a “unidade” ou extrai a “unidade” ou
palavra associada e determina a categoria palavra associada e determina a categoria a partir daí; e.g.:a partir daí; e.g.:– ““What company is the largest Japanese ship What company is the largest Japanese ship
builder?”builder?” “company”“company”, Organização, Organização– ““What is the largest city in Germany?”What is the largest city in Germany?”
“city”“city”, Localização, Localização
3030
AbordagemAbordagem
Nas consultas sem estas palavras, Nas consultas sem estas palavras, e.g.:e.g.:– ““Name the largest city in Germany”Name the largest city in Germany”
usa um principio semelhante às usa um principio semelhante às consultas consultas “what”“what”
Às restantes consultas é atribuída a Às restantes consultas é atribuída a categoria genérica “Qualquer” categoria genérica “Qualquer” (Any)(Any), , que coincide com qualquer categoriaque coincide com qualquer categoria
Ordenação Ordenação (ranking)(ranking) de de entidadesentidades
3232
ObjectivoObjectivo
Atribuir pontuações às entidades Atribuir pontuações às entidades representando a crença que aquela representando a crença que aquela entidade é a resposta correcta à entidade é a resposta correcta à consultaconsulta
3333
PontuaçãoPontuação Existem três componentes para a pontuaçãoExistem três componentes para a pontuação
O componente mais significativo é se as O componente mais significativo é se as categorias da consulta e resposta são categorias da consulta e resposta são idênticas (a categoria “Qualquer” é idênticas (a categoria “Qualquer” é “idêntica” a qualquer outra categoria)“idêntica” a qualquer outra categoria)
Isto significa que respostas na mesma Isto significa que respostas na mesma categoria têm sempre pontuação acima das categoria têm sempre pontuação acima das respostas que não são na mesma categoriarespostas que não são na mesma categoria
3434
Pontuação: 2º componentePontuação: 2º componente Se a categoria da consulta é Data, e se ela Se a categoria da consulta é Data, e se ela
contém as palavras “dia” ou “mês”, o segundo contém as palavras “dia” ou “mês”, o segundo componente da pontuação ordena datas componente da pontuação ordena datas completas acima de anos; o inverso se a consulta completas acima de anos; o inverso se a consulta contém a palavra “ano”contém a palavra “ano”
Se a consulta é do tipo Se a consulta é do tipo “How many“How many unidadeunidade”, o ”, o segundo componente da pontuação ordena segundo componente da pontuação ordena respostas com a mesma unidaderespostas com a mesma unidade
Para outras consultas não existe segundo Para outras consultas não existe segundo componente da pontuaçãocomponente da pontuação
3535
Pontuação: 3º componentePontuação: 3º componente O terceiro e menos significativo componente da O terceiro e menos significativo componente da
pontuação é baseado na frequência e posição das pontuação é baseado na frequência e posição das ocorrências de uma dada entidade nos trechos ocorrências de uma dada entidade nos trechos obtidosobtidos
Os trechos que obtiveram maior pontuação no Os trechos que obtiveram maior pontuação no componente de recuperação de trechos têm 10 componente de recuperação de trechos têm 10 pontospontos
Qualquer ocorrência de uma entidade em qualquer Qualquer ocorrência de uma entidade em qualquer outro trecho conta 1 ponto (para comparação de outro trecho conta 1 ponto (para comparação de entidades, elas são normalizadas; e.g.: as datas são entidades, elas são normalizadas; e.g.: as datas são transformadas em AAAA-MM-DD)transformadas em AAAA-MM-DD)
Avaliação do sistemaAvaliação do sistema
TREC-8TREC-8
3737
Testes TREC-8Testes TREC-8
O sistema submeteu respostas a 198 O sistema submeteu respostas a 198 perguntas de teste que foram perguntas de teste que foram avaliadas posteriormente por seres avaliadas posteriormente por seres humanoshumanos
Foram feitas submissões de Foram feitas submissões de resultados com apenas as entidades, resultados com apenas as entidades, com trechos de até 50 bytes e com com trechos de até 50 bytes e com trechos de até 250 bytestrechos de até 250 bytes
3838
ResultadosResultados
Comprimento Comprimento médio da médio da respostaresposta
Resposta Resposta certa nas 5 certa nas 5 primeirasprimeiras
Pontuação Pontuação médiamédia
EntidadeEntidade 10,5 bytes10,5 bytes 46%46% 0,3560,356
Trecho ≤50Trecho ≤50 50 bytes50 bytes 38,9%38,9% 0,2610,261
Trecho ≤250Trecho ≤250 250 bytes250 bytes 68%68% 0,5450,545
3939
Exemplos de perguntas sem Exemplos de perguntas sem classificaçãoclassificação
What does the Peugeot company What does the Peugeot company manufacture?manufacture?
Why did David Koresh ask the FBI for Why did David Koresh ask the FBI for a word processor?a word processor?
What are the Valdez Principles?What are the Valdez Principles? What was the target rate for M3 What was the target rate for M3
growth in 1992?growth in 1992? What does El Nino mean in spanish?What does El Nino mean in spanish?
Opinião pessoalOpinião pessoal
(de Pedro Freire)(de Pedro Freire)
4141
AbrangênciaAbrangência
O título do artigo é muito O título do artigo é muito abrangente, mas o resultado não é abrangente, mas o resultado não é assim tão abrangenteassim tão abrangente
Isto não tira valor ao artigo! Mas há Isto não tira valor ao artigo! Mas há várias situações que ele não cobre...várias situações que ele não cobre...
4242
Não faz deduçõesNão faz deduções
O sistema assume que no seu O sistema assume que no seu universo de documentos, existem universo de documentos, existem frases (ou “trechos”) que serão frases (ou “trechos”) que serão respostas à consulta do utilizadorrespostas à consulta do utilizador– Isto nem sempre é assimIsto nem sempre é assim– E.g.: para responder à idade de uma E.g.: para responder à idade de uma
pessoa, o sistema não subtrai a data de pessoa, o sistema não subtrai a data de nascimento da data actualnascimento da data actual
4343
Não descobre perguntas Não descobre perguntas implícitasimplícitas
Embora o sistema seja adequado para uma Embora o sistema seja adequado para uma interface estilo “motor de pesquisa”, não interface estilo “motor de pesquisa”, não funciona em situações onde as perguntas funciona em situações onde as perguntas podem estar implícitas (e.g.: e-mails de podem estar implícitas (e.g.: e-mails de suporte)suporte)
E.g.: um utilizador frustrado pode enviar uma E.g.: um utilizador frustrado pode enviar uma mensagem simples “FTP não funciona” que mensagem simples “FTP não funciona” que tem a pergunta implícita “Como uso FTP?” ou tem a pergunta implícita “Como uso FTP?” ou “Como corrijo problemas de conectividade por “Como corrijo problemas de conectividade por FTP?”FTP?”
4444
Não responde a perguntas Não responde a perguntas elaboradaselaboradas
O slide anterior mostra outra questão O slide anterior mostra outra questão pertinentepertinente
Nem todas as perguntas se Nem todas as perguntas se respondem com uma frase/trechorespondem com uma frase/trecho– E.g.: “Como mudo óleo ao motor?”E.g.: “Como mudo óleo ao motor?”
Questões?Questões?