Helena Moniz FLUL/CLUL – L2F/INESC-ID · Caracterização prosódica das disfluências e suas...

1

1

Instituto de Engenharia de Sistemas e Computadores Investigação e Desenvolvimento em Lisboa

technologyfrom seed

L2 F - Spoken Language Systems Laboratory

Caracterização prosódica das disfluências e suas implicações para o

processamento de fala

Helena Moniz

FLUL/CLUL – L2F/INESC-ID

FLUL


technologyfrom seed

2L2 F - Spoken Language Systems Laboratory

FLUL

Resenha do trabalho

• Conceitos prosódicos

• Sistemas de anotação prosódica

• Diferenciação de estruturas linguísticas por mecanismosprosódicos

• Prosódia e processamento automático de língua natural

• Área de aplicação: as disfluências

• Caracterização segmental e prosódica das disfluências

• Natureza fluente/disfluente

• Teste perceptivo e CART

• Conclusões

2


technologyfrom seed


FLUL

Juízos de valor obre oradores: fundamentos prosódicos?


technologyfrom seed


FLUL

Conceitos prosódicos

• Prosódia:– estudo das sequências que vão da palavra à frase (nível

suprassegmental)– ritmo e entoação da língua

• Prosódia constituída por 3 propriedades/traços:– duração (medida em milissegundos)– intensidade (medida em decibéis, corresponde à energia de um

som)– acento (proeminência de uma palavra em relação às adjacentes)

3


technologyfrom seed


FLUL

Organização prosódica

• diferentes propostas de hierarquização de constituintes prosódicos, mas um princípio comum: a sequência fónica é constituída por proeminências distintas.

– enunciado– sintagma entoacional– sintagma fonológico– palavra prosódica– sílaba

• línguas podem ter uma organização fonológica diferente (Japonês vs Português).


technologyfrom seed


FLUL

Conceitos prosódicos: melodias das línguas

• Línguas tonais– distinção entre significados de palavras– contrastes gramaticais– Chinês standard, Cantonês, Thai, etc.

• Línguas entoacionais– distinção entre tipos frásicos– distinções pragmáticas e discursivas– expressão de emoções

4


technologyfrom seed


FLUL

Configuração de diferentes significados

• Informação nova/já dada• fraseamento e desambiguação sintáctica• mecanismos discursivos• funções pragmáticas• emoções

– Contorno entoacional,– localização e tipo de tom,– amplitude e gama de variação de F0,– velocidade de fala


technologyfrom seed


FLUL

ToBI(Tones and Break Indices)

5


technologyfrom seed


FLUL

ToBI

• Sistema de anotação de tons (Tones) e índices de rupturas (Break Indices) inicialmente usado para descrever o inglês americano depressa passou a ser generalizado.

• 4 fiadas:– ortografia– tons– índices de rupturas– miscelânea (efeitos paralinguísticos, disfluências e comentários)


technologyfrom seed


FLUL

ToBI

• Eventos tonais– H (high) e L (low)– monotonais ou bitonais– acentos tonais e tons de constituinte ou de fronteira.

• Índices de ruptura– níveis de relação entre as palavras: da co-articulação máxima ou

ruptura 0 a níveis de disjunção 4 (e.g., fim de enunciado).

6


technologyfrom seed


FLUL

Exemplo de declarativa neutra

http://www.ling.ohio-state.edu/~tobi/


technologyfrom seed


FLUL

Exemplo de interrogativa global


7


technologyfrom seed


FLUL

Melodia(s) das declarativas: o modelo

(H) H*L L%

Ou

H*L !HL* L%

(H) HL* L%Frota (91; 98; 00; 02; prelo)

------

H HL* L%

Ou

L*H HL * L%

Vigário (95; 98)

------H* HL* L%Falé (95)

------Baixo-descendenteCruz-Ferreira (83; 98)

------A* BViana (87)

------A-M-B

alto, médio e baixo no finalMartins (86)

Melodia das declarativas com foco

marcadoMelodia das declarativas neutrasAutores


technologyfrom seed


FLUL

Melodias das globais

L*H LH%

Ou

L*H HL% (quando só existe uma palavra

prosódica)

(H) HL* LH%Frota (91; 98; 00; 02;

prelo)

-----Baixo-ascendenteCruz-Ferreira (98)

------H* HL* H%Falé (95)

------Baixo-descendente

ou

Baixo-ascendente

Mata (90; 92)

------A* BA

última acentuada com o traço [F0 +elevado]

Viana (87)

------Final ascendenteMartins (86)

Melodia das globais com foco marcadoMelodia das globais neutrasAutores

8


technologyfrom seed


FLUL

Melodias e interpretação de significados

Interrogativa global vs concordância-continuação


technologyfrom seed


FLUL

“Por que razão devem os engenheiros importar-se com a prosódia?”

E. Shriberg (2008)

• Crescente interesse nas áreas do processamento automático– síntese de fala– reconhecimento de fala– sistemas de diálogo

• Mas a sua análise ainda não está difundida na comunidade

9


technologyfrom seed


FLUL

Extracção de pistas prosódicasE. Shriberg (2008)

• Software público (Praat e snack)• Extracção de F0 e energia do áudio (pistas a serem pós-

processadas)– interpolação para retirar efeitos de micro-prosódia– normalização de F0 e energia

• Alinhamento de F0 e energia com as palavras e os fones reconhecidos automaticamente


technologyfrom seed


FLUL

Áreas de aplicação: detecção de frases e pontuação

• Detecção de “frases faladas” /enunciados para tarefas de pontuação (Batista, 2008; 2009):– extracção de informação,– tradução automática,– sumariação extractiva

• Computação realizada com pistas prosódicas e lexicais combinadas– prosódicas ( F0, duração, energia) – modeladas, e.g., com

árvores de decisão;– lexicais (n-gramas de palavras e marcas de pontuação) – modelos

de língua;– combinação através, e.g., modelos de máxima entropia

10


technologyfrom seed


FLUL

Motivação para o estudo de disfluências no português europeu

• Área de aplicação que não estava descrita linguisticamente para o português

• Controvérsia: erros vs mecanismos linguísticos fluentes

• Padrões regulares em diferentes línguas

• Caracterização importante para diferentes áreas: Linguística, ASRU, TTS, Diálogos e AgentesConversacionais, etc.


technologyfrom seed


FLUL

Tipologia de Shriberg (1994) e Eklund(2004):

• Pausas preenchidas nasceu um homem novo <aam> o que

é que vocês acham disto que ouviram (maexe30s_14.wav)

• Alongamentos disfluentes <e=> ainda uma que essa por acaso foi quase igual em todos (pdexe9s_007_008.wav)

• Repetições uma imagem que representasse <as diferentes> as diferentes classes sociais (maexe30s_44.wav)

• Fragmentações os produtos lá <fabri-> fabricados mais importantes é os charutos rum café e frutos (axexe30s_10.wav)

11


technologyfrom seed


FLUL

Tipologia de Shriberg (1994) e Eklund (2004):

• Substituições provavelmente <poderás> poderá ter essa

simbologia (maexe30s_101.wav)

• Apagamentos as noites de Cuba são muito mexidas <são> até é

chamada Cuba a rainha do som (axexe_9.wav)

• Inserções (repetição e inserção) que estão <no

museu> no museu nacional de arte antiga (maexe30s_9.wav)

• Marcadores de edição esta cobra <que une que vai que

não é que une> que vai depois (maexe30s_87.wav)


technologyfrom seed


FLUL

Modelo de auto-monitorização de Levelt (1983; 1989)

• O falante monitoriza o seu próprio discurso e o dos seus interlocutores:– Concepção da mensagem pretendida (clarificação ou correcção da

mensagem);

– Estruturação formal da mensagem (coesão e coerência);

– Erros lexicais (selecção lexical);

– Erros sintácticos ou morfológicos (concordâncias);

– Erros fonológicos (selecção de fones, comutação de sílabas);

– Inadequação à situação comunicativa (contexto apropriado, estatuto social dos interlocutores).

12


technologyfrom seed


FLUL


• Como e quando interrompe o seu discurso:– Regra Geral de Interrupção – o falante interrompe o discurso

assim que detecta um erro, não respeitando fronteiras de palavra.

– As auto-correcções podem ser explícitas (são produzidas) e não-explícitas (não chegam a ser produzidas).

– Uso de marcadores de edição e de pausas preenchidas, para sinalizar que vai ser feita uma correcção.


technologyfrom seed


FLUL


• A forma como o corrige (restrições linguísticas várias):– Boa formação de constituintes (são respeitados e reconstituídos):

seguem as regras das estruturas coordenadas.

– Convenção da identidade da palavra e/ou a convenção da categoria da palavra (ex. manter a preposição e introduzir uma outra palavra).

– Marcação prosódica (diferença de valores da frequência fundamental, amplitude e duração) dos constituintes que são erros, semanticamente motivada.

13


technologyfrom seed


FLUL

Estrutura de uma sequência disfluenteShriberg (1994)


technologyfrom seed


FLUL

Corpora

• CPE-FACES (Mata, 1999) – apresentações orais no 3º ciclo– 2h de fala espontânea e preparada (4 alunos e 1 professora) – anotação manual de disfluências (Shriberg, 1994; Eklund, 2004),

anotação morfo-sintáctica e prosódica

• LECTRA (Trancoso et al. 2008) – aulas universitárias– 10h de fala preparada e espontânea (5 professores) – anotação manual de disfluências (Shriberg, 1994; Eklund, 2004),

anotação morfo-sintáctica e prosódica

14


technologyfrom seed


FLUL

Análise de frequência das disfluências

• % de disfluências– 13,24% (1569 disfluências e 11.851palavras) no corpus do

básico– 7,0% professora do básico (341 em 4530 palavras)– 3,16% no já tratado do universitário (273 em 8636 palavras)– Valores estão de acordo com os reportados na literatura:

• intervalo de 5% a 10% em diálogos humanos (Shriberg, 2001)• média de 6% (Fox Tree, 1995) em diferentes aplicações

– Alongamentos, pausas preenchidas e repetições são mais frequentes.


technologyfrom seed


FLUL

Frequência no corpus do básico

627/100%1569/100%Total

0/0%4/0,25%Inserções

0/0%20/1,28%Marcadores de edição

24/3,83%112/7,14%Apagamentos

23/3,67%177/11,28%Substituições

198/31,58%274/17,46%Pausas Preenchidas

94/14,99%485/30,91%Repetições

288/45,93%497/31,68%Alongamentos

Isolada ou mesma categoriaSequência complexaCategoria

15


technologyfrom seed


FLUL

Frequência por falante e situação

• Frequência superior de disfluências na situação preparada: – evidência para uma maior monitorização e adaptação por parte do

falante à situação específica.

• Classificação de Shriberg: falantes como repeaters vsdeleters. – falantes são mais repetidores.

• Professora produz – mais pausas preenchidas do que os alunos, mas com maior

controlo na sua distribuição;– repetições com inserções, como estratégia pedagógica de reforço.


technologyfrom seed


FLUL

Caracterização linguística

5 formas distintas <anotação ortográfica>• uma vogal central alongada: <aa> <ee>• um murmúrio nasal: <mm> • combinação de ambas: <aam> <eem>

Qualidade da vogal central: [ @: ] ou [ 6: ] (mais frequente)• Alguns falantes usam consistentemente [ 1: ] em vez de [ @: ] / [ 6: ]• Outros ambas, por vezes no mesmo enunciado

Contrariamente ao observado para outras línguas não se comportamcomo palavras plenas – não estão sujeitas à mesma variação contextual

O mesmo parece acontecer com os alongamentos

16


technologyfrom seed


FLUL

Pausas preenchidas: tipologias de línguas

Inventário extraído de Clark & Fox Tree (2002)


technologyfrom seed


FLUL

Pausas preenchidas e alongamentos(isolados)

Aluno Professora

Funções distintas como afirmam Clark & Fox Tree (2002) e Eklund (2004)?

Acústica e funcionalmente similares, como sugerem os dados?

<mm> - categoria separada ou recurso linguístico ao serviço do prolongamento de pausas preenchidas e alongamentos?

17


technologyfrom seed


FLUL

Distribuição contextual de pausas preenchidas e alongamentos

9,3%56,5%34,2%Alonga/.s

0%92,3%7,7%mm

44,0%25,7%30,3%aa

77,5%15,0%7,5%aam

FraseOraçãoConstit.s(Dis)FLs


technologyfrom seed


FLUL

Padrões temporais

• Diferenças significativas (ANOVA: p<001):– entre aa e aam

– entre alongamentos e mm,

– mas não entre mm e aam, sendo que este último par permite ganhar mais tempo do que os restantes.

• Pausas silenciosas antes e depois com comportamento similar ao verificado para estes pares.

277 ms392 ms416 msAlonga/s

744 ms585 ms651 msmm

166 ms378 ms603 msaa

616 ms655 ms800 msaam

Pausas Silenc. Após

Duração das

(Dis)FLs

Pausas Silenc. Antes

(Dis)

Fluências

18


technologyfrom seed


FLUL

Teste perceptivo



technologyfrom seed


FLUL

Teste perceptivo


19


technologyfrom seed


FLUL

Teste perceptivo

• 30 estímulos

• Classificação manual de momentos de facilidade de expressão (fluência/disfluência, H. Riggenbach ed., 2000) numa escala de 5 níveis por 3 anotadores independentes– 95% de concordância

• 40 participantes– 20 engenheiros e 20 professores de português

• 5 vezes cada estímulo


technologyfrom seed


FLUL

Resultados do teste perceptivo

(Dis)fluency Ratings

0

10

20

30

40

50

60

70

80

90

100

PRL PRLs FP FPs SUB DEL FRAG REP Varia REPs

Categories

%

20


technologyfrom seed


FLUL

Resultados do teste perceptivo

• Concordância de 80% com os juízos dos anotadores

• Participantes rejeitam todas as sequências com disfluênciascomplexas

• Participantes preferem alongamentos e pausas preenchidas

• Alongamentos julgados fluentes:– ocorrem em conjunções coordenativas ou completivas

– não perturbam o contorno global de F0

• Pausas preenchidas julgadas fluentes: – têm contorno estacionário

– ocorrem em fronteiras de sintagmas entoacionais

– comportam-se como parentéticas

– não perturbam o contono global de F0


technologyfrom seed


FLUL

CART

• Objectivo: quais as pistas linguísticas mais salientesquando se classificam todos os tipos ditos de disfluênciascomo fluentes ou disfluentes?

21


technologyfrom seed


FLUL

CART

• Resultados apontam 2 pistas:

índices de ruptura e contono de F0– Eventos produzidos numa

fronteira 3/4 sãoconsiderados fluentes vs. eventos dentro de um constituinte

– Eventos com contornosestacionários ouascendentes vs descendente


technologyfrom seed


FLUL

Conclusões

• Resultados apontam para padrões regulares na produçãodas disfluências (fraseamento e contorno de F0).

• Fraseamento prosódico (rupturas 3 e 4) é crucial pararealizar uma tarefa de avaliação de níveis de fluência/disfluência.

• Contorno estacionário ou ascendente também influencia a classificação vs. descendente e com efeitos glotais.

• Características são salientes tanto no teste perceptivoquanto na CART.

22


technologyfrom seed


FLUL

Contribuições para uma definição de fluência

• A fala espontânea é de facto regulada, estruturada, organizada e hierarquizada em função do todo discursivo (Mata, 1999).

• A produção consciente dos fenómenos (dis)fluentes envolve condicionantes linguísticas (contextualização, localização, padrões temporais e funções).

• As categorias não são todas disfluentes e podem mesmo contribuirpara o planeamento on-line dos enunciados.

• A fluência pode ser entendida, também, como: a propriedade e mestria no uso e integração de disfluências no todo discursivo.


technologyfrom seed


FLUL

Trabalho futuro

• Em função da aplicação ou domínio saber como tratar as disfluências, e.g.,– Extrair as que não contribuem para a frase pretendida pelo falante

em aplicaões como ASR– Modelar em sistemas de síntese de fala as que são consideradas

benéficas para o discurso, por conferirem naturalidade discursiva– Descrever aprofundadamente todos os tipos de disfluências

23


technologyfrom seed


FLUL

Reflexão

Somos diariamente cirurgiões da mensagem que ouvimos e/ou produzimos, sem nunca atendermos realmente a todos os contornos que podem estar contemplados na mera produção e na percepção de uma (dis)fluência.


technologyfrom seed


FLUL

Referências seleccionadas

Beckman, M. (2003). “The meaning of intonational structure.” Proc. of ICPhS. Barcelona.

Blaauw, E. (1995). On the perceptual classification of spontaneous and read speech. Utrecht: Led.

Bolinger, D. (1986). Intonation and its parts: melody in spoken English. Stanford: Stanford University Press.

Clark, H. (2002). “Speaking in time”. Speech Communication, 36, 5-13.

Cruz-Ferreira (1998). “Intonation in European Portuguese”. In Hirst, D & A. Di Cristo (eds.). Intonation systems. Cambridge: Cambridge University Press, 167-178.

Cruz-Ferreira (1983). Non-native comprehension of intonation patterns in Portuguese and in English. Dissertação de Doutoramento. University of Manchester.

Falé, I. (2006). “Categorical perception of intonation contrasts in European Portuguese”. In ICPhS.

Falé, I. (2005). Percepção e reconhecimento da informação entoacional em Português Europeu. Dissertação de Doutoramento. Universidade de Lisboa.

Falé, I. (1995). Fragemnto da prosódia do Português Europeu: as estruturas coordenadas. Dissertação de Mestrado. Universidade de Lisboa.

Frota, S. (no prelo). “The intonation of European Portuguese”. In Jun, Sun-Ah (ed.). Prosodic Typology II: thePhonology and Intonation of Phrasing. Oxford University Press.

Frota, S. (2002). “Nuclear falls and rises in European Portuguese: a phonological analysis of declarative andquestion intonation.” Probus, 14, 113-146.

Frota, S. (2000) Prosody and focus in European Portuguese. Phonological phrasing and intonation. New York: Garland Publishing.

Frota, S. (1998). Prosody and Focus in European Portuguese. Dissertação de Doutoramento. Universidade de Lisboa.

Frota, S. (1991). Para a Prosódia da Frase: Quantificador , Advérbio e Marcação Prosódica. Tese de Mestrado. Universidade de Lisboa.

24


technologyfrom seed


FLUL

Referências seleccionadas

Hirschberg, J. (2003). "Pragmatics and Intonation“. Handbook of Pragmatics, L. Horn & G. Ward (eds), Blackwell.

Ladd, R. (1996). Intonational phonology. Cambridge: Cambridge University Press.Martins, F. (1986). Entoação e organização do enunciado. Dissertação de Mestrado. Universidade

de Lisboa.Mata, I. (1999). Para o estudo da entoação em fala espontânea e preparada em Português

Europeu. Metodologia, resultados e implicações didácticas. Dissertação de Doutoramento. Universidade de Lisboa.

Mata, I. (1992). “Questão da entoação e interrogação em Português. «Isso é uma pergunta?»”. InPereira, I., Mata, I. & M. Freitas. Estudos em prosódia. Lisboa: Edições Colibri, 33-73.

Mata, I. (1990). Questões de entoação e interrogação em Português. «Isso é uma pergunta?». Dissertação de Mestrado. Universidade de Lisboa.

Mateus et al. (2003). Gramática da Língua Portuguesa. Lisboa: Editorial Caminho.Nespor & Vogel (1986). Prosodic phonology. Dordrecht: Foris publications.Ostendorf et al (2008). “Viana, M. C. (1987). Para a síntese da entoação do Português. Dissertação de Carreira de

Investigação. Universidade de Lisboa.Vigário, M. (1995). Aspectos da prosódia do Português Europeu. Estruturas com advérbios de

exclusão e negação frásica. Dissertação de Mestrado. Universidade do Minho.

Helena Moniz FLUL/CLUL – L2F/INESC-ID · Caracterização prosódica das disfluências e suas...

Documents

Transcript of Helena Moniz FLUL/CLUL – L2F/INESC-ID · Caracterização prosódica das disfluências e suas...