Para que gastar 3 dias em trabalho manual quando
podemos fazer (em 3 meses) uma ferramenta que o automatize?
ou
Lutando por um NLP operating system
J.Joao Dias de Almeida ([email protected])
11 de Setembro de 2008
jj Natura
Linguateca
Missao
Melhorar a qualidade do PLN do Portugues, atraves de atenuar asdificuldade com que se deparam que os investigadoes edesenvolvedores desta area.
Disponibilizando recursos e ferramentas que permitamprocessamento sofisticado do Portugues.
Catalogando e monitorizando a area
Organizando actividades de avaliacao (conjunta)
jj Natura
Natura-Linguateca
Missao
... de acordo com as nossa preocupacoes e crencas:
Language processing techniques:
Domain specific languages (DSL)grammar basedrule based
Formal approach applied to informal, noisy domains
Scripting and fast prototype
Deal with real size resources
Inserido na realidade academica (U.Minho / DI)
e integrando coisas divertidas
jj Natura
PLN operating system
com1 < a > b b = f(a)com1 < a | com2 | com3 > b b = com3(com2(com1(a)
estruturas mais complexas grafo de calculo -- Makefile
texto = seq(linha) -- texto = frases, palavras, lemas, FS, dicgrep -- nlgrepyacc -- nlyacc
jj Natura
Algumas ferramentas Natura-Linguateca
TerminUM: Terminology from bilingual resources:NATools: set of tools for parallel corpora:
alignersprobabilistic translation dictionary extractorparallel corpora client-serverbilingual terminology extractor
Parguess: find bibtexts in the WEB
jj Natura
Algumas ferramentas Natura-Linguateca (2)
Recursos e ferramentas de lıngua:
JSpell: analisador morfologicoChuveiro de Dicionarios: um sistema para geracao dedicionarios de correctores ortograficos Firefox, Thunderbird,OpenOfice, aspell, etc para PTDPL: Dictionary programming languageDACLingua::StarDict::Gen: geracao de dicionarios StarDict
jj Natura
Algumas ferramentas Natura-Linguateca (3)
T2O: Ontology algebra:
Biblio::ThesaurusTabularThesaurus
General Support tools:
Makefile::Parallel: DSL for large scale computing using clusterText::RewriteRules: DSL for Textual rewriting systems in PerlcontextXML::TMX: processing Translation MemoriesXML::DT: processing HTML and XML files
jj Natura
T2O
Paço dos Duques de BragançaIN GuimarãesIOF palácioIOF monumento
Palácio dos BiscaínhosIN BragaIOF palácioIOF monumento
Mosteiro de AroucaIN AroucaIOF mosteiroIOF monumento
Completion
%inv INST IOF
felinoINST gato, tigre, pantera
%inv INST IOF
felinoINST gato, tigre, pantera
gatoIOF felino
tigreIOF felino
panteraIOF felino
%baselang PT
tigreEN: tigerIOF: felino
[PT:cat]EN catIOF felino
felinoEN felineINST [PT:cat]INST tigre
Biblio::Thesaurus thesaurusTranslate tabThesaurustax2thesaurus
Plant SciencesNT Plant Biology, AgronomyNT Plant EcologyBT IRIS_top_term
AgronomyNT Crop Science, HorticultureNT Seed ProductionNT Pest ManagementBT Plant Sciences, Agriculture
Crop ScienceNT Soybeans, Grain, TobaccoUF Crop ProductionBT Agronomy
animalNL dierINST Peru, porca, babuínoDE TierFI eläinSV djurBT Zoologia IT animaleRT Recursos animaisRT Doença animal, ZoologiaHU állatDA dyrEN animal
TaxonomiesAgronomy Crop Science Crop Production Grain Corn Rice Wheat Tobacco Horticulture Floriculture Turf or Ornamental Grass Viticulture Viniculture _USE_ Viticulture Pedology _USE_ Soil Science Pest Management Forest Pest Management Seed Production
Translation%baselang EN catIOF feline
tigerIOF felinePT tigre
felineINST catPT felino
Tabular Language$1SYN $$IN $2IOF $3IOF monumento
%%
Paço dos Duques de Bragança:Guimarães:palácio:Palácio dos Biscaínhos:Braga:palácio:Palácio do Freixo:Porto:palácio:Palácio e Convento de Mafra:Mafra:palácio:Palácio Nacional da Ajuda:Lisboa:palácio:Palácio Nacional da Pena:palácio:Mosteiro de Arouca:Arouca:mosteiro:Mosteiro de Ferreirim::mosteiro:
Merge
Biblio::Thesaurus
Ontology
jj Natura
T2O
15 anta
In – distrito::Angra do Heroísmo
Iof – cidade
Iofi – sede de concelho
Syn – cidade::Angra do Heroismo
Angra do HeroísmoAbr of – distrito::Angra do Heroísmo
In – distrito::Angra do Heroísmo
Iof – capital de distrito
AnguilaAbr of – região::Anguila
Codigo tld – ai
Gentilico – anguilano
In – América
Iof – região
Pof – Reino Unido
anguilanoHabitante de – Anguila
angélicaDominio – botânica
En – Dill
Iof – planta
Latim – Anethum graveolens
Ns – planta
angélica-silvestreDominio – botânica
En – Dill
Iof – planta
Latim – Anethum graveolens
Ns – planta
Anho da Festa de S. JoãoDomain – culinária
Iof – prato de carne
animaisIof – reino
Narrower term – aracnídeos! artrópodes! cetáceos! cor-dados ! insectos ! mamíferos ! moluscos ! peixes !primatas ! répteis ! vermes
animalInst – abelha ! abutre ! alce ! alce americano ! ameba !
andorinha ! anta ! antílope ! aranha ! arara ! arara
azul ! arenque ! ariranha ! arraia ! asno ! atum !ave ! avestruz ! babuíno ! bacalhau ! baleia ! barata! beija-flor ! bem-te-vi ! besouro ! bezerro ! bicho-
da-seda ! bicho-preguiça ! bode ! boi ! boi almis-
carado ! borboleta ! boto ! burro ! búfalo ! cabra
! cabrito montês ! cacatua ! cachalote ! cachorro !camaleão ! camarão ! camelo ! camundongo ! can-
guru ! canário ! capivara ! caracol ! caranguejo !carneiro ! carpa ! carrapato ! cascavel ! castor ! cav-alo! cavalo-marinho! cação! cegonha! centopeia!cervo ! chacal ! chimpanzé ! chita ! cigarra ! cisne
! coala ! cobaia ! cobra ! coelho ! coiote ! coral !cordeiro ! coruja ! Corvo ! crocodilo ! cuco ! cu-
pim ! cutia ! cágado ! cão ! diabo da Tasmánia !dinossauro ! doninha ! efemérida ! elefante ! ema !enguia ! escorpião ! esquilo ! estrela-do-mar ! faisão! falcão ! foca ! formiga ! fuinha ! furão ! gafan-
hoto ! gaivota ! galinha ! galo ! gambá ! ganso !garanhão ! garça ! gato ! Gavião ! girafa ! golfinho! gorila ! gralha ! grilo ! guará ! guaxinim ! ham-
ster ! hiena ! hipopótamo ! iaque ! iguana ! jacaré
! jacaré-de-papo-amarelo! jararaca! javali! jibóia!joaninha ! joão-de-barro ! lagarta ! lagartixa ! lagarto! lagosta ! lebre ! leoa ! leopardo ! lesma ! leão
! leão-marinho ! lhama ! libélula ! lince ! linguado
! lobo ! lobo-guará ! lontra ! lova-a-deus ! lula !lúcio (peixe) ! macaco ! marisco ! marreco ! martim-pescador ! mexilhão ! mico-leão-dourado ! minhoca
! molusco ! morcego ! morsa ! mosca ! mosquito !mula ! musaranho ! naja ! orangotango ! ornitorrinco! ostra ! ouriço ! ouriço-do-mar ! ovelha ! panda !pantera ! papagaio ! pardal ! pato ! pavão ! peixe !peixe boi ! pelicano ! percevejo ! perdigão ! perdiz
! perereca ! pernilongo ! Peru ! pescada ! pica-pau
! pinguim ! pingüim ! pintassilgo ! piolho ! piriq-
uito ! polvo ! pomba ! pombo ! porca ! porco !porco da india ! porco-espinho ! porquinho-da-índia !pulga ! puma ! pónei ! raposa ! raposa (fêmea) !ratazana ! rato ! rena ! rinoceronte ! robalo ! rouxi-nol! rã! sabiá! sagui! sagüi! salamandra! salmão! sanguessuga ! sapo ! sardinha ! siri ! sucuri ! su-rucucu ! tamanduá ! tartaruga ! tartaruga terrestre !tatu ! tatu-bolinha ! tatu-canastra ! texugo ! tigre !tigresa ! toupeira ! touro ! traça ! truta ! tubarão !tucano ! uirapuru ! urso ! urso panda ! urso polar !urubu ! vaca ! vaga-lume ! veado ! verme ! vespa
! viúva-negra (aranha) ! víbora ! zangão ! zebra !água-viva ! águia ! égua
anisDominio – botânica
En – Anise
Iof – planta
Latim – Pimpinella anisum
Ns – planta
anis-verdeDominio – botânica
En – Anise
Iof – planta
Latim – Pimpinella anisum
Ns – planta
AnkaraAbr of – cidade::Ankara
In – Turquia
Iof – cidade
anona (fruto)Dominio – botânica
En – Cherimoya
Iof – planta
Latim – Annona cherimola
Ns – planta
anona-da-madeiraDominio – botânica
En – Cherimoya
Iof – planta
Latim – Annona cherimola
Ns – planta
anoneiraDominio – botânica
En – Cherimoya
Iof – planta
Latim – Annona cherimola
Ns – planta
AnsiãoAbr of – concelho::Ansião
Cod pt – 1003
In – distrito::Leiria
Iof – vila
Iofi – sede de concelho
Syn – vila::Ansião
anta
35 berlinda
Beijinhos de FreiraDomain – culináriaIof – doceBeiraAbr of – cidade::BeiraIn – MoçambiqueIof – cidadeLa – fBeira AltaAbr of – província::Beira AltaHas – serra da Estrela ! ViseuIn – PortugalIof – provínciaBeira BaixaAbr of – província::Beira BaixaHas – Castelo BrancoIn – PortugalIof – provínciaBeira LitoralAbr of – província::Beira LitoralHas – AveiroIn – PortugalIof – provínciaBeira MarAbr of – clube::Beira MarBejaAbr of – concelho::Beja ! distrito::BejaCod pt – 0205In – Alentejo ! distrito::BejaIof – capital de distrito ! cidadeIofi – sede de concelhoSyn – cidade::BejabeladonaIof – plantaBelas ArtesAbr of – licenciatura::Belas ArtesIof – licenciatura ! área de estudoSyn – licenciatura::Belas Artesbelas-noitesDominio – botânicaEn – CalendulaIof – plantaLatim – Calendula officinalisNs – plantaBelemAbr of – cidade::BelemIn – BrasilIof – cidadeBelenensesAbr of – clube::BelenensesbelgaHabitante de – BélgicaBelgradoAbr of – cidade::BelgradoIn – JugosláviaIof – cidadeBelizeAbr of – país::BelizeCodigo tld – bzGentilico – belizenseIn – AméricaIof – paísbelizenseHabitante de – BelizeBelmonte
Abr of – concelho::BelmonteCod pt – 0501In – distrito::Castelo BrancoIof – vilaIofi – sede de concelhoSyn – vila::BelmonteBelo HorizonteAbr of – cidade::Belo HorizonteIn – BrasilIof – cidadeBem-CasadosDomain – culináriaIof – docebem-me-querIof – florbem-te-viEn – great kiskadeeIof – animalNs – animalBenaventeAbr of – concelho::BenaventeCod pt – 1405In – distrito::SantarémIof – vilaIofi – sede de concelhoSyn – vila::BenaventeBenficaAbr of – clube::BenficabengaleiroIof – mobíliaBenguelaAbr of – cidade::BenguelaIn – AngolaIof – cidadeBenimAbr of – país::BenimCodigo tld – bjFullname – República do BenimGentilico – beninêsIn – ÁfricaIof – paísbeninêsHabitante de – BenimBento da CruzIof – escritorPeriodo – actualBento Teixeira PintoIof – escritorPeriodo – clássicoberbequimIof – ferramenta de carpinteirobergantimBroader term – transporte aquáticoberingelaDominio – botânicaEn – EggplantIof – plantaLatim – Solanum melongenaNs – plantaBerlimAbr of – cidade::BerlimIn – AlemanhaIof – cidadeberlindaBroader term – transporte terrestre
thesaurus2htmlsthesaurus2tex
animalNL dierINST Peru, porca, babuínoDE TierFI eläinSV djurBT Zoologia IT animaleRT Recursos animaisRT Doença animal, ZoologiaHU állatDA dyrEN animal
Ontology
DatabaseSQLite
Biblio::Thesaurus::SQLitethesaurus2StarDict
OWLWeb Ontology
Language
Biblio::Thesaurus::OWL
TranslationDictionaries
thesaurus2dict
jj Natura
TerminUM Diagram
web ∨ directory��
guess & retrieval��
candidatePairs��
• // validation��
bitexts��
parallelBooksoo
segmentation��
segmentedBitexts��
subtitles��
.po
��sentenceAligner
��subtitleAligner
��poAligner
��•��
•oo •oo
sentenceAligned��
// •
��wordAlign
��•
OO
dictionariesoo // exampleExtraction // examplesjj Natura
NATools Diagram (mais logo)
corpusα
��
corpusβ
��filter1
��
filter2
��fileα
��
fileβ
��pre-proc1
��
pre-proc2
��lexα × crpα
��
// •��
crpβ × lexβoo
��
mkMatrix
��EM-Algorithm
��• // mkDictionary
��
•oo
dic(α → β) •oo // dic(β → α)
jj Natura
Makefile::Parallel
example1000006h 28m 13s
cleanExamples1m 2s
ipfp00219m 27s
postipfp0024s
example2000006h 26m 51s
postipfp0053m 12s
postbin0051m 46s
postipfp0013s
postbin0012s
ngramsB2m 37s
examples57s
example1500006h 16m 40s
example05h 54m 49s
example500006h 7m 57s
example2500004h 7m 3s
postipfp0035s
postbin0032s
ipfp00117m 59s
dicB1m 34s
dump43s
ngramsA26m
ngramsA5m 45s
ngramsB411m 2s
dicA1m 35s
postipfp00415s
postbin0042s
ngramsB25m 56s
ipfp00421m 34s
postbin0022s
initmat0024m 36s
filter32s
ipfp00532s
initmat0044m 34s
initmat0058s
ngramsA411m 54s
initmat0032m 27s
ipfp00319m 28s
codify9m 17s
ngramsA39m 23s
initmat0011m 39s
ngramsB37m 51s
jj Natura
Top Related