Extração de Informação em Bases Textuais utilizando Expressões Regulares Prof. Pablo Freire...

Extração de Informação em Bases Textuais utilizando

Expressões Regulares

Prof. Pablo Freire MatosInformática - Instituto Federal Baiano (IFBAIANO)

pablofmatos@yahoo.com.br

Simpósio de Sistemas de Informação – FTC

27 a 29 de out. de 2011

Roteiro

EI em Bases Textuais com ER

Vamos compreender as palavras-chave do título:

Roteiro

EI em Bases Textuais com ER3

O que é Extração de Informação?

Recuperação de Informação

Extração de Informação Bases Textuais Expressões Regulares (ERs) Conhecendo as ERs Prática

RI x EI Recuperação da Informação (RI)

Extração da Informação (EI)

Informação Não Estruturada

Descoberta de Conhecimento

Informação Estruturada

Base de Dados

Descoberta de Conhecimento

A = Proteína XB = PriapismoC = Anemia Falciforme

Descoberta de ConhecimentoProteína Efeito

PositivoQuant.

Pacientea b 10

a b 20

a e 40

a b 15

Efeito Negativo Doença Quant.

Pacienteb c 10

b c 30

b f 20

A = Proteína XB = PriapismoC = Anemia Falciforme

Mineração de Dados

Mineração de Textos

Roteiro

O que são Bases Textuais?

Formato TXT

Formato PDF

Formato HTML

Formato XML

Formatos Textuais

O que são Bases Textuais?Cenário Atual:

Grande quantidade de informação

Informação estas que encontram-se em: e-mail, blogs, wikis, artigos,... + de 80% das informações estão em formato textual

Gantz et al. (2007)

O que são Bases Textuais? Capacidade humana de analisar e compreender

estes dados é limitada

Informação e conhecimento importantes podem ser perdidos

Roteiro

O que são Expressões Regulares? Definição

“É um método formal de especificar um padrão de texto”

Outra Definição: “Uma composição de símbolos, caracteres com funções

especiais, que, agrupados entre si e com caracteres literais, formam uma sequência, uma expressão.

Essa expressão é interpretada como uma regra, que indicará sucesso se uma entrada de dados qualquer “casar” com essa regra, ou seja, obedecer exatamente a todas as suas condições.”

Jargas (2009)

O que são Expressões Regulares? Outras Definições:

“Uma maneira de procurar um texto que você não lembra exatamente como é, mas tem uma ideia das variações possíveis”

“Uma maneira de procurar um trecho em posições específicas como no começo ou no fim de uma linha, ou palavra”

“Uma maneira de um programador especificar padrões complexos que podem ser procurados e casados em uma cadeia de caracteres”

“Uma construção que utiliza pequenas ferramentas feita para obter determinada sequência de caracteres de um texto”

O que são Expressões Regulares? Recurso poderoso utilizado por muitos

aplicativos

Por exemplo...

Editor de Texto (1/3)

Notepad++

Word 2007

Depois

Navegador de Internet (1/2)

JavaScript

Navegador de Internet (2/2)

HTML 5

Banco de Dados Recuperar todos os alunos cujos nomes

terminem com “santos”

mysql> SELECT * –> FROM aluno –> WHERE nome LIKE “%santos”;

mysql> SELECT * –> FROM aluno –> WHERE nome REGEXP “santos$”;

SQL com Expressão Regular

Linguagem de Programação pacote java.util.regex

Pattern p = Pattern.compile(<regular expression>); Matcher m = p.matcher(<input source>);

Exemplo 1:Pattern p = Pattern.compile("[jJ]ava");Matcher m = p.matcher("Java é mais java!");// enquanto o Matcher encontrar o padrão na String fornecida while (m.find()) { System.out.println(m.group()); }

Saída:Javajava

Linguagem de Programação pacote java.util.regex

Pattern p = Pattern.compile(<regular expression>); Matcher m = p.matcher(<input source>);

Exemplo 2:Pattern p = Pattern.compile("Java", Pattern.CASE_INSENSITIVE);Matcher m = p.matcher("Java é mais java!");// enquanto o Matcher encontrar o padrão na String fornecida while (m.find()) { System.out.println(m.group()); }

Saída:Javajava

Linguagem de Programação Exemplo 3:

Pattern p = Pattern.compile("Java", Pattern.CASE_INSENSITIVE);Matcher m = p.matcher("Java é mais java!");// enquanto o Matcher encontrar o padrão na String fornecida while (m.find()) {

System.out.printf("Encontrado: \"%s\" de %d à %d.\n", m.group(), m.start(), m.end());}

Saída:Encontrado: "Java" de 0 à 4. Encontrado: "java" de 12 à 16.

Linguagem de Programação

API Java

Linguagem de Programação Diferença dos métodos find() e matches()

Matches() inclui implicitamente o ^ no início e $ no final do padrão

Pattern p = Pattern.compile("\\d\\d\\d"); Matcher m = p.matcher("a123b"); System.out.println(m.find()); System.out.println(m.matches());

p = Pattern.compile("^\\d\\d\\d$"); m = p.matcher("123"); System.out.println(m.find()); System.out.println(m.matches());

Saída:truefalsetruetrue

O que são Expressões Regulares? Recurso poderoso utilizado por muitos

aplicativos: Editores de Texto Navegadores de Internet Linguagens de Programação Banco de Dados

... várias outras tarefas que envolvem manipulação de dados

Conhecendo as Expressões

Regulares (ERs)

Ambiente de Teste

Piazinho

Metacaracteres Correspondem as ferramentas básicas de uma expressão regular São combinados para representar o padrão de busca desejado Símbolos especiais

Metacaractere Nome. Ponto[] Lista[^] Lista negada? Opcional* Asterisco+ Mais{} Chaves

Metacaractere Nome^ Circunflexo$ Cifrão\b Borda\ Literal| Ou() Grupo\1 Retrovisor

Metacaracteres tipo RepresentantePonto: “.”

Curinga que casa com uma única letra, número, caractere especial (@,#,$,%,...) , TAB, o próprio ponto, ...

Exemplos.ato n.o .im 13.30 c.mprido

pato, rato, gato, ...não, nao, nÃo, ...fim, Fim, ...13:30, 13.30, 13 30, 13-30, ...comprido, cumprido, ...

Metacaracteres tipo RepresentanteLista: [...]

Mais específica que o ponto, a lista determina quais caracteres ou símbolos podem ser casados

Só pode ser casado um caractere por vez dentro de cada lista

Exemplosn.o n[aã]o [pgr]ato 12[:. ]45 <[BIP]>

Observação O ponto dentro da lista NÃO é um metacaractere e sim um caractere

normal

não, nao, nÃo, n9o, nxo, n@o, ...não, nao (Obs: não casa com naão)pato, gato, rato12:45, 12.45, 12 45<B>, <I>, <P>

Metacaracteres tipo RepresentanteLista: [...] Listas com intervalos

Como representar uma ER para casar com qualquer letra minúscula?[abcdefghijklmnop...z]??? MUITO LONGA!

Para facilitar a representação de sequências, pode-se usar intervalos[0123456789] [abcdefghijklmnop...z] [ABCDEFGHIJKLMNOP...Z]

Mais de um intervalo pode ser utilizado em uma lista[0-57-9] [d-fA-C5-7]

= [0-9]= [a-z]= [A-Z]

= [012345789]= [defABC567]

Metacaracteres tipo RepresentanteLista: [...] Observações

Como representar o “-” dentro de uma lista se ele é especial? Deve-se sempre colocá-lo no final da lista

[a-f-] = [abcdef-][0-9-] = [0123456789-]

Como representar o “]” dentro de uma lista se ele é especial? Deve-se sempre colocá-lo no início da lista

[]] casa somente com o ][]6-9] casa com ], 6, 7, 8, 9[]-] casa com ] ou -

Intervalos respeitam a ordem da tabela ASCII [:-@]

casa com :, ;, <, =, >, ?, e @

Tabela ASCII

American Standard Code for Information Interchange

Metacaracteres tipo RepresentanteLista negada: [^...]

Funciona com a lógica inversa da lista normal

Tudo que encontra-se na lista não será casado[^0-9] [:;,.!?][^ ]

casa com qualquer símbolo que NÃO seja númerocasa com qualquer pontuação que não estejaseguida por um espaço em branco

Metacaracteres tipo QuantificadorOpcional: ?

Indica nenhuma ou uma ocorrência do padrão anterior[pgr]atos? casa[r!]?

Asterisco: * Indica nenhuma ou muitas ocorrências do padrão anteriorto*c t[oc]*

O que casará [ar]*a na palavra arara ? 1. a [ar] zero vezes, seguido de a2. ara [ar] duas vezes, seguido de a3. arara [ar] quatro vezes, seguido de a4. n.d.a

Sempre é tentado casar o maior número de vezesEI em Bases Textuais com ER

pato, gato, rato, patos, gatos, ratoscasa, casar, casa!

tc, toc, tooc, toooc, toooooc, ...t, to, tc, toc, tooc, tocc, toccooocc, ...

Jargas (2009)

Metacaracteres tipo QuantificadorMais: +

Indica uma ou mais ocorrências do padrão anteriorto+c t[oc]+

toc, tooc, toooc, toooooc, ...to, tc, toc, tooc, tocc, toccooocc, ...

Metacaracteres tipo QuantificadorChaves: {...} Permite que seja especificada um limite mínimo ou

máximo de repetições para o padrão anterior Possibilidades

{n,m} de n até m{n,} pelo menos n{n} exatamente n{0,} o mesmo que o “*”{1,} o mesmo que o “+”

Exemplosto{1,3}c to{2,}c t[oc]{2,}

toc, tooc, toooctooc, toooc, tooooc, ...tooc, toooc, tooooc, tco, toc, tcooocoo ...

Metacaracteres tipo Âncora Circunflexo: ^

Indica que o padrão a seguir deve ser considerado a partir do início da linha^[a-z] linhas que começam com letras minúsculas^[0-9] linhas que começam por números^[^0-9] linhas que NÃO começam por números'

Cifrão: $ Indica que o padrão anterior deve ser considerado no fim da linhatoc$ linhas que terminam com a palavra toc[0-9]$ linhas que terminam com número[:-@]$ linhas que terminam com os caracteres :, ;, <, =, >, ?, e @)

Combinações úteis^$ linha em branco...$ últimos três caracteres da linha^.{15,30}$ linhas que contenham entre 15 e 30 caracteres

Metacaracteres tipo ÂncoraBorda: \b

Indica a borda de uma palavra (início ou fim)ana ana, anamaria, analucia, mariana, luciana\bana ana, anamaria, analuciaana\b ana, mariana, luciana\bana\b ana Por palavra, deve-se entender sequências de letras, números e o

caractere “_”

Outros MetacaracteresLiteral: \

Deve ser utilizado antes de qualquer metacaractere para torná-lo um caractere normal sem qualquer efeito especial para a expressão regular

Ou alternativo: | Indica um padrão com várias alternativas

A lista funciona como um tipo de operador “OU” somente para uma letra

Hello | Ola casa com a palavra Hello ou com Olahttp:// | https:// casa com http:// ou https://

Outros MetacaracteresGrupo: (...) Possibilita o agrupamento de caracteres que serão tratados

atomicamente

(oi!)+

(\.[0-9]){3}

(www\.)?simsis.net

(super|hiper)mercado

(su|hi)permercado

((su|hi)per)?mercado

(mini|(su|hi)per)?mercado

oi!, oi!oi!, oi!oi!oi!, ...

.3.4.5, .7.2.4, ...

www.simsis.net, simsis.net

supermercado, hipermercado

supermercado, hipermercado, mercado

supermercado, hipermercado, mercado, minimercado

Outros MetacaracteresRetrovisor: \1 ... \9 Retrovisor \1 é uma referência ao texto casado do primeiro

(quero)-\1

([A-Za-z]+)-\1

([A-Za-z]+)-?\1

(lenta)(mente) é \2 \1

Ver exemplo prático no slide 24

quero-quero ...

quero-quero, bate-bate, ...

quero-quero, bate-bate, lili, dudu, ...

lentamente é mente lenta

Metacaracteres tipo barra-letra

Metacaractere Função

\d Dígito

\D Não Dígito

\w Palavra

\W Não-palavra

\s Branco\S Não-branco

\w casa letras, dígitos, ou '_'.

Metacaractere Moderno(?:ER) É como um grupo normal, só que não é guardado nem

incluído na contagem de grupos, ou seja, não é acessível com retrovisores

^(Pablo)\s(?:F\.)\s(Matos)

Pablo F. Matos

Exercícios Validação de:

Data no formato dd/mm/aaaa

E-mail

[\d]{2}/[\d]{2}/[\d]{4}

[\d]{3}\.[\d]{3}\.[\d]{3}-[\d]{2}

[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}\.[\d]{1,3}

[\w\d._-]{3,}@[\w]{2,}\.[\w]{3,4}(\.[\w]{2})?

Metacaracteres (1/2)

Metacaractere Nome Função

. PontoUm caractere qualquer

[...] ListaLista de caracteres permitidos

[^...] Lista negada

Lista de caracteres proibidos

Representantes

Metacaractere Nome Função? Opcional Zero ou um

* Asterisco Zero, um ou mais

+ Mais Um ou mais{n,m} Chaves De n até m

Quantificadores

Metacaracteres (2/2)

^ Circunflexo Início da linha

$ Cifrão Fim da linha

\b BordaInício ou fim da palavra

Âncoras

\. LiteralTorna literal o ponto

| Ou Ou um ou outro

(...) Grupo Delimita um grupo

\1...\9 RetrovisorTexto casado nos grupos 1...9

Outros

Prática Acessar:

http://gbd.dc.ufscar.br/~pablofmatos/simSIS2011/

Programas: ftc-Etiquetador: Etiquetador morfossintático em Java ftc-ER:Testador de Expressão Regular em Java

Bases Textuais: Texto Texto Etiquetado

Ambiente de Teste: Piazinho (Testador de Expressão Regular no browser)

Como Extrair Informação das Bases Textuais? Etiquetador Part-Of-Speech (POS)

O objetivo é atribuir automaticamente etiquetas (tags) de acordo com a classe gramatical de cada palavra

Palavras que podem ser tanto verbo como substantivo:Ex: programs, process

Dificuldade

Exemplo de Sentença Etiquetada

Como Extrair Informação das Bases Textuais?

Etiquetador POS da Stanford: 86,91% - novas palavras

Padrão Tag: Penn Treebank

Exemplo de Sentença

padrão JJ_NN

TagSet (2011)Marcus et al. (1993)

Arquivo TXT Não Etiquetado

Arquivo TXT Etiquetado

Exemplo 1

Extrair Informação Padrão (JJ_JJ)

Grupo (JJ_JJ)

Exemplo 1

Compare o resultado com o programa ftc-ER

Resposta

26 sentença

Padrão 1.0

Extrair Informação Padrão (JJ_JJ_NN_NN_(NN)?)

Resposta

6 sentenç

Padrão 1.1

Extrair Informação Padrão (~JJ)_(JJ_NN_NN_(NN)?)

Grupo (JJ_NN_NN_(NN)?)

Resposta

13 sentença

Padrão 1.2

Extrair Informação Padrão (JJ_JJ_NN)_(~NN)

Grupo (JJ_JJ_NN)

Resposta

17 sentença

Padrão 2.0 - Otimizado

Extrair Informação Padrão (~JJ)_(JJ_NN_IN)_(JJ_NN)_(~NN)

Grupo (JJ_NN)

Resposta

7 sentença

Outros Ambientes de Teste Regex-Coach:http://weitz.de/regex-coach/

RegexBuddy:http://www.regexbuddy.com/

Visual REGEXP:http://laurent.riesterer.free.fr/regexp/

FireFox:https://addons.mozilla.org/en-US/firefox/addon/regular-expressions-tester/

Referências (1/2) FRIEDL, J. E. F. Mastering Regular Expressions. 3 ed. USA: O'Reilly

Media, 2006. 544 p.

GANTZ, J. F. et al. The expanding digital universe: a forecast of worldwide information growth through 2010. IDC Whitepaper, 2007.

JARGAS, A. M. Expressões Regulares: Uma Abordagem Divertida. 3 ed. São Paulo: Novatec, 2009. 208 p. Disponível em: <http://aurelio.net/er/>. Acesso em: 10 out. 2011.

JARGAS, A. M. Expressões regulares: guia de consulta rápida. 2001. Disponível em: <http://aurelio.net/regex/guia/>. Acesso em: 10 out. 2011.

MARCUS, M. P.; MARCINKIEWICZ, M. A.; SANTORINI, B. Building a large annotated corpus of English: the penn treebank. Computational Linguistics, v. 19, n. 2, p. 313-330, 1993.

Referências (2/2) ORACLE. Java platform API specification: standard edition 6. 2011.

Disponível em: <http://download.oracle.com/javase/6/docs/api/>. Acesso em: 03 de out. 2011.

THE STANFORD NATURAL LANGUAGE PROCESSING GROUP. Stanford log-linear part-of-speech tagger. 2011. Disponível em: <http://nlp.stanford.edu/software/tagger.shtml>. Acesso em: 05 out. 2011.

TAGSET. Penn Treebank Tagset. 2011. Disponível em: <http://www.computing.dcu.ie/~acahill/tagset.html>. Acesso em: 05 out. 2011.

Penn Treebank Tagset (1/2)

Tag Meaning

CC Coordinating conjunction e.g. and,but,or... CD Cardinal Number DT Determiner

EX Existential there

IN Preposition or subordinating conjunction

JJ Adjective

JJR Adjective, comparative

JJS Adjective, superlative

NN Noun, singular or mass

NNP Proper Noun, singular

NNPS Proper Noun, plural

NNS Noun, plural

Penn Treebank Tagset (2/2)

Tag Meaning

RB AdverbMost words that end in -ly as well as degree words like quite, too and very

TO To VB Verb, base form subsumes imperatives, infinitives and

subjunctives VBD Verb, past tense

includes the conditional form of the verb to be VBG Verb, gerund or present participle

VBN Verb, past participle

VBP Verb, non-3rd person singular present

VBZ Verb, 3rd person singular present

Extração de Informação em Bases Textuais utilizando

Expressões Regulares

Prof. Pablo Freire MatosInformática - Instituto Federal Baiano (IFBAIANO)

pablofmatos@yahoo.com.br

Simpósio de Sistemas de Informação – FTC

27 a 29 de out. de 2011

Extração de Informação em Bases Textuais utilizando Expressões Regulares Prof. Pablo Freire...

Documents

Transcript of Extração de Informação em Bases Textuais utilizando Expressões Regulares Prof. Pablo Freire...

Simulado IfBaiano - Matemática

Jorge amado escritor baiano

O Batista Baiano - Edição 84

O Batista Baiano - Edição 87

UNIVERSIDADE FEDERAL DE SÃO CARLOS CENTRO DE CIÊNCIAS ...gbd.dc.ufscar.br/~pablofmatos/files/QualiPabloFreire.pdf · UNIVERSIDADE FEDERAL DE SÃO CARLOS CENTRO DE CIÊNCIAS EXATAS

Independência Da Bahia _ Jeito Baiano

BOLETIM DE SERVIÇO INTERNO - Instituto Federal Baiano · A Direção Geral do Campus Guanambi do IFBaiano está divulgando o Boletim de Serviço Interno (BSI), visando dar publicidade

Convocatoria semiarido baiano

Apresentação Recôncavo Baiano

Gestão de Referências Bibliográficas em Artigos e Monografias com o Prof. MSc Pablo Freire Matos Informática - Instituto Federal da Bahia (IFBA) pablofmatos@yahoo.com.br.

Caio Junior - Campeão Baiano

Book Campeonato Baiano 2012

Campeonato Baiano

O Batista Baiano - Edição 85

IFbaiano (Campus: Catu/BA) Estudantes: Everton, Maludiane, Ruama, Rubens. Professora: Eneida Rios Curso: ADS Disciplina: Qualidade de Software AVALIAÇÃO.

Litoral Norte e Agreste Baiano

CAMPEONATO BAIANO série a 2020 - futeboldabahia.com.brfuteboldabahia.com.br/Loja Virtual/Revista Futebol Baiano 2020.pdf · CAMPEONATO BAIANO série a 2020 1 TIMES DESTAQUE 2-SERRINHA

01 Lingua Portuguesa if Baiano

Mobiliário Baiano - Flexor

O Batista Baiano - Edição 86