Processamento de Imagens e Aplicaçõesjbatista/procimg/2016/apres.pdf · cena descrita em termos...

Processamento de Imagens e Aplicações

João do E. S. Batista Neto

Instituto de Ciências Matemáticas e de Computação – ICMC-USP

Domício PinheiroAgência Estado

Visã

o C

ompu

taci

onal

Processamento de Imagens

Computação Gráfica

Visualização Científica

Análise de Imagens

Áreas Relacionadas

Modelagem Visualização Computacional

Computação Gráfica Síntese de Imagens

Processamento de Imagens Visão Computacional

Processamento de imagens

Modelagem de dados(processamento de dados)

Visão(análise de imagem)

Visualização(computação gráfica,síntese de imagem)

DADOS

IMAGEM

Imagem – Á

reas Corre

latas

Modelagem

Cena: lista de objetos + condições de iluminação Objetos: características geométricas

Forma Maneira como interagem com a luz incidente.

Ambos os tipos de características podem ser descritos através de modelos Grau variável de sofisticação -> realismo ! Modelagem geométrica Especificação de características óticas (material, cor,

transparência, etc). Muita estrutura de dados !!!!

Cena realista -> requer muito trabalho

Modelagem de dados

(visualização)

Curvas, superfícies, etc

Métodos p/ Modelagem

Métodos Analíticos ou Algébricos: representação

de curvas, superfícies.

Métodos Analíticos ou Algébricos: representação

de curvas, superfícies.


síntese de imagens técnicas para gerar representações visuais a partir

de especificações geométricas e de atributos visuais dos seus componentes modelagem e rendering

objetivo: ‘mundo’ 3D no computador cena descrita em termos de sua geometria e

atributos visuais para o ‘rendering’, até obter matriz de pixels

Sistemas Gráficos: Características

sistemas altamente interativos usuário controla o conteúdo, a estrutura e a

aparência dos objetos e imagens visualizadas na tela, usando dispositivos de interação

forte relação com HCI - Interação Usuário Computador

Rendering: processo de geração de imagem a partir de um modelo. Em português:

visualização

Quer Ficar Rico ?

2D


3D

Rendering

Real ou Imaginário


técnicas de transformações de imagens descritas na forma de uma ‘matriz’ de pixels

objetivo: melhorar características visuais (aumentar contraste, melhorar foco, reduzir ruído, eliminar distorções), extrair elementos de interesse; ou mesmo ‘transformar’ a imagem, criando efeitos visuais

cena: matriz de ‘pixels’

Identificação de pássaros para controle de poluição ambiental

Leandro Gerhardiger, 2006

Segmentação por Campos Aleatórios de Markov em multi escala

Segmentação de um tumor em momografia

Recuperação de conteúdo em grandes BD por imagem

Identificação de Ferrugem de Cana – Casa Branca

Criação de mosaica em plantações de eucalipto

Mosaico criado automaticamente, sem nenhum georeferenciamento

CSI – A missão !!

Encontre os caracteres 'a'

O que é visão computacional?É a ciência que desenvolve as bases teóricas e algoritmicas pelas quais informações úteis são automaticamente extraídas de imagens por meio de computadores

O que é um sistema de Visão Computacional?

• Um programa que “enxerga” uma imagem e realiza as operação que lhe são solicitadas !– Análise de imagens

• Segmentação + extração de características– Algum processo inteligente de inferência

• Reconhecimento de padrões– Machine learning, classificação, etc..

O que precisamos saber para ter sucesso na construção de um sistema

de visão artificial ?

• Aspectos Cognitivos: combinação dos aparelhos sensoriais e comportamento psico-biológico: neurociências, IA, filosofia, psicologia, lingüística.

• Aspectos fisiológicos do cérebro.

Aspectos Cognitivos

Exemplo : ilusão cognitiva (distorção)

Tamanho, comprimento, curvatura

Exemplo : percepção visual – aspectos culturais

Mostre estas figuras para um árabe e um zulu...

Exemplo : percepção visual – especialização

Movimento sacádico

Aspectos Fisiológicos

Visão Natural: sistema super paralelo

Macro

Micro

Intermediário

Visão Natural: o olho humano

http://www.yorku.ca/eye/thejoy.htm

Blid Spot: Ponto Cego

Feche seu olho direito. Foque no número 3. Avance e recue.Ou foque nos nros à direita ou esquerda !

Bastonetes: Alta sensibilidade à luminosidade, não percebem corCones: Alta sensibilidade a cor, alta quantidade na fóvea

Cones: (sens.) C C M L M C

O córtex visual

Córtex Inferotemporal Córtex Parietal

V4(comp. de onda; orientação; disparidade)

Cor e forma com cor

V5(direção; orientação; disparidade)

Movimento


Formas dinâmicas

Faixas finas(comp. de onda; orientação; disparidade)

Pálidas(comp. de onda)

Faixas grossas(direção; orientação; disparidade)

blobs(comp. de onda)

interblobs(comp. de onda;

orientação; disparidade

4B(direção;

orientação; disparidade)

Cones Bastonetes

V2

V1

LGN magnocelularLGN parvocelular

Córtex Inferotemporal Córtex Parietal

V4(comp. de onda; orientação; disparidade)

Cor e forma com cor


Movimento


Formas dinâmicas

Faixas finas(comp. de onda; orientação; disparidade)

Pálidas(comp. de onda)

Faixas grossas(direção; orientação; disparidade)

blobs(comp. de onda)

interblobs(comp. de onda;

orientação; disparidade

4B(direção;

orientação; disparidade)

Cones Bastonetes

V2

V1

LGN magnocelularLGN parvocelular

A região A é mais escura que B, certo ? Isso não é uma pegadinha

Exemplo 1: fisiologia

Errado !

Resposta

• Contraste local

Este é um exemplo da excelente qualidade de nosso sistema visual, certo?

Certo !

• Algo claro, rodeado por algo mais escuro, tende a parecer mais claro do que é. E vice-versa !

Exemplo 2: fisiologia

Explicação: campos receptivos da retina

Visão Computacional/Artificial

• VISÃO é o processo de descobrir, a partir de imagens, o que está presente no mundo e onde está localizado

• Disciplinas relacionadas– Processamento de Imagens– Computação Gráfica– Reconhecimento de Padrões– Robótica– Inteligência artificial

Um sistema de visão computacional para indústria

Três níveis de atuação

Melhorar qualidade da

imagemPouca

inteligência

Extrair e caracterizar componentes

Alguma inteligência

ReconhecimentoAlta Inteligência

Exemplo: um sistema de visão para reconhecer digitais

Reconhecimento de Digitais - padrões

Bifurcações

Terminações

Típico sistema de visão

Cena

Pré-processamentoProcessamento de Imagens

1

Aquisição

2 3

456

Análise de ImagensExtração de característicasIA / reconhecimento de padrões

Cena 1 2 3

456

Passo 1 - Aquisição

Aquisição

Cena 1 2 3

456

Passo 2 - Pré-processamento

Pré-processamento

Cena 1 2 3

456

Passo 3 - Processamento de Imagens

Cena 1 2 3

456

Passo 4 - Análise de Imagens

Análise de Imagem

1- Procurar todos e marcar:

- bifurcações

- terminações

Análise de Imagem

2 - Determinar as orientações:

- bifurcações

- terminações

Cena 1 2 3

456

Passo 5 - Extração de Características

Extração de Características: Modelo Matemático

Modelo Matemático

- Semelhança de Triângulos

Combinar as marcações 3 a 3

Cena 1 2 3

456

Passo 6 - IA / Reconhecimento de padrões

IA / Reconhecimento de padrões

Armazenar o modelo matemático de todos os triângulos

Base de conhecimento

IA / Reconhecimento de padrões

Base de conhecimento Padrão reconhecido, digital

identificada

Comparar com modelos treinados

É fácil emular a visão humana ?

Reconhecimento

Importância da cor

Importância da Textura

The role of shape

Importância do agrupamento

Auxílio da matemática

• Sistemas mais antigos empregavam métodos heurísticos

• Hoje recorremos à matemática, às vezes um pouco pesada !– Cálculo– Algebra Linear– Probabilidade e estatística

– Processamento de Sinais

– Projeção Geométrica

– Geometria Computacional– Otimização

• Boa notícia: muita computação !

Aplicações

• Inspeção industrial/Controle Qualidade

• Segurança

• Reconhecimento Facial

• Reconhecimento Gestos

• Aplicações espaciais

• Análise de imagens médicas

• Veículos autônomos

• Agro-negócio