Projeto Graduação Final

7/25/2019 Projeto Graduao Final

1/77

UNIVERSIDADE FEDERAL DO ESPRITO SANTO

CENTRO TECNOLGICODEPARTEMENTO DE ENGENHARIA MECNICA

TSSIO CARIELO MACEDO DE OLIVEIRA PINTO

VINICIUS MIRANDA

ALGORTIMO DE REALIMENTAO VISUAL PARA APLICAO EM

CONTROLE ROBTICO


2/77


VINICIUS MIRANDA


CONTROLE ROBTICO

Trabalho de Concluso de Cursoapresentado ao Departamento de

Engenharia Mecnica do CentroTecnolgico da Universidade Federal doEsprito Santo, como requisito parcialpara obteno do grau de EngenheiroMecnico.


3/77


VINICIUS MIRANDA


CONTROLE ROBTICO

Trabalho de Concluso de Curso apresentado ao Departamento de EngenhariaMecnica do Centro Tecnolgico da Universidade Federal do Esprito Santo, comorequisito parcial para obteno do grau de Engenheiro Mecnico.

Aprovado em 02 de Maio de 2013.

COMISSO EXAMINADORA:

_______________________________________

Prof. Dr. Antnio Bento FilhoUniversidade Federal do Esprito SantoOrientador


4/77


5/77

AGRADECIMENTOS

Agradecemos aos nossos pais, irmos, amigos e mestres por todo apoio nestes anos

de faculdade.


6/77

RESUMO

Cada vez mais robs so aplicados na indstria para executar diversos tipos de

tarefas que envolvem na maioria das vezes a identificao de objetos e de suas

posies e orientaes em relao a um referencial de trabalho. Dentro desse escopo,

os sistemas de controle servo visual tem mostrado excelentes resultados. Hoje h a

necessidade de se desenvolver algoritmos que faam melhor uso dos recursos

computacionais disponveis e forneam resultados de maior qualidade. Este projeto

visa desenvolver um algoritmo para a obteno do ngulo de rotao de uma vlvula,

atravs de ferramentas disponveis na plataforma MATLAB, com o objetivo de

realimentar visualmente um manipulador robtico. Alm disso, avaliar parmetros que

influenciam no resultado do algoritmo.

Palavras Chave: Controle Servo Visual. Viso Artificial. Caractersticas de imagem.

Vlvula.


7/77

ABSTRACT

Robots are increasingly used in industry to execute different kinds of tasks which

mostly involve the identification of objects and their positions and orientations relative

to a reference work. Within this scope, the visual servo control systems have shown

excellent results. Today there is the need to develop algorithms that make better use

of available computational resources and provide higher quality results. This project

aims to develop an algorithm for obtaining the angle of rotation of a valve through tools

available in MATLABplatform, in order to visually feedback a robotic manipulator.

Moreover, evaluate parameters that influence the results of the algorithm.

Keywords: Visual Servo Control. Artificial Vision. Image feature. Valve.


8/77

LISTA DE FIGURAS

Figura 1: Esquema bsico para um Sistema de Viso Artificial ................... 16

Figura 2: Imagem remapeada. Fonte ........................................................... 18

Figura 3: Aplicao de reduo de rudo ...................................................... 18

Figura 4: Aumento de contraste ................................................................... 19

Figura 5: Imagem binarizada por threshold.................................................. 20

Figura 6: Mean Shift. Imagem (a) original. Imagem (b) com efeito mean-shiftaplicado ............................................................................................... 21

Figura 7: Exemplo de bordas ....................................................................... 21

Figura 8: Crescimento de regies. Em (a) pixels adjacentes com algumacaracterstica comum. Em (b) incio do crescimento. (c) Estadointermedirio do crescimento (d) Estado completo .............................. 22

Figura 9: Estrutura de controle servo visual direta baseada em posio(PBVS). ................................................................................................ 25

Figura 10: Estrutura de controle servo visual direta baseada em imagem(IBVS) .................................................................................................. 25

Figura 11: Estrutura dinmica de controle servo visual indireta baseada emposio ................................................................................................ 25

Figura 12: Estrutura dinmica de controle servo visual indireta baseada emimagem ................................................................................................ 26

Figura 13: Configurao quanto ao sistema de cmera ............................... 28

Figura 14: Resultado Edge Detection ........................................................... 30

Figura 15: Resultado Corner Detection Fonte .............................................. 31

Figura 16: Resultado de deteco de regies .............................................. 32

Figura 17: Exemplo caractersticas do tipo Ridges ...................................... 33

Figura 18: Sistema de viso artificial utilizado neste trabalho. ..................... 35


9/77

Figura 26: Pseudocdigo do rastreador de pontos caractersticos. .............. 45

Figura 27: Pontos correlacionados no teste 1. ............................................. 48

Figura 28: Inliersencontrados no teste 6. .................................................... 50


10/77

LISTA DE TABELAS

Tabela 1: Detectores de caractersticas e suas classificaes..................... 34

Tabela 2: Especificao da cmera Sony DSC-W510 ................................. 37

Tabela 3: Especificao do computador XPS15 L502x utilizado no

processamento das imagens ............................................................... 38

Tabela 4: Testes executados ....................................................................... 46

Tabela 5: Quantidade de pontos encontrados na extrao e correlao decaractersticas ...................................................................................... 47

Tabela 6: ngulos finais calculados ............................................................. 49

Tabela 7: Resultados encontrados pelo algoritmo ....................................... 49

Tabela 8: ngulos de rotao da vlvula aferidos automaticamente,manualmente e erro percentual ........................................................... 51

Tabela 9: Pontos correlacionados ................................................................ 59

Tabela 10: Pontos Inliers.............................................................................. 62

Tabela 11: Pontos rastreados ...................................................................... 65

Tabela 12: Pontos caractersticos aferidos manualmente no primeiro e ltimoquadros capturados no teste ............................................................... 68


11/77

SUMRIO

1 INTRODUO ........................................................................................ 12

1.1 HISTRIA DO CONTROLE SERVO VISUAL ........................................ 12

1.2 SISTEMAS DE CONTROLE SERVO VISUAL ....................................... 13

1.3 TRABALHOS ANTERIORES ................................................................. 14

1.4 OBJETIVOS ........................................................................................... 15

2

CONCEITO DE CONTROLE SERVO VISUAL ....................................... 16

2.1 SISTEMA DE VISO ARTIFICIAL ......................................................... 16

2.1.1 Aquisio ........................................................................................... 17

2.1.2 Pr-processamento ........................................................................... 17

2.1.3 Segmentao ..................................................................................... 19

2.1.4 Extrao de caractersticas .............................................................. 23

2.1.5 Reconhecimento e interpretao ..................................................... 23

2.1.6 Base de dados ................................................................................... 23

2.2 TCNICAS DE CONTROLE DE SERVO VISUAL ................................. 24

2.2.1 Quanto ao arranjo hierrquico ......................................................... 26

2.2.2 Quanto estratgia de controle ....................................................... 27

2.2.3 Quanto a configurao do sistema de cmeras ............................. 27

3

CARACTERISTICAS DE IMAGENS ....................................................... 29

3.1 CARACTERISTICA ................................................................................ 29

3.2 TIPOS DE CARACTERSTICAS ............................................................ 30


12/77

4.2 AQUISIO ........................................................................................... 36

4.2.1 Dispositivo e imagem ........................................................................ 36

4.2.2 Posicionamento do dispositivo ....................................................... 38

4.2.3 Iluminao .......................................................................................... 39

4.2.4 Resoluo .......................................................................................... 40

4.2.5 Fundo ................................................................................................. 40

4.2.6 Calibrao de cmera ....................................................................... 41

4.3 EXTRAO E CORRELAO DE CARACTERSTICAS ...................... 41

4.4 INTERPRETAO ................................................................................. 42

4.5 BASE DE CONHECIMENTO ................................................................. 44

4.6 RASTREAMENTO ................................................................................. 44

5 RESULTADOS ........................................................................................ 46

5.1 TESTES EXECUTADOS ........................................................................ 46

5.2 EXTRAO E CORRELAO DE CARACTERSTICAS ...................... 47

5.3 INTERPRETAO ................................................................................. 48

5.4 MEDIDA DE ERRO ................................................................................ 50

6 CONCLUSO ......................................................................................... 52

7

REFERENCIAS ....................................................................................... 53

APNDICE A - ALGORITMO ...................................................................... 57

APNDICE B - PONTOS OBTIDOS NA EXTRAO E CORRELAO DE


13/77

12

1 INTRODUO

Cada vez mais robs so aplicados na indstria para executar diversos tipos de

tarefas que envolvem na maioria das vezes a identificao de objetos e de suas

posies e orientaes em relao a um referencial de trabalho. Dentro desse escopo,

os sistemas de controle servo visual tem mostrado excelentes resultados.

Com o aumento da velocidade de processamento e miniaturizao de computadores

nas ltimas dcadas viabilizou-se o uso desses sistemas para uma gama muito maior

de aplicaes, porm hoje h a necessidade de se desenvolver algoritmos que faam

melhor uso desses recursos computacionais disponveis e forneam resultados demaior qualidade.

Este captulo fornece informaes sobre as dificuldades enfrentadas pelos atuais

robs industriais e como o uso da realimentao atravs dos sensores visuais podem

melhorar o desempenho desses robs. Tambm discute trabalhos anteriores feitos

por outros pesquisadores no campo da servo viso e define os objetivos e o escopo

deste projeto.

1.1 HISTRIA DO CONTROLE SERVO VISUAL

O uso de Cmeras de vdeo para realimentao de sinais em sistemas de controle


14/77

13

Devido a quantidade de informaes fornecidas pelas cmeras, a ambio inicial narea de robtica foi em geral de entender o mundo, a fim de decidir, por meio de

abordagens simblicas, como agir. A ideia de utilizar cmeras dentro de uma malha

de controle s veio mais tarde. Isto foi alcanado selecionando sinais especficos de

uma imagem e utilizando como um sensor de realimentao associado a um sistema

dinmico.

Essas duas abordagens se desenvolveram separadamente nos anos 80. O primeiro

ligou-se ao campo da viso computacional, liderado principalmente por cientistas da

computao e matemticos aplicados. O segundo deu origem a abordagem de

controle servo visual, estudada por pesquisadores da rea de automao e controle

(CORKE, 1996).

1.2 SISTEMAS DE CONTROLE SERVO VISUAL

O termo Controle Servo Visual refere-se ao uso em malha fechada, de informaes

provenientes de viso computacional para determinar a ao de controle de um rob

ou manipulador robtico para executar uma tarefa (BERNARDES, 2009). Tarefa esta

que pode ser a aproximao em relao a um objeto alvo na cena em questo, ou, a

aproximao do rob em relao a um conjunto de caractersticas visuais extrada da

imagem. Esta Tcnica de controle baseia-se em outras importantes reas do

conhecimento tais como: processamento de imagem viso computacional teoria de


15/77

14

1.3 TRABALHOS ANTERIORES

Um das primeiras referencias de Shirai e Inoue (1973), que descrevem a forma como

um ciclo de realimentao visual pode ser usado para corrigir a posio de um rob

afim de aumentar a preciso em uma tarefa. Em seu trabalho descrito um sistema

que permite ao rob agarrar um prisma quadrado e coloc-lo em uma caixa utilizando

controle servo visual. Foram utilizadas extrao de bordas e ajuste de linhas para

determinar a posio e orientao da caixa, usava uma cmera fixa e o tempo do ciclo

observado foi de 10 segundos.

Hill e Park (1979) descrevem o controle servo visual de um rob utilizando o

processamento de imagens binrias para ganhos de velocidade e confiabilidade,

provendo a posio planar, assim como uma estimativa simples de profundidade

baseada na distncia aparente entre caractersticas conhecidas. Experimentos

tambm foram conduzidos usando uma faixa de luz projetada para determinao de

profundidade mais robustamente, assim como orientao de superfcie. Estes

experimentos demonstraram movimentos visualmente orientados, tanto planares

quando 3D, assim como rastreamento e agarramento de objetos em movimento.

Mquinas visualmente guiadas tem sido construdas para emular as habilidades

humanas no ping pong (ANDERSSON, 1987)(FSSLER; BEYER; WEN, 1990),

balanceamento de pendulo invertido (DICKMANNS; GRAEFE, 1988), e apanhamento

de objetos (BUKOWSKI et al., 1991)(BUTTAZZO; ALLOTTA; FANIZZA,

1993)(SAKAGUCHI et al., 1993). Existem vrios trabalhos no uso de servo viso para

agarrar alvos mveis. O primeiro trabalho parece ter sido feito no Stanford Research


16/77

15

permite que a tarefa a ser executada seja especificada por um operador humano emtermos da seleo de caractersticas visuais e configuraes desejadas.

Estudos baseados em redes neurais (HASHIMOTO et al., 1989); (KUPERSTEIN,

1988); (MEL, 1990) e algoritmos de aprendizagem de mquinas (MILLER III, 1987)

tambm tem sido utilizados para realizar a coordenao de robs. Uma cmera fixa

observa o objeto e o rob no espao de trabalho e consegue fazer a relao entre os

ngulos de junta e a pose (posio e orientao) 3D do efetuador. Tais sistemas

requerem treinamento, mas eliminam a necessidade de relaes analticas complexas

entre os recursos de imagem e ngulos de junta.

1.4 OBJETIVOS

Este trabalho tem por objetivo apresentar os princpios bsicos de viso

computacional que podero ser utilizados para trabalhos futuros e desenvolver um

algoritmo para a obteno do ngulo de rotao de uma vlvula, atravs de

ferramentas disponveis na plataforma MATLAB, com o objetivo de realimentar

visualmente um manipulador robtico.


17/77

16

2 CONCEITO DE CONTROLE SERVO VISUAL

A funo de um sistema de posicionamento robtico baseado em viso o controle

da pose do efetuador usando informaes visuais extradas a partir da imagem

captada pela cmera (CHONG, 2004).

2.1 SISTEMA DE VISO ARTIFICIAL

A organizao de um sistema de viso robtica dependente da aplicao. Um

esquema bsico de Sistema de Viso Artificial (SVA) proposto por (FILHO; NETO,

1999) e apresentado na figura abaixo.


18/77

17

2.1.1 Aquisio

a primeira etapa em um sistema de viso artificial e consiste na captao de uma

imagem real e a transformao em uma imagem digital. Para tanto so necessrios

dois dispositivos bsicos. O primeiro diz respeito ao dispositivo fsico sensvel a uma

faixa do espectro eletromagntico luminoso como, por exemplo, raio X, ultravioleta,infravermelho ou a luz visvel, capaz de converter os valores captados em sinais

eltricos proporcionais. O segundo so os digitalizadores, que so dispositivos

capazes de converter sinais analgicos de entrada como os gerados pelos sensores

luminosos acima descritos, em sinais digitais reconhecidos pelo sistema

computacional. Esta etapa produz na sada uma imagem digitalizada.

Dentre os aspectos de projeto envolvidos nesta etapa, pode-se mencionar: a escolha

do tipo de sensor, o conjunto de lentes a utilizar, as condies de iluminao da cena,

a calibrao da cmera, os requisitos de velocidade de aquisio, a resoluo e o

nmero de nveis de cinza da imagem digitalizada, dentre outros (FILHO; NETO,

1999).

2.1.2 Pr-processamento

A funo da etapa de pr-processamento aprimorar a qualidade da imagem para as

t b t (FILHO NETO 1999) A i lt t d t t


19/77

18

Figura 2: Imagem remapeada. Fonte: (ORLANDI, 2008).

Reduo de rudos: os rudos podem aparecer de diversas fontes, como por

exemplo, o tipo de sensor utilizado, a iluminao do ambiente, as condies

climticas no momento da aquisio da imagem, a posio relativa entre o

objeto de interesse e a cmera. A reduo de rudos feita pela utilizao de

filtros, que podem ser espaciais (filtros que atuam diretamente na imagem) ou

de frequncia (onde a imagem transformada para o domnio de frequncia

usando a transformada de Fourier, filtrada neste domnio e, em seguida

transformada de volta para o domnio de espao).


20/77

19

Aumento de contraste: tem por objetivo melhorar a qualidade das imagens sobos critrios subjetivos do olho humano. Esta tcnica consiste numa

transformao do valor de cada pixel, em escala de cinza, com o objetivo de

aumentar a discriminao visual entre os objetos presentes na imagem.

Realiza-se a operao ponto a ponto, independentemente da vizinhana.

Figura 4: Aumento de contraste. Fonte: (FILHO; NETO, 1999)

2.1.3 Segmentao

O processo de segmentao consiste em particionar uma imagem em regies, ou


21/77

20

A segmentao uma das etapas mais difceis na implantao de um sistema deviso artificial. Neste assunto no h unanimidade sobre o que melhor ou pior.

Algumas tcnicas bastante utilizadas que obtm sucesso dependendo do tipo de

imagem e de objeto so:

Tcnicas baseadas em cores, ou intensidade do valor de pixel: So simples de

serem implementadas, rpidas em termos computacionais e utilizam de

propriedades intuitivas para criar a imagem segmentada. A ideia central deste

tipo de operador a de verificar no histograma da imagem quantas regies

existem (picos e vales) e segmentar a imagem baseado nesta informao.

A tcnica mais comum o Threshold,Figura 5.Esta tcnica divide o histograma

da imagem em duas partes ou mais (chamado threshold mltiplo). Outra tcnica

utilizada o Mean-shift, Figura 6, que usa toda a informao de cor numa

imagem para obter grupos de pixels de cores semelhantes e separar regies

homogneas, esperando que estes grupos formem objetos.

Figura 5: Imagem binarizada por thresholdFonte: (BAUERMANN, 2009)


22/77

21

Figura 6: Mean Shift. Imagem (a) original. Imagem (b) com efeito mean-shiftaplicado. Fonte:

(BAUERMANN, 2009)

Reconhecimento de bordas: Uma borda em uma imagem caracterizada por

uma mudana, normalmente abrupta, no nvel de intensidade dos pixels. Os

detectores de borda so definidos para encontrar este tipo de variao nos

pixels e quando estes pixels esto prximos eles podem ser conectados

formando uma borda ou um contorno e assim definindo uma regio ou objeto.

Para encontrar as bordas so utilizados diversos tipos de filtros. Alguns dos

filtros mais usados so Sobel, Prewit e Canny.


23/77

22

Crescimento de regies: Este mtodo assume que uma regio formada porpixels adjacentes e com algumas caractersticas estatsticas em comum, como

mdia e desvio-padro das intensidades (cores) dos pixels. O procedimento

parte de um conjunto de pontos, chamados de sementes, e, a partir destes

pontos vai agrupando outros pontos utilizando uma vizinhana de influncia,

formando as regies Figura 8. Detalhes importantes desta tcnica so adefinio das sementes, que so pontos por onde o crescimento deve comear,

e a definio de um critrio de parada para o crescimento de regies.


24/77

23

2.1.4 Extrao de caractersticas

As caractersticas so extradas da imagem atravs de algoritmos. Dependendo da

caracterstica selecionada, o algoritmo pode detectar o centroide, rea, permetro, etc.

importante observar que nesta etapa a entrada ainda uma imagem, mas a sada

um conjunto de dados correspondentes quela imagem.

2.1.5 Reconhecimento e interpretao

Denominamos reconhecimento o processo de atribuio de um rtulo a um objeto

baseado em suas caractersticas, traduzidas por seus descritores. A tarefa de

interpretao, por outro lado, consiste em atribuir significado a um conjunto de objetos

reconhecidos.

Da extrao de caractersticas a pose relativa do objeto pode ser computada. Esta

pose deve ser computada no plano da imagem e mais tarde transformada para um

sistema global usando uma matriz de transformao adequada.

2 1 6 Base de dados


25/77

24

Esta integrao entre as vrias etapas atravs da base de conhecimento ainda umobjetivo difcil de alcanar e no est presente na maioria dos Sistemas de Viso

Artificial (SVAs) existentes atualmente.

2.2 TCNICAS DE CONTROLE DE SERVO VISUAL

O objetivo do controlador servo visual minimizar um erro e(t)tipicamente definido

como:

,

Onde s*(t) o vetor de caractersticas da imagem desejado e s(m(t),a) o vetor de

caractersticas da imagem atual, computadas a partir de um conjunto m(t)de pixels

extrados da imagem e de a, que representa as informaes conhecidas do sistemacomo, por exemplo, parmetros intrnsecos da cmera ou o modelo 3D do objeto

(CHAUMETTE.; HUTCHINSON, 2006). Os vetores s* e sso designados de acordo

com a estratgia de controle adotada, podendo ser parmetros 3D estimados a partir

de modelos computacionais de objetos, ou 2D extrados diretamente da imagem.

Em Sanderson e Weiss (1980) introduziram uma importante classificao das

estruturas servo visuais, apresentadas nas figuras Figura 9 Figura 12.

As tcnicas de controle servo visual podem ser classificada quanto ao arranjo

(1)


26/77

25

Figura 9: Estrutura de controle servo visual direta baseada em posio (PBVS). Fonte: (CORKE,1996)

Figura 10: Estrutura de controle servo visual direta baseada em imagem (IBVS). Fonte(CORKE, 1996)


27/77

26

Figura 12: Estrutura dinmica de controle servo visual indireta baseada em imagem. Fonte: (CORKE,1996).

2.2.1 Quanto ao arranjo hierrquico

As duas possveis configuraes hierrquicas so direta e indireta (Look and Move).

Controle servo visual direto: usa as informaes do sistema visual para

controlar diretamente a estabilidade dos robs. Esta configurao direta

apresenta um enorme inconveniente em sistemas com dinmica no linear

devido baixa taxa de amostragem dos sistemas de viso computacional, o

que pode gerar grande instabilidade no sistema. Figura 9 e Figura 10.

Controle servo visual indireto: usa uma realimentao de junta Esta

27


28/77

27

2.2.2 Quanto estratgia de controle

Basicamente se destacam duas metodologias:

Baseado em posio: as caractersticas extradas da imagem so usadas em

conjunto com um modelo geomtrico do objeto a fim de determinar a pose do

objeto em relao cmera. Assim, essa estratgia toma como referncia a

ser seguida a pose ou modelo 3D final desejado. importante que os

parmetros do modelo sejam bem definidos, pois um pequeno erro na

mensurao da imagem pode implicar em grandes diferenas na posio

estimada (CHAUMETTE; HUTCHINSON, 2006). Figura 9 e Figura 11.

Baseado em imagem: a determinao da pose eliminada e o controle

realizado diretamente a partir das caractersticas extradas das imagens. Isto

feito minimizando a diferena entre os parmetros extrados da imagem atual e

de uma imagem final de referncia. Essa estratgia apresenta menor custo

computacional, alm de ser robusta aos erros da modelagem e calibrao dacmera. Por outro lado, pode implicar em maior dificuldade de estabilizao em

um problema de controle potencialmente complexo e no linear devido

ausncia de um modelo tridimensional do objeto (CHAUMETTE;

HUTCHINSON, 2006)(BERNARDES, 2009) Figura 10 e Figura 12.

28


29/77

28

O sistema com cmera fixa possui uma viso mais global, porm, com menorpreciso. Na figura abaixo tem-se um resumo dessas configuraes.

Figura 13: Configurao quanto ao sistema de cmera. Fonte: (MUOZ, 2011)

29


30/77

29

3 CARACTERISTICAS DE IMAGENS

Aps a aquisio da imagem necessrio utilizar tcnicas para identificar e descrever

as caractersticas contidas no quadro.

3.1 CARACTERISTICA

Uma caracterstica de imagem defina geralmente como qualquer relaomensurvel em uma imagem (CORKE, 1996). So exemplos de caractersticas furos,

bordas, cantos, contornos e reas.

As caractersticas locais so padres da imagem que se diferenciam da regio

imediatamente vizinha. Elas so associadas a mudanas de uma ou mais

propriedades da imagem, como intensidade, cor e textura (TUYTELAARS;

MIKOLAJCZYK, 2008). As informaes so retiradas de uma regio em torno de uma

caracterstica local e convertidas em descritores. O conjunto de descritores forma uma

representao da imagem que permite a identificao de objetos nela contidos.

Porm, na fase de interpretao das caractersticas podem haver variaes, como porexemplo, no ponto de vista, escala ou rotao. Portanto, as regies descritas pelos

pontos devem ser covariantes.

30


31/77

30

caracterstica, complexidade computacional e a repetitividade. A seguir so explicadoscada tipo de caracterstica.

3.2 TIPOS DE CARACTERSTICAS

Alguns tipos mais comuns de caractersticas covariantes so sumarizadas neste

tpico.

3.2.1 Borda (Edges)

Bordas so pontos onde se encontram uma fronteira entre duas regies na imagem,

Figura 14. Em geral uma borda pode ser de uma forma arbitrria e talvez incluajunes. Na pratica, uma borda normalmente definida como um conjunto de pontos

na imagem. Normalmente os algoritmos costumam colocar alguma restrio nas

propriedades da borda, como uma forma, suavidade e gradiente de valor afim de

aprimorar o resultado final. Localmente bordas possuem uma estrutura

unidimensional.

31


32/77

31

3.2.2 Cantos (Corners

) / Pontos de interesse

Os termos cantos e pontos de interesse so utilizados como sinnimos e referem-se

tanto a pontos como caractersticas de uma imagem, Figura 15. O nome "canto" surgiu

desde algoritmos iniciais utilizados na deteco de bordas, e depois se analisou as

bordas para encontrar mudanas rpidas de direo (cantos). Estes algoritmos foramdesenvolvidos tambm para procurar nveis elevados de curvatura no gradiente de

imagem. Em seguida, foram notados que os cantos assim chamados tambm formam

algumas partes da imagem detectadas que no so cantos, no sentido tradicional (por

exemplo, uma pequena mancha brilhante sobre um fundo escuro pode ser detectado).

Esses pontos so frequentemente conhecidos como pontos de interesse, mas o"canto" utilizado pela tradio.

Figura 15: Resultado Corner Detection Fonte: (HA, 2007)

32


33/77

3.2.3 Regies de interesse (Blobs)

Blobs fornecem uma descrio complementar das estruturas da imagem em termos

de regies, em oposio aos cantos que so pontos caractersticos, Figura 16. No

entanto, descritores blobs geralmente contm um ponto preferido (um mximo local

de uma resposta do operador ou de um centro de gravidade), o que significa que osdetectores de blobs podem tambm ser considerados como operadores de pontos de

interesse. Os detectores de blobs podem detectar reas de uma imagem, que so

muito suaves para serem detectadas por um detector de cantos.

Figura 16: Resultado de deteco de regies. Fonte:(KIXOR)

33


34/77

3.2.4 Ridges

Para objetos alongados, Ridgesso uma ferramenta natural. Um descritor do tipo

ridges calcula, a partir de uma imagem de nveis de cinza, uma generalizao de um

eixo mediano, Figura 17. Do ponto de vista prtico, pode ser pensado como uma curva

unidimensional, que representa um eixo de simetria na imagem. Infelizmente, noentanto, mais difcil de extrair essas caratersticas a partir de imagens gerais de

nveis de cinza do que os detectores de Bordas, Cantos ou Blobs. Mesmo assim,

descritores ridges so frequentemente usados para a extrao de rodovias em

imagens areas e para a extrao de vasos sanguneos em imagens mdicas.

Figura 17: Exemplo caractersticas do tipo Ridges. Fonte: (LINDEBERG, 1996)

3.3 TIPOS DE DETECTORES DE CARACTERSTICAS

34


35/77

Ocasionalmente, quando um detector de caractersticas tem custo computacionalelevado e no h restries de tempo (o que no se aplica no escopo deste trabalho,

uma vez que o tempo de processamento fundamental para o sucesso), um algoritmo

de nvel mais elevado pode usado para guiar na identificao da cena.

A seguir a Tabela 1 mostra alguns dos detectores usados com a caracterstica que

capaz de capturarem de uma cena:

Tabela 1: Detectores de caractersticas e suas classificaes

DETECTORCLASSE

Bordas Cantos Regies

Canny (CANNY, 1986) X

Sobel (CHIVAPREECHA; DEJHAN;

PIENVIJARNPONG, 2004)X

Harris & Sthephens (HARRIS; STEPHENS, 1988) X X

SUSAN (MUYUN; MINGYI, 2006) X X

Shi & Tomasi (SHI; TOMASI, 1994) X

FAST (ROSTEN, E.; DRUMMOND, 2005)(2006) X X

MSER (MATAS et al., 2004) X

SURF(BAY et al., 2008) X

3.4 DESCRIO DE CARACTERISTICAS

A d t d t d i t i di t h bit l

35


36/77

4 SISTEMA DE VISO ARTIFICIAL

A Figura 18 apresenta a estrutura do SVA desenvolvido neste trabalho. A seguir so

debatidos cada elemento desta estrutura.

Figura 18: Sistema de viso artificial utilizado neste trabalho.

4.1 PROBLEMA E RESULTADOS

O problema consiste em elaborar um algoritmo capaz de realimentar visualmente um

controlador em um rob que manipula uma vlvula, apresentada na Figura 19,

permitindo que este tenha informaes acerca da rotao da vlvula. O resultado

36


37/77

Figura 19: Vlvula do CT-3.

4.2 AQUISIO

A primeira etapa no SVA proposto a aquisio de imagens. Nesta etapa se definem

as condies de captura dos quadros. Os parmetros considerados nesta etapa so

descritos a seguir.

37


38/77

Tabela 2: Especificao da cmera Sony DSC-W510; Fonte: Manual do fabricante.

CARACTERSTICA ESPECIFICAO

Dispositivo de imagemCCD colorido de 7,79 mm (tipo 1/2,3) com

filtro de cor primria

Nmero total de pixels 12,1 Megapixels efetivo

Zoom ptico 4x; F = 4,7mm

Lente Lentes Sony

Estabilizador de Imagem Steady Shot

Tipo de Sensor Super HAD CCD

Distncia Focal

Imagens 16 por 9 - 28-114mm

Imagens 4 por 3 - 26-105mm

Vdeo 4 por 3 - 26-105mm

Dimenses 9,6 5,4 1,99 cm (LAP).

Temperaturas de operao 0C a +40C

Filmagem 640 x 480(VGA) / 320 x 240 (QVGA)

As aquisies foram realizadas taxas de 29 quadros por segundo e ento

processadas em um computador XPS15 L502X, cujas configuraes se encontram na

Tabela 3.

38


39/77

Tabela 3: Especificao do computador XPS15 L502x utilizado no processamento das imagens;Fonte: Manual do fabricante.

CARACTERSTICA ESPECIFICAO

ProcessadorIntelCore i5-2450M CPU @

2.50GHz 2.50GHz

Sistema operacionalWindows 7 Ultimate 64-bit, x64-based

processor.

Memria 6,0GB DDR3 1333MHz

Placa de vdeoIntel HD Graphics 3000 (Onboard)/NVIDIA GeForce GT 525M (Offboard)

4.2.2 Posicionamento do disposit ivo

O algoritmo parte da suposio de que a cmera est posicionada conforme umpadro fixo estabelecido para a aplicao. Ou seja, dada uma imagem padro (Figura

20) a cmera deve ser posicionada de forma capturar esta mesma imagem, em escala

e posio. As tcnicas de controle para o posicionamento satisfatrio da cmera, por

um manipulador robtico, descrito em (CHAUMETTE; HUTCHINSON, 2006)(2007).

39


40/77

No caso deste trabalho, como no se dispunha de um sistema de manipulao e

controle para o posicionamento automtico da cmera, a mesma foi manualmente

posicionada sobre um suporte. Desta forma, no se pode garantir a preciso com

respeito ao padro, assim, foi necessrio alimentar manualmente a base de

conhecimento a cada teste.

4.2.3 Iluminao

A vlvula utilizada se encontra no ptio do CT III a cu aberto (Figura 21) e, portanto,

sujeita a diferentes intensidades de iluminao ao longo do dia. De forma a analisar a

robustez do algoritmo em relao a esta condio, realizou-se a aquisio de imagens

em 3 horrios ao longo do dia (9h, 12h e 16h)

40


41/77

4.2.4 Resoluo

As imagens foram adquiridas em duas resolues tpicas da cmera.

640x480 pixels: imagens de melhor qualidade e que exigem maior

processamento;

320x240 pixels: imagens processadas mais rapidamente, porm com menos

informaes em cada quadro.

4.2.5 Fundo

Para avaliar a influncia do fundo nos resultados do algoritmo foram realizados testes

com o fundo normal (complexo) e utilizando um anteparo como fundo branco.

41


42/77

4.2.6 Calibrao de cmera

Para estratgias de controle baseadas em posio (PBVS), a determinao da pose

do objeto em relao a cmera requerida para o clculo da cinemtica inversa do

rob. Por isso, a etapa de calibrao muito importante na implementao destas

tcnicas. Entretanto, no caso deste trabalho, em que a estratgia de controle baseada em imagem (IBVS), a determinao da pose no relevante para o controle,

dispensando a necessidade da realizao da calibrao (CHONG, 2004).

4.3 EXTRAO E CORRELAO DE CARACTERSTICAS

A Figura 23 apresenta o pseudocdigo utilizado nesta etapa. Primeiramente so

detectados pontos caractersticos do quadro capturado atravs de detectores de

caractersticas. Em seguida so extradas as caractersticas que descrevem esses

pontos utilizando-se o extrator de descritores padro do MATLAB2013 atravs da

funo extractFeatures. Estas so ento correlacionadas com caractersticas

presentes na base de conhecimento e, que foram extradas do padro na Figura 20.

Separam-se os pontos caractersticos que melhor descrevem este padro (inliers) e

contm informaes que os distinguem melhor dos demais. Por fim, selecionam-se

dez destes pontos para serem utilizados na prxima etapa. Caso no tenham sido

encontrados pontos inliers suficientes o algoritmo utiliza os pontos correlacionados

42


43/77

Figura 23: Pseudocdigo de extrao e correlao de caractersticas em um quadro capturado.

Os testes foram realizados com o detector de caractersticas SURF (Speeded Up

Robust Features). Ferramenta da toolboxde viso computacional do MATLAB

2013,detectSURFFeatures.

4.4 INTERPRETAO

O ngulo de rotao da vlvula interpretado como o ngulo entre dois vetores com

origem no centroide da vlvula (informao na base de dados), direo, sentido e

d l l t t ti d d i

43


44/77

Os ngulos so calculados para todos os pontos caractersticos a cada quadro.

Considera-se como ngulo de rotao da vlvula o maior dos ngulos encontrados,

pois com o passar dos quadros algumas caractersticas se perdem, principalmente

por variaes de iluminao sobre o objeto, deixando de incrementar o valor dos

ngulos nestes pontos.

Abaixo apresentado o pseudocdigo de interpretao.

Figura 25: Pseudocdigo de interpretao dos pontos caractersticos para obteno do ngulo de

44


45/77

4.5 BASE DE CONHECIMENTO

uma base de dados que contm informaes preliminares necessrias ao

funcionamento do algoritmo. Estas informaes podem ter sido adquiridas atravs de

outros algoritmos ou manualmente. Neste trabalho foram consideradas duas

informaes:

1. Pontos caractersticos do objeto e caractersticas extradas destes pontos; e

2. Posio do centroide nas coordenadas cartesianas de aquisio das imagens.

4.6 RASTREAMENTO

A etapa de extrao e correlao de caractersticas executa inmero clculos

iterativos em cada pixel da imagem. A quantidade de clculos varia com o tipo de

detector de caractersticas e com o tamanho da imagem. A extrao e correlao de

caractersticas, caso fossem realizadas quadro a quadro, demandariam um tempo

computacional invivel para aplicaes em robtica. Para solucionar este problema

utilizamos um rastreador de pontos caractersticos, parte da toolbox de viso

computacional do MATLAB2013. O rastreador funciona limitando a busca pelo pontocaracterstico, em um quadro, pixels prximos a posio em que ele se encontrava

no quadro anterior. Abaixo tem-se o pseudocdigo do rastreador:

45


46/77

Figura 26: Pseudocdigo do rastreador de pontos caractersticos.

A etapa de extrao e correlao de caracterstica realizada apenas no primeiro

quadro capturado para obteno dos pontos caractersticos que o rastreador deve

seguir. O rastreador criado a partir da funo vision.PointTracker.

46


47/77

5 RESULTADOS

O sucesso das tcnicas de controle visual est definido pela sua capacidade de

cumprir integralmente a tarefa para a qual foi planejado. Neste contexto, cada etapa

do processo deve desempenhar seu papel com maior preciso possvel. Para

identificar as fraquezas e virtudes dos sistemas de controle implementados duranteesta pesquisa foram feitos testes de cada uma das etapas envolvida (MUOZ, 2011).

5.1 TESTES EXECUTADOS

Foram executados ao todo nove testes, com o objetivo de avaliar o algoritmo em

diferentes condies de iluminao (4.2.3), resoluo (4.2.4) e fundo (4.2.5). A Tabela

4 apresenta os parmetros de cada teste executado.

Tabela 4: Testes executados.

TESTE HORA RESOLUO FUNDO

1 9h 640x480 Complexo

2 12h 640x480 Complexo3 16h 640x480 Complexo

4 9h 640x480 Branco

47


48/77

5.2 EXTRAO E CORRELAO DE CARACTERSTICAS

A tabela abaixo apresenta a quantidade de pontos caractersticos encontrados em

cada etapa da extrao e correlao de caractersticas (4.3). Imagens com as

informaes contidas na Tabela 4 encontram-se no Apndice bB.

Tabela 5: Quantidade de pontos encontrados na extrao e correlao de caractersticas (4.3); colunaTESTE conforme Tabela 4.

TESTEQUANTIDADE DE PONTOS

Caractersticos Correlacionados Inliers

1 623 8 3

2 438 13 4

3 347 9 4

4 391 13 3

5 241 45 6

6 271 50 34

7 222 6 4

8 151 22 6

9 164 24 16

Percebe-se que em fundo complexo, testes 1 a 3, foram detectados maior quantidadede pontos caractersticos. Isso ocorre pois o detector de caractersticas no distingue

pontos do objeto e do fundo. No caso do fundo branco nota-se a incidncia maior de

pontos sob a condio de iluminao direta devido a presena de sobras

48


49/77

Figura 27: Pontos correlacionados no teste 1.

A reduo da quantidade de pixels na imagem, testes 7 a 9, tambm reduz a

quantidade de informao contida na mesma, ocorrendo no s a deteco de menos

pontos caractersticos, como a qualidade destes pontos reduzida levando a uma

menor quantidade de pontos correlacionados.

Ao fim desta etapa o algoritmo seleciona pontos para serem rastreados e

interpretados na prxima etapa a fim de se obter o ngulo da vlvula. Estes pontos

so apresentados na Tabela 11no Apndice bB.

5.3 INTERPRETAO

Esta etapa visa interpretar a posio dos pontos caractersticos no primeiro quadro

capturado, selecionados na etapa de extrao e correlao de caractersticas (4.3) e,

rastreados (4.6) nos quadros subsequentes. A Tabela 6 apresenta os ngulos

49


50/77

Tabela 6: ngulos finais calculados conforme 4.4 em cada ponto rastreado; coluna TESTE conforme

Tabela 4.

TESTEPONTOS

1 2 3 4 5 6 7 8 9 10

1 40,63 101,75 0,88 23,12 0,04 0,04 0,04 0,07

2 0,06 0,07 51,69 26,02 39,80 39,80 39,80 39,80 21,44 21,44

3 11,47 10,77 39,03 75,65 75,65 75,65 75,65 31,99 31,99

4 8,22 4,81 25,81 25,81 81,00 68,44 94,45 94,45 0,58 0,58

5 64,88 91,95 78,28 78,28 78,28 78,28 83,43 65,70 58,23 27,92

6 90,24 88,61 93,97 87,19 79,03 92,19 93,76 75,25 78,42 92,61

7 25,70 36,28 36,28 36,28 89,50 89,50

8 74,31 74,31 77,40 77,40 78,87 35,04 60,06 67,08 45,27 94,17

9 87,05 92,83 80,52 66,80 77,86 76,73 96,85 86,04 78,43 94,31

Na tabela acima nota-se que os ngulos calculados para cada ponto em um mesmo

teste so discrepantes, isto pode ser verificado na Tabela 7, pelo desvio padro.

Tabela 7: Resultados encontrados pelo algoritmo; coluna TESTE conforme Tabela 4.

TESTE MDIADESVIO

PADROMXIMO

1 20.82 36.00 101.752 27.99 17.54 51.69

3 47.54 28.22 75.65

4 40 42 39 69 94 45

50


51/77

Se as caractersticas de um ponto rastreado no so suficientemente invariantes com

a iluminao ou no o distinguem bem dos demais, o rastreador pode no conseguir

encontra-lo no quadro subsequente, ou ainda confundi-lo com outro pixel, do prprio

objeto ou do fundo. O ngulo calculado a partir destes pontos no varia,

necessariamente, com o ngulo de rotao da vlvula.

Os testes com maior ocorrncia de pontos inliers, 6 e 9, apresentaram desvio padromenor, pois as caractersticas destes pontos possuem informaes que os definem

melhor.

Figura 28: Inliersencontrados no teste 6.

5.4 MEDIDA DE ERRO

A Tabela 8 apresenta os ngulos calculados pelo algoritmo, aferidos manualmente a

partir do primeiro e ltimo quadros capturados (Apndice C - POntos caractersticos

51


52/77

Tabela 8: ngulos de rotao da vlvula aferidos automaticamente, manualmente e erro percentual;

coluna TESTE conforme Tabela 4.

TESTENGULO CALCULADO ()

ERRO (%)Algori tmo Manualmente

1 101.75 85.04 19.65

2 51.69 95.33 45.78

3 75.65 85.83 11.86

4 94.45 91.76 2.93

5 91.95 88.22 4.23

6 93.97 90.43 3.91

7 89.50 93.47 4.25

8 94.17 94.72 0.58

9 96.85 89.96 7.66

Nota-se, da Tabela 8, que os testes realizados com fundo complexo, 1 a 3, no

obtiveram bons resultados. Nos testes com fundo branco, 4 a 9, os resultados foram

razoveis, atendendo ao que propunha.

No se percebe influncia da variao de iluminao e da resoluo nos resultados

finais encontrados.

52


53/77

6 CONCLUSO

Na etapa de extrao a reduo da resoluo da imagem capturada tem como

consequncia a reduo da quantidade de pontos extrados da cena. J na correlao

a iluminao um parmetro importante, pois sob luz direta so correlacionados

menos pontos. Muitos pontos no foram bem rastreados, gerando discrepncias entre

os ngulos calculados a partir deles.

No nota-se influncia da variao de iluminao e da reduo de resoluo nos

resultados finais obtidos. O fundo o principal parmetro a ser considerado, pois

implica em erros que no permitem a aplicao do algoritmo.

Sugere-se como trabalhos futuros:

1. Criao de um banco de banco dados com padres de referncia sujeitos a

iluminaes diferentes;

2. Utilizao de um rastreador de pontos caractersticos mais robusto;

3. Utilizao de tcnicas de remoo de fundo;Simulao de um sistema de controle robtico no Simulink;

4. Implementao em outras linguagens computacionais.

53


54/77

7 REFERENCIAS

1. ANDERSSON, Russell Lennart. Real time expert system to control a robot ping-pong player. 1987.

2. BAUERMANN, Gabriela. Medio de rea foliar. Disponvel em:. Acesso em: 28 abr. 2013.

3. BAY, Herbert. Speeded-Up Robust Features (SURF). Computer Vision andImage Understanding, v. 110, n. 3, p. 346359, jun. 2008.

4. BERNARDES, Mariana Costa. Controle servo-visual para aproximao deportas por robs mveis equipados com duas cmeras. 2009. Dissertao deMestrado Universidade de Braslia, Braslia, 2009.

5. BUKOWSKI, R. et al. Robot hand-eye coordination rapid prototypingenvironment. 1991, [S.l: s.n.], 1991.

6. BUTTAZZO, Giorgio C.; ALLOTTA, Benedetto; FANIZZA, Felice P.Mousebuster: a robot system for catching fast moving objects by vision. 1993,[S.l: s.n.], 1993. p. 932937.

7. CANNY, John. A computational approach to edge detection. Pattern Analysisand Machine Intelligence, IEEE Transactions on, n. 6, p. 679698, 1986.

8. CHAUMETTE, F.; HUTCHINSON, S. Visual servo control Part I: Basicapproaches. IEEE Robotics Automation Magazine, v. 13, n. 4, p. 82 90, dez.2006.

9. CHAUMETTE, FRAN\cCOIS; HUTCHINSON, SETH. Visual servo control. II.

Advanced approaches [Tutorial]. Robotics & Automation Magazine, IEEE, v. 14,n. 1, p. 109118, 2007.

10. CHIVAPREECHA, Sorawat; DEJHAN, Kobchai; PIENVIJARNPONG,Chanchai Hardware Implementation of Sobel-Edge Detection Distributed

54


55/77

14. FSSLER, H.; BEYER, Horst A.; WEN, J. A robot ping pong player: optimized

mechanics, high perfromance 3D vision, and intelligent sensor control.Robotersysteme, v. 6, n. 3, p. 161170, 1990.

15. HA, Jong. Automatic detection of calibration markers on a chessboard. 2007

16. HARRELL, R. C.; SLAUGHTER, D. C.; ADSIT, P. D. A fruit-tracking system forrobotic harvesting. Machine Vision and Applications, v. 2, n. 2, p. 6980, 1989.

17. HARRIS, Chris; STEPHENS, Mike. A combined corner and edge detector.1988, [S.l: s.n.], 1988. p. 50.

18. HASHIMOTO, Hideki et al.A control scheme of visual servo control of roboticmanipulators using artificial neural network. 1989, [S.l: s.n.], 1989. p. 6869.

19. HILL, J.; PARK, W. T. Real time control of a robot with a mobile camera. In:INTERNATIONAL SYMPOSIUM ON INDUSTRIAL ROBOTS, 1979,Washington.Anais... Washington: [s.n.], 1979.

20. KIXOR, Taylor. Blob detection. Disponvel em:. Acesso em: 28abr. 2013.

21. KUPERSTEIN, Michael. Generalized neural model for adaptive sensory-motor

control of single postures. 1988, [S.l: s.n.], 1988. p. 140144.22. LINDEBERG, Tony. Scale-space: A framework for handling image structures at

multiple scales. Disponvel em: . Acesso em: 28 abr. 2013.

23. MARENGONI, M.; STRINGHINI, S.. Tutorial: Introduo VisoComputacional usando OpenCV. Revista de Informtica Terica e Aplicada, v.

16, n. 1, p. 125160, 8 mar. 2010.24. MARQUES FILHO, O.; VIEIRA NETO, Hugo. Processamento digital de

imagens. Rio de Janeiro: BRASPORT, 1999.

25 MATAS Ji t l R b t id b li t f i ll t bl t l

55


56/77

28. MILLER III, W. Sensor-based control of robotic manipulators using a general

learning algorithm. Robotics and Automation, IEEE Journal of, v. 3, n. 2, p. 157165, 1987.

29. MUOZ, Gloria Liliana Lpez. Anlise comparativa das tcnicas de controleservo-visual de manipuladores robticos baseadas em posi\cco e em imagem.2011.

30. MUYUN, Weng; MINGYI, He. Image feature detection and matching based onSUSAN method. 2006, [S.l: s.n.], 2006. p. 322325.

31. ORLANDI, J. G. N. Sistema de viso a laser para mapeamento de superfciede robos quadrpedes.2008. UFES, Vitria, 2008.

32. PAPANIKOLOPOULOS, N. P.; KHOSLA, P. K. Shared and traded teleroboticvisual control. 1992, [S.l: s.n.], 1992. p. 878885.

33. PATIN, Frdric. An introduction to Digital Image Processing - Graphicsprogramming and theory. Disponvel em:. Acesso em: 28abr. 2013.

34. ROSEN, Charles. Machine Intelligence Research Applied to Industrial

Automation: Sixth Report. [S.l.]: Standard Research Institute, 1976.35. ROSTEN, E.; DRUMMOND, T. Fusing points and lines for high performance

tracking. 2005, [S.l.]: IEEE, 2005. p. 15081515 Vol. 2.

36. ROSTEN, Edward; DRUMMOND, Tom. Machine Learning for High-SpeedCorner Detection. In: LEONARDIS, ALE; BISCHOF, HORST; PINZ, AXEL(Org.). Computer Vision ECCV 2006. Berlin, Heidelberg: Springer Berlin

Heidelberg, 2006. v. 3951. p. 430443.

37. SAKAGUCHI, T. et al.Motion planning and control for a robot performer. 1993,[S.l: s.n.], 1993. p. 925931.

56


57/77

42. TENDICK, Frank et al.A supervisory telerobotic control system using model-

based vision feedback. 1991, [S.l: s.n.], 1991. p. 22802285.

43. TUYTELAARS, Tinne; MIKOLAJCZYK, Krystian. Local invariant featuredetectors: a survey. Found. Trends. Comput. Graph. Vis., v. 3, n. 3, p. 177280,

jul. 2008.

44. YUAN, Joseph S; MACDONALD, Richard A; KEUNG, Felix HN. Telerobotictracker. . [S.l: s.n.]. , jul. 1990

45. ZHANG, D. B.; VAN GOOL, Luc; OOSTERLINCK, Andr. Stochastic predictivecontrol of robot tracking systems with dynamic visual feedback. 1990, [S.l: s.n.],1990. p. 610615.

57


58/77

APNDICE A - ALGORITMO

%%% BASE DE DADOSC = [ 430, 248] ; % Cent r oi de nas coordenadas da aqui si o de i magensTempl at e = r gb2gray( i mr ead( ' t empl at e. j pg' ) ) ; % Carr ega o padr ot empl atePoi nts = detectSURFFeatures( Templ ate) ; % Encont r a pont oscar act er st i cos do padr o[ t empl at eFeat ur es, t empl at eVal i d_poi nt s] = ext r act Feat ur es( Templ at e,

t empl at ePoi nt s) ; % Ext r ai car acter st i cas do padr o% FI M DA BASE DE DADOS

%%% AQUI SI Ovi deoFReader = vi si on. Vi deoFi l eReader( ' vi deo. mp4' ) ; %%% Car r ega vi deo/ cmer af i r st Frame = r gb2gr ay( st ep( vi deoFReader ) ) ; %%% Capt ura o pr i mei r o f r ame% ( CONTI NUA)

%%% EXTRAO E CORRELAO

f i r st Poi nt s = det ect SURFFeat ur es( f i r st Frame) ; % Encont r a pont oscar act er st i cos do quadr o[ f i r stFeat ur es, f i r stVal i d_poi nt s] = ext r actFeat ur es(f i r stFrame,f i r s t Poi nt s ) ; % Ext r ai as car act er st i cas dos pont os encont r adosi ndexPai r s = mat chFeat ur es( t empl at eFeat ur es, f i r st Feat ur es) ; % Cor r el aci onaos pont os car acter st i cost empl at eMat ched_poi nt s = t empl at eVal i d_poi nt s( i ndexPai r s( : , 1) , : ) ; %Local i zao dos pont os cor r el aci onados, no pr i mei r o quadr of i r stMat ched_poi nt s = f i r stVal i d_poi nt s(i ndexPai r s(: , 2) , : ) ; % Local i zao

dos pont os cor r el aci onados, no padr o[ t f orm, t empl at e_i nl i ers , f i rst _ i nl i er s]=est i mateGeomet r i cTr ansf or m( t empl at eMat ched_poi nt s, f i r st Mat ched_poi nt s, ' a f f ine' ) ; % Encont r a os i nl i er s

[ row, col ] = s i ze( f i rst _ i nl i ers . Locat i on) ; i f r ow>10

f i rst 2f ol l ow = f i rst _ i nl i ers . sel ect St rongest( 10) ; % Sel eci ona os 10pontos para ser emr ast r eados na pr xi ma et apa

c =10; el sef i r st 2f ol l ow = f i r st Mat ched_poi nt s. sel ectStr ongest ( 10) ; % Sel eci ona os

10 pont os par a serem r ast r eados na prxi ma et apac = r ow;

end

58


59/77

i ni t i al i ze( t racker , f i rs t 2f ol l ow. Locat i on, f i rs tFrame) ; % I ni ci al i za o

rastreador % CONTI NUA

%%% AQUI SI O ( CONTI NUAO) whi l e ~i sDone( vi deoFReader ) % I ni ci a a capt ur a de f r ames

vi deoFr ame = r gb2gr ay( st ep( vi deoFReader ) ) ; % Capt ur a um f r ame et r anf orma o quadr o para escal a de ci nza

% CONTI NUA

%%% RASTREAMENTO( CONTI NUAO) [ poi nt s, val i di t y] = step( t r acker , vi deoFrame) ; % Rast r ei a os pont osno f r ame

% FI M DO RASTREAMENTO

%%% I NTERPRETAO ( CONTI NUAO) f or i = 1: c

v( i , : ) = [ poi nts ( i , 1) - C(1) , poi nts ( i , 2) - C(2) ] ; % Cr i a vet or v par a oponto no quadr o atual

CosThet a = dot (u( i , : ) , v( i , : ) ) / (norm( u( i , : ) ) *norm( v( i , : ) ) ) ; % Cal cul ao coseno do ngul o ent r e o vetor u e vThetaI nDegrees( i ) = acos( CosThet a) *180/ pi ; % Cal cul a o ngul o em

grausend

Ang = max( Thet aI nDegrees)% FI M DA I NTERPRETAO

%%% AQUI SI O ( CONTI NUAO)

endr el ease( vi deoPl ayer ) ; % Li ber a o vi deor el ease( vi deoFReader ) ; % Li ber a o pl ayer % FI M DA AQUI SI O

59


60/77

APNDICE B - PONTOS OBTIDOS NA EXTRAO E CORRELAO DE

CARACTERISTICAS

Tabela 9: Pontos correlacionados; coluna TESTE conforme Tabela 4. (PARTE 1 1/3)

TESTE CORRELAO

1

2

3


61/77

61


62/77

Tabela 9: Pontos correlacionados; coluna TESTE conforme Tabela 4. (CONTINUAO 3/3)

TESTE CORRELAO

7

8

9

62


63/77

Tabela 10: Pontos Inliers; coluna TESTE conforme Tabela 4. (PARTE 1 1/3)

TESTE INLIERS

1

2

3

63


64/77

Tabela 10: PontosInliers; coluna TESTE conforme Tabela 4. (PARTE 1 1/3)

(CONTINUAO 2/3)

TESTE INLIERS

4

5

6

64


65/77

Tabela 10: Pontos Inliers; coluna TESTE conforme Tabela 4.(PARTE 1 1/3) (CONTINUAO

3/3)

TESTE INLIERS

7

8

9

65


66/77

Tabela 11: Pontos rastreados; coluna TESTE conforme Tabela 4. (Parte 1 1/3)

TESTE PONTOS RASTREADOS

1

2

66


67/77

Tabela 11: Pontos rastreados; coluna TESTE conforme Tabela 4. (Parte 1 1/3) (CONTINUAO

2/3)


4

5

67


68/77

Tabela 11: Pontos rastreados; coluna TESTE conforme Tabela 4. (Parte 1 1/3) (CONTINUAO

3/3)


7

8

68


69/77

APNDICE C - PONTOS CARACTERSTICOS AFERIDOS MANUALMENTE

Tabela 12: Pontos caractersticos aferidos manualmente no primeiro e ltimo quadros capturados no teste; coluna TESTE conformeTabela 4. (PARTE 1 - 1/9)

TESTE PRIMEIRO QUADRO LTIMO QUADRO

1

69


70/77

Tabela 12: Pontos caractersticos aferidos manualmente no primeiro e ltimo quadros capturados no teste; coluna TESTE conforme

Tabela 4. (CONTINUAO - 2/9)


2

70

T b l 12 P t t ti f id l t i i lti d t d t t l TESTE f


71/77




3

71



72/77




4

72



73/77




5

73



74/77




6

74



75/77

Tabela 12: Pontos caractersticos aferidos manualmente no primeiro e ltimo quadros capturados no teste; coluna TESTE conformeTabela 4. (CONTINUAO -7/9)


7

75



76/77

p q p ;Tabela 4. (CONTINUAO - 8/9)


8

76



77/77



9

Projeto Graduação Final

Documents

Transcript of Projeto Graduação Final