Slide 1

Plano de Tese de Doutoramento em Engenharia Electrotcnica e Computadores 2012 Lus Rocha luis.andre@fe.up.ptluis.andre@fe.up.pt Orientador: Prof. Dr. Antnio Paulo Moreira Co-Orientador: Prof. Dr. Vitor M. Ferreira dos Santos PROGRAMAO DE ROBS INDUSTRIAIS EM CLULAS ROBOTIZADAS FLEXVEIS

Slide 2

NDICE Motivao Parceiro Industrial FLUPOL Projecto SIIARI Objectivos Reviso do Estado da Arte Setup FLUPOL Exemplos Modelos 3D Classificao das Superfcies Modeladas 3D Point Clouds Matching Support Vector Machine Programao Adaptativa de Manipuladores Trabalho Futuro

Slide 3

MOTIVAO Situao Actual da Indstria de Manufactura: Customizao de Produtos: Menos produo em massa e maior adaptao do produto s necessidades do cliente; Necessidade de reduo dos tempos de setup e de produo ; Necessidade de flexibilizar todo o sistema produtivo; Principais Limitaes dos Manipuladores Industriais: Programao: Realizada em linguagem estruturada. Requer elevado grau de especializao Muito Demorada Ausncia de deteco/identificao e localizao dos objectos de trabalho. Rigidez das trajectrias definidas e respectivos programas;

Slide 4

MOTIVAO Parceiro Industrial FLUPOL rea de Negcio e Principais Requisitos: Empresa especializada no revestimento de superfcies essencialmente na rea da industria alimentar resolvendo problemas de adeso, lubrificao, corroso, etc; Necessidade de elevado grau de especializao dos seus operadores (>12 meses de treino); Necessidade de grande flexibilidade do processo produtivo devido ao elevado leque de produtos tratados na empresa; Objectivo: Criao de uma clula robtica com identificao e indicao da localizao das peas; Programao de robs de pintura directamente por um pintor especializado sem interferncia directa de um programador.

Slide 5

MOTIVAO Projecto SIIARI Sistema ter de ser capaz de : Ensinamento por demonstrao de manipuladores industriais; Identificar e parametrizar a pea que se lhe apresenta para a revestir; Seleccionar o Programa adequado ensinado por demonstrao; Configurar o programa para a nova parametrizao; Principais valncias do projecto Permitir a conservao do Know-How dos operadores especializados actuais; Exportao deste mesmo Know-How ; Flexibilidade no processo de fabrico;

Slide 6

MOTIVAO Objectivos - PhD Classificao da superfcie sobre a qual a pintura ser realizada Modelao 3D do tabuleiro alvo Seleco dos sensores; Classificao do tabuleiro para que se possa seleccionar o programa de manipulao correcto a ser executado; Adaptao de trajectrias previamente ensinadas por demonstrao a um determinado tabuleiro, a um novo que apresente apenas diferenas em dimenses ou pequenas variaes estruturais:

Slide 7

ESTADO DA ARTE Sensores para reconstruo 3D Laser Range Finders; Laser Camera triangulation systems; 3D Laser Range Finder and RGB camera; Kinect; Stereo vision; T ime-offlight camera;

Slide 8

ESTADO DA ARTE Extraco de Features e Reconhecimento de Superfcies Shape Features As superfcies no so separveis por cor Pattern Recognition Machine Learning (Redes Neuronais, Support Vector Machine, k Vizinho Mais Prximos, Hidden Markov Models); Template Matching (Ploint Cloude Matching); Programao Adaptativa de Manipuladores;

Slide 9

SETUP FLUPOL

Slide 10

EXEMPLOS MODELOS 3D

Slide 11

CLASSIFICAO (PARA 11 CLASSES) 3D Point Clouds Matching Clculo da matriz de distncias 3D para cada modelo; Feating do modelo 3D da superfcie actualmente no conveyor na Matriz de distncias de diferentes superfcies guardadas em base de dados; Minimizao do erro recorrendo ao algoritmo RPROP;

Slide 12

CLASSIFICAO (PARA 11 CLASSES) 3D Point Clouds Matching Matching Desvantagem: Tempo de Processamento 4 s para cada tabuleiro;

Slide 13

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE 7 Momentos de Hu Invariante translao, rotao e escala; Momento estendido (8 momentos); FFT para identificao de padro segundo a horizontal e vertical da superfcie; Realizao de cortes horizontais e verticais na superfcie

Slide 14

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE FFT Componente DC

Slide 15

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE FFT Componente DC Removido

Slide 16

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE FFT efeito de leakage atenuado

Slide 17

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE Nmero de Features Final - 71 8 Momentos de Hu 15 Cortes Horizontais (Para cada corte amplitude e ndice do pico resultante da FFT guardado); 15 Cortes Verticais (Para cada corte amplitude e ndice do pico resultante da FFT guardado); Nmero de pontos; Altura e Largura; Ser que todas as features sero relevantes para distinguir as diferentes classes de superfcies? Feature Selection Simulated Annealing;

Slide 18

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE Treino 25 Modelos (necessrio optimizar); K-Cross Validation Estimao do generalization error com maior preciso; Simulated annealing para seleco de features; Support Vector Machine Estimao da probabilidade de pertencer a cada um dos conjuntos (uso da livraria libsvm);

Slide 19

CLASSIFICAO (PARA 11 CLASSES) SUPPORT VECTOR MACHINE Resultados Sem a utilizao do Simulated Annealing a percentagem de classificao rondou os 20%. Com a utilizao do Simulated Annealing 98% dos tabuleiros classificados correctamente. Verificando-se que em caso de erro a superfcie correcta apresenta o segundo maior ndice de probabilidade. (45 tabuleiros erro de classificao em apenas 1 tabuleiro Para industria no satisfatrio).

Slide 20

ARQUITECTURA PROPOSTA Classificao Triangulao cmara + laser MODELO 3D Extraco de FEATURES Classificao SVM Seleco dos 2 Melhores Candidatos Matching nos 2 Melhores Candidatos Resultado: Classificao da Superfcie

Slide 21

PROGRAMAO ADAPTATIVA DE MANIPULADORES; Ideia Principal Utilizar o Know-How de pintura para superfcies j conhecidas e com trajectria de pintura j adquirida e adaptar para superfcies SEMELHANTES Definio de SEMELHANA: Dimenses da superfcie : Largura e Altura; Recorrer ao SVM para indicar qual o tabuleiro que mais prximo deste novo Primeira abordagem. O resultado final apresentado ao operador para sua validao Se necessrio permitir a realizao de ajustes simples. Pequenas alteraes de padro (estrutura): Neste caso poder ser necessrio o operador indicar qual a superfcie conhecida que se assemelha.

Slide 22

ADAPTAR TRAJECTRIA Adaptar Trajectria Segmentar tendo em conta os vectores directores entre n pontos (Ideia identificar grande mudanas de direco). Adaptar segmentos (segundo cada uma das direces ) s dimenses do tabuleiro.

Slide 23

TRABALHO FUTURO Adaptar Trajectria

Slide 24

TRABALHO FUTURO Classificao Ajuste fino dos parmetros do SVM. Comparao dos Obteno de resultados em ambiente industrial Publicao de artigo em revista internacional com os resultados obtidos Ajuste de Trajectrias Definir o conceito de semelhana entre superfcies. Parametrizao da trajectria de pintura com as novas especificaes da nova superfcie. Publicao de artigo em revista internacional com os resultados obtidos