Sistema de Visão Tempo-Real

Mauro Rodrigues - 28256

Sistema de Tempo-Real 07/08Universidade

de Aveiro

17-12-2007 2

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Resumo da Apresentação

Objectivo Enquadramento Aspectos Gerais Ambiente de Desenvolvimento Arquitectura do Sistema de Visão Modularização Escalonamento Tarefas Não-Visão Futuro

17-12-2007 3

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Objectivo

Criação de um sistema de Tempo-Real para um Robô Humanóide.

17-12-2007 4

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Enquadramento

Trabalho desenvolvido no âmbito da disciplina Sistemas de Tempo-Real.

Dissertação intitulada “Desenvolvimento da Unidade Central de Processamento e Sistema de Visão para um Robô Humanóide”.

17-12-2007 5

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Enquadramento

A plataforma é um Robô Humanóide desenvolvido na Universidade de Aveiro.

A ambição é a participação na Robocup, categoria Penalty Kick.

17-12-2007 6

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

A plataforma humanóide é constituída por 22 graus de liberdade: • 2 em cada pé (2x2); • 1 em cada joelho (1x2); • 3 em cada anca (3x2); • 2 no tronco (2x1); • 3 em cada braço (3x2); • 2 no suporte da câmara (cabeça) (2x1).

Atinge os 60 cm de altura e uma massa total de 6 Kg.

17-12-2007 7

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

Arquitectura distribuída de controlo constituída por três tipo de unidades, formando uma rede de controladores.

Interligação por bus CAN em configuração Master/Multi-Salve.

17-12-2007 8

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

Unidade Master (mestre): interface entre a Unidade Central de Processamento e as unidades Slave; comunicação CPU/Master: RS-232 @ 115200 bps; comunicação Master/Slave: CAN (fullCAN 2.0A) @ 833.3

Kbps.

Unidades Slave (escravo): geração do PWM de controlo dos servomotores e a aquisição dos sinais dos diversos sensores da plataforma.

17-12-2007 9

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

Unidade Central de Processamento: responsável pela gestão global dos procedimentos: Cálculo das configurações que as juntas devem

adoptar com base em directivas de alto nível, Processamento do sinal vídeo, Interacção com computador externo para

monitorização, debug ou tele-operação.

17-12-2007 10

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

CPU standard PC104 plus AMD Geode LX-800 @

500MHz 512Mb RAM SSD 1Gb

17-12-2007 11

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Aspectos Gerais

Captura de Sinal Vídeo Câmara UniBrain Fire-i @ 30fps (640x480) Placa PCMCIA FireWire Módulo Dual PCMCIA p/ PC104

17-12-2007 12

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Ambiente de Desenvolvimento

Sistema Operativo GNU/Linux Debian 40r0 i386 Net Install

Versão mínima, ≈200Mb.

IDE KDevelop

17-12-2007 13

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Ambiente de Desenvolvimento

Linguagem C/C++

Bibliotecas OpenCV PMan

17-12-2007 14

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Arquitectura do Sistema de Visão

Image Acquisition

Image Processing

Object Tracking

Control

Shared Memory

Shared Memory

RTDB

Sleep

17-12-2007 15

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Modularização

Image Acquisition Tick do sistema; Activa os processos seguintes quando uma nova

imagem está disponível.

Image Acquisition

Shared Memory

17-12-2007 16

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Modularização

Image Processing

Conversão para HSV

Divisão em Componentes H, S e V

Detecção de Cor / Criação da máscara

Shared Memory

Shared Memory

17-12-2007 17

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Modularização

Object Tracking

Aplicação da máscara

Confirmação da presença da bola / Detecção de círculos

Aferição da localização da bola na imagem

Shared Memory

RTDB

Cálculo do centro de massa da bola

17-12-2007 18

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

ModularizaçãoAquisição

Máscara

Componentes H, S e V

Busca do Objecto

17-12-2007 19

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Modularização

Control

Verificação das coordenadas da bola

Determinação dos parâmetros do movimento (Cinemática Inversa)

Actuação no Humanóide

RTDB

Sleep

17-12-2007 20

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Escalonamento

Precedências A tarefa de aquisição de imagem é a base do

processo. Tarefas seguintes são dependentes desta e são

executadas pela ordem já referida. Este é um caso simples em que não existem

tarefas concorrenciais.

17-12-2007 21

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Escalonamento

Precedências

Image Acquisition

Image Processing

Object Tracking

Control

17-12-2007 22

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Escalonamento

Processo Período Lista de Precedências Descrição

Image Acquisition 1 - Interface com a câmara. Tick do sistema.

Image Processing 1 Image Acquisition Classificação de cor.

Object Tracking 1 Image Processing Busca do objecto (bola).

Control 1 Object Tracking Execução do controlo no Humanóide

17-12-2007 23

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Tarefas Não-Visão

Temos como tarefa não-visão, a Locomoção.

O Humanóide possui ainda uma tarefa de elevada prioridade: Manter o equilíbrio!

17-12-2007 24

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Tarefas Não-Visão

Manter o equilíbrio é fundamental: Não se pode deslocar em desequilíbrio. Não interessa procurar a bola se estiver em

queda.

Como é que isto afecta o Processo de Visão?

17-12-2007 25

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Tarefas Não-Visão

Mantém-se a arquitectura já referida com a introdução de apenas um estado de decisão.

A cada tick do sistema, é verificado o estado geral do robô.

É feito o processamento de imagem se estiver tudo bem.

Em caso de, por ex., desequilíbrio é dada prioridade à restauração do mesmo.

17-12-2007 26

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Tarefas Não-Visão

Image Acquisition

Image Processing

Object Tracking

Control

Shared Memory

Shared Memory

RTDB

Sleep

Equilíbrio ?

Sim

Não

Balance Restore

17-12-2007 27

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Futuro

Participação numa competição como a Robocup implica além da identificação da bola: Identificação do espaço, terreno de jogo. Identificação de elemento individuais, balizas,

postes, etc.

17-12-2007 28

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Futuro

17-12-2007 29

Sistema de Visão Tempo-Real

Mauro Rodrigues

28256

Futuro

Introdução de processos concorrenciais Processamento de imagem

Procura da bola; Procura da baliza; Procura dos postes; Etc.

Busca dos objectos e Actuação Enquadramento com a bola; Enquadramento com a baliza; Etc.