Navegação autônoma por visão monocular sobre linhas de...

UNIVERSIDADE ESTADUAL DE CAMPINASFaculdade de Engenharia Mecânica

VICTOR CESAR DE SOUZA

Navegação autônoma por visão monocular sobrelinhas de transmissão elétrica com base em redes

neurais e transformada de Hough

CAMPINAS2020

VICTOR CESAR DE SOUZA


neurais e transformada de Hough

Tese de Doutorado apresentada à Faculdadede Engenharia Mecânica da Universidade Es-tadual de Campinas como parte dos requisitosexigidos para obtenção do título de Doutorem Engenharia Mecânica, na área de Meca-trônica.

Orientador: Prof. Dr. Paulo Roberto GardelKurka

ESTE EXEMPLAR CORRESPONDE ÀVERSÃO FINAL DA TESE DEFENDIDAPELO ALUNO VICTOR CESAR DESOUZA, E ORIENTADO PELO PROF. DR.PAULO ROBERTO GARDEL KURKA.

...............................................................ASSINATURA DO ORIENTADOR

CAMPINAS2020

Ficha catalográficaUniversidade Estadual de Campinas

Biblioteca da Área de Engenharia e ArquiteturaElizangela Aparecida dos Santos Souza - CRB 8/8098

Souza, Victor Cesar de, 1989- So89n SouNavegação por visão monocular para inspeção aérea de linhas de

transmissão elétrica com base em redes neurais e transformada de hough /Victor Cesar de Souza. – Campinas, SP : [s.n.], 2020.

SouOrientador: Paulo Roberto Gardel Kurka. SouTese (doutorado) – Universidade Estadual de Campinas, Faculdade de

Engenharia Mecânica.

Sou1. Redes neurais (Computação). 2. Navegação autônoma. 3. Linhas

elétricas aéreas. 4. Processamento de imagens. I. Kurka, Paulo RobertoGardel, 1958-. II. Universidade Estadual de Campinas. Faculdade deEngenharia Mecânica. III. Título.

Informações para Biblioteca Digital

Título em outro idioma: Monocular vision navigation for aerial inspection of electrictransmission lines based on neural networks and hough transformPalavras-chave em inglês:Neural networks (Computer)Autonomous navigationElectric power transmissionImage processingÁrea de concentração: MecatrônicaTitulação: Doutor em Engenharia MecânicaBanca examinadora:Paulo Roberto Gardel Kurka [Orientador]Ely Carneiro de PaivaHélio PedriniCaio Fernando Rodrigues dos SantosMarcelo RudekData de defesa: 30-03-2020Programa de Pós-Graduação: Engenharia Mecânica

Identificação e informações acadêmicas do(a) aluno(a)- ORCID do autor: https://orcid.org/0000-0002-7284-7927- Currículo Lattes do autor: http://lattes.cnpq.br/1808777913321218

Powered by TCPDF (www.tcpdf.org)

UNIVERSIDADE ESTADUAL DE CAMPINAS

FACULDADE DE ENGENHARIA MECÂNICA

TESE DE DOUTORADO ACADÊMICO


neurais e transformada de HoughAutor: Victor Cesar de SouzaOrientador: Paulo Roberto Gardel Kurka

A Banca Examinadora composta pelos membros abaixo aprovou esta Tese:

Prof. Dr. Paulo Roberto Gardel Kurka, PresidenteDSI/FEM/UNICAMP

Prof. Dr. Ely Carneiro de PaivaDSI/FEM/UNICAMP

Prof. Dr. Hélio PedriniIC/UNICAMP

Prof. Dr. Caio Fernando Rodrigues dos SantosINSPER/SP

Prof. Dr. Marcelo RudekPPGEPS/PUCPR

A Ata da defesa com as respectivas assinaturas dos membros encontra-se no processo de vidaacadêmica do aluno.

Campinas, 30 de Março de 2020.

Dedicatória

À minha querida e amada, mãe, Nazilmar Cesar de Souza, à minha avó Hilda Gomes deSouza pela educação aplicada e pelo apoio durante todos os anos.

Agradecimentos

À Deus, minha fonte de força, fé e determinação. E como em todos os dias, agradeço pelo domda vida.

Ao meu orientador, Prof. Dr. Paulo Roberto Gardel Kurka, pelo apoio, orientações estabelecidase pela grande parceria durante estes anos.

Aos membros das bancas de qualificação, Prof. Dr. Ely Carneiro de Paiva, Prof. Dr. Hélio Pe-drini, Prof. Dr. Caio Fernando Rodrigues dos Santos, Prof. Dr. Marcelo Rudek.

A toda minha família.

Aos amigos e companheiros de laboratório: Alan Ferreira, César Quiroz, Marcus Vinícius, Vi-nícius Bastos, Davi Castro, Alfredo Morilo, Mariana Costa, Raimundo Lucena, Luna Valentina,Edgar Matos, Pedro Vendramini.

A FAPEAM - Fundação de Amparo à Pesquisa do Estado do Amazonas.

Quando somos bons para os outros,somos ainda melhores para nós.

Benjamin Franklin

Resumo

SOUZA, Victor Cesar. Navegação autônoma por visão monocular sobre linhas de transmissãoelétrica com base em redes neurais e transformada de Hough. 2020. 82p. Tese (Doutorado).Faculdade de Engenharia Mecânica, Universidade Estadual de Campinas, Campinas.

A inspeção de instalações de linhas aéreas de energia pode ser convenientemente abor-dada usando veículos aéreos autônomos não tripulados (VAANT’s) do tipo quadricóptero. OsVAANT’s são capazes de realizar tarefas sofisticadas, como o voo autônomo, baseado em in-formações visuais. Nesta tese, foi proposto uma nova solução para o problema de navegaçãoautônoma sobre linhas de energia baseada somente em visão monocular. O método usa Deep

Neural Networks (DNN) e a transformada de Hough, onde a combinação destas duas técnicasfaz com que uma supra a deficiência da outra, quando se fala em informações por visão mo-nocular, resolvendo o problema da navegação autônoma sobre linhas de transmissão elétrica,mesmo em cruzamentos e curvas de ângulos acentuados (maiores que 45∘). O método é vali-dado através de simulação computacional e testes reais, demonstrando eficiência em condiçõescríticas de navegação onde se faz necessário determinar a existência das linha de energia e asmudanças de direção dos ângulos retos no trajeto. Dentro do estado da arte, este é o único mé-todo capaz de solucionar tais restrições no âmbito da navegação sobre linhas de transmissãoelétrica sem necessitar de nenhuma informação prévia sobre a localização do robô, instalaçãode infraestrutura externa, sensores inerciais ou de geolocalização. Apresentando baixo custo porutilizar somente sensor de visão monocular a bordo, o método proposto, mostra-se modular epode ser incorporado em estratégias de navegação para aplicações de vigilância automática.

Palavras-chave: Redes Neurais, Navegação Autônoma, Linhas de Transmissão, Processamentode Imagens.

Abstract

SOUZA, Victor Cesar. Autonomous navigation by monocular view over electric transmissionlines based on neural networks and Hough transform. 2020. 82p. Thesis (Doctorate). School ofMechanical Engineering, State University of Campinas, Campinas.

Inspection of overhead power line installations can be conveniently addressed usingquadcopter-type autonomous unmanned aerial vehicles (UAAV’s). UAAV’s are capable ofperforming sophisticated tasks, such as autonomous flight, based on visual information. Inthis thesis, a new solution to the problem of autonomous navigation over power lines basedon monocular vision was proposed. The method uses Deep Neural Networks (DNN) and theHough transform, where the combination of these two techniques makes one overcome thedeficiency of the other, when talking about information through a monocular view, solving theproblem of autonomous navigation over electric transmission lines, even at intersections andsharp angle curves (greater than 45∘). The method is validated through computer simulationand real tests, demonstrating efficiency in critical navigation conditions where it is necessaryto determine the existence of the power lines and the changes in direction of the right anglesin the path. Within the state of the art, this is the only method capable of solving suchrestrictions in the context of navigation over electric transmission lines without requiring anyprior information about the location of the robot, installation of external infrastructure, inertialsensors or geolocation. Presenting a low cost for using only monocular vision sensors onboard, the proposed method is modular and can be incorporated into navigation strategies forautomatic surveillance applications.

Keywords: Neural Networks, Autonomous Navigation, Transmission Lines, Image Processing.

Lista de Ilustrações

2.1 Tipos de VAANT’s: (a) Modelos de asa fixa. (b) Modelos de asa móvel (exem-plo: helicóptero), (AUSTIN, 2011) . . . . . . . . . . . . . . . . . . . . . . . . 26

2.2 Definição de Quadro de referência do Quadricóptero, (CHAVEZ, 2016). . . . . 272.3 Rotação ao redor dos três eixos Quadricóptero, (CHAVEZ, 2016). . . . . . . . . 282.4 Forças e momentos de atuando no quadrirrotor, (CHAVEZ, 2016). . . . . . . . . 302.5 Diagrama de controle de posicionamento e atitude, (CHAVEZ, 2016). . . . . . . 363.1 Detecção das linha com transformada de Hough. . . . . . . . . . . . . . . . . . 423.2 Detecção das linhas de transmissão de energia com transformada de Hough. . . 433.3 Representação comumente usada para Redes Neurais. . . . . . . . . . . . . . . 443.4 Modelo de Rede Neural Recorrente. . . . . . . . . . . . . . . . . . . . . . . . 483.5 Modelo de Rede Neural Convolucional. . . . . . . . . . . . . . . . . . . . . . 493.6 Modelo de RCNN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.1 Simulação de V-REP: UAV e instalação de linhas aéreas de energia. . . . . . . 514.2 Modelo de massa e dimensões de um quadricóptero. . . . . . . . . . . . . . . . 524.3 Metodologia para navegação de visão monocular em instalações aéreas de li-

nhas elétricas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554.4 Exemplos de imagens capturadas no V-REP e utilizadas no treinamento da rede

neural. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565.1 Resultado da navegação sem redes neurais. . . . . . . . . . . . . . . . . . . . . 615.2 Resultado da navegação com aplicação de redes neurais. . . . . . . . . . . . . 615.3 Erro de navegação com aplicação de redes neurais. . . . . . . . . . . . . . . . 625.4 Eixo de referências do Quadrirrotor. . . . . . . . . . . . . . . . . . . . . . . . 635.5 Percurso em escala 1:8 das linhas de transmissão elétricas. . . . . . . . . . . . 645.6 Metodologia para navegação real de visão monocular sobre instalações aéreas

de linhas elétricas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655.7 Fluxo de publicação e subscrição no ROS. . . . . . . . . . . . . . . . . . . . . 665.8 Imagem não processada / Imagem processada . . . . . . . . . . . . . . . . . . 675.9 Imagem Rotulada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Lista de Tabelas

1.1 Resumo das principais abordagens e contribuições científicas relacionadas na-vegação autônoma de VANT’s usando visão computacional. . . . . . . . . . . . 23

2.1 Suporte à API V-REP para linguagens de programação (ROHMER ET AL., 2013). 38

Lista de Abreviaturas e Siglas

ANEEL - Agência Nacional de Energia Elétrica.

API - Aplication Programming Interface

BSD - Berkeley Software Distribution

CAD - computer-aided design

CEMIG - Companhia Energética de Minas Gerais.

CNN - Convolutional Neural Network

DNN - Deep Neural Network.

DOF - Degrees of Freedom

ESC - Controlador eletrônico de velocidade

fps - Frames Per Second

GPS - Global Position System

IMU - Inertial Measurement Unit

LSTM - Long Short-Term Memory

MLE - Maximum Likelihood Estimation

MLP - Multilayer Perceptron

PCNN - Pulse-coupled Neural Networks

PID - Proporcional, Integrativo e Derivativo

RCNN - Region Based Convolutional Neural Network

Relu - Rectified Linear Unit

RNN - Recursive Neural Network

ROS - Robot Operating System

SDF - Syntax Definition Formalism

Sigmoid - Função Matemática de Ativação Binária

SISO - Single Input Single Output

TMF - Tempo Médio entre Falhas

TMR - Tempo Médio de Reparo

UAV - Unmanned Aerial Vehicle

VAANT - Veículo Autônomo Aéreo Não Tripulado.

VANT - Veículo Aéreo Não Tripulado

VREP - Virtual Robot Experimentation Platform

VTOL - Vertical Take-off and Landing

XML - Extensible Markup Language

Lista de Algoritmos

4.1 Configuração dos conjuntos de treinamento e testes . . . . . . . . . . . . . . . 545.1 Navegação monocular sobre instalações de linhas de transmissão eléctricas. . . 60

SUMÁRIO

1 Introdução 171.1 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.1.1 Problematização . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181.1.2 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.2 Estado da Arte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201.2.1 Revisão Literária das Principais Técnicas de Identificação e Navegação

Autônoma de VANT’s Sobre Linhas . . . . . . . . . . . . . . . . . . . 201.3 Contribuição . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231.4 Estruturação da Tese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2 Conceitos Preliminares 262.1 Veículos Aéreos Autônomos Não Tripulados VAANT’s . . . . . . . . . . . . . 26

2.1.1 Conceitos e Fundamentos: Quadrirrotor . . . . . . . . . . . . . . . . . 272.1.2 Modelo Matemático do Quadrirrotor . . . . . . . . . . . . . . . . . . . 27

Quadro de Referência de Eixos . . . . . . . . . . . . . . . . . . . 27Cinemática do Quadrirrotor . . . . . . . . . . . . . . . . . . . . . 28Variáveis de Atuação . . . . . . . . . . . . . . . . . . . . . . . . . 30Dinâmica do Quadrirrotor . . . . . . . . . . . . . . . . . . . . . . 31Modelagem do Motor . . . . . . . . . . . . . . . . . . . . . . . . 34

2.1.3 Controle de Posição e Atitude . . . . . . . . . . . . . . . . . . . . . . 352.2 Ambiente de Simulação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.2.1 GAZEBO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.2.2 V-REP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.2.3 Integração com ROS . . . . . . . . . . . . . . . . . . . . . . . . . . . 382.2.4 Criação de Ambiente e Controle de Programação . . . . . . . . . . . . 39

3 Processamento de Imagens e Redes Neurais para Navegação de VAANT’s 413.1 Transformada de Hough . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.2 Deep Neural Network (DNN) . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.2.1 Redes Neurais Recorrentes (RNN) . . . . . . . . . . . . . . . . . . . . 443.2.2 Uso do Gradiente Descendente . . . . . . . . . . . . . . . . . . . . . . 443.2.3 Redes Neurais Convolucionais (CNN) . . . . . . . . . . . . . . . . . . 483.2.4 Rede Neural Convolucional Baseada em Região (RCNN) . . . . . . . . 49

3.2.5 Regressão da Caixa Delimitadora (Bounding Box Regression) . . . . . 49

4 Construção do Modelo de Navegação Autônoma 514.1 Ambiente de Simulação - Ambiente 3-D do V-REP . . . . . . . . . . . . . . . 514.2 Modelo do VANT Utilizado . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524.3 O Uso do Algoritmo RNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.4 Metodologia do Processo de Navegação Simulado . . . . . . . . . . . . . . . . 54

4.4.1 Captura das Imagens . . . . . . . . . . . . . . . . . . . . . . . . . . . 554.4.2 Processamento das Imagens . . . . . . . . . . . . . . . . . . . . . . . 564.4.3 Controle do VANT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5 Experimentos Realizados 585.1 Experimento Simulado de Navegação . . . . . . . . . . . . . . . . . . . . . . 585.2 Resultados dos Experimentos Simulados . . . . . . . . . . . . . . . . . . . . . 585.3 Experimento Real . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.3.1 Características do Quadricóptero: Parrot BeBop 2 . . . . . . . . . . . . 625.3.2 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Fluxo ROS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655.4 Resultados do Experimento Real . . . . . . . . . . . . . . . . . . . . . . . . . 66

Treinamento das Redes Neurais . . . . . . . . . . . . . . . . . . . 665.5 Análise dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

6 Conclusões e Sugestões 71

Referências 72

17

1 Introdução

Neste capítulo serão abordados a motivação, problemática, objetivos, estado da arte notema de voo autônomo de veículos não tripulados e contribuição. Neste e nos próximos capítulosos termos VANT e VAANT serão extensivamente utilizados, o primeiro se refere a veículosaéreos não tripulados porém que ainda precisam de um piloto remoto, já o segundo termo serefere a veículos aéreos autônomos não tripulados, ou seja que não necessitam de um pilotomesmo que remoto.

1.1 Motivação

Aplicações civis de veículos aéreos não tripulados, é um tema de crescente interesse napesquisa científica. Exemplos recentes incluem a pesquisa da Amazon para entrega de paco-tes com Veículo Autônomo Aéreo Não Tripulado (VAANT), a utilização pela Deutsche Bahnpara melhorar a pulverização de grafite e inspeção de linhas ferroviárias e elétricas (PÁLI ET

AL., 2014) e a utilização de dirigíveis para inspeção de desmatamento e plantações (DE PAIVAA

ET AL.; VIEIRA ET AL., n.d.; 2019). Aplicações mais clássicas há muito tempo são considera-das, como operações de busca e salvamento.

O desempenho das linhas de transmissão elétrica é tipicamente analisado sob os aspectosde operação e manutenção. A operação é avaliada pelos indicadores de disponibilidade e pelataxa de interrupção. A manutenção é monitorada pelo tempo médio entre falhas (TMF), que édeterminado pela disponibilidade do equipamento e pelo tempo médio de reparo (TMR). Danospotenciais às linhas de energia causados por tempo e desgaste podem produzir graves colapsosno fornecimento de eletricidade, ou seja, quedas de energia ou blecautes de energia, que geramenormes perdas para a indústria de energia elétrica e as populações (ZILCH, 2015). Um nívelmais alto de confiabilidade operacional é alcançado também por meio de monitoramento ambi-ental, isto é, coleta, análise, disseminação e gerenciamento de informações sobre o ambiente aoredor da linha de energia.

Para evitar que falhas ocorram com as linhas de transmissão, frequentemente devem serfeitas vistorias para verificar pontos de aquecimento, desgastes, rompimentos ou deformações,porém esse trabalho de inspeção atualmente é um trabalho árduo, perigoso, caro e passível defalhas visto que é feito de maneira visual por humanos.

18

Os VAANT’s são uma alternativa para evitar colocar os operadores em risco e melhorara forma como as linhas são analisadas. São máquinas de baixo custo, de dimensões reduzidase devidamente instrumentadas para tarefas de inspeção visual. Esses equipamentos geralmenteinteragem com sensores colocados ao longo da linha de transmissão para detectar o local exatoonde ocorre a falha. Os segmentos de linha a serem monitorados são selecionados em um planode monitoramento definido pelo operador antes ou durante o voo.

Os VAANT’s estão sendo constantemente estudados e aprimorados, com aumento deautonomia, estabilidade e diversidade de modelos. Existem no mercado vários modelos comcâmeras, sensores e equipamentos de pouso já embarcados, além de controle de estabilidadeconfiável, e.g. modelos híbridos entre asas fixas e quadrirrotores mostram um grande ganho deautonomia e ao mesmo tempo um controle de velocidade aceitável para uma tarefa de inspeção.Isso mostra que é viável a utilização desta tecnologia na tarefa de vigilância autônoma.

1.1.1 Problematização

Falhas em sistemas elétricos ou linhas de transmissão de energia trazem prejuízos nãoapenas para a população que fica sem o fornecimento de energia, mas também para a conces-sionária que cuida desse sistema. A Agência Nacional de Energia Elétrica (ANEEL) multa asconcessionárias em valores que chegam a milhões de dólares devido a paradas do sistema, re-composição de carga atrasada, manutenção de falhas e descumprimento de procedimentos derede (ANNEL; ANEEL, 2018; 2004). No Brasil, a Companhia Energética de Minas Gerais(CEMIG), na área de concessão do Estado de Minas Gerais, possui uma extensão de 457,5mil km de redes de distribuição (97,9 mil quilômetros urbanos e 359,6 mil quilômetros rurais);17,331 km de linhas de distribuição (34,5 a 161 kV) e 4.923 km de linhas de transmissão (230a 500 kV). A CEMIG opera uma rede de transmissão de 15.650 km, sendo a segunda maiorempresa de transmissão do setor de energia no Brasil (CEMIG, 2015). Assim, a busca pela efi-ciência operacional é fundamental.

A vigilância da linha de energia é uma tarefa árdua para o setor de energia. A extensãodas instalações da linha de energia aérea e a localização remota de torres de transposição, ca-bos e equipamentos (isoladores, acessórios, etc.) tornam a tarefa de monitoramento difícil. Talvistoria é feita basicamente de 3 (três) maneiras atualmente. Uma das soluções e simples parao problema de inspeção consiste em um técnico andando na linha de alta tensão, mas este éum procedimento de alto risco, lento e manual (SONG ET AL., 2014). Outro método utilizahelicópteros tripulados que realizam o monitoramento de imagens por câmeras térmicas, onde

19

toda a análise das imagens é feita pelo operador. A inspeção visual é realizada satisfatoriamentequando cobre toda a linha. Este método, no entanto, é de alto custo e risco, sendo limitado acurtos períodos anuais de voo e também pode comprometer a segurança dos funcionários e darede elétrica devido à proximidade dos condutores de alta tensão (FONTANARI, 2011). E fi-nalmente o último método utiliza um piloto remoto com controle de radio frequência, onde oVANT sobrevoa as linhas de transmissão, filmando e analisando as imagens. Porém este mé-todo requer um piloto extremamente capacitado e tem-se também o problema de alcance dainspeção, limitada devido ao alcance de comunicação entre o controle de radio frequência e oVANT.

1.1.2 Objetivo

O objetivo desta tese é desenvolver um método de navegação autônomo sobre linhas detransmissão de energia elétrica para VAANT, utilizando apenas visão monocular, combinandoas técnicas de redes neurais e transformada de Hough. Com este método o VAANT deve sercapaz de atravessar cruzamentos e realizar curvas acentuadas (maiores que 45∘), recorrentesnas linhas de transmissão. E os objetivos específicos são os seguintes:

∘ Escolha do ambiente de simulação e criação do ambiente simulado 3-D;

∘ Estruturar um dataset das imagens simuladas a serem utilizadas no treinamento da redeneural (RNN);

∘ Treinamento e definição dos parâmetros da rede neural na identificação das linhas detransmissão a partir de imagens capturadas pelo VANT em ambiente 3-D;

∘ Desenvolver um algorítimo que tenha como saída a posição de correção da navegação doVAANT;

∘ Estruturar um dataset de imagens reais a serem utilizadas no treinamento da rede neural(RNN e RCNN);

∘ Treinamento e definição dos parâmetros da rede neural na identificação das linhas detransmissão a partir de imagens reais capturadas pelo VAANT;

∘ Testes reais em ambiente experimental.

20

1.2 Estado da Arte

Neste tópico, será feita uma revisão literária sobre as principais técnicas utilizadas paranavegação de seguidores de linhas para VAANT do tipo quadrirrotor, bem como, a revisão li-terária das técnicas de redes neurais utilizadas para o processamento de imagens com soluçãopara navegação autônoma. Priorizou-se técnicas que utilizaram visão computacional a fim detrabalhar junto ao estado da arte para que a proposta da tese venha de modo a aproveitar osavanços desenvolvidos e resolver os problemas atuais, visando contornar erros inerentes a sen-sores de posicionamento comoInertial measurement unit (IMU) e global position system (GPS)ou sensores ativos como lasers e sonares.

1.2.1 Revisão Literária das Principais Técnicas de Identificação e NavegaçãoAutônoma de VANT’s Sobre Linhas

Inicialmente é realizada uma revisão literária das principais técnicas de identificação delinhas ou padrões, com uma análise comparativa destes trabalhos em relação ao trabalho pro-posto e os principais desafios superados por cada técnica, condensados na Tabela 1.1.

A literatura sugere que a maioria das implementações de técnicas para identificação eseguimento das linhas de transmissão de energia podem ser classificadas em duas grandes cate-gorias:

∘ Uso de filtros e aplicação da técnica de identificação de linhas de Hough;

∘ Uso de Técnicas de fusão sensorial.

Nos trabalhos de Li et al. (2010) e Zhang et al. (2012) , foram realizadas as identifica-ções das linhas de transmissão elétrica com técnica de Hough, no primeiro método um pré-processamento das imagens com filtro PCNN (rede neural acoplada por pulso simplificada) foiutilizado para eliminação do plano de fundo das imagens, já no segundo método um filtro deKalman foi utilizado após a identificação das linhas, porém em ambos não foram realizadosnem citados nenhum teste de navegação e nem como as imagens eram classificadas nas curvas.

No trabalho de Manlangit (2012), foi realizada a identificação de linhas de transmissãode energia também com técnica de Hough agora com pré-processamento das imagens com

21

filtro Gabor, que é um filtro passa banda usado por sua capacidade de extrair recursos e análisede textura. Neste trabalho foram realizados testes reais porém concluiu-se que o método temdificuldades na identificação de linha perpendiculares entre si e, além disso, o nível de confiançado sistema para a detecção de linhas de energia diminuiu como a altura e variou mais de 50 cm.

No trabalho de Páli et al. (2014) o método emprega a detecção de linha para encontraro ponto de fuga em linhas ferroviárias, este método mostrou-se satisfatório com relação aocontrole do VAANT fazendo com que a trajetória fosse mais suave durante as correções, porémnovamente não é adequado a linhas de transmissão elétrica que por muitas vezes não tem umatrajetória tão linear quanto as linhas ferroviárias utilizadas na simulação.

No trabalho de Deng et al. (2016), um sistema de inspeção de linha de transmissão éprojetado usando um duplo sistema de antena GPS, um scanner a laser e um computador em-barcados. O software de voo foi concebido com dois níveis, o nível mais baixo para coleta dedados do sensor e nível mais alto para computação e filtragem da lei de controle. A posiçãoda linha de transmissão foi obtida do GPS e o scanner a laser usando um filtro de Kalman,que gerou as posições relativas, velocidades e cabeçalhos. Em um voo real foi realizado umexperimento que verificou a viabilidade do sistema projetado. Contudo novamente não foramrealizados testes em ambientes de curvas, além de que o método não utiliza apenas imagenspara navegação.

No trabalho de Zhou et al. (2016), usou-se o método de detecção de bordas, que selecionaparâmetros ótimos para mudar os fundos e, portanto, supera o problema de limiar em métodosexistentes. Além disso o método requer recursos de computação relativamente baixos quandocomparado com os métodos existentes. Os testes reais mostraram que o método pode ser utili-zado em tempo real com relativa velocidade de voo em torno de 30km/h, porém o autor afirmaque o método não atua bem em interseções das linhas de transmissão.

No trabalho de Nguyen et al. (2018), foi apresentada uma revisão completa da literaturasobre inspeção automática de linhas de energia, incluindo abordagens baseadas em visão tantopara navegação com detecção de linha de força, como detecção dos postes e inspeção commapeamento e inspeção de componentes das linhas de energia, monitoramento de invasão devegetação, detecção e medição de congelamento e monitoramento de desastres). Além disso,foi apresentado um resumo das possibilidades da utilização de Deep Learning (aprendizagemprofunda) baseada em visão para aplicação em VANT’s no desenvolvimento de um sistemaautônomo de inspeção de linha de energia.

22

No trabalho de Bian et al. (2018), foi proposto um método de navegação autônoma aolongo do lado das linhas de transmissão elétrica. Para esse fim, foi estabelecido um modelode perspectiva e detecção de ponto de fuga coletado a partir da identificação do ponto centraldas torres de transmissão. O método por não identificar os cabos não se mostra eficiente emsituações de curvas e cruzamentos nas linhas de transmissão.

No trabalho de Yue et al. (2019), a inspeção dos componentes da linha de transmissão foifeita com aplicação de redes neurais em reconhecimento de alvo com R-CNN e ZFNet. Já anavegação foi feita baseada a comunicação entre sensores embarcados no VAANT e sensoresposicionados nas torres de transmissão elétrica.

No trabalho de Menéndez et al. (2019) o sistema calcula a localização do VANT usandouma abordagem geométrica, relacionando linhas de transmissão com parâmetros de geometriaóptica. No entanto, tem o problema de acumulação gradual de erros quando o VANT se move.Nesse sentido, a posição estimada do drone é calculada pela estimativa de máxima verossimi-lhança (MLE) pelas informações de posição estimadas por sistema visual, unidade de medidainercial (IMU) o GPS.

Após uma revisão abrangente da navegação autônoma utilizada atualmente, baseadaem visão computacional, para inspeção de linhas de energia, foram identificados os desafiosexistentes na utilização de Deep Learnig. Finalmente, com o objetivo de fornecer um pontode partida inicial para pesquisadores interessados em desenvolver um sistema autônomo total-mente automático de inspeção de linha de energia baseado em visão usando VAANT’s, forammostrados possíveis métodos a serem pesquisados, porém, todos com o uso de aprendizadoprofundo de máquina.

23

Tabela 1.1: Resumo das principais abordagens e contribuições científicas relacionadas navega-ção autônoma de VANT’s usando visão computacional.

Abordagem Contribuição ReferênciasO filtro PCNN como um

pré-processador e técnica deHough para identificação das linhas

Acurácia emdetecção de linhas

(LI ET AL., 2010)

Filtro Gabor eTransformada de Hough

Detecção automáticade linha de energia

(MANLANGIT, 2012)

Gradiente e técnicade Otsu e Hough com

filtro de Kalman

Detecção e rastreamentoautomático rápido de

linhas de energia elétrica

(ZHANG ET AL., 2012)

Detecção de Ponto de FugaNavegação de VANT

como seguidor de linhas(PÁLI ET AL., 2014)

Fusão sensorial comfiltro de Kalman

Seguidor de linhade transmissão autônoma

em tempo real

(DENG ET AL., 2016)

Seleção de parâmetrospara mudança de fundo

Navegação autônomacom menor

custo computacional

(ZHOU ET AL., 2016)

Análise do futuroda navegação de VAANT’s

Confirmação de que futuroestá no uso de redes neurais

(NGUYEN ET AL., 2018)

Navegação Lateralcom identificação das torres

Método puramentepor visão monocular

(BIAN ET AL., 2018)

Navegação comsensores marcadores

Boa acuráciae confiabilidade fe voo

(YUE ET AL., 2019)

Navegação por visãomonocular e sensores inerciais

Abordagem geométricapuramente por visão

(MENÉNDEZ ET AL., 2019)

1.3 Contribuição

As técnicas atuais para navegação visual autônoma sobre linhas de energia são baseadasprincipalmente em métodos de detecção de linha (por exemplo, a transformada de Hough) e sãofalhas ao seguir trajetórias com curvas acentuadas e no controle de altura e deslocamento frontal,dependendo essencialmente da fusão de diversos sensores. Magnetômetros e outros sensores demovimento são usados em combinação para corrigir este problema com o custo de introduzir

24

fontes adicionais de erro (MARTINS, 2015).

A contribuição do presente trabalho é um método de navegação autônoma sobre linhasde transmissão elétrica mesmo quando houverem curvas acentuadas, baseado unicamente emimagens usando visão monocular. Para ter sucesso em tal cenário, é introduzida uma etapa declassificação de imagens de linha de energia usando redes neurais, juntamente com a técnicade Hough para aquisição de parâmetros de correção na navegação. Configuração esta ainda nãovista na literatura.

Duas RNN e uma RCNN foram utilizadas para classificação das imagens. A primeira redeclassifica as linhas como retas ou curvas. A segunda rede define se a curva está à esquerda ou àdireita. E finalmente a terceira identifica os postes para controle da altura e deslocamento frontal.Essa configuração específica foi projetada para resolver o problema de tomada de decisão paraatuação em curvas acentuadas, controle de altura e deslocamento frontal, onde se encontram osgrandes gargalos do métodos baseado apenas em visão.

Esse trabalho faz parte de um conjunto de pesquisas e trabalhos do grupo de automaçãoe navegação robótica do Laboratório de Processamento de Sinais e Análise de Sistemas Di-nâmicos do Departamento de Sistemas Integrados da Faculdade de Engenharia Mecânica daUNICAMP. Dentre os trabalhos realizados, destacam-se projetos de visão computacional e na-vegação autônoma de veículos terrestres através de plataformas móveis Android e aéreos comoo dirigíveis e quadrirrotores. Elaborou-se um projeto temático submetido à Companhia Energé-tica de Minas Gerais (CEMIG), cujo o objetivo era de realizar a navegação autônoma de VANTspara inspeção de redes de energia elétrica. A partir deste macro projeto, observou-se as lacu-nas existentes no estado da arte das técnicas de inspeção de linhas elétricas através de veículosautônomos, e foram propostos temas de pesquisa afins que contribuam para o aperfeiçoamentodessa tarefa de monitoramento.

1.4 Estruturação da Tese

O capítulo 2 (dois) aborda conceitos preliminares de veículos autônomos não tripulados(VANT’s), tais como, descrição, estratégias de utilização, importância e crescimento da tecno-logia e os principais ambientes de simulações utilizados atualmente com suas descrições e umabreve comparação entre os mais usuais.

O capítulo 3 (três) aborda os métodos e as técnicas utilizadas no processamento das ima-

25

gens assim como a utilização das redes neurais profundas para a navegação autônoma.

O capítulo 4 (quatro) mostra a criação do ambiente virtual, data set de imagens, modelodo VANT utilizado, metodologia e algoritmos do desenvolvimento do método de navegaçãoautônoma do VANT.

O capítulo 5 (cinco) traz os resultados obtidos nos testes e as respectivas avaliações dosresultados. Finalmente o capítulo 6 (seis) traz todas as conclusões do trabalho realizado.

26

2 Conceitos Preliminares

Nesse capítulo, aborda-se os conceitos preliminares que são essenciais para o entendi-mento do sistema proposto. O texto é dividido em duas partes. A primeira descreve de formaresumida os conceitos e fundamentos de um VAANT do tipo quadrirrotor, o modelo matemá-tico, além do controle de posição e atitude. A segunda parte, aborda o ambiente de simulação,descrevendo-se as principais plataformas utilizadas na tese. Discute-se a diferença entre os doisambientes também, além da forma de criação de ambiente e controle de programação.

2.1 Veículos Aéreos Autônomos Não Tripulados VAANT’s

Os VAANT’s podem ter sua forma construtiva em diversas modalidades, como em asa fixaou asa móvel como ilustradas na Figura 2.1. Modelos de asa fixa são utilizados normalmentepara o varrimento de áreas extensas, por apresentarem velocidades mais elevadas e maior au-tonomia, porém necessitam de velocidade horizontal mínima para sustentação no ar. Os de asamóvel já não necessitam da mesma restrição e conseguem ter uma precisão de posicionamentoboa quando parados, com decolagens e pousos mais suaves, contudo sua autonomia dependemuito de baterias pesadas e com custo elevado (AUSTIN, 2011). Outros tipos muito comuns sãoas aeronaves híbridas como VTOL (vertical take-off and landing), que levantam voo na verticalcomo um quadricóptero (asa móvel), ganhando em estabilidade, e faz o voo horizontal como umasa fixa, ganhando em autonomia. Existem também os VANTs como motores a combustão quepossuem bastante autonomia. O método de navegação desenvolvido neste trabalho poderá seraplicado a qualquer tipo de VANT, logo a restrição de autonomia pode ser suprida na escolha domodelo a ser utilizado na inspeção das redes elétricas. E para o presente trabalho será utilizadoum quadricóptero devido sua boa estabilidade que possibilitará experimentos e ensaios em áreasrelativamente pequenas

Figura 2.1: Tipos de VAANT’s: (a) Modelos de asa fixa. (b) Modelos de asa móvel (exemplo:helicóptero), (AUSTIN, 2011)

27

2.1.1 Conceitos e Fundamentos: Quadrirrotor

Um quadricóptero, também chamado de helicóptero quadrirrotor, é uma aeronave quese decola no ar e é impulsionada por quatro motores. Quadricóptero são classificados comoaeronaves que se sustentam através do empuxo gerado pelas hélices. O seu funcionamento émelhor entendido a partir de dedução matemática da cinemática e dinâmica, a qual é feita nestetrabalho baseado na tese de (CHAVEZ, 2016).

2.1.2 Modelo Matemático do Quadrirrotor

Quadro de Referência de Eixos

Figura 2.2: Definição de Quadro de referência do Quadricóptero, (CHAVEZ, 2016).

Defini-se dois quadros de referência como mostrado na Figura 2.2, o primeiro é o quadromundial 𝑊 e o segundo como quadro fixo de corpo 𝐵. O quadro 𝑊 é definido como umreferencial fixo, seguindo a regra da mão direita, com 𝑋𝑊 apontando para fora da folha, 𝑌𝑊apontando para o direita e 𝑍𝑊 apontando para cima o plano 𝑋𝑊 /𝑌𝑊 é paralelo ao solo. Aestrutura 𝐵 é anexada ao centro de massa do quadricóptero com 𝑋𝐵 apontando para direçãofrontal da aeronave. Por fim, o eixo 𝑍𝐵 paralelo ao eixo 𝑍𝑊 apontando para cima duranterepresenta a flutuação perfeita.

28

Figura 2.3: Rotação ao redor dos três eixos Quadricóptero, (CHAVEZ, 2016).

Na Figura 2.3 é ilustrado o comportamento de rotação dos eixos. Em seguida, tem-se amatriz de rotação que mapeia as coordenadas do quadro 𝐵 para 𝑊 de acordo com a convençãoYaw-Pitch-Roll, dada por:

𝑊𝐵 R := 𝑅(𝜓)𝑅(Θ)𝑅(𝜑) (2.1)

=

⎡⎢⎣𝑐𝜓 −𝑠𝜓 0

𝑠𝜓 𝑐𝜓 0

0 0 1

⎤⎥⎦ .⎡⎢⎣ 𝑐𝜃 0 𝑠𝜃

0 1 0

−𝑠𝜃 0 𝑐𝜃

⎤⎥⎦ .⎡⎢⎣1 0 0

0 𝑐𝜑 −𝑠𝜑0 𝑠𝜑 𝑐𝜑

⎤⎥⎦ (2.2)

=

⎡⎢⎣𝑐𝜓𝑐𝜃 𝑐𝜓𝑠𝜃𝑠𝜑 − 𝑠𝜓𝑐𝜑 𝑠𝜓𝑠𝜑 + 𝑐𝜓𝑠𝜃𝑐𝜑

𝑠𝜓𝑐𝜃 𝑐𝜓𝑐𝜑 + 𝑠𝜓𝑠𝜃𝑠𝜑 𝑠𝜓𝑠𝜃𝑐𝜑 − 𝑐𝜓𝑠𝜑

−𝑠𝜃 𝑐𝜃𝑠𝜑 𝑐𝜃𝑐𝜑

⎤⎥⎦ (2.3)

Onde 𝑐𝑥 e 𝑠𝑥 denotam 𝑐𝑜𝑠(𝑥) e 𝑠𝑒𝑛(𝑥) respectivamente. Sendo 𝑆𝑂(3) o grupo de rotação,tem-se que a matriz 𝑅 ∈ 𝑆𝑂(3) é uma matriz cosseno de direção ortogonal (BLANCO, 2010)cujo inverso é dado pela sua transposta, exemplo (𝐵𝑊R =𝑊

𝐵 R𝑇 ).

Cinemática do Quadrirrotor

O quadrirrotor é descrito pelo sistema de seis graus de liberdade (6 DOF). Sendo suaposição 𝑝 ∈ 𝑅6, definida no quadro 𝑊 , pode-se determinar por uma posição translacional 𝑊 𝑟no espaço 3D mais uma rotação 𝑊 𝜀 definida pelos ângulos de Euler, inclinação e rotação, comosegue:

29

𝑝 :=

[𝑊 𝑟𝑊 𝜀

](2.4)

Onde,

𝑊 𝑟 =

⎡⎢⎣𝑥𝑦𝑧

⎤⎥⎦ , 𝑊 𝜀 =

⎡⎢⎣𝜑𝜃𝜓

⎤⎥⎦ (2.5)

Similarmente, defini-se a velocidade 𝜉 ∈ R6 do quadrirrotor no quadro 𝐵.

𝜉 :=

[𝐵𝑣𝐵𝑤

](2.6)

Onde,

𝐵𝑣 =

⎡⎢⎣𝑢𝑣𝑤

⎤⎥⎦ , 𝐵𝑤 =

⎡⎢⎣𝑝𝑞𝑟

⎤⎥⎦ (2.7)

Aqui 𝐵𝑣 e 𝐵𝑤 são a velocidade linear e angular do quadrirrotor respectivamente em rela-ção ao quadro 𝐵. O vetor de rotações 𝑊 𝜀 está relacionado à derivada do vetor de velocidadesangulares 𝐵𝑤 pela seguinte expressão:

𝐵𝑤 =

⎡⎢⎣1 0 −𝑠𝜃0 𝑐𝜑 𝑠𝜑𝑐𝜃

0 −𝑠𝜑 𝑐𝜑𝑐𝜃

⎤⎥⎦ .𝑊 �� (2.8)

Vamos denotar a matriz de coeficientes na expressão anterior como 𝐵𝑊T, cujo inverso é

dado pela expressão:

𝑊𝐵 T =

⎡⎢⎣1 𝑠𝜑𝑡𝜃 𝑐𝜑𝑡𝜃

0 𝑐𝜑 −𝑠𝜃0

𝑠𝜑𝑐𝜃

𝑐𝜑𝑐𝜃

⎤⎥⎦ (2.9)

Assim, podemos reescrever a Equação (2.8) como:

30

𝑊 �� =𝑊𝐵 T

𝐵𝑤 (2.10)

Variáveis de Atuação

Figura 2.4: Forças e momentos de atuando no quadrirrotor, (CHAVEZ, 2016).

Os quadricópteros são sistemas sub-atuados com seis graus de liberdade que são contro-lados com apenas quatro atuadores (motores). Para compensar essa situação, devemos redefinirnossas variáveis de atuação. Normalmente, isso é feito em termos das quatro ações básicas:acelerar (throttle), afragem (pith), rolagem (roll) e guinada (yaw). Na Figura 2.4, ilustra-se asforças e os momentos de atuação no quadrirrotor.

∘ Acelerador (throttle) - 𝑈1

O chamado acelerador é uma força paralela ao eixo 𝑍𝐵 da Figura 2.2. É responsável porfornecer o impulso necessário para manter o quadricóptero no ar; se todo o 𝐹𝑖 estiver balance-ado, o empuxo gerado resultará em uma aceleração vertical. Acelerador é definido como o vetorde empuxo coletivo produzido pelos motores:

𝑈1 =4∑𝑖=1

𝐹𝑖 (2.11)

∘ Rolagem (roll) - 𝑈2

31

O momento de rolamento é criado quando existe uma diferença entre as grandezas dasforças 𝐹3 e 𝐹4, ilustrado na Figura 2.4. O momento de rolamento induz uma aceleração angularem torno do eixo 𝑋𝐵 da Figura 2.2.

𝑈2 = 𝐿(𝐹3 − 𝐹4) (2.12)

Onde, 𝐿 ∈ R é a distância do centro de massa do quadricóptero até o eixo do motor.

∘ Afragem (pith) - 𝑈3

O momento de afragem é análogo ao momento de rolamento, mas com relação ao eixo𝑌𝐵 da Figura 2.2, e resulta como consequência de um desequilíbrio entre as forças 𝐹1 e 𝐹2,ilustrado na Figura 2.4.

𝑈3 = 𝐿(𝐹1 − 𝐹2) (2.13)

∘ Guinada (yaw) - 𝑈4

Cada motor giratório induz um momento cuja direção é determinada pela direção de ro-tação do motor. O momento de guinada é gerado como consequência de um desequilíbrio entreos momentos opostos gerados pelo par (𝑀1,𝑀2) e o par (𝑀3,𝑀4) da Figura 2.2, e resulta emuma aceleração angular em torno do eixo 𝑍𝐵, ilustrado na Figura 2.4.

𝑈4 = (𝑀1 +𝑀2) − (𝑀3 +𝑀4) (2.14)

Dinâmica do Quadrirrotor

As forças que atuam no quadricóptero são a 𝑃𝑔 peso da gravidade 𝑃𝑔 = −𝑚𝑔, onde 𝑚 émassa e 𝑔 a gravidade, atuando na direção 𝑍𝑊 . E as forças 𝐹𝑖 exercidas pelas hélices fixadasaos motores e atuando na direção 𝑍𝐵 (MELLINGER ET AL., 2010). De acordo com as equaçõesde movimento de Newton, temos as seguintes equações:

32

𝑚𝑊 𝑟 =

⎡⎢⎣ 0

0

−𝑚𝑔

⎤⎥⎦+𝑊𝐵 R

⎡⎢⎣ 0

0

(𝐹1 + 𝐹2 + 𝐹3 + 𝐹4)

⎤⎥⎦ (2.15)

Onde a aceleração translacional é definida por:

𝑚𝑊 𝑟 =𝑊𝐵 R(𝐵 �� +𝐵 𝑤 ×𝐵 𝑣) (2.16)

Podemos reescrever a expressão da Equação (2.15) em termos de nossa variável de atua-ção 𝑈1 da seguinte forma:

𝑚𝑊 𝑟 =

⎡⎢⎣ 0

0

−𝑚𝑔

⎤⎥⎦+𝑊𝐵 R

⎡⎢⎣ 0

0

𝑈1

⎤⎥⎦ (2.17)

Agora usamos as equações de Euler para formular a aceleração angular do sistema.

𝐽𝐵�� =

⎡⎢⎣ 𝐿(𝐹3 − 𝐹4)

𝐿(𝐹1 − 𝐹2)

(𝑀1 +𝑀2) − (𝑀3 +𝑀4)

⎤⎥⎦−𝐵 𝑤 × 𝐽𝐵𝑤 (2.18)

Onde 𝐿 ∈ R (veja Figura 2.4) é a distância do centro de massa do quadricóptero ao eixodo motor, e 𝐽 ∈ R3𝑥3 é uma matriz diagonal contendo os momentos de inércia em torno dostrês eixos em relação ao referencial 𝐵 assumindo que o estrutura é simétrica.

𝐽 :=

⎡⎢⎣𝐼𝑥𝐵𝑥𝐵 0 0

0 𝐼𝑦𝐵𝑦𝐵 0

0 0 𝐼𝑧𝐵𝑧𝐵

⎤⎥⎦ (2.19)

Da mesma forma, escrevemos a Equação (2.18) em termos de nossas variáveis de atuaçãopara obter,

33

𝐽𝐵�� =

⎡⎢⎣𝑈2

𝑈3

𝑈4

⎤⎥⎦−𝐵 𝑤 × 𝐽𝐵𝑤 (2.20)

Agora podemos derivar as expressões para �� e para 𝜉, mas primeiro vamos definir osvetores a seguir para simplificar a notação

𝑔 =

⎡⎢⎣ 0

0

−𝑔

⎤⎥⎦ , 𝑢1 =

⎡⎢⎣ 0

0𝑈1

𝑚

⎤⎥⎦ , 𝑢2 =

⎡⎢⎣𝑈2

𝑈3

𝑈4

⎤⎥⎦ (2.21)

A derivada da pose do quadricóptero (ou seja, ��) é definida por

𝑊 �� =𝑊𝐵 R𝐵𝑣 (2.22)

𝑊 �� =𝑊𝐵 T𝐵𝑤 (2.23)

Para obter a expressão da velocidade do quadricóptero, devemos fazer mais uma simpli-ficação. Das Equações (2.16) e (2.17), obtemos,

𝐵 �� =𝐵𝑊 R𝑊 𝑟 − (𝐵𝑤 ×𝐵 𝑣) (2.24)

=𝐵𝑊 R𝑔 − (𝐵𝑤 ×𝐵 𝑣) + 𝑢1 (2.25)

Assim, a derivada da velocidade é dada por

𝐵 �� =𝐵𝑊 R𝑔 − (𝐵𝑤 ×𝐵 𝑣) + 𝑢1 (2.26)

��𝐵 = −𝐽−1(𝐵𝑤 × 𝐽𝐵𝑤) + 𝐽−1𝑢2 (2.27)

34

Para concluir, nós reescrevemos as Equações (2.22), (2.23) e (2.26), (2.27) em forma dematriz:

�� =

[𝑊𝐵 R 0

0 𝑊𝐵 T

]𝜉 (2.28)

𝜉 =

[𝐵𝑊R𝑔 − (𝐵𝑤 ×𝐵 𝑣)

−𝐽−1(𝐵𝑤 × 𝐽𝐵𝑤)

]+

[𝐼 0

0 𝐽−1

][𝑢1

𝑢2

](2.29)

Onde 𝐼 ∈ R3𝑥3 é uma matriz de identidade e 0 ∈ R3𝑥3 é uma matriz de zero.

Modelagem do Motor

Tipicamente, quadricópteros são acionados por motores brushless acoplados a ESCs (con-troladores eletrônicos de velocidade). Vamos supor que os ESCs são capazes de fornecer avelocidade angular desejada, ou seja, 𝑤𝑖 = 𝑤𝑑𝑖 . Segundo Powers et al. (2015), as forças 𝐹𝑖produzidas pelos motores são proporcionais ao quadrado de suas velocidades angulares corres-pondentes, conforme segue:

𝐹𝑖 = 𝑘𝐹𝑤2𝑖 (2.30)

Da mesma forma, os momentos 𝑀𝑖 associados a cada um dos motores são dados pelaexpressão,

𝑀𝑖 = 𝑘𝑀𝑤2𝑖 (2.31)

As constantes 𝑘𝐹 e 𝑘𝑀 podem ser aproximadas através da experimentação.

35

2.1.3 Controle de Posição e Atitude

Como foi mencionado anteriormente, a maioria dos controladores depende de lineari-zações das equações de movimento em um ponto de operação. No nosso caso, este ponto deoperação será quando o quadrirrotor estiver no estado de flutuação ou pairando. Se considerar-mos a derivada da pose como o estado do sistema (ou seja, 𝑥 := ��), a linearização resulta emuma equação da forma:

�� =𝜕

𝜕𝑥𝑓 |(𝑥0,𝑢0).(𝑥− 𝑥0) +

𝜕

𝜕𝑢𝑓 |(𝑥0,𝑢0).(𝑢− 𝑢0) (2.32)

O estado 𝑥0 e a entrada 𝑢0 necessários para pairar são 𝜑 = 0, 𝜃 = 0, 𝜓 = 𝜓0, 𝑈1 =

𝑚𝑔, 𝑈2 = 0, 𝑈3 = 0, 𝑈4 = 0. O modelo linearizado do quadricóptero é dado por:

⎡⎢⎣��

⎤⎥⎦ =

⎡⎢⎣ 𝑔(𝜑𝑠𝑖𝑛(𝜓0) + 𝜃𝑐𝑜𝑠(𝜓0))

𝑔(−𝜑𝑐𝑜𝑠(𝜓0) + 𝜃𝑠𝑖𝑛(𝜓0))1𝑚𝑈𝑖 − 𝑔

⎤⎥⎦ (2.33)

⎡⎢⎣𝜑𝜃𝜓

⎤⎥⎦ =

⎡⎢⎢⎣1

𝐼𝑥𝐵𝑥𝐵𝑈2

1𝐼𝑦𝐵𝑦𝐵

𝑈3

1𝐼𝑧𝐵𝑧𝐵

𝑈4

⎤⎥⎥⎦ (2.34)

O subsistema de atitude do quadricóptero da Equação (2.34) é forçado diretamente porvariáveis de atuação, o que implica que os componentes da aceleração angular são desacoplados.A função de transferência resultante é de segunda ordem com dois polos na origem, o quetorna o sistema inerentemente instável. Baseado no modelo linear da Equação (2.34), é possívelprojetar controladores 𝑆𝐼𝑆𝑂 PID para estabilizar e controlar cada uma das variáveis de atitudeindividualmente. Da mesma forma, como a dinâmica do quadricóptero é apenas fracamenteacoplada nas direções 𝑥, 𝑦 e 𝑧 (MEIER ET AL., 2011), é possível projetar controladores PIDindividuais para estabilizar e controlar a posição ao longo dos três eixos, logo o diagrama decontrole do sistema é ilustrado na Figura 2.5.

36

Figura 2.5: Diagrama de controle de posicionamento e atitude, (CHAVEZ, 2016).

2.2 Ambiente de Simulação

Ambiente de simulação ou realidade virtual se baseia em ambientes informatizadosque emulam fenômenos reais que os usuários podem manipular, explorar e experimentar(JONASSEN, 2008). Atualmente com o intuito de reduzir custos e tempo de pesquisa, os pesqui-sadores desenvolvem e usam ferramentas virtuais para criar de maneira simples e fácil ambi-entes para testar ideias, teorias e roteiros, sem a necessidade de depender fisicamente de certasmáquinas e equipamentos. Segundo Bastos et al. (2017), usar simulações antes das aplicaçõesreais, traz vantagens para um projeto, as quais podem ser citadas:

∘ Repetibilidade - possibilidade de reprodução mais fácil de um teste inúmeras vezes, eco-nomizando tempo e outros recursos;

∘ Flexibilidade - menos esforço na criação e modificação do local de trabalho desejado;

∘ Habilitar os testes em ambientes inacessíveis ou complexos;

∘ Simular situações perigosas que poderiam danificar o protótipo;

∘ Obtenção de valores exatos de posição, orientação, velocidade e aceleração sem qualquerdispositivo extra.

Há vários pacotes de software diferentes para simulação 3D em robótica, como Gazebo(GAZEBO, 2019), Weebots (CYBERBOTICS, 2019) e V-REP (COPPELIA, 2019). Essas ferra-mentas são feitas, basicamente, para reproduzir modelo dinâmico estimado de um robô, in-teragindo com sua vizinhança usando sensores e atuadores. Muitos experimentos podem serrepresentados com estes aplicativos.

37

No contexto científico da robótica, os simuladores robóticos são plataformas que podemser usada em conjunto para desenvolver, testar e validar diferentes abordagens para a cogniçãoe seus componentes, como percepção, memória, comportamento. Dois simuladores mostramdestaque atualmente no cenário da pesquisa e desenvolvimento de novas tecnologias robóticassendo eles o Gazebo, uma solução open-source mantida pela Open Source Robotics Foundation,e V-REP que é comercial porém possui uma versão educacional gratuita, solução fornecida pelaCoppelia Robotics (IVALDI ET AL., 2014).

2.2.1 GAZEBO

Gazebo começou como um projeto na Universidade do Sul da Califórnia. Mais tarde, foiintegrado no framework ROS por John Hsu, que era um senior pesquisador da Willow Garage,mantenedor original da ROS. Desde a então, o Gazebo foi mantido pela Open Source RoboticsFoundation, que é um spin-off da Willow Garage, e o mesmo mantenedor que cuida do ROS.Gazebo é um projeto completamente em código aberto, disponível para qualquer pessoa sob oApache 2.0 licença. O Gazebo é executado apenas no Linux, mas o suporte para Windows estáprevisto para acontecer nas próximas versões.

2.2.2 V-REP

V-REP é um simulador robótico desenvolvido pela Coppelia Robotics, com sede em Zu-rique, na Suíça. É um software comercial, que pode ser obtido gratuitamente em sua versãoeducacional. V-REP tem suporte para Windows, Linux e Mac OS X. É possível usar 7 diferen-tes linguagens de programação com V-REP, sendo LUA a linguagem padrão.

O cenário virtual simulado no V-REP possui uma plataforma de software robótico quepermite o uso de modelos dinâmicos e interfaces com uma variedade de linguagens de progra-mação (ROHMER ET AL., 2013).

O V-REP interage com uma entidade externa por meio de uma interface de programaçãode aplicativos (API) via comunicação de soquete. A API é composta por serviços de servidorde API remotos e clientes de API remotos. O lado do cliente pode ser incorporado em dife-rentes linguagens de programação em praticamente qualquer hardware, incluindo robôs reais, epermite a chamada remota da função V-REP, bem como o rápido fluxo de dados para frente epara trás (ROHMER ET AL., 2013). A tabela 2.1 mostra o suporte da API remota para diferentes

38

linguagens de programação.

Tabela 2.1: Suporte à API V-REP para linguagens de programação (ROHMER ET AL., 2013).

RoteiroEmbutido

Add-on Plug-inCliente da

API Remotanós ROS

Mecanismo da API API Padrão API Padrão API Padrão API Padrão ROS

Linguagem de programaçãosuportada

Lua Lua C/C++C/C++

Python, Java,Matlab, Urbi

Dependedo suporte ao ROS

Funções de API disponíveis >280 funções >270 funções >400 funções >100 funções>150 serviços,publicações e

tipos de assinantes

API é extensível pelo usuárioSim,

com personalizaçãodas funções Lua

Sim,com personalização

das funções Lua

Sim,V-REP é

código aberto

Sim,API remota

é código aberto

Sim,interface do ROSé código aberto

Entidade de controle é externale pode ser nativo

Não Não Não Sim Sim

Modelos de simulaçãosão totalmente portáveise escaláveis

Sim Não Não Não Não

Atraso de comunicação Nenhum Nenhum Nenhum Sim SimOperação síncronaé suportada

Sim, inerente.Sem atrasos

Sim, inerentet.Sem atrasos

Sim, inerente.Sem atrasos

Sim, Lento devidoao atraso de comunicação

Sim, Lento devidoao atraso de comunicação

Operação assíncronaé suportada

Sim Não Sim Sim Sim

Pode começar, parar, pausare simulação passo a passo

Parar, pausarComeçar, parar

pausarComeçar, pararpausar, passo

Começar, pararpausar, passo

Começar, pararpausar, passo

Em 2019 o software foi descontinuado pela mantenedora e no lugar foi proposto um novosoftware compatível com as versões anteriores que é o CoppeliaSim, apresentado em (JAMES

ET AL., 2020) e utilizado para treinamento de máquinas em (BLUM E YOSHIDA, 2020) e em(BERGER ET AL., 2020) para desenvolvimento de um método de identificação de componentesem linhas de transmissão elétrica.

2.2.3 Integração com ROS

O sistema operacional do robô (ROS- Robot Operating System) licenciado sob uma li-cença da Berkeley Software Distribution (BSD) de código aberto é outra ferramenta que deveriaandar de mãos dadas com os simuladores robóticos. Segundo os desenvolvedores do sistema(FOUNDATION, 2019) "O ROS fornece bibliotecas e ferramentas para ajudar os desenvolve-dores de software a criar aplicativos robóticos. Ele fornece abstração de hardware, drivers dedispositivos, bibliotecas, visualizadores, transmissão de mensagens, gerenciamento de pacotese muito mais."

39

Nas ultimas versões o V-REP passou a ser nativo do ROS. Isso significa que ainda é pos-sível executá-lo como parte de um sistema ROS em um único arquivo de inicialização. mesmonas versões mais antigas isso não era muito problemático pois o V-REP oferecia um plug-inROS padrão que pode ser usado em scripts VREP Lua para criar editores e assinantes ROS.

Já o Gazebo é o simulador padrão usado na estrutura do ROS. Embora sejam projetosseparados, há um pacote para Gazebo no repositório oficial do ROS. Este é um pacote mantidopelos próprios mantenedores do Gazebo, a Fundação de Robótica Open Source. Ele contémplugins de interface ROS e Gazebo. Esses plugins podem ser anexados para objetos na cena dosimulador, e fornecer fácil método de comunicação com ROS.

Gazebo e ROS têm um forte relacionamento, sendo ambos código-fonte aberto, eles po-dem lucrar com a comunidade de outros desenvolvedores. O Gazebo tem uma clara vantagemneste quesito, principalmente porque, tem uma história no ciclo de desenvolvimento planejadadesde o início pensando em integração com o ROS. Apesar dessa proximidade, o V-REP nãofica muito atrás. Ele oferecer uma extensa gama de API’s para acessar todas as suas funcionali-dades aos principais códigos em uso atualmente, e elas integraram alguns recursos específicosdo ROS como serviços e tópicos inscrevendo e publicando.

2.2.4 Criação de Ambiente e Controle de Programação

O V-REP possui a característica de facilidade na criação de ambientes ou mundo, levandoem conta os critérios de interface e.g. arrastar e soltar, ou seja, visual e edição. Fácil visualizaçãodos gráficos de cenário e objetos. Possui vários modelos que podem ser facilmente inseridos nacena. Estes modelos variam de objetos de infra-estrutura como paredes e portas, para móveis eaté mesmo modelos de terreno. Há também uma visualização de cena gráfica fácil de usar, ondetodos os objetos na cena podem ser acessados e ter todas as suas propriedades inspecionadas emodificados.

Neste ponto, o Gazebo está muito atrasado. Não oferece muitos recursos de modelagemmundial prontos para uso. Ele fornece um editor de construção que é muito prático para projetarlabirintos e infra-estrutura básica. Ele também oferece três formas geométricas simples a sereminseridas na cena - uma esfera, um cubo e uma cilindro. Por fim, o Gazebo fornece acesso aum modelo online com banco de dados composto por modelos desenvolvidos pela comunidade.Este é um dos seus pontos fortes, mas esta base de dados é um pouco desorganizado. A ediçãode modelos, no entanto, não é possível dentro do Gazebo, por isso, é preciso usar ferramentas

40

externas de modelagem 3D como o Blender ou Google Sketchup para desenhar os modelos eimportá-los para o formato Gazebo.

Desta forma o V-REP se mostra com recursos fáceis de usar para modelagem do ambiente,que não exigem qualquer conhecimento profundo de XML. Isso é ótimo para prototipagemrápida de configurações de simulações e casos de uso ainda mais complexos. Se em vez disso,o Gazebo for usado, será necessário entender mais a fundo especificações SDF para construirqualquer configuração não básica. Só depois que essa curva de aprendizado for dominada, serápossível criar simulações mais complexas.

Segundo Nogueira (2014), neste quesito não há distinção entre os dois simuladores vistoque ambos possuem bibliotecas, API’s e plugins que atendem perfeitamente as necessidades dopesquisador na hora de programar o experimento desejado. Sendo assim, na primeira parte dotrabalho foi utilizado o V-REP para que os testes simulados pudessem ocorrer mais rapidamentee uma prévia da prova de conceito fosse realizada. Em seguida, o Gazebo foi utilizado, devido amelhor interface com o ROS, para organização e testes de comunicação entre os nós, finalmenteos testes reais puderam ser realizados com mais segurança.

41

3 Processamento de Imagens e Redes Neurais para Navegaçãode VAANT’s

A aplicação do VAANT na inspeção aérea de linhas de transmissão elétrica é uma tec-nologia de crescente interesse na comunidade científica (MANLANGIT; VARGHESE ET AL.;KALEEM E REHMANI, 2012; 2017; 2018). Os VAANT’s têm características especiais, comobaixo custo, baixo risco, flexibilidade operacional e aplicação em cenários remotos e adversosque os tornam um substituto interessante no uso de aeronaves tripuladas.

Como estudos anteriores apontam, a detecção de linhas de energia elétrica em uma ima-gem é uma tarefa desafiadora devido à proximidade entre cabos e cores monocromáticas, o quedificulta a extração de características da imagem. (LI ET AL.; ZHANG ET AL., 2010; 2012). Anavegação autônoma sobre linhas aéreas de transmissão usando métodos visuais é tipicamenteresolvida com o uso da transformada de Hough para detecção de segmentos de retas nas linhasde transmissão elétrica. (MANLANGIT; LI ET AL.; DENG ET AL.; ZHOU ET AL.; MATIKAINEN

ET AL., 2012; 2010; 2016; 2016; 2016).

A navegação em trajetórias não retas ou curvas é frequentemente negligenciada e poucodescrita na literatura. No trabalho de (MARTINS, 2015), curvas são levadas em consideraçãoe as trajetórias são resolvidas com o uso de um magnetômetro. Não obstante, os magnetôme-tros sofrem distúrbios de campo magnético devido à energia elétrica induzida pelas linhas detransmissão, o que pode desorientar o curso do veículo. Em (PÁLI ET AL., 2014), a transforma-ção Hough é usada para rastrear vanishing points (pontos de intercessão entre retas paralelasnuma imagem) em uma imagem. Tal método, no entanto, não é eficaz em curvas acentuadasque frequentemente aparecem nas imagens de câmeras voltadas para frente.

Redes neurais são ótimas para classificação e identificação de objetos nas imagens, emcontrapartida extrair dados de orientação para correção lateral e angular como Yaw, passa aser uma atividade complexa especificamente para linhas de transmissão elétrica tornando-sedispendiosa pensando no método de treinamento.

Ambas as técnicas de processamento de imagens apresentam limitações que inviabilizama utilização isolada para navegação autônoma desejada no presente trabalho, porém mostramvantagens que podem se complementar, logo torna-se interessante entender melhor tais técnicase como podem ser utilizadas.

42

3.1 Transformada de Hough

A transformada de Hough permite a identificação de padrões regulares de interesse (e.glinhas, círculos e elipses) que frequentemente aparecem em imagens de estruturas feitas pelohomem, como linhas de energia. A detecção de linha opera com as bordas de uma imagem (umaimagem binária) e é implementada como um processo de votação no chamado espaço de parâ-metros. As bordas das coordenadas (𝑥,𝑦) são mapeadas por senoides no espaço de parâmetros𝜃𝜌 aplicando a forma normal da linha 𝜌 = 𝑥 cos(𝜃) + 𝑦 sin(𝜃), onde 𝜌 é o comprimento do seg-mento normal desde a origem da imagem (localizada no canto superior esquerdo) até o ponto deborda e 𝜃 é a orientação de 𝜌 com respeito ao 𝑥-axis. Uma célula de acumulador é incrementadapor uma unidade em cada ponto de coincidência no espaço 𝜃𝜌. As coordenadas dos pontos decoincidência definem os parâmetros das linhas que passam por pontos relacionados no espaço𝑥𝑦, como visto na figura 3.1.

A figura 3.2 descreve o processo de detecção de linha na imagem de uma instalaçãode linha de energia simulada. Mostra as bordas da imagem (esquerda) e as linhas detectadas(coloridas em vermelho a direita) que são as linhas das coincidências de ponto mais altas noespaço de parâmetros.

Figura 3.1: Detecção das linha com transformada de Hough.

43

Figura 3.2: Detecção das linhas de transmissão de energia com transformada de Hough.

Testes preliminares foram realizados utilizando apenas a técnica de Hough para a navega-ção, apesar de a correção lateral e angular ser muito boa, apenas essa técnica não era suficiente,pois era difícil controlar a altura devido a identificação de linha falsas no Background e linhasduplas nas linhas de transmissão, impossibilitando o cálculo geométrico pela distância entreos cabos, porém o problema mais grave eram nas curvas acentuadas, onde a identificação dasretas, alternava entre as retas seguintes (caminho desejado), como as candidatas mais fortes, eas anteriores, fazendo com que o VAANT ficasse “preso na curva”. Isto ratificou a tese de quedeveria-se utilizar um método que classificasse as curvas e identificasse alguma característicapara controlar melhor a altura.

3.2 Deep Neural Network (DNN)

Existem muitas arquiteturas de redes neurais sendo utilizadas e aprimoradas recente-mente, para o presente trabalho foram utilizadas as RNN e RCNN. Desta forma torna-se in-teressante falar um pouco sobre as RNN, CNN (Convolutional Neural Networks) e finalmenteRCNN. Comparando a RNN e CNN, ambas são arquiteturas de redes neurais que apresentambom desempenho em diferentes tipos de dados. As RNNs são boas com séries de dados (queacontecem em sequencia) e são muito usadas em problemas que podem ser enquadrados como“o que acontecerá em seguida?”, enquanto as CNNs são especialmente boas em problemascomo classificação de imagens “o que se tem na imagem?”. Finalmente a RCNN vem com a fi-nalidade de melhorar a velocidade de processamento e de uma rede CNN que poder ser utilizadaem modelo de tomada de decisão.

44

3.2.1 Redes Neurais Recorrentes (RNN)

Redes neurais são métodos rápidos e confiáveis para a classificação de imagens de linhasde transmissão. Neste trabalho foi utilizada uma rede neural com duas camadas e sete nós,como mostrado Fig. 3.3. Os dados de entrada para conjuntos de treinamento e teste são imagensRGB de 224x224 pixels. Funções Sigmoid e ReLU são usadas como funções de ativação pararegressão logística em propagação para frente e para trás para minimizar uma função de perda epara determinar os melhores parâmetros de treinamento que aumentam a precisão do processode classificação. A função de perda representa o erro de treinamento e também é uma métricade desempenho da previsão. A função de perda resultante é definida pela média de todas asfunções de perda obtidas durante o treinamento.

Dois cenários de treinamento foram realizados. O primeiro cenário identifica se a linha detransmissão é reta ou curva. Se a linha de transmissão for uma curva, um segundo treinamentoserá realizado para determinar se a curva está à esquerda ou à direita. A figura 4.4 ilustra asimagens usadas no processo de treinamento.

Figura 3.3: Representação comumente usada para Redes Neurais.

3.2.2 Uso do Gradiente Descendente

O gradiente descendente é um algoritmo bem conhecido para treinar DNN, otimizandouma função de perda que representa o erro de informação antes da classificação. O gradiente dafunção é ajustado por um vetor de peso. O algoritmo indica em que medida o erro aumentaria oudiminuiria em cada etapa em relação a pequenos incrementos dos pesos. Finalmente, o vetor depeso é ajustado na direção oposta do gradiente (LECUN ET AL., 2015). Um algoritmo para im-

45

plementação prática do procedimento descrito na Seção 2.3 em (COURBARIAUX ET AL., 2015)é mostrado abaixo.

Comentários gerais

∘ Sobrescrito (𝑖) denota a amostra de treinamento 𝑖;

∘ Sobrescrito [𝑙] denota a camada 𝑙.

Tamanhos

∘ 𝑚: número de exemplos no dataset;

∘ 𝑛𝑥: tamanho da saída;

∘ 𝑛𝑦: tamanho da saída (ou número de classes);

∘ 𝑛𝑦[𝑙]: número de unidades ocultas do camada 𝑙.

In a for loop, é possível denotar 𝑛𝑥 = 𝑛ℎ[0] e 𝑛𝑦 = 𝑛ℎ

[𝑙+1].

Objetos

∘ X ∈ R𝑛𝑥×𝑚 é a matriz de entrada;

∘ 𝑥(𝑖) ∈ R𝑛𝑥 é o exemplo 𝑖;

∘ Y ∈ R𝑛𝑦×𝑚 é a matriz de rótulos;

∘ L ∈ R𝑛𝑦×𝑚 é a função de perda, erro calculado para um único exemplo de treinamento;

∘ 𝑦(𝑖) ∈ R𝑛𝑦 é o rótulo de saída para a amostra 𝑖;

∘ 𝑊 [𝑙] ∈ Rnúmero de unidades na próxima camada×número de unidades na camada anterior é a matriz de pesos;

∘ 𝑏[𝑙] ∈ Rnúmero de unidades na próxima camada é o vetor de polarização na camada 𝑙;

∘ 𝑦 ∈ R𝑛𝑦 é o vetor de saída previsto. Também pode ser denotado 𝑎[𝑙].

46

∘ L ∈ R𝑛𝑦×𝑚 é a função de perda calcula erro para um único exemplo de treinamento;

∘ A ∈ R𝑛𝑦×𝑚 é a matriz de saída prevista;

∘ Z ∈ R𝑛𝑦×𝑚 é a 𝑧(𝑖) matriz;

Propagação frontal

𝑎 = 𝑔[𝑙](𝑊𝑥𝑥

(𝑖) + 𝑏1)

= 𝑔[𝑙] (𝑧1) , (3.1)

onde 𝑔[𝑙] denota a função de ativação da camada 𝑙.

𝑦 = sigmoid (𝑊𝑥ℎ+ 𝑏2) ; 𝑦 = relu (𝑊𝑥ℎ+ 𝑏2) (3.2)

Fórmula geral de ativação

𝑎𝑗[𝑙] = 𝑔[𝑙]

(∑𝑘

𝑤𝑗𝑘[𝑙]𝑎𝑘

[𝑙−1] + 𝑏𝑗[𝑙]

)= 𝑔[𝑙]

(𝑧𝑗

[𝑙]). (3.3)

Função de perda

𝐽 (𝑤,𝑏) = − 1

𝑚

𝑚∑𝑖=1

[𝑦(𝑖) log

(𝑦(𝑖))

+(1 − 𝑦(𝑖)

)log(1 − 𝑦(𝑖)

)], (3.4)

𝑤 := 𝑤 − 𝛼𝑑𝐽(𝑤,𝑏)

𝑑𝑤; 𝑏 := 𝑏− 𝛼

𝑑𝐽(𝑤,𝑏)

𝑑𝑏. (3.5)

47

Gradiente descendente

𝑑𝑧[2] = 𝑎[2] − 𝑦, (3.6)

𝑑𝑊 [2] = 𝑑𝑧[2]𝑎[1]ᵀ, (3.7)

𝑑𝑏[2] = 𝑑𝑧[2], (3.8)

𝑑𝑧[1] = 𝑊 [2]ᵀ𝑑𝑧[2] * 𝑔[1]′ (𝑧[1]), (3.9)

𝑑𝑊 [1] = 𝑑𝑧[1]𝑥ᵀ, (3.10)

𝑑𝑏[1] = 𝑑𝑧[1], (3.11)

𝑑𝑍 [2] = 𝐴[2] − 𝑌, (3.12)

𝑑𝑊 [2] =1

𝑚𝑑𝑍 [2]𝐴[1]ᵀ , (3.13)

𝑑𝑏[2] =1

𝑚

∑𝑑𝑍 [2], (3.14)

𝑑𝑍 [1] = 𝑊 [2]ᵀ𝑑𝑍 [2] * 𝑔[1]′ (𝑍 [1]), (3.15)

𝑑𝑊 [1] =1

𝑚𝑑𝑍 [1]𝑋ᵀ, (3.16)

𝑑𝑏[1] =1

𝑚

∑(𝑑𝑍 [1]

). (3.17)

RNNs (redes neurais recorrentes) são compostas de um nó. Ele é alimentado com dadose, em seguida, gera um resultado novamente, e continua fazendo isso. Avanços como o LSTM(memória de longo prazo) tornam inteligente a lembrança de coisas que aconteceram no passadoe a descoberta de padrões ao longo do tempo para que suas próximas estimativas sejam fieis.

48

Figura 3.4: Modelo de Rede Neural Recorrente.

3.2.3 Redes Neurais Convolucionais (CNN)

As CNNs (redes neurais convolucionais) possuem essencialmente três partes: camadasde convolução, camadas de pool e camadas totalmente conectadas como visto na figura 3.5.Geralmente, utiliza uma matriz 2D (às vezes mais dimensões) e gera um resultado.

A convolução começa no canto superior esquerdo e pega uma pequena janela com umacerta largura e altura e executa uma operação em que, normalmente, a operação é uma multipli-cação de matrizes em que a matriz a ser multiplicada é decidida por um gradiente descendentepara obter os melhores resultados finais. Ele então se move de acordo com um parâmetro depasso e volta a repetir o procedimento, fazendo isso por toda a imagem para que seja geradauma nova imagem.

O pool é semelhante no sentido em que quebra a imagem usando janelas pequenas; noentanto, a operação executada nessa pequena janela geralmente é (média, máxima ou min) paracombinar a pequena janela em um único pixel.

Após um conjunto de convoluções e agrupamentos, a saída final é inserida em uma ca-mada totalmente conectada, que é uma rede neural de avanço convencional para gerar um re-sultado.

Você pode pensar nas camadas de pool e convolução como uma forma de pré-processamento de imagem semelhante ao que foi feito na visão computacional tradicional,exceto que os parâmetros como a matriz em cada camada de convolução são decididos peladescida do gradiente.

49

Figura 3.5: Modelo de Rede Neural Convolucional.

3.2.4 Rede Neural Convolucional Baseada em Região (RCNN)

De acordo com (GIRSHICK ET AL., 2014) o sistema de detecção de objetos consisteem três módulos. O primeiro gera propostas de uma região independente de categoria. Essaspropostas definem o conjunto de detecções de candidatos disponíveis para o nosso detector. Osegundo módulo é uma importante rede neural convolucional que extrai um vetor de recursosde comprimento fixo de cada região. O terceiro módulo é um conjunto de classes específicas.Para as propostas de região, esse método usa pesquisa seletiva para permitir uma comparaçãocontrolada com o trabalho de detecção anterior, ilustrado na figura 3.6.

Figura 3.6: Modelo de RCNN.

3.2.5 Regressão da Caixa Delimitadora (Bounding Box Regression)

A caixa delimitadora b = (𝑏𝑥,𝑏𝑦,𝑏𝑤,𝑏ℎ) contém as quatro coordenadas de um fragmentode imagem 𝑥. A tarefa da regressão da caixa delimitadora é regredir uma caixa delimitadorado candidato b em uma caixa delimitadora de destino g, usando um regressor 𝑓(𝑥,b). Isso éaprendido com uma amostra de treinamento (g𝑖,b𝑖), de modo a minimizar a caixa delimitadora𝐿1 função de perda, 𝐿𝑙𝑜𝑐(𝑓(𝑥𝑖,b𝑖),𝑔𝑖). Para incentivar uma regressão invariável para escala elocalização, 𝐿𝑙𝑜𝑐 opera no vetor de distância ∆ = (𝛿𝑥,𝛿𝑦,𝛿𝑤,𝛿ℎ) definido por

50

𝛿𝑥 = (𝑔𝑥 − 𝑏𝑥)/𝑏𝑤, 𝛿𝑦 = (𝑔𝑦 − 𝑏𝑦)/𝑏ℎ

𝛿𝑤 = log(𝑔𝑤 − 𝑏𝑤), 𝛿ℎ = log(𝑔ℎ − 𝑏ℎ)(3.18)

Como a regressão da caixa delimitadora geralmente realiza pequenos ajustes no 𝑏, os va-lores numéricos de 3.18 podem ser muito pequeno. Portanto, a perda de regressão é geralmentemuito menor que a perda de classificação. Para melhorar a eficácia de aprendizagem multitarefa,∆ normalmente é normalizado por sua média e variação, i.e. 𝛿𝑥 é substituído por

𝛿′

𝑥 =𝛿𝑥 − 𝜇𝑥𝜎𝑥

(3.19)

51

4 Construção do Modelo de Navegação Autônoma

Neste capítulo se inicia a contribuição do presente trabalho propriamente dita, pois serãounidas as técnicas discutidas e desenvolvidas até então de forma a solucionar os problemasexistentes no estado da arte. Primeiramente são criados datasets e redes neurais são treinadas,em seguida a navegação é realizada com atualização dos parâmetros pelas técnicas de Hough eredes neurais.

4.1 Ambiente de Simulação - Ambiente 3-D do V-REP

A implementação de uma rede neural na navegação autônoma baseada em visão monocu-lar pode ser validada mais facilmente usando o V-REP do que o Gazebo, um ambiente como ovisto na figura 4.1 pode ser criado com facilidade com apenas conhecimentos básicos em soft-

ware computer-aided design (CAD). Especialmente visto que o foco da tese está no controle denavegação e não no robô em si. O conceito da utilização de redes neurais e processamento deimagens monocular deve ser validado em uma linguagem "universal"e.g. Python, para que possaser reaproveitado numa futura migração entre ambientes virtuais com o intuito de realização dostestes reais.

Figura 4.1: Simulação de V-REP: UAV e instalação de linhas aéreas de energia.

52

4.2 Modelo do VANT Utilizado

O modelo de VANT utilizado na simulação é uma simplificação do AR.Drone com sis-tema de controle PID simples. O modelo dinâmico de um VANT do modelo AR.Drone é des-crito mediante as leis de Newton e Euler. O momento inercial é calculado assumindo que oquadricóptero pode possuir em seu centro uma esfera de raio 𝑟 e massa 𝑀0 suportando qua-tro outras massas, os motores no caso. Considerando que cada motor tem a massa 𝑚 e estãoanexados ao centro por um eixo de tamanho 𝑙. Este modelo pode ser visto na figura 4.2.

Figura 4.2: Modelo de massa e dimensões de um quadricóptero.

O AR.Drone usa quatro motores conectados às 4 hélices, logo a equação do sistema édescrita abaixo:

(𝐽𝑃 + 𝜂𝑁2𝐽𝑀)𝜔𝑃 =−𝐾𝐸𝐾𝑀

𝑅𝜂𝑁2𝜔𝑃 − 𝑑𝜔2

𝑃 +𝐾𝑀

𝑅𝜂𝑁𝑣 (4.1)

Onde:

∘ 𝐽𝑃 é o momento inercial do rotor em torno do eixo da hélice.

∘ 𝐽𝑀 é o momento inercial em torno do eixo do motor

∘ 𝐾𝐸 , 𝐾𝑀 são constantes, mensuradas em diferentes unidades.

∘ 𝜔𝑃 é a velocidade das hélices.

∘ 𝑅 é a resistência do motor.

∘ 𝑁 pode ser calculado como a razão entre o número de dentes da engrenagem da hélicecom o número de dentes da engrenagem do motor.

53

∘ 𝜂 ou eficiência de conversão é ligada a energia mecânica da 𝑃𝑀 do eixo do motor para oeixo da hélice.

∘ 𝑣 é a voltagem de entrada do motor.

∘ 𝑃𝑀 é a potência do motor.

4.3 O Uso do Algoritmo RNN

O algoritmo 4.1 mostra a configuração do de treinamento e teste das 2 (duas) RNNs.Dois conjuntos de imagens para o treinamento foram criados. O primeiro para classificar asimagens das linhas de energia entre curva e reta e o segundo para classificar a direção das curvasentre direita e esquerda. Os conjuntos de treinamento e teste consistem em imagens sintéticasrotuladas e adquiridas primeiramente por simulação computadorizada V-REP e em um segundomomento em voo real com maquete em escala, controlador por piloto remoto.

No primeiro conjunto rotulado entre retas e curvas, teve-se o cuidado em rotular comoreta as imagens em que o VANT já havia realizado a curva e e já estava em processo de alinha-mento com o novo caminho a ser seguido em linha reta, pois caso contrário, ele sempre estariaidentificando uma curva e nunca completaria o trajeto girando indefinidamente. Já o segundoconjunto foi rotulado entre curvas para a direita e curvas para a esquerda.

Este algoritmo foi utilizado tanto para os testes simulados quanto para os testes reais. Neleprimeiramente lê-se o arquivo de imagens rotuladas na linha 3, na linha 4 são computados ostamanhos das imagens e quantidade, a linha 5 é onde são definidos os parâmetros da rede neural,como taxa de aprendizado, quantidade de camadas, neurônios e quantidade de interações. Taisparâmetros são definidos por análise dos resultados dos treinamentos, tomando o cuidado paraque não ocorra o overfeet que é quando a rede neural está "viciada", este problema pode sercontornado gerando-se sempre novos conjuntos de treinamento (datasets), com imagens distin-tas para cada novo treinamento. Na linha 6 é definido o parâmetro de repetição da propagaçãofontal e retro propagação aplicada na linha 8 e 9, finalmente nas linhas 11, 12 são definidosos parâmetros de probabilidade da rede neural que serão utilizados para identificação das ima-gens nas linhas 14 e 15 de treinamento e testes, o resultado de erro é utilizado para ajustar opróximo conjunto de parâmetros, isto se repete até que todas as interações ocorram e o erro deidentificações seja mínimo.

54

Algoritmo 4.1 Configuração dos conjuntos de treinamento e testes

1: DADOS: Imagens rotuladas para treinamento e testes 𝑋(𝑖)

2: RESULTADO: Orientação das linhas3: read 𝑋4: input (layers_dims)5: parameters = initialize_parameters_deep(layers_dims)6: 𝐿 = 0.5*length(parameters)7: for l in range(1, L) do8: 𝐴 = forward_propagation(𝑋,𝑊, 𝑏, activation="relu")9: 𝑑𝐴, 𝑑𝑊, 𝑑𝑏 = backward_propagation(𝑑𝐴, activation = "relu")

10: end for11: 𝐴 = forward_propagation(𝑋,𝑊, 𝑏, activation = "sigmoid")12: 𝑑𝐴, 𝑑𝑊, 𝑑𝑏 = backward_propagation(𝑑𝐴, activation = "sigmoid")13: parameters = 𝑊, 𝑏14: prediction_training = forward_propagation(X_training, parameters)15: prediction_testing = forward_propagation(X_testing, parameters)

4.4 Metodologia do Processo de Navegação Simulado

A metodologia de navegação visual é representada na figura 4.3. Um ambiente virtual écriado na plataforma de simulação robótica V-REP, incluindo um VANT quadrirrotor e umainstalação de linha de energia. O conjunto de dados da imagem é coletado durante uma navega-ção inicial pelas linhas de energia para treinamento e teste da RNN. Duas RNN são usadas pararastrear a trajetória. A primeira rede identifica identifica se a linha de energia é reta ou curva.A segunda identifica o lado da curva (esquerda ou direita). Após o treinamento, o VANT seguede forma autônoma uma trajetória acima da instalação da linha de força, capturando e anali-sando imagens. As imagens são processadas pela rede neural para obter as atuações desejadasdo VANT. A atitude necessária para que o veículo voe de forma autônoma é obtida da análisede imagem usando a transformada de Hough.

55

Figura 4.3: Metodologia para navegação de visão monocular em instalações aéreas de linhaselétricas.

4.4.1 Captura das Imagens

Os algoritmos de processamento de imagem do presente trabalho são desenvolvidos nalinguagem de programação Python 3.5. O uso de uma API é necessário para a interação dalinguagem com a plataforma de simulação 3D V-REP. Imagens são capturadas a partir de câ-meras do próprio ambiente virtual embarcadas no VANT, assim como as posições são coletadasa partir de GPS simulado do ambiente. A captura das imagens foi feita de maneira a ter umamaior variedade nos ângulos tanto dos segmentos de reta quanto nas curvas, mas sem que todaa rede fosse mapeada para evitar o overfitting, a altura para esta etapa do trabalho foi mantidaconstante em torno de 10 metros do solo.

56

Figura 4.4: Exemplos de imagens capturadas no V-REP e utilizadas no treinamento da redeneural.

4.4.2 Processamento das Imagens

As imagens coletadas para a criação do banco de dados de treinamento e testes da redeneural, foram divididas entre retas, curva para a direita e curva para a esquerda. Para aplicaçãoda transformada de Hough na detecção de linhas, cada imagem é pré-processada para identifi-cação de bordas utilizando a técnica de Canny e só então passa-se a tentar identificar três linhasde transmissão na imagem onde então é feita uma média dos três ângulos de correção de cadalinha necessário para a correção da navegação.

57

4.4.3 Controle do VANT

O controle do VANT é feito a partir de incrementos de posição, com relação ao X,Y,Ze ângulo Yaw. A cada interação um incremento é dado dependendo do tipo de correção que énecessária a navegação. O controle do Drone segue um modelo PID (proporcional, integral ederivativo), onde grandes incrementos de deslocamento faz que o Drone se mova mais rapida-mente aumentando assim o overshot de posição ao passo que pequenos faz o VANT de movermais lentamente diminuindo o overshot.

58

5 Experimentos Realizados

5.1 Experimento Simulado de Navegação

O método de navegação é apresentado no algorítimo 5.1 é o padrão utilizado tanto paratestes simulados quanto para os testes reais, nos testes reais algumas alterações de comunicaçãoforam realizadas, pois para os testes simulados a plataforma V-REP foi utilizada e nos reais foiutilizado o ROS.

Tal padrão tem a seguinte lógica: A linha 3 carrega os parâmetros de treinamento obtidospelo algoritmo 4.1, as dimensões da imagens são obtidas na linha 4, a conexão com o V-REP éfeita na linha 5, nas linhas 7, 8, 9 são adquiridas as imagens, posição e orientação do VAANT nosimulador, nas linhas 10 e 11 são identificas nas imagens as linhas da rede elétrica e parâmetrosde posição delas com técnica de Hough, em seguida na linha 12 é feita a classificação entreretas e curvas pela RNN, da linha 13 em frente é realizado a definição dos parâmetros de cor-reção do VAANT, onde quando a primeira RNN identifica uma reta na imagem, os parâmetrosde correção angular yaw e lateral são os obtidos pela técnica de Hough, já se for identificadouma curva, a segunda RNN identifica se é uma curva para direita ou para esquerda, incremen-tando os parâmetros de correção angular yaw na direção identificada. Nos testes simulados nãoforam aplicadas nenhuma perturbação externa como vento nem variação de luminosidade e osdeslocamentos frontal e altura foram mantidos constantes.

5.2 Resultados dos Experimentos Simulados

As classificações de "linha reta"ou "linhas em curva"foram realizadas com 600 imagenspara treinamento e 200 imagens para testes. Os resultados mostram uma precisão de 84 % notreinamento e 84 % no teste, usando 3000 interações, taxa de aprendizado de 0,008 e duascamadas ocultas. A classificação da orientação da linha em "esquerda"ou "direita"foi realizadacom 150 imagens para treinamento e 50 para teste. Os resultados mostram uma precisão de 100% no treinamento e 99 % nos testes usando 3000 interações, taxa de aprendizado de 0,0075 eduas camadas ocultas. Tais resultados permitiram que a navegação autônoma ocorresse, mesmocom o pouco contraste entre o plano de fundo e os postes e cabos, simular um ambiente complano de fundo de modo a dificultar o treinamento da rede neural foi intencional, para colocara rede neural em uma situação mais próxima das dificuldades encontradas em ambientes reais,onde por exemplo, as linhas de transmissão estejam sobre campos gramados.

59

Agora tem-se um método que utiliza de forma confiável da transforma de Hough paraidentificação de linhas em imagens pré-processadas por seleção através de aplicação de redesneurais, um ambiente desenvolvido para simulações 3-D de VAANT e linhas de transmissão, umconjunto de datasets de imagens simuladas para treinamento e testes das redes neurais (RNN),os parâmetros da rede neural na identificação das linhas de transmissão a partir do dataset, umalgorítimo que tem como saída a posição de correção da navegação, resultados de navegaçãocom e sem aplicação de redes neurais com relação a um Ground Truth vistos nas figuras 5.1 e5.2 onde a trajetória real é mostrada em comparação com a desejada, e o erro de navegação comaplicação de redes neurais visto na figura 5.3 que mostra o erro em metros, é visto que o erronão ultrapassa 1 metro de distância lateral, tais resultados fazem com que em nenhum momentoas linhas de transmissão sejam perdidas pelo VAANT.

60

Algoritmo 5.1 Navegação monocular sobre instalações de linhas de transmissão eléctricas.1: DADOS: Imagem2: RESULTADO: Orientação do VANT3: load parametersLeftRight, parametersCurveNotcurve

4: input layers_dims5: connection V_REP6: while err == 0 do7: image = V_REP_vision_sensor8: position = V_REP_drone_position9: orientation = V_REP_drone_orientation

10: edges = Canny(image)11: lines = Hough_Lines(edges)12: predictedCurveNotcurve = predict_curve(image, parametersCurveNotcurve)13: if lines is not None then14: for n in range(0,numLines) do15: for 𝜌, 𝜃 in lines do16: define line_parameters17: end for18: end for19: end if20: if 𝜃 > 𝜋/2 then21: yaw = 𝜋 − 𝜃

22: else23: yaw = −𝜃24: end if25: if predictedCurveNotcurve is Curve then26: reduce velocity27: predictedLeftRight = predict_curve(image, parametersLeftRight)28: if predictedLeftRight is Right then29: curve Right30: else31: curve Left32: end if33: else34: if yaw < ∆𝜃 then35: correct trajectory gently36: else37: correct trajectory quickly38: end if39: end if40: end while

61

Figura 5.1: Resultado da navegação sem redes neurais.

Figura 5.2: Resultado da navegação com aplicação de redes neurais.

62

Figura 5.3: Erro de navegação com aplicação de redes neurais.

5.3 Experimento Real

Primeiramente foi realizada uma breve simulação em ambiente virtual Gazebo para pré-testes do modelo do VANT a ser utilizado visto que o método de navegação já havia sidoaprovado em simulação em outro software. Novamente imagens foram coletadas em ambientevirtual para criar um banco de imagens a serem utilizadas no treinamento com a rede neuralutilizada no experimento simulado anterior. Em seguida testes foram realizados em ambienteGazebo após o treinamento da rede neural. Finalmente pôde-se com mais segurança e confiançapartir ao experimento real propriamente dito.

5.3.1 Características do Quadricóptero: Parrot BeBop 2

Foi utilizado o quadrirrotor visto na figura 5.4 com 0,5 Kg de massa que captura imagensde alta qualidade com alcance de voo estendido de até 2 quilômetros com Parrot Skycontroller

2, faz vídeos full HD 1080p e fotos de 14 megapixels com a câmera grande angular incorporada.As imagens podem ser capturadas nos formatos 𝑅𝐴𝑊 , 𝐽𝑃𝐸 e 𝐷𝑁𝐺. Bateria de 2700𝑚𝐴ℎde alta capacidade com até 25 min de duração da bateria. Sistema de estabilização digital de 3eixos garante vídeos suaves e estáveis. Tamanho de tela compatível com o Smartphone para osCockpitglasses: 4.7−5.2”/12−13𝑐𝑚. Dimensões de 200𝑥180𝑥110𝑚𝑚. Conectividade de Wi-Fi 802.11𝑎/𝑏/𝑔/𝑛/𝑎𝑐. Faixa de sinal: 300 m. Com GPS e IMU embutido. Utilizar um veículo

63

de modelo diferente do utilizado em simulação se tornou interessante para provar a generalidadedo método, que deve ser aplicável a diferentes plataformas e modelos de VAANTs.

A câmera RGB de 30 fps do próprio VANT foi utilizada nos testes simulados visto queo grupo de pesquisa já dispunha de tal modelo, facilitando assim a sequência dos experimentosreais. Tornou-se interessante também utilizar tal modelo de VANT comercial para que o con-ceito de generalidade do método de navegação pudesse ser validado em lugar de se utilizar umVANT customizado que poderia indicar uma particularidade do método que só funcionaria emum modelo específico

Figura 5.4: Eixo de referências do Quadrirrotor.

5.3.2 Metodologia

Devido as dificuldades legais e perigos de se fazer testes sobre linhas de transmissãoelétricas, um trajeto para os testes reais como visto na figura 5.5 foi elaborado em escala de 1:8a fim de permitir a repetição e ajuste dos parâmetros e assegurar a integridade tanto do VANTquanto das linhas de transmissão elétrica. O percurso possui 9 (nove) postes formando 8 (oito)seções, onde cada seção tem 2 (dois) metros, a altura dos cabos com relação ao solo está emtorno de 1 (um) metro.

64

Figura 5.5: Percurso em escala 1:8 das linhas de transmissão elétricas.

A metodologia utilizada segue o fluxograma 5.6, onde primeiramente cria-se um datasetou mais para treinamento das redes neurais, tentando ao máximo garantir a variedade de posi-ções e iluminação. Para o treinamento das redes neurais, uma das redes a RCNN é responsávelpela identificação dos postes para que a altura “Z“ do VAANT seja estimada assim como a suavelocidade frontal “X“, este procedimento até então não apresentado, foi necessário após ob-servações durante os testes preliminares que mostraram a dificuldade em se manter constante avelocidade frontal “X“ e altura “Z“ do VAANT, devido a influência do vento. As outras duasredes (RNN) são responsáveis por categorizar as imagens, onde a primeira identifica entre retae curva e a segunda identifica se a curva é para a direita ou para a esquerda. Após o treinamentoinicia-se o voo onde o VAANT captura as imagens e as envia ao ROS, a partir dai as redesneurais são acionadas, se for encontrada um poste na imagem tem-se a aquisição das coordena-das X e Z definida pelo tamanho e posição da caixa de identificação da rede neural como vistona figura 5.9. Em paralelo as outras redes estão categorizando entre reta/curva e entre curvadireita/esquerda. Se for identificada uma reta os parâmetros de posição lateral “Y“ e rotação“YAW“ são da transformada de Hough, já se for identificada uma curva a rotação “YAW“ edeslocamento lateral “Y“ são mantidos constantes até que se complete a curva.

65

Figura 5.6: Metodologia para navegação real de visão monocular sobre instalações aéreas delinhas elétricas.

Fluxo ROS

O ROS trabalha com um método de publicações e subscrições de tópicos de mensagem.Para o presente projeto foi utilizada o fluxograma da figura 5.7, onde é iniciado a partir donó de processamento “/bebop/bebop_drive” referente ao drive do robô. Uma de suas fun-ções é enviar as imagens para os nós de processamento do (algoritmos) “hough_image_nav”e “/img_RCNN_pose”. O primeiro nó é responsável por utilizar transformada de Hough

exportando por sua vez os parâmetros das linhas detectadas através dos tópicos de men-sagem “/hough/nav_hough_lines” e imagens de borda ”/hough/image_edge” para os nós“/callRNN_direction” e “/fusion_rnn_hough” respectivamente.

O nó “/callRNN_direction” é responsável pelas duas redes neurais (RNN) que classifi-cam as imagens entre reta/curva e curva direita/esquerda, tal informação é enviada para o nó

66

“/fusion_rnn_hough” usando o tópico de mensagem “/RNN/nav_direction”. Neste mesmonó é feita a organização das correções de navegação ”Y“ e ”YAW“ do drone que logo são en-viadas ao ultimo nó “/atonomous_navigation” responsável por fazer o controle das correçõesconvertendo-as em parâmetros de velocidade que finalmente envia ao VAANT através do tó-pico de mensagem “/bebop/camera_control”. Já o nó “/img_RCNN_pose” é responsável poridentificar os postes e enviar os parâmetros de altura ´´Z´´ e deslocamento frontal ´´X´´ para onó “/atonomous_navigation”. O nó “/bebop/robot_state_publishe” é responsável pela publi-cação dos estados do robô através dos eixos de referência de posição e orientação.

Figura 5.7: Fluxo de publicação e subscrição no ROS.

5.4 Resultados do Experimento Real

Treinamento das Redes Neurais

O treinamento da RNN para classificações de "linha reta"ou "linhas em curva"foram re-alizadas com 6.000 imagens pré-processadas como visto na figura 5.8. As imagens foram re-escaladas para 240x240x3 pixels, convertidas de RGB para escala cinza, com aplicação defiltros de Canny com limites inferior de 550 e superior 600, matriz de dilatação 5x5, matriz deerosão 3x3 e um filtro bilateral de desfoque com kernel 3, sigma no espaço de cores de 75 esigma espaço de coordenadas de 75, para que o problema de background fosse resolvido en-frente a dificuldade dos terrenos reais. Das imagens utilizadas, 4.800 para treinamento e 600imagens para testes e 600 para validação. Os resultados mostram uma precisão de 100 % notreinamento e 100 % no teste, usando 2500 interações, taxa de aprendizado de 0,008 e duascamadas ocultas.

Da mesma forma o treinamento da RNN para classificação da orientação da linha em

67

"esquerda"ou "direita"foi realizada 4.172 imagens, sendo 3.338 imagens para treinamento e419 imagens para testes e 415 para validação. Os resultados mostram uma precisão de 100 %no treinamento e 99 % nos testes usando 2500 interações, taxa de aprendizado de 0,008 e duascamadas ocultas.

Figura 5.8: Imagem não processada / Imagem processada

Já para identificação dos postes o treinamento da RCNN utilizou 590 imagens não pré-processadas, rotuladas (labels) como visto na figura 5.9, foram utilizadas 120 imagens para oteste, 470 para o treinamento e 11.000 iterações, taxa de aprendizado de 0,004 e 6 camadasocultas. O resultado do treinamento foi com taxa de acurácia de 95,76% na identificação dospostes.

Figura 5.9: Imagem Rotulada

Os resultados de treinamento das redes neurais se mostraram satisfatórios e melhores queos obtidos em simulação devido ao maior contrate e variedade nas imagens de treinamento.

68

Após os treinamentos das redes neurais e criação dos nós de processamento no ROS, ostestes de voo foram conduzidos sobre modelo em escala de linhas de transmissão. Importantesalientar que os testes foram realizados ao longo de um período de seis meses o que fez comque o background do terreno mudasse com o crescimento da vegetação e também o modeloem escala reduzida, que foi sofrendo deterioração com mudança de coloração dos postes e doscabos, tornando o modelo consideravelmente diferente do que foi utilizado para o treinamentodas redes neurais. Durante os testes a configuração das redes também foi alterada de diversasmaneiras, porém a configuração utilizada para verificação da robustez do método foi a vistana figura 5.5, pois é a configuração que apresenta maior desafio à navegação devido a maiorquantidade de curvas com ângulos de 90º e proximidade entre as curvas.

Tanto a rede RNN quanto as redes RCNN, tiveram resultados satisfatórios, identificandoe classificando as linhas de transmissão, permitindo a navegação e fazendo com que o VAANTsempre corrija e mantenha sua trajetória sobre as linhas de transmissão mesmo com condiçõesvariadas de luminosidade e ventos. A trajetória do veículo não pode ser aferida com precisãopois os sensores inerciais e GPS embarcados no veículo disponível para os testes, em condiçõesreais, não são confiáveis devido as vibrações causadas pela intensa correção necessária emambientes reais com influências externas, fazendo com que houvesse a dificuldade em se obtero groundtruth, porém analisando as imagens foi visto que o veículo sempre corrige e não perdeas linhas de transmissão em momento algum.

A taxa de transmissão de mensagens entre o VAANT e o computador ficou em torno de25 fps, sendo assim uma taxa boa visto que a câmera é de 30 fps perdendo assim apenas 5 fpspelo delay de processamento e comunicação entre VAANT e o processador e entre os nós noROS.

5.5 Análise dos Resultados

Durante as fases iniciais de desenvolvimento do software de navegação autônoma e apli-cação das técnicas de detecção de Hough e redes neurais, foram observadas vantagens e des-vantagens de cada método isoladamente, e qual seria a melhor maneira de integra-los para umanavegação robusta. Desta forma, primeiramente foi analisada a técnica de Hough, aplicada aimagens de linhas de transmissão coletadas tanto no ambiente V-REP, os resultados de imediatoforam satisfatórios na detecção das linhas, mesmo com um backgroud possuindo também linhasretas, desta forma um algoritmo de navegação baseado apenas na técnica de detecção de linhasde Hough foi aplicado a uma simulação no ambiente V-REP para observação da possibilidade

69

de se utilizar apenas essa técnica isoladamente, visto os resultados satisfatório na detecção daslinhas.

Duas grandes dificuldades foram encontradas em se utilizar apenas Hough para esta na-vegação, a primeira era que a partir do momento em que as imagens coletadas pelo VAANTnão são de linhas de transmissão elétrica o algorítimo continuava a detectar linhas no ambi-ente e seguir uma trajetória, em outras palavras a navegação estava acontecendo de maneiraincorreta. Outra dificuldade encontrada foi durante o momento em que o VAANT encontra-seem uma curva da rede elétrica, pois em certo momento não é possível identificar se a curvaé para a direita ou para a esquerda apenas com as imagens coletadas. Isso acontece devido aproporção entre as linhas encontradas, o que faz com que o angulo de correção seja calculadode maneira incorreta. Nessa situação o VAANT passava a ficar preso em um loop de rotaçãohorária e anti-horária. Já durante os testes reais também obteve-se resultados interessantes comboa detecção das linhas e correção bem precisa dos parâmetros Yaw e Y (Lateral), porém comos mesmo problemas do modelo simulado e ainda mais não garantindo uma boa correção da al-tura Z e velocidade frontal X, devido a limitação de informações obtidas pelas linhas detectadasna imagem.

O segundo passo foi aplicar uma técnica apenas com rede neural, o treinamento da redeneural que foi dividido em identificar se a imagem era de fato a imagem de uma rede de trans-missão elétrica e então identificar se é uma trajetória retilínea ou uma curva para a direita oupara a esquerda. Este método apresentou um bom resultado na identificação das linhas de trans-missão assim como quando o VANT era posto em um lugar sem as linhas de transmissão poisera obrigado a entrar em uma rotina de não navegação, permitindo que outra rotina fosse inici-ada, como por exemplo de busca das linhas de transmissão ou aumentar a altitude. Este métodoapresentou dificuldade de navegação pois pequenas correções devem ser constantemente feitaspara que o VANT navegue centralizado nas linhas de transmissão e fazer isso apenas com redesneurais iria demandar extensivos treinamentos e processamento durante a navegação tornado-seinviável. Nos testes reais foram obtidos os mesmo resultados do modelo simulado, porém nestaetapa as redes neurais além de serem utilizadas para identificarem curva ou reta, também foramutilizadas para determinar a altura Z e garantir o deslocamento constante frontal X do VAANT, apartir da identificação dos postes, visto que o vento é um fator que demanda controle e correçãodestes parâmetros que em ambiente simulado puderam ser definidos como constantes.

Finalmente a integração entre os dois métodos foi realizada para que as vantagens de cadamétodo suprisse a desvantagem do outro. A rede neural no papel de identificação das linhas detransmissão e suas respectivas curvas assim como estimação da altura Z e deslocamento frontal

70

X e a técnica de Hough na identificação dos parâmetros de correção lateral Y e angular YAWde forma a centralizar e garantir uma navegação mais controlada, desta forma o VANT apresen-tou um boa navegação com erro baixo em comparação com a trajetória desejada, identificaçãocorreta das curvas durante a navegação. Durante as navegações simulada e real o erro entre oVAANT e o ground throuth não chegou a ser maior que 1 metro em nenhum dos testes e emmomento algum as imagens das linhas de transmissão foram perdidas.

71

6 Conclusões e Sugestões

O trabalho mostra que uma combinação de redes neurais profundas e a transformada deHough podem ser usadas na tarefa automatizada de navegação sobre linhas de energia, utili-zando apenas visão computacional. Essa combinação é bem-sucedida ao lidar com o problemade seguir linhas retas com mudanças de direção abruptas (ângulo reto), uma questão frequen-temente omitida na literatura especializada. A técnica é viável em um cenário de simulação3-D embutido na plataforma de software V-REP e Gazebo. Testes em um VANT comercial reale cenários foram realizados com sucesso pela equipe de pesquisa robótica do Laboratório deProcessamento de Sinais, na Faculdade de Engenharia Mecânica da Universidade de Campinas(UNICAMP), Brasil.

Como o método está centrado na navegação por processamento de imagens monocular,não fica restrito a uma única plataforma robótica (VANT), pode ser utilizado em outras, comoveículos terrestres autônomos com a câmera voltada para cima se necessário inspeção na parteinferior das linhas de transmissão de energia, assim como em veículos aquáticos autônomos parainspeção de tubulações subaquáticas de gás e petróleo. A maioria das plataformas robóticas temseus modelos dinâmicos consolidados e de fácil aplicação, logo os esforços se concentrariamna criação de novos datasets e treinamento da rede neural seguindo a metodologia aplicadaneste trabalho, como o método se mostrou eficiente, as possibilidades podem ser expandidas eexploradas em diferentes setores como segurança, vigilância, inspeção, entrega de mercadoriasdentre outros.

Os datasets criados para treinamento das redes neurais podem agora serem utilizadospara aplicação de novos conceitos em navegação puramente por visão monocular, para compa-ração com o método exibido neste trabalho e alavancamento do estado da arte os mesmo po-dem ser encontrados pelo no link: https://drive.google.com/drive/folders/1T5i6jXjGxiPSM_e1rUJfrodqWoagXeb0?usp=sharing. Outro fator importanteque pode ser explorado para melhorar a navegação apresentada neste trabalho está em utilizaruma plataforma mais robusta com câmeras de frequências maiores, maior autonomia e compu-tador embarcado e sensores de luminosidade. Desta forma técnicas que exijam maior processa-mento embarcado podem ser utilizadas como fluxo óptico e reconstrução 3D para redundânciano deslocamento, análise e adaptação dos filtros das imagens relacionados a luminosidade, quepode interferir bastante na identificação dos parâmetros de navegação.

https://drive.google.com/drive/folders/1T5i6jXjGxiPSM_e1rUJfrodqWoagXeb0?usp=sharing

https://drive.google.com/drive/folders/1T5i6jXjGxiPSM_e1rUJfrodqWoagXeb0?usp=sharing

72

Referências

ANEEL. (2004, May). ResoluÇÃo normativa nº 63, de 12 de maio de 2004. [Computer softwaremanual].

ANNEL. (2018, June). Entenda a fiscalização dos serviços de transmissão.

Retrieved from https://www.cemig.com.br/pt-br/a_cemig/nossos

_negocios/Paginas/transmissao.aspx (https://www.cemig.com.br/pt-br/a_cemig/nossos_negocios/Paginas/transmissao.aspx (Visited on June 18, 2018))

Austin, R. (2011). Unmanned aircraft systems: Uavs design, development and deployment

(Vol. 54). John Wiley & Sons.

Bastos, V. B., Lima, M. P., e Kurka, P. R. (2017). Virtual 3d environments for image-basednavigation algorithms. World Academy of Science, Engineering and Technology, Internatio-

nal Journal of Computer, Electrical, Automation, Control and Information Engineering, 11(6),656–663.

Berger, G. S., et al. (2020). Método para projetar arquiteturas de sensores para detecção de

obstáculos em veículos aéreos não tripulados dedicados à inspeção de torres de alta tensão

(Unpublished master’s thesis). Universidade Tecnológica Federal do Paraná.

Bian, J., Hui, X., Zhao, X., e Tan, M. (2018). A novel monocular-based navigation approachfor uav autonomous transmission-line inspection. In 2018 ieee/rsj international conference on

intelligent robots and systems (iros) (pp. 1–7).

Blanco, J.-L. (2010). A tutorial on se (3) transformation parameterizations and on-manifoldoptimization. University of Malaga, Tech. Rep, 3.

Blum, T., e Yoshida, K. (2020). Ppmc training algorithm: A robot independent rough terraindeep learning based path planner and motion controller. arXiv preprint arXiv:2003.02655.

https://www.cemig.com.br/pt-br/a_cemig/nossos_negocios/Paginas/transmissao.aspx


73

Cemig. (2015). Transmissão. Retrieved from https://www.cemig.com

.br/pt-br/a_cemig/nossos_negocios/Paginas/transmissao.aspx

(https://www.cemig.com.br/pt-br/a_cemig/nossos_negocios/Paginas/transmissao.aspx (Vi-sited on June 18, 2018))

Chavez, G. M. (2016). Autonomous landing on moving platforms (Unpublished doctoral dis-sertation). King Abdullah University of Science and Technology, Thuwal, Kingdom of SaudiArabia.

Coppelia. (2019). Coppelia. v-rep. Retrieved from http://www.coppeliarobotics

.com/ (http://www.coppeliarobotics.com/ (Visited on January 10, 2019))

Courbariaux, M., Bengio, Y., e David, J.-P. (2015). Binaryconnect: Training deep neuralnetworks with binary weights during propagations. In Advances in neural information pro-

cessing systems (pp. 3123–3131).

Cyberbotics. (2019). Cyberbotics. webots. Retrieved from http://www.cyberbotics

.com/ (http://www.cyberbotics.com/ (Visited on January 10, 2019))

Deng, C., Liu, J.-y., Liu, Y.-b., e Tan, Y.-y. (2016). Real time autonomous transmission line fol-lowing system for quadrotor helicopters. In Smart grid and clean energy technologies (icsgce),

2016 international conference on (pp. 61–64).

de Paivaa, E. C., Azinheirab, J. R., Ramosa, J. J., Moutinhob, A., e Buenoa, S. S. (n.d.). Estra-tégias de controle lateral para um dirigível robótico autônomo.

Fontanari, A. A. L. (2011). Sistema de planejamento e controle de missão de um veículo aéreo

não-tripulado aplicado em redes de sensores sem fio (Tech. Rep.). Universidade Federal do RioGrande do Sul.

Foundation, O. S. R. (2019). Open source robotics foundation. ros. Retrieved from http://

wiki.ros.org/ (http://wiki.ros.org/ (Visited on January 10, 2019))

Gazebo. (2019). Gazebosim. gazebo. Retrieved from http://www.gazebosim.org/



http://www.coppeliarobotics.com/

http://www.coppeliarobotics.com/

http://www.cyberbotics.com/

http://www.cyberbotics.com/

http://wiki.ros.org/

http://wiki.ros.org/

http://www.gazebosim.org/

74

(http://www.gazebosim.org/ (Visited on January 10, 2019))

Girshick, R., Donahue, J., Darrell, T., e Malik, J. (2014). Rich feature hierarchies for accurateobject detection and semantic segmentation. In Proceedings of the ieee conference on computer

vision and pattern recognition (pp. 580–587).

Ivaldi, S., Padois, V., e Nori, F. (2014). Tools for dynamics simulation of robots: a survey basedon user feedback. arXiv preprint arXiv:1402.7050.

James, S., Ma, Z., Arrojo, D. R., e Davison, A. J. (2020). Rlbench: The robot learning bench-mark & learning environment. IEEE Robotics and Automation Letters, 5(2), 3019–3026.

Jonassen, D. (2008). O uso das novas tecnologias na educação a distância e a aprendizagemconstrutivista. Em Aberto, 16(70).

Kaleem, Z., e Rehmani, M. H. (2018). Amateur drone monitoring: State-of-the-art architectu-res, key enabling technologies, and future research directions. IEEE Wireless Communications,25(2), 150–159.

LeCun, Y., Bengio, Y., e Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

Li, Z., Liu, Y., Walker, R., Hayward, R., e Zhang, J. (2010). Towards automatic power linedetection for a uav surveillance system using pulse coupled neural filter and an improved houghtransform. Machine Vision and Applications, 21(5), 677–686.

Manlangit, C. (2012). Automatic power line detection for a uav system (Tech. Rep.). Universityof Canterbury.

MARTINS, V. (2015). Implementação de um sistema de controle para seguimento de linhas de

transmissão utilizando um vant (Unpublished master’s thesis). Universidade Federal do EspíritoSanto.

Matikainen, L., Lehtomäki, M., Ahokas, E., Hyyppä, J., Karjalainen, M., Jaakkola, A., . . . Hei-nonen, T. (2016). Remote sensing methods for power line corridor surveys. ISPRS Journal of

75

Photogrammetry and Remote Sensing, 119, 10–31.

Meier, L., Tanskanen, P., Fraundorfer, F., e Pollefeys, M. (2011, May). Pixhawk: A system forautonomous flight using onboard computer vision. In 2011 ieee international conference on

robotics and automation (p. 2992-2997). doi: 10.1109/ICRA.2011.5980229

Mellinger, D., Shomin, M., e Kumar, V. (2010). Control of quadrotors for robust perching andlanding. In Proceedings of the international powered lift conference (pp. 205–225).

Menéndez, O., Pérez, M., e Auat Cheein, F. (2019). Visual-based positioning of aerial mainte-nance platforms on overhead transmission lines. Applied Sciences, 9(1), 165.

Nguyen, V. N., Jenssen, R., e Roverso, D. (2018). Automatic autonomous vision-based powerline inspection: A review of current status and the potential role of deep learning. International

Journal of Electrical Power & Energy Systems, 99, 107–120.

Nogueira, L. (2014). Comparative analysis between gazebo and v-rep robotic simulators.Seminario Interno de Cognicao Artificial-SICA, 2014, 5.

Powers, C., Mellinger, D., e Kumar, V. (2015). Quadrotor kinematics and dynamics. In Hand-

book of unmanned aerial vehicles (pp. 307–328). Springer.

Páli, E., Máthé, K., Tamás, L., e Busoniu, L. (2014, May). Railway track following with thear.drone using vanishing point detection. In 2014 ieee international conference on automation,

quality and testing, robotics (p. 1-6). doi: 10.1109/AQTR.2014.6857870

Rohmer, E., Singh, S. P., e Freese, M. (2013). V-rep: A versatile and scalable robot simulationframework. In Intelligent robots and systems (iros), 2013 ieee/rsj international conference on

(pp. 1321–1326).

Song, Y., Wang, H., e Zhang, J. (2014). A vision-based broken strand detection method for apower-line maintenance robot. IEEE Transactions on Power Delivery, 29(5), 2154–2161.

Varghese, A., Gubbi, J., Sharma, H., e Balamuralidhar, P. (2017). Power infrastructure moni-

76

toring and damage detection using drone captured images. In Neural networks (ijcnn), 2017

international joint conference on (pp. 1681–1687).

Vieira, H. d. S., et al. (2019). Projeto unificado de controladores não lineares para um dirigívelrobótico de propulsão elétrica.

Yue, L., Yuechen, Y., Xiaobin, S., Jianxiang, L., e Huadong, Z. (2019). Transmission line com-ponent inspection method based on deep learning under visual navigation. In Iop conference

series: Earth and environmental science (Vol. 332, p. 042041).

Zhang, J., Liu, L., Wang, B., Chen, X., Wang, Q., e Zheng, T. (2012). High speed automaticpower line detection and tracking for a uav-based inspection. In Industrial control and electro-

nics engineering (icicee), 2012 international conference on (pp. 266–269).

Zhou, G., Yuan, J., Yen, I.-L., e Bastani, F. (2016). Robust real-time uav based power linedetection and tracking. In Image processing (icip), 2016 ieee international conference on (pp.744–748).

Zilch, T. S. (2015). Veículo aéreo não tripulado para monitoramento de linhas de alta tensão

guiado pelo campo magnético (B.S. thesis). Universidade Tecnológica Federal do Paraná.

Navegação autônoma por visão monocular sobre linhas de...

Documents

Transcript of Navegação autônoma por visão monocular sobre linhas de...