manual%20de%20auditoria

8/7/2019 manual%20de%20auditoria

1/116

TRIBUNAL DE CONTAS DA UNIOSecretaria-Geral de Controle Externo

Coordenadoria de Fiscalizao e Controle

MANUAL DE AUDITORIADE NATUREZAOPERACIONAL

2000


2/116

2

Manual de Auditoria de Natureza Operacional

Tribunal de Contas da Unio

Internet: http://www.tcu.gov.brSAFS Lt. 01CEP: 70.042-900 - Braslia (DF)

Secretria-Geral de Controle Externo:Rosngela Paniago Curado Fleury

Coordenador de Fiscalizao e Controle:Jos Moacir Cardoso da Costa

Diretor da 2 Diviso Tcnica:Paulo Roberto Pinheiro Dias Pereira

Analistas de Finanas e Controle Externo - rea de ControleExterno:

Carlos Alexandre Amorim RochaCarmen Pereira Rgo MeirelesGlria Maria Merola da Costa Bastos

Colaboradores Projeto de Cooperao TCU/Reino Unido:Jos Carlos Lobo Menezes

Luiz AkutsuLuiz Geraldo Santos Wolmer

657.63 Brasil. Tribunal de Contas da Unio.

B823M Manual de Auditoria de NaturezaOperacional - Braslia : TCU, Coordenadoriade Fiscalizao e Controle, 2000.

114 p.

1. TCU - Manual de auditoria de naturezaoperacional (2000) I. Ttulo.

Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.


3/116

3


PORTARIA N 144 , DE 10 DE JULHO DE 2000.

Aprova o Manual de Auditoria de NaturezaOperacional do Tribunal de Contas da Unio.

O PRESIDENTE DO TRIBUNAL DE CONTAS DAUNIO, no uso de suas atribuies legais e regimentais e tendo emvista o disposto no artigo 35 da Instruo Normativa n 09, de 16 defevereiro de 1995, resolve:

Art. 1 Fica aprovado o Manual de Auditoria deNatureza Operacional do Tribunal de Contas da Unio, contendo osprocedimentos operacionais e as estratgias metodolgicas a seremutilizadas na realizao de auditorias de desempenho operacionale avaliaes de programa.

Art. 2 Fica revogada a Portaria n 222, de 28 de abrilde 1998.

Art. 3 Esta Portaria entra em vigor na data de suapublicao.

IRAM SARAIVAPresidente


4/116


5/116

5


APRESENTAO

A Auditoria de Natureza Operacional a modalidade decontrole que mais se desenvolveu nas ltimas dcadas e teve umimportante papel na modernizao das instituies pblicas empases como a Gr-Bretanha, os Estados Unidos e o Canad.

O Tribunal de Contas da Unio, sempre atento aosavanos tcnicos na rea de controle, vem promovendo ao longodos ltimos anos um profcuo intercmbio com entidades dereconhecida competncia no campo das auditorias de naturezaoperacional. Assim que, em fevereiro de 1995, em parceria com aFundao Getlio Vargas, a Universidade americana VirginiaPolytechnique Institute e a National Academy of Public Administrationdos Estados Unidos, implantou-se o Projeto de Capacitao emAvaliao de Programas Pblicos, inaugurando uma nova dimensona atuao desta Corte, voltada para o desenvolvimento dosmtodos necessrios avaliao da efetividade de programas eprojetos governamentais.

A primeira verso do Manual de Auditoria de NaturezaOperacional, anteriormente denominado Manual de Auditoria deDesempenho, aprovado pela Portaria n 222, de 28 de abril de 1998,

foi resultado desse esforo, procurando integrar e consolidar osprincipais mtodos empregados em avaliao de programa com osconhecimentos e prticas regularmente adotados pelo TCU nostrabalhos de auditoria de desempenho operacional.

Dando continuidade s iniciativas nesse campo, em 1998teve incio o Projeto de Cooperao Tcnica entre o TCU e o ReinoUnido, com o apoio do Departamento Britnico para oDesenvolvimento Internacional DFID e a participao da empresaKPMG, contratada pelo DFID para prestar consultoria ao TCU naimplementao do Projeto.

Alm das atividades de treinamento, o Projeto tem entreseus objetivos o aperfeioamento de mtodos e tcnicas na reade Auditoria de Natureza Operacional, envolvendo a produo dedocumentos tcnicos de auditoria e a reviso do Manual de Auditoriade Natureza Operacional.


6/116

6


Nesse sentido, a verso revisada do Manual resultadodas atividades desenvolvidas no mbito do referido Projeto de

Cooperao Tcnica e procurou incorporar os novos conhecimentosadquiridos pelas equipes de auditoria que participam do Projeto.

O TCU pretende com essa iniciativa contribuirefetivamente para a melhoria do desempenho das instituiesgovernamentais e da aplicao de recursos pblicos.

IRAM SARAIVAPresidente


7/116

7


SUMRIO Pgina

1 DEFINIES E CONCEITOS 15

1.1 Auditoria de desempenho operacional 16

1.2 Avaliao de Programa 17

1.3 Alcance da auditoria de desempenho operacionale da avaliao de programa 19

2 ETAPAS DA AUDITORIA DE NATUREZAOPERACIONAL 21

2.1 Levantamento de Auditoria 21

2.1.1 Planejamento do Levantamento de Auditoria 222.1.2 Anlise Preliminar do Objeto da Auditoria 23

2.1.3 Coleta de Dados sobre Desempenho 25

2.1.4 Especificao dos Critrios de Auditoria 26

2.1.5 Preparao do Relatrio de Levantamento de Auditoria 29

2.2 Execuo 30

2.2.1 Desenvolvimento dos Trabalhos de Campo 31

2.2.2 Teste-Piloto 33

2.2.3 Relatrio 34

3 FERRAMENTAS UTILIZADAS NA ANLISE

PRELIMINAR DO OBJETO DA AUDITORIA 35

3.1 Modelo de Marco Lgico 35

3.2 Modelo de Insumo-Produto 38

3.3 Modelo de Condies Ambientes 40

4 COMPONENTES DO RELATRIO DELEVANTAMENTO DE AUDITORIA 41

4.1 Sumrio 41

4.2 Resumo 414.3 Introduo 42

4.4 Atividades realizadas na fase de levantamentode auditoria 43

4.5 Projeto de Auditoria 43


8/116

8


4.6 Comentrios do gestor 44

4.7 Concluso 44

4.8 Proposta de Encaminhamento 45

5 MATRIZ DE PLANEJAMENTO 46

5.1 Questes de Auditoria 46

5.2 Informaes Requeridas 52

5.3 Fontes de Informao 54

5.4 Estratgias Metodolgicas 55

5.4.1 Estudo de Caso 58

5.4.2 Pesquisa 625.4.3 Delineamento Experimental 65

5.4.4 Delineamentos Quase-Experimentais 68

5.4.5 Delineamentos No-Experimentais 71

5.5 Mtodos de Coleta de Dados 73

5.6 Mtodos de Anlise de Dados 78

5.7 Limitaes 82

5.8 O Que a Anlise Vai Permitir Dizer 83

6 COMPONENTES DO RELATRIO DE AUDITORIA 84

6.1 Sumrio 84

6.2 Resumo 84

6.3 Introduo 85

6.4 Captulos sobre os Temas Principais 86

6.5 Comentrios do Gestor 87

6.6 Concluso 88

6.7 Proposta de Encaminhamento 88

6.8 Apndices 89

ANEXO I: ORIENTAO GERAL PARA A ANLISEPRELIMINAR DO OBJETO DA AUDITORIA 91

1. ORIGEM E ANTECEDENTES 92


9/116

9


1.1. Base Legal 921.2. Antecedentes Institucionais 93

2. PLANEJAMENTO 93

2.1. Diretrizes 93

2.2. Prioridades, Objetivos e Metas 94

2.3. Acompanhamento 95

3. POPULAO-ALVO 95

4. AMBIENTE DE ATUAO 96

4.1. Contexto Poltico-Social 96

4.2. Caractersticas Scio-Econmicas 97

5. CARACTERSTICAS OPERACIONAIS 97

5.1. Recursos Humanos 97

5.2. Recursos Financeiros 98

5.3. Recursos Fsicos 98

5.4. Funcionamento 99

6. DESEMPENHO DOS GESTORES 99

7. LIMITAES 100

ANEXO II: ESTRUTURA DO MARCO LGICO 103

ANEXO III: MODELO DE MATRIZ DE PLANEJAMENTO

DE AUDITORIA 105

7 GLOSSRIO 107


10/116

10


8 BIBLIOGRAFIA 112

LISTA DE FIGURAS E QUADROS Pgina

Figura 1 Dimenses da Auditoria de Natureza Operacional: 15

Figura 2 Hierarquia de questes e subquestes: 50

Quadro 1: Exemplo de Critrio Aplicvel s Auditorias deSistemas Internos de Avaliao de Desempenho Institucional 28

Quadro 2: Exemplo do Modelo de Marco Lgico para umprojeto hipottico de perfurao de poos com guapotvel em uma zona rural 37

Quadro 3: Exemplo do Modelo de Insumo-Produto para umprojeto hipottico de financiamento de atividades decapacitao profissional 39

Quadro 4: Exemplo do Modelo de Condies Ambientes paraum projeto hipottico de financiamento de atividades decapacitao profissional 40

Quadro 5: O Problema e as Questes de Auditoria do Projetode Auditoria da 3 SECEX sobre o Programa de Levanta-mento da Plataforma Continental Brasileira - LEPLAC 52

Quadro 6: Principais Critrios de Seleo Empregados emEstudo de Caso 61

Quadro 7: Diagrama do Delineamento Experimental comPr e Ps-Testes 66

Quadro 8: Diagrama do Delineamento Experimental comPs-Teste 67

Quadro 9: Diagrama do Delineamento GruposNo-Equivalentes com Pr e Ps-Testes 69

Quadro 10: Diagrama do Delineamento Sries Temporais comGrupo de Controle 70

Quadro 11: Diagrama do Delineamento Sries Temporais semGrupo de Controle 70

Quadro 12: Diagrama do Delineamento Antes-e-Depois 72


11/116

11


Quadro 13: Sinopse das Estratgias Metodolgicas 77

LISTA DE SIGLAS

ANAO ...................................Australian National Audit Office

BID .......................................Banco Interamericano deDesenvolvimento

EFS ......................................Entidade de Fiscalizao Superior

GAO .....................................United States General AccountingOffice

INCOSAI .............................. International Congress of SupremeAudit Institutions

INTOSAI ............................... International Organization of SupremeAudit Institutions

NAO .....................................National Audit Office

OAG .....................................Office of the Auditor-General ofCanada

SECEX ................................. Secretaria de Controle Externo(Unidade Tcnica do TCU)

TCU ......................................Tribunal de Contas da Unio


12/116


13/116

13


INTRODUO

O Manual de Auditoria de Natureza Operacional, na suasegunda edio, procurou incorporar os conhecimentos e as novastcnicas assimiladas nos trabalhos de auditoria a partir de 1998,com a implementao do Projeto de Cooperao Tcnica TCU -Reino Unido. Alm disso, todo o texto foi revisto e aperfeioado emfuno da experincia acumulada pelas equipes de auditoria nosltimos anos, em especial com a realizao de auditorias-piloto nombito do referido Projeto. A nova formatao adotada, com a criaode quatro novos captulos, buscou facilitar a localizao dos temasaqui tratados.

O presente Manual est dividido em seis captulos. Oprimeiro dedicado distino conceitual entre auditoria dedesempenho operacional e avaliao de programa, modalidadesde Auditoria de Natureza Operacional.

O segundo captulo trata das etapas do desenvolvimentodos trabalhos de Auditoria de Natureza Operacional, compreendendoas atividades de planejamento, aqui denominadas de levantamentode auditoria, objeto de um captulo a parte, e a etapa de execuodos trabalhos, compreendendo os procedimentos analticos

necessrios adequada caracterizao dos achados de auditoria,a necessidade de realizao de teste-piloto e a estrutura a seradotada nos relatrios de Auditoria de Natureza Operacional, cujocontedo tratado em separado no captulo seis.

O levantamento de auditoria mereceu um tratamentoabrangente e detalhado neste manual. No captulo trs soapresentados alguns mtodos utilizados na anlise preliminar doobjeto da auditoria, como o modelo de marco lgico, amplamentedifundido pelas agncias internacionais de desenvolvimento ematuao no Brasil, como o BID e o Banco Mundial. Em seguida, nocaptulo quatro, os itens que compem o relatrio de levantamentode auditoria so abordados detalhadamente.

A matriz de planejamento, parte central do relatrio delevantamento de auditoria a ser submetido apreciao do Relator,


14/116

14


tratada em captulo especfico na nova verso desse Manual. Aoabordarmos a elaborao da matriz de planejamento, instrumento

de apoio metodolgico desenvolvido pelo GAO, fazemos referncia,de forma sucinta, s principais estratgias metodolgicasempregadas em trabalhos de Auditoria de Natureza Operacional eaos elementos-chave que devem constar do projeto de auditoria.

Na elaborao deste manual foram consideradas no apenas asmelhores experincias internacionais sobre o tema, como tambmas contribuies de profissionais desta Corte. Contudo, o manualno suficiente para dotar as equipes de auditoria de todos osconhecimentos necessrios realizao dos trabalhos de Auditoriade Natureza Operacional, sendo recomendvel, para a sua plenautilizao, que os membros dessas equipes cumpram programa detreinamento especfico, bem como utilizem o material de apoiodisponvel sobre os mtodos aqui preconizados.


15/116

15


1 DEFINIES E CONCEITOS

A Auditoria de Natureza Operacional consiste naavaliao sistemtica dos programas, projetos, atividades e sistemasgovernamentais, assim como dos rgos e entidades jurisdicionadasao Tribunal.

A Auditoria de Natureza Operacional abrange duasmodalidades: a auditoria de desempenho operacional e aavaliao de programa.

O objetivo da auditoria de desempenho operacional

examinar a ao governamental quanto aos aspectos daeconomicidade, eficincia e eficcia, enquanto a avaliao deprograma busca examinar a efetividade dos programas e projetosgovernamentais.

Figura 1 Dimenses da Auditoria de Natureza Operacional:

Impacto

Misso

Objetivos gerais

Objetos especficos

Funes

Avaliao de programaefetividade

Auditoria de desem-penho operacional

economicidadeeficinciaeficcia Atividades


16/116

16


1.1 AUDITORIA DE DESEMPENHO OPERACIONAL

A auditoria de desempenho operacional est voltada parao exame da ao governamental quanto aos aspectos daeconomicidade, eficincia e eficcia e tem como foco principal osseguintes aspectos:

como os rgos e entidades pblicas adquirem,protegem e utilizam seus recursos;as causas de prticas antieconmicas e ineficientes;o cumprimento das metas previstas;a obedincia aos dispositivos legais aplicveis aos

aspectos da economicidade, eficincia e eficcia dagesto.

Portanto, o foco da auditoria de desempenho operacional o processo de gesto nos seus mltiplos aspectos deplanejamento, de organizao, de procedimentos operacionais e deacompanhamento gerencial, inclusive quanto aos seus resultadosem termos de metas alcanadas.

Ao se proceder a uma auditoria de desempenhooperacional, podemos utilizar trs abordagens, de acordo com o

problema e as questes que se pretende examinar: anlise daestratgia organizacional, anlise da gesto e anlise dosprocedimentos operacionais.

A primeira abordagem anlise da estratgiaorganizacional envolve, basicamente, os seguintes aspectos:

o cumprimento da misso definida em lei;a adequao dos objetivos estratgicos s priorida-des de Governo;a identificao dos principais produtos, indicadoresde desempenho e metas organizacionais;a identificao dos pontos fortes e fracos daorganizao, e das oportunidades e ameaas aodesenvolvimento organizacional;a existncia de superposio e duplicao de funes.


17/116

17


A segunda abordagem, denominada anlise da gesto,abrange as seguintes questes:

a adequao da estrutura organizacional aos objetivosdo rgo ou entidade;a existncia de sistemas de controle adequados,destinados a monitorar, com base em indicadores dedesempenho vlidos e confiveis, aspectos ligados economicidade, eficincia e eficcia;o uso adequado dos recursos humanos, instalaes eequipamentos voltados para a produo e prestaode bens e servios na proporo, qualidade e prazosrequeridos;a extenso do cumprimento das metas previstas pelaadministrao ou legislao pertinente.

A terceira abordagem anlise dos procedimentosoperacionais est voltada para o exame dos processos de trabalhoe pode envolver a anlise dos seguintes fatores:

a existncia de rotinas e procedimentos de trabalhodocumentados e atualizados;o cumprimento das prticas recomendadas pela

legislao para aquisio de bens e servios;a adequao das aquisies no que se refere aosprazos, quantidade, ao tipo, qualidade e aos preos;a guarda e manuteno dos bens mveis e imveis.

1.2 AVALIAO DE PROGRAMA

O objetivo da avaliao de programa examinar aefetividade dos programas e projetos governamentais.

Enquanto a auditoria de desempenho operacional verifica,alm da eficincia operativa, o grau de cumprimento das metas,comparando metas previstas com metas realizadas, a avaliao deprograma busca apurar em que medida as aes implementadaslograram produzir os efeitos pretendidos pela administrao.


18/116

18


Segundo o Grupo de Trabalho sobre Avaliao dePrograma da International Organization of Supreme Audit Institutions

INTOSAI, uma avaliao de programa distingue-se de umaauditoria de desempenho operacional porque permite responder aquestes no abordadas por essa ltima (INTOSAI, 1995, p. 2). Aavaliao de programa , via de regra, mais ambiciosa em relao anlise dos objetivos e dos resultados da intervenogovernamental. Essa modalidade de Auditoria de NaturezaOperacional utiliza estratgias metodolgicas raramenteempregadas em auditoria de desempenho operacional, tais como,pesquisa, delineamento experimental e delineamentos quase-experimentais.

Um exemplo permite esclarecer o exposto. Uma auditoriade desempenho operacional em um programa de nutrio infantilprocurar verificar o alcance das metas propostas, sugerindo,eventualmente, o aumento da eficincia do programa mediante umaseleo mais adequada dos beneficirios e uma melhoria dossistemas de aquisio, distribuio e oferta de alimentos. Mas nadadir sobre se essas correes diminuiro a desnutrio. Por outrolado, a avaliao de programa procurar estabelecer em que medidao programa consegue melhorar a situao nutricional da populao-alvo se houve mudanas, a magnitude das mesmas e que

segmentos da populao-alvo foram afetados.

Entre os aspectos a serem examinados, mediante umaavaliao de programa, destacam-se:

a sua concepo lgica;a adequao e a relevncia de seus objetivos,declarados ou no, e a consistncia entre esses e asnecessidades previamente identificadas;a consistncia entre as aes desenvolvidas e osobjetivos estabelecidos;

as conseqncias globais para a sociedade;os efeitos no includos explicitamente nos seusobjetivos;a relao de causalidade entre efeitos observados epoltica proposta;


19/116

19


os fatores inibidores do seu desempenho;a qualidade dos efeitos alcanados;

a existncia de outras alternativas de ao,consideradas ou no pela administrao, e osrespectivos custos envolvidos (anlise de custo-efetividade);o cumprimento de dispositivos legais aplicveis suanatureza, aos seus objetivos e populao-alvo.

No entanto, uma avaliao de programa pode no tratar,necessariamente, de todos os aspectos acima mencionados. Anfase em um ou outro desses aspectos depender das questesespecficas que se pretende abordar, desde que o rigor metodolgicoesteja sempre presente.

1.3 ALCANCE DA AUDITORIA DE DESEMPENHOOPERACIONAL E DA AVALIAO DE PROGRAMA

A auditoria de desempenho operacional focaliza oprocesso de gesto, enquanto a avaliao de programa prioriza osefeitos produzidos pela interveno governamental. No primeirocaso, investiga-se o funcionamento dos programas e projetos e ocumprimento de metas quantificveis, como, por exemplo, o nmerode escolas construdas, de vacinas aplicadas, de servidores treinadosou de estradas recuperadas em relao ao previsto nos planos degoverno ou na legislao especfica. No segundo, deve-se agregar anlise dimenses que permitam equipe pronunciar-se, porexemplo, sobre a reduo da evaso escolar, a erradicao dedoenas contagiosas, a qualidade dos servios prestados pelaadministrao ou a reduo dos ndices de acidentes no trnsito.

importante fazer a distino entre essas duas

abordagens, uma vez que o cumprimento de uma meta fsica ou adisponibilidade de um servio pode ser uma condio necessria,mas no suficiente para que determinado problema seja efetivamenteresolvido ou para que determinada necessidade seja atendida.Muitas vezes, o efeito esperado pode no ocorrer ou serinsignificante.


20/116

20


Alm do mais, uma interveno governamental especficapode provocar efeitos inesperados, tanto negativos, quanto positivos.

Nas duas situaes, ao proceder a uma avaliao de programa,deve-se buscar identificar as relaes de causa e efeitosubjacentes aos fenmenos observados, procurando identificaros efeitos atribuveis exclusivamente ao programa ou projeto. Trata-se, portanto, de verificar, valendo-se de uma estratgia metodolgicaapropriada, em que medida os efeitos observados, intencionais ouno, foram causados por essa interveno especfica.

Embora a auditoria de desempenho operacional e aavaliao de programa possam ser realizadas de maneiraindependente, as informaes produzidas em cada uma delasproporcionam uma anlise completa da atuao governamental,tanto em relao aos aspectos operacionais, quanto em relao aoimpacto das aes implementadas1. Nesse sentido, as duasabordagens da Auditoria de Natureza Operacional podem serentendidas como complementares.

1 No contexto deste manual, o impacto da ao governamental deve ser entendidocomo o resultado lquido produzido por um programa ou projeto, ou seja, asmodificaes verificadas no objeto da ao governamental que podem seratribudas nica e exclusivamente ao programa ou projeto sob exame.


21/116

21


2 ETAPAS DA AUDITORIA DE NATUREZA OPERACIONAL

Para a realizao de auditorias de natureza operacional,devem ser observadas as seguintes etapas:

Levantamento de Auditoria;Execuo.

2.1LEVANTAMENTO DE AUDITORIA

As auditorias de natureza operacional devem serprecedidas de um levantamento de auditoria em seu objeto

(programa, projeto, atividade, sistema, rgo ou entidade).O levantamento de auditoria visa determinar se um

trabalho proposto exeqvel e relevante. Caso esses requisitossejam atendidos, o levantamento dever proporcionar uma visointegrada do objeto que ser auditado, fornecendo elementossuficientes para que a equipe encarregada opte, no final dolevantamento, por uma das modalidades de Auditoria de NaturezaOperacional: a auditoria de desempenho operacional ou a avaliaode programa. Ademais, baseada nessa viso, a equipe delimitaros objetivos e a extenso da auditoria, bem como a estratgia

metodolgica a ser utilizada.2

O levantamento de auditoria deve conter as seguintesetapas:

Planejamento do Levantamento de Auditoria;Anlise Preliminar do Objeto da Auditoria;Coleta de Dados sobre Desempenho;Especificao dos Critrios de Auditoria;Preparao do Relatrio de Levantamento de Audi-

toria.

2 Neste manual, os termos auditoria e Auditoria de Natureza Operacional serotratados como equivalentes.


22/116

22


2.1.1 Planejamento do Levantamento de Auditoria

No incio do trabalho, a equipe deve elaborar um planode levantamento de auditoria, composto pelos elementos a seguirdiscriminados:

tamanho da equipe, perodo do levantamento e custoestimado;programao de visitas;estratgia de coleta e anlise de dados;pauta de temas que sero debatidos com os gestoresdo objeto da auditoria;

data para a apresentao do relatrio de levantamentode auditoria;cronograma de atividades com indicao deresponsveis.

Convm frisar que o xito do levantamento depende, emboa medida, da cuidadosa organizao dos contatos com os gestoresdo objeto da auditoria. O estabelecimento de boas relaes comesses gestores de suma importncia. O contato inicial deve serpor telefone, seguido de uma comunicao escrita, especificando anatureza do trabalho que ser realizado.

Na elaborao do plano de levantamento de auditoria, aequipe deve observar, no que couber, as disposies constantesnas demais sees do presente captulo, as quais tratam daelaborao do projeto de auditoria de desempenho operacional/avaliao de programa e do desenvolvimento e documentao dostrabalhos de campo.

Compete ao coordenador da equipe assegurar que otrabalho seja planejado corretamente e que os demais membros daequipe e os gestores do objeto da auditoria estejam suficientemente

informados acerca do propsito do levantamento.Durante os trabalhos de levantamento, importante que

o coordenador da equipe avalie os prazos estimados inicialmente.Se houver necessidade de readequao desses prazos, ocoordenador da equipe deve submeter um novo cronograma de


23/116

23


atividades ao seu superior hierrquico, tendo em vista as informaesobtidas at aquele ponto do levantamento. Recomenda-se que essa

proposta seja feita logo que a necessidade for identificada, paraque providncias sejam encaminhadas em tempo hbil. Uma vezacertados, os novos prazos devem ser estritamente observados pelaequipe.

2.1.2 Anlise Preliminar do Objeto da Auditoria

A anlise preliminar do objeto da auditoria visacompreender como esse objeto est estruturado, permitindo que aequipe identifique questes que meream ser examinadas mais

detalhadamente. Com esse intuito, a equipe deve buscar, acercado objeto, informaes como3:

os objetivos (gerais ou parciais, dependendo daextenso do trabalho);as aes desenvolvidas, as metas fixadas, os clientesatendidos, os procedimentos e recursos empregados,os bens e servios ofertados e os benefciosproporcionados;as linhas de subordinao e de assessoramentoprevistas e sua relao com as atividades

desenvolvidas;as partes interessadas (reais ou em potencial) e ascaractersticas do ambiente externo (dinmico ouesttico; previsvel ou imprevisvel);as restries enfrentadas (imposies legais elimitaes impostas pela concorrncia, pela tecnologia,pela escassez de recursos ou pela necessidade decooperar com outras entidades).

3 O Anexo I (Orientao Geral para a Anlise Preliminar do Objeto da Auditoria)contm uma relao mais extensa, ainda que no exaustiva, das informaesque devem ser coletadas acerca do objeto da auditoria.


24/116

24


Essas informaes podem advir das fontes discriminadasabaixo, entre outras:

legislao pertinente;pronunciamentos feitos e decises tomadas pelasautoridades competentes;misso declarada, planos estratgicos e relatrios degesto;organogramas, diretrizes internas e manuaisoperacionais;sistemas de informaes gerenciais;entrevistas com os gestores e especialistas;relatrios de auditoria do TCU, relatrios de auditoriainterna e de avaliao de desempenho institucional;

Compete ao coordenador da equipe se assegurar de queos demais membros da equipe tenham investigado, documentado ecompreendido os aspectos centrais do programa, projeto, atividade,sistema, rgo ou entidade auditada.

Os dados coletados podem ser organizados em modelosexplicativos para facilitar a sntese e a compreenso do objeto daauditoria. Nesse manual sugerimos alguns modelos analticos que

podem ser empregados:

Modelo de Marco Lgico;Modelo de Insumo-Produto;Modelo de Condies Ambientes;

Esses modelos so tratados no captulo 3. O Modelo deMarco Lgico de grande poder explicativo, mas a sua aplicaointegral pressupe a existncia de um completo sistema deinformaes gerenciais. Os Modelos de Insumo-Produto e deCondies Ambientes, empregados em conjunto, podem

proporcionar uma viso mais abrangente do objeto da auditoria.

Outros mtodos de anlise mencionados no item 5.6,como a anlise SWOT, anlise RECI e o mapa de produto, podemser usados tanto na fase de levantamento quanto na execuo da


25/116

25


auditoria, dependendo da disponibilidade de tempo e do escopo daauditoria.

2.1.3 Coleta de Dados sobre Desempenho

Os dados sobre desempenho so fundamentais para aavaliao dos aspectos da economicidade, eficincia, eficcia eefetividade do objeto da auditoria. Embora ocupem uma posiocentral no levantamento de auditoria, informaes sobredesempenho nem sempre esto disponveis e o seudesenvolvimento pela gerncia enfrenta vrios problemas:

a dificuldade de desenvolver indicadores dedesempenho a partir de objetivos definidos de formaimprecisa;o efeito de fatores externos sobre o desempenho deprogramas, dificultando a identificao dos resultadosdiretamente atribuveis s aes e polticasespecficas;a dificuldade de mensurar produtos essencialmenteno homogneos e de incorporar a dimensoqualitativa nos indicadores de desempenho;a necessidade freqente de mltiplos indicadores parase obter um quadro da eficincia e da efetividade deum programa; e,a subjetividade quase sempre presente nosindicadores qualitativos.

Em funo das dificuldades apontadas, ao examinarinformaes sobre desempenho, a equipe deve apurar o seguinte:

Os procedimentos de coleta de dados sobredesempenho so suficientes e adequados?

Os indicadores de desempenho usados so vlidos,completos e justificveis luz da relao custo-benefcio?Os indicadores de desempenho so parte integrantedo processo de tomada de decises?


26/116

26


O documento tcnico Indicadores de Desempenho eMapa de Produto traz informaes detalhadas sobre o emprego

dessas tcnicas no mbito dos trabalhos de Auditoria de NaturezaOperacional.

As questes acima relacionadas devem servir como basepara a delimitao da extenso da auditoria, a qual ater-se- squestes com maior probabilidade de proporcionar conclusessignificativas, respeitado o oramento preestabelecido.

Compete ao coordenador da equipe, por sua vez, zelarpara que os objetivos da auditoria sejam fixados luz dos dadosdisponveis sobre desempenho.

A equipe deve empregar o tempo e o esforo estritamentenecessrios para concluir se um trabalho proposto deve ou no serexecutado. Em geral, isso exige a realizao de todas as etapas dolevantamento de auditoria. Contudo, possvel que a equipe jpossua os elementos exigidos para que seja definida a exeqibilidadee a relevncia de uma auditoria, bem como os seus objetivos, a suaextenso e a estratgia metodolgica a ser empregada. Nesse caso,a equipe pode dispensar a presente etapa e partir para aespecificao dos critrios de auditoria e a preparao do relatrio

de levantamento de auditoria.

2.1.4 Especificao dos Critrios de Auditoria

Os critrios de auditoria so essenciais para todo tipo deauditoria, exceto para as que tratam de questes descritivas4. Essescritrios podem ser conceituados como os ...padres utilizados paradeterminar se uma dada condio satisfaz ou supera o esperado.(GAO, 1994b, p. 67)

Os critrios de auditoria so fixados no decorrer dolevantamento, ao final do qual devem estar suficientemente precisos

4 Sobre tipos de questes de auditoria, ver item 5.1 deste Manual.


27/116

27


e detalhados, para que possam desempenhar, em relao auditoriaque ser executada, os papis descritos abaixo:

definio de um arcabouo conceitual bsico,facilitando a comunicao entre os membros da equipe,bem como entre essa e, de um lado, os demaisintegrantes do TCU e, de outro, os gestores do objetoda auditoria;delimitao do escopo da auditoria, tornando palpveisos seus objetivos;orientao da coleta de dados, indicando como obterevidncias significativas;fixao de parmetros balizadores das concluses erecomendaes da auditoria.


28/116

28


O quadro a seguir exibido ilustra a relao que deve haverentre os critrios de auditoria e os indicadores que lhes do

substncia. Naturalmente, os indicadores devem poder ser medidosobjetivamente.

Quadro 1: Exemplo de Critrio Aplicvel s Auditorias de SistemasInternos de Avaliao de Desempenho Institucional

Critrio: As avaliaes internas de desempenho institucionaldevem ser parte integrante do processo de tomada de decises.

1 ndice: As avaliaes de desempenho institucional devem ter umformato til para os tomadores de decises. Medidas:

o nvel de confiana dos dados sobre desempenho deveser explicitado;os dados sobre desempenho devem ser analisados esintetizados tendo em vista as necessidades dos usuriosfinais;os dados sobre desempenho devem ter um formato quefacilite a identificao de mudanas em tendncias, assimcomo em fatores internos e externos.

2 ndice: A consistncia e a periodicidade dos relatrios de avaliaode desempenho institucional devem atender s necessidades dostomadores de decises. Medidas:

os usurios finais devem receber cpias dos relatrios

em tempo hbil para a tomada de decises;os planos de ao resultantes das decises tomadasdevem ser elaborados tempestivamente;os relatrios de avaliao de desempenho devem estardisponveis sempre que as autoridades competentes sereunirem para tomar decises acerca do objeto daauditoria.

3 ndice: Cada unidade do objeto da auditoria deve, no que couber,manter as demais unidades informadas acerca do seu desempenho.Medidas:

resumos das decises tomadas e das aesprogramadas devem ser incorporados ao plano

estratgico geral do objeto da auditoria;os dados sobre desempenho devem, no que couber, serincorporados aos planos de ao;os dados sobre desempenho devem estar disponveisaos sistemas de controle interno e externo.

Fonte: ANAO, 1992, p. 77-8.


29/116

29


Os critrios de auditoria variam conforme os objetivos dotrabalho proposto. Os relatrios de auditorias de desempenho j

realizadas, no pas ou no exterior, podem fornecer indicaesvaliosas sobre quais critrios podem ser usados em dada situao.

Outras fontes podem ser encontradas na legislaopertinente, nas normas internas do objeto da auditoria, nasinformaes prestadas pelos gestores e no desempenho observadono passado ou em situaes similares. Ademais, como esses critriosbalizaro as concluses da auditoria, os gestores devem serconsultados acerca da sua pertinncia.5

Compete ao coordenador da equipe zelar para que sejamfixados critrios apropriados para as diversas dimenses do objetoda auditoria.

2.1.5 Preparao do Relatrio de Levantamento de Auditoria

No final do levantamento de auditoria, a equipe devepreparar um relatrio, que ser submetido aprovao do Relator.O relatrio deve sintetizar os dados coletados e as conclusesalcanadas, indicando o tipo de trabalho de auditoria que se pretenderealizar. Se a equipe entender que o trabalho inicialmente propostono exeqvel 6, dever justificar a sua opinio e apresentarproposta de encaminhamento, com as sugestes que se aplicaremao caso.

6 Pode ocorrer, por exemplo, que a auditoria inicialmente proposta fosse umaavaliao de programa. Entretanto, durante o levantamento, constatou-se que oescasso tempo de maturao do programa inviabilizaria um trabalho dessanatureza. A inexistncia de dados confiveis, tambm pode frustrar a tentativa deavaliar um programa. Em ambos os casos, o mais apropriado seria a realizaode uma auditoria operacional.

5 Ainda sobre os contatos com os gestores do objeto da auditoria, oportunodestacar que esses contatos devero ser regulares, permitindo, entre outras coisas,conferir a exatido de dados obtidos a partir de outras fontes e apurar a opiniodos gestores acerca das evidncias levantadas.


30/116

30


Na hiptese de ser recomendvel a execuo da auditoria,a equipe deve propor um projeto de auditoria de desempenho

operacional ou de avaliao de programa, conforme a modalidadede Auditoria de Natureza Operacional mais adequada ao objeto dotrabalho, como indicado na prxima seo.

Compete ao Coordenador da equipe assegurar que orelatrio de levantamento de auditoria contenha todas as informaesnecessrias correta e oportuna deliberao por parte dasautoridades responsveis.

Formalmente, os relatrios de levantamento de auditoriadevem obedecer estrutura indicada abaixo:

sumrio;resumo;introduo;atividades realizadas na fase de levantamento deauditoria;projeto de auditoria, quando couber;comentrios do gestor;concluso;proposta de encaminhamento;

apndices.

No captulo 4, so detalhados os componentes doRelatrio de Levantamento de Auditoria.

2.2 EXECUO

A etapa seguinte da Auditoria de Natureza Operacionalenvolve o desenvolvimento dos trabalhos de campo, baseados noprojeto de auditoria de desempenho operacional/avaliao de

programa e a elaborao do relatrio final.

Para garantir o bom andamento dos trabalhos de campo,assim como a qualidade do relatrio final, fundamental que a equipede auditoria tenha pleno conhecimento das suas responsabilidadese dos objetivos do trabalho. Nesse sentido, o papel do coordenador


31/116

31


da equipe fundamental na distribuio de tarefas e noacompanhamento dos trabalhos. Portanto, cabe ao coordenador

manter com a equipe reunies peridicas, nas quais so discutidosos problemas surgidos durante os trabalhos de campo e asadaptaes suprimveis necessrias na Matriz de Planejamento.

importante lembrar que, ao contrrio de um projeto deauditoria de conformidade, que segue um padro razoavelmenteestvel e consistente, o projeto de auditoria de desempenhooperacional/avaliao de programa especfico para cada auditoria,podendo ser revisto e adaptado medida que se desenvolvem ostrabalhos de campo.

Nesse sentido, a Matriz de Planejamento de Auditoriadeve ser considerada um instrumento dinmico, que permite equipevisualizar o encadeamento lgico do trabalho, podendo sermodificada de maneira a assegurar que os objetivos da auditoriasejam alcanados e que as evidncias apropriadas sejam obtidas.

Durante os trabalhos de campo, importante que ocoordenador da equipe avalie os prazos estimados inicialmente. Sehouver necessidade de redimension-los, em funo de mudanasna estratgia proposta, o coordenador da equipe deve submeter, ao

seu superior hierrquico, um novo cronograma de atividades.Recomenda-se que essa proposta seja feita logo que a necessidadefor identificada, para que as providncias sejam encaminhadas emtempo hbil. Uma vez acertados, os novos prazos devem serestritamente observados pela equipe.

2.2.1 Desenvolvimento dos Trabalhos de Campo

A identificao dos achados de auditoria e dos efeitoscorrespondentes tem incio, muitas vezes, j na fase deplanejamento, na seleo das questes que sero investigadas. Asevidncias identificadas no levantamento de auditoria (achados empotencial) so, ento, examinadas mais detalhadamente duranteos trabalhos de campo.

Nas avaliaes de programa, a anlise deve concentrar-se na busca de evidncias acerca dos efeitos provocados pela


32/116

32


implantao do programa examinado. Nesse sentido, conforme oesquema lgico proposto no item 5.4, a situao constatada aps a

implantao do programa (condio) deve ser comparada com oimpacto esperado (critrio).

Outro aspecto fundamental na anlise de questes deimpacto refere-se busca de evidncias plausveis que, aoeliminarem interpretaes alternativas, assegurem que os efeitosobservados foram efetivamente provocados pelo programa (causa).

Nas auditorias de desempenho operacional, asevidncias coletadas so comparadas com os critrios de auditoria,previamente selecionados e identificados pela equipe. As diferenasobservadas constituem os achados de auditoria.

Uma vez caracterizado o achado de auditoria, deve-seproceder verificao dos efeitos e identificao das causas dodesempenho observado. Em geral, esses procedimentos s soconcludos no final do trabalho de campo. Entretanto, em funo dacomplexidade do tema e de evidncias supervenientes, a anlisepode estender-se at a fase do relatrio, quando ento a equipedeve chegar a uma deciso final sobre os achados apurados.

O efeito associado a um achado de auditoria, sempreque possvel, deve ser mensurado. No caso de, por exemplo,processos antieconmicos, aquisies mal planejadas ou

equipamentos improdutivos, os efeitos podem ser estimados emvalores monetrios. J os efeitos decorrentes de procedimentosineficientes, recursos ociosos ou gerenciamento deficiente podemser dimensionados em termos de descumprimento de prazos e dedesperdcio de recursos fsicos. Por outro lado, os efeitos qualitativostambm devem ser mencionados, como ausncia de controle,decises inadequadas ou descompromisso com a qualidade do bemou servio oferecido. O efeito deve demonstrar a necessidade deao corretiva e pode ter ocorrido no passado, estar ocorrendo nomomento da auditoria ou vir a ocorrer no futuro.

A causa de um achado de auditoria a base para asrecomendaes. Caso haja mltiplas causas para um mesmoachado, a equipe deve identificar aquela que, se modificada, podeprevenir situaes similares. Deve-se considerar, ainda, apossibilidade de a causa identificada estar fora do controle doauditado, fazendo com que o foco das recomendaes transcendao objeto da auditoria.


33/116

33


As recomendaes que visem melhoria do desempenhoadministrativo ou operacional so o aspecto mais importante das

auditorias de natureza operacional. Conquanto os aperfeioamentosrequeridos, e no os meios para alcan-los, constituam o foco dasrecomendaes, convm indicar os aspectos que devem serexaminados pelo gestor na busca de solues. Portanto, no suficiente declarar que a gesto de determinado programa requeraperfeioamentos, devendo-se indicar alternativas a seremconsideradas.

Ao formular recomendaes, a equipe deve estimar aeconomia lquida de recursos decorrente da sua implementao,especificando, dessa maneira, o valor agregado e os benefciosadvindos da Auditoria de Natureza Operacional. Essa estimativareforar a necessidade de mudana nos procedimentosadministrativos ou operacionais. As dificuldades de quantificar osbenefcios potenciais variam segundo o tipo de benefcio. Entretanto,em muitos casos, os impactos financeiros podem ser estimados comrazovel segurana.

2.2.2 Teste-Piloto

Muitas vezes, a complexidade e a falta de informaesprecisas a respeito do objeto da auditoria podem comprometer oresultado de uma Auditoria de Natureza Operacional. Nesse caso,a equipe deve considerar a convenincia de realizar um teste-pilotoque permita checar a estratgia metodolgica proposta, as premissasiniciais acerca do funcionamento do objeto auditado e a qualidade econfiabilidade dos dados.

Para obter um quadro representativo, a equipe deveescolher, para a realizao do piloto, um local ou aspecto do objetoda auditoria que apresente dificuldades potenciais conduo dostrabalhos, permitindo que a equipe antecipe os problemas que

podero ser enfrentados. Alm disso, os dados coletados permitiroajustar o tamanho da amostra e certificar que a estratgiametodolgica selecionada oferecer uma resposta conclusiva questo de auditoria.


34/116

34


Portanto, a realizao do teste-piloto no s se justificacomo altamente recomendvel no caso de auditorias de grande

complexidade e custos elevados, pois reduz as incertezas e aumentaas chances de que o trabalho desenvolvido alcance o nvel dequalidade desejado com o menor custo possvel.

2.2.3 Relatrio

O relatrio de Auditoria de Natureza Operacional oproduto final do trabalho da equipe. Aps anlise pelas instnciasadministrativas competentes deve ser apreciado pelo Relator.Portanto, fundamental que a equipe dispense sua preparao o

cuidado e o empenho necessrios para que o resultado final atinjao padro de qualidade tcnica desejado. Nesse sentido, recomenda-se iniciar cada tpico ou pargrafo do relatrio com a idia principal,para a seguir desenvolv-la de forma lgica e coerente, evitando-seo uso excessivo de adjetivaes e de oraes intercaladas, bemcomo de jarges ou termos tcnicos que dificultem a compreensodo texto. Quando o uso de termos tcnicos for imprescindvel, elesdevem ser explicados.

O relatrio de Auditoria de Natureza Operacional deveter a seguinte estrutura:

sumrio;resumo;introduo;captulos sobre os Temas Principais;comentrios do Gestor;concluso;proposta de encaminhamento;apndices.

No captulo 6, so detalhados os componentes doRelatrio de Auditoria.


35/116

35


3 FERRAMENTAS UTILIZADAS NA ANLISE PRELIMINARDO OBJETO DA AUDITORIA

3.1 MODELO DE MARCO LGICO

Esse modelo analtico foi criado pelo BancoInteramericano de Desenvolvimento BID para orientar aformulao, execuo, acompanhamento e avaliao de programasou projetos governamentais submetidos a sua apreciao. Trata-sede um instrumento de planejamento obrigatoriamente adotado portodas as organizaes pblicas que postulam financiamento junto

quele Banco. O Modelo de Marco Lgico, que segundo o BIDoferece inmeras vantagens sobre outros enfoques menosestruturados (BID, 1997, p. 66-77), tambm vem sendo utilizadopela Agncia Brasileira de Cooperao, rgo do Ministrio dasRelaes Exteriores, na anlise de projetos submetidos a suaapreciao.

Por ser um modelo com grande potencial analtico, o seudesenvolvimento pela equipe de auditoria no decorrer da etapa delevantamento, propiciar uma viso abrangente do programa ou

projeto sob estudo.O Modelo de Marco Lgico visa retratar como esto

logicamente estruturadas as atividades desenvolvidas por programasou projetos governamentais. Para isso, definida a sua hierarquiade responsabilidades, discriminando-se os objetivos de cada nvelhierrquico e sua relao com os objetivos do nvel imediatamentesuperior. O Modelo de Marco Lgico facilita a avaliao dedesempenho, respondendo questes como:

os objetivos fixados guardam uma ntida relao coma finalidade ltima do objeto da auditoria, bem comodefinem precisamente os bens e servios que seroofertados e a clientela que ser beneficiada?

os objetivos de cada nvel hierrquico mantm relaesde causalidade plausveis?


36/116

36


o impacto (ou benefcios) almejado claro emensurvel?

Para obter respostas objetivas s questes relacionadasacima, o Modelo de Marco Lgico trata os programas ou projetoscomo conjuntos estruturados de processos organizacionais quedevem atingir tanto objetivos finais, quanto objetivos intermedirios.Esses objetivos podem ser estruturados como indicado a seguir:

atividades: tarefas que devem ser executadas para agerao de bens e servios;

produtos: bens e servios ofertados (metas fixadas);

objetivos: resultados diretos associados gerao debens e servios;

finalidades: benefcios almejados (impacto da aogovernamental).

Essa estrutura representa uma hierarquia de objetivos,disposta em ordem crescente. A realizao dos objetivos de cadanvel uma condio necessria ao atingimento do nvelsubseqente. Dispondo-se a hierarquia em ordem decrescente,obtm-se algo semelhante ao mostrado no prximo quadro.


37/116

37


Quadro 2: Exemplo do Modelo de Marco Lgico para um projetohipottico de perfurao de poos com gua potvel em

uma zona rural

Finalidade: Reduo da incidncia de enfermidades causadaspelo consumo de gua no-potvel.

Objetivo: Adoo de prticas higinicas pela populao beneficiada.

Produtos:extenso do acesso gua potvel a 60% da populao local.melhor capacitao dos servidores da rea de sade.

Atividades:1 componente:selecionar locais para a perfurao de poos;mobilizar os trabalhadores do local;perfurar os poos selecionados.

2 componente:preparar um programa de capacitao na rea de sade;recrutar servidores da rea de sade;ministrar o programa de capacitao para os servidores

recrutados.

Fonte: BID, 199-, p. 16.

Alm de hierarquizar os processos organizacionais, osModelos de Marco Lgico devem:

definir indicadores prticos, objetivos, mensurveis eindependentes para cada nvel, que devem serexpressos em termos quantitativos, qualitativos etemporais;indicar as fontes que contm dados sobre osindicadores (meios de verificao);

identificar os fatores exgenos (pressupostos) quepodem afetar o objeto da auditoria em cada nvel,avaliando os riscos existentes e formulando aesalternativas.


38/116

38


A estrutura do Marco Lgico (vide Anexo II) correspondea uma matriz de quatro por quatro, onde as linhas apresentam

informaes acerca dos objetivos, indicadores, meios de verificaoe pressupostos em quatro momentos diferentes da vida de um projetoou programa governamental.

Caso opte pela presente abordagem, a equipeencarregada do levantamento de auditoria deve apurar se oselementos tratados nos pargrafos anteriores foram contempladosna etapa de planejamento das aes desenvolvidas pelo objeto daauditoria. O modo como essas aes esto logicamente estruturadaspode ser obtido a partir dos relatrios internos de auditoria e deavaliao de desempenho institucional. Contudo, como essesdocumentos podem estar incompletos ou defasados, importanteque seja obtida a opinio dos gestores acerca da verso da matrizde marco lgico desenvolvida pela equipe.

Caso a equipe de auditoria constate a existncia de umamatriz de marco lgico j elaborada para o projeto ou programa, oque deveria acontecer em relao maioria daqueles atualmentefinanciados pelo BID, as informaes constantes devem serchecadas e atualizadas pela equipe de auditoria com a colaboraodos gestores responsveis.

Colhidos os dados necessrios, a equipe dever emitir juzo sobre a consistncia do sistema de planejamento existente.Convm notar que, quanto maior for essa consistncia, melhoressero as chances de xito das auditorias voltadas para a avaliaoda efetividade das aes governamentais (avaliaes de programa).Na falta de informaes gerenciais precisas, as equipes devem optarpela verificao dos aspectos ligados economicidade, eficinciae eficcia das aes h pouco citadas (auditorias de desempenhooperacional).

3.2 MODELO DE INSUMO-PRODUTO

Esse modelo procura exprimir como o objeto da auditoriadesenvolve as suas atividades, identificando:

as informaes e os recursos humanos, fsicos e


39/116

39


financeiros exigidos (insumos);os processos de transformao dos insumos em

produtos;os bens e servios ofertados (produtos);os benefcios proporcionados (impacto);os possveis indicadores de desempenho;a demanda existente para os produtos gerados;os benefcios desejados (escala de preferncias).

A verso mais simples do presente modelo ilustradapelo quadro abaixo, o qual dispe os quatro primeiros elementosindicados acima.

Quadro 3: Exemplo do Modelo de Insumo-Produto para um projetohipottico de financiamento de atividades de capacitaoprofissional

INSUMOS PROCESSOS PRODUTOS BENEFCIOS

Fonte: ANAO, 1992, p. 58.

O Modelo de Insumo-Produto facilita os trabalhos deanlise acerca dos aspectos da economicidade, eficincia, eficciae, tambm, da efetividade do objeto da auditoria. Ademais, aidentificao dos principais processos permite que a equipe apure ocontrole que os gestores tm sobre esses processos.

solicitaes definanciamento;

recursos usadosna apreciao dassolicitaes.

promoo doprograma;

avaliao dasaplicaes;

distribuio defundos;

monitoramentodo desempenho.

quantidade deatividadesfinanciadas;

quantidade depessoastreinadas.

Quantidade depessoastreinadas queobtiveramemprego ou

treinamentoadicional aoqual no teriamacesso de outraforma.


40/116

40


3.3 MODELO DE CONDIES AMBIENTES

Esse modelo identifica os fatores internos e externos(clientes, fornecedores, competidores, sindicatos, associaesprofissionais, autoridades diversas, etc.) que influenciam asatividades desenvolvidas pelo objeto da auditoria. O modelo deveexibir as interaes e inter-relaes existentes entre os vrios gruposde interessados, indicando se so ou no estveis, complexas ouconcorrentes.

O diagrama simplificado abaixo ilustra o modelo,identificando as partes envolvidas na consecuo de um programa

hipottico. Contudo, convm frisar que a equipe deve, alm deidentificar as partes envolvidas, qualificar as relaes existentes entreelas, como indicado no pargrafo anterior.

Quadro 4: Exemplo do Modelo de Condies Ambientes para umprojeto hipottico de financiamento de atividades decapacitao profissional

Fonte: ANAO, 1992, p. 59.

Empregadores

rgosCorrelatos

rgo Financiador

CapacitaoProficional

Treinandos

Promotores deTreinamentos


41/116

41


4 COMPONENTES DO RELATRIO DE LEVANTAMENTO DEAUDITORIA

4.1 SUMRIO

Sumrio a enumerao das principais divises, sees,e outras partes de um documento, na mesma ordem que a matrianele se sucede (NB 85 da ABNT).

Toda a ateno deve ser dispensada elaborao dosumrio do relatrio, o qual deve oferecer ao leitor uma viso geral

do contedo do relatrio, facilitando a localizao de assuntos doseu interesse ao indicar as pginas correspondentes. Nesse sentido,sempre que se julgar adequado, deve-se adotar a subdiviso decada item ou captulo em subitens especficos.

Cabe mencionar, ainda, que os apndices contendoglossrios, tabelas, grficos, ilustraes e demais documentos ouinformaes necessrias formulao da proposta de trabalho e sconcluses do relatrio de levantamento, tambm devem estarreferenciados no sumrio.

4.2 RESUMO

O resumo uma breve descrio dos elementos-chavedo relatrio, quais sejam: objetivo e escopo do trabalho de auditoriaproposto, o problema e as principais questes a serem abordadas,a metodologia a ser empregada e os resultados que se pretendealcanar, em termos de benefcios esperados.

A finalidade do resumo dar ao leitor uma viso concisada proposta de trabalho a ser submetida apreciao do Relator.Trata-se, conseqentemente, de um texto com as caractersticasde um resumo executivo.


42/116

42


4.3 INTRODUO

Na Introduo, a equipe deve discorrer sobre osantecedentes e as caractersticas do trabalho, assim como sobreas caractersticas do objeto da auditoria, quais sejam:

antecedentes e caractersticas do trabalho:

deciso que determinou a realizao da auditoria;

motivos da deciso (significncia dos valoresgeridos, impacto das aes empreendidas ou deoutros fatores ligados ao desempenho do objeto daauditoria);

deficincias e falhas referentes ao desempenhoconstantes de contas prestadas ou de fiscalizaesrealizadas no passado prximo;

equipe de auditoria (relao de seus membros e dasunidades nas quais esto lotados) e perodo derealizao;

extenso e estratgia do levantamento e perodoexaminado;

caractersticas do objeto da auditoria:

identificao do objeto da auditoria (denominao,natureza jurdica, endereo, cdigo do SIAFI,quando couber, e rol de responsveis);

legislao pertinente e diretrizes governamentaisaplicveis;

misso, objetivos estratgicos, estrutura, principaisatividades e ambiente no qual est inserido;

principais produtos e indicadores de desempenhoexistentes;

processo de tomada de decises e sistemas decontrole;

recursos humanos, fsicos e financeiros utilizados.


43/116

43


4.4 ATIVIDADES REALIZADAS NA FASE DE LEVANTAMENTODE AUDITORIA

Nessa seo a equipe deve descrever as atividades decoleta de dados realizadas, os rgos e instituies visitadas, aspessoas entrevistadas e os especialistas contatados, quando houver.

Tambm ser necessrio descrever os mtodosempregados na anlise das informaes coletadas. Nesse manualsugerimos trs modelos analticos: o marco lgico, o modelo deinsumo-produto e o modelo de condies ambientes (itens 3.1, 3.2e 3.3, respectivamente).

Se, em face de deficincias apuradas ao longo dolevantamento, a equipe concluir que a auditoria inicialmente propostano deve ser realizada, dever justificar a sua opinio e apresentarproposta de encaminhamento, com as sugestes que se aplicaremao caso.

Na hiptese de ser recomendada a realizao de Auditoriade Natureza Operacional, a equipe dever propor um projeto deauditoria de desempenho operacional ou de avaliao deprograma, que integrar o relatrio de levantamento.

4.5 PROJETO DE AUDITORIA

Inicialmente, o projeto de auditoria deve conter a descriodo escopo do trabalho de auditoria e os motivos que levaram a equipea sugerir um determinado tema e enfoque.

Em seguida, devem ser detalhados o problema deauditoria e as questes que sero investigadas, os mtodos quesero empregados na coleta e anlise dos dados, assim como osmeios necessrios para implement-los. Portanto, da mesma forma

como se procedeu na etapa de levantamento, devem constar doprojeto de auditoria as seguintes informaes:

tamanho da equipe, prazo de execuo da auditoria ecusto estimado;


44/116

44


programao de visitas;estratgia de coleta e anlise de dados;

data para a apresentao do relatrio de auditoria;cronograma de atividades com indicao deresponsveis.

importante mencionar os possveis critrios de auditoriaque orientaro os trabalhos de campo e as anlises posteriores.Nesse sentido, questes como a confiabilidade do sistema decontrole, a solidez do sistema de informaes gerenciais (existnciade indicadores de desempenho) e a consistncia das linhas desubordinao hierrquica, tambm devem ser consideradas.

Para facilitar a elaborao conceitual do trabalho e asdecises sobre a estratgia metodolgica a ser empregada, a equipedeve utilizar a Matriz de Planejamento de Auditoria (vide AnexoIII). Essa matriz dispe, linearmente, todos os elementos-chave doplanejamento de um trabalho de auditoria. Esses elementos serotratados separadamente, no captulo 5, procurando-se contextualiz-los em relao auditoria de desempenho operacional e avaliaode programa.

4.6 COMENTRIOS DO GESTOR

A fim de permitir que os gestores possam agregarcomentrios que julguem pertinentes sobre os problemasidentificados pela equipe e sobre a proposta de trabalho apresentada, recomendvel que a equipe lhes encaminhe um resumo dosprincipais problemas identificados durante o levantamento e asquestes que sero investigadas. Os comentrios, que podem serverbais ou por escrito, devem ser analisados e registrados pelaequipe nessa seo do relatrio de levantamento.

4.7 CONCLUSO

Nessa seo a equipe deve registrar as reas ou temasque, a partir do trabalho de auditoria, seriam objeto derecomendaes especficas. Trata-se, portanto, de apresentar um


45/116

45


resumo dos possveis resultados a serem alcanados com o trabalhode auditoria proposto.

importante, tambm, apresentar os benefciosesperados em termos de economia de recursos e aperfeioamentoda atuao do objeto da auditoria, a partir da implementao dasrecomendaes. Sempre que for possvel, deve-se quantificar taisbenefcios.

4.8 PROPOSTA DE ENCAMINHAMENTO

A Proposta de Encaminhamento conter a

recomendao acerca da execuo do trabalho de auditoria ou,ainda, quando a equipe assim entender, outras recomendaes quemeream ser levadas ao conhecimento do Relator. Dessa forma, oprprio relatrio de levantamento de auditoria pode suscitardeterminaes por parte deste Tribunal.


46/116

46


5 MATRIZ DE PLANEJAMENTO

Trata-se de uma esquematizao das informaesrelevantes do planejamento de uma auditoria. O propsito da matrizde planejamento auxiliar na elaborao conceitual do trabalho ena orientao da equipe na fase de execuo. uma ferramenta deauditoria que torna o planejamento mais sistemtico e dirigido,facilitando a comunicao de decises sobre metodologia entre aequipe e os superiores hierrquicos e auxiliando na conduo dostrabalhos de campo.

A matriz de planejamento um instrumento flexvel e o

seu contedo pode ser atualizado ou modificado pela equipe, medida que o trabalho de auditoria progride.

Os seguintes elementos compem a Matriz dePlanejamento de Auditoria:

questes de auditoria;informaes requeridas;fontes de informao;estratgias metodolgicas;mtodos de coleta de dados;

mtodos de anlise de dados;limitaes;o que a anlise vai permitir dizer.

Embora os itens da matriz de planejamento sejamapresentados seqencialmente, a definio das questes deauditoria e a escolha das estratgias metodolgicas apropriadasacontecem simultaneamente, confrontando-se cada questo comas possveis estratgias metodolgicas (vide item 5.4)

5.1 QUESTES DE AUDITORIA

A questo de auditoria o elemento central nadeterminao do direcionamento dos trabalhos de auditoria, dasmetodologias e tcnicas a serem adotadas e dos resultados que sepretende atingir.


47/116

47


Ao formular as questes e, quando necessrio, assubquestes de auditoria, a equipe est, ao mesmo tempo,

estabelecendo com clareza o foco de sua investigao e os limitese dimenses que devero ser observados durante a execuo dostrabalhos.

Nesse sentido, a adequada formulao das questes deauditoria fundamental para o sucesso da auditoria de desempenhooperacional ou da avaliao de programa, uma vez que terimplicaes nas decises quanto aos tipos de dados que serocoletados, forma de coleta que ser empregada, s anlises quesero efetuadas e s concluses que sero obtidas.

Na elaborao das questes de auditoria deve-se levarem conta os seguintes aspectos:

clareza e especificidade;uso de termos que possam ser definidos emensurados;viabilidade investigativa (possibilidade de serrespondida);articulao e coerncia (o conjunto das questeselaboradas deve ser capaz de esclarecer o problema

de auditoria previamente identificado).

O tipo de questo a ser formulada ter uma relao diretacom a natureza da resposta e o tipo de informao que constar dorelatrio. Nesse sentido, o GAO classifica as questes de auditoriaem trs tipos7:

7 O NAO considera ainda um 4 tipo de questo, as exploratrias, destinadas a

explicar eventos especficos, os desvios em relao ao desempenho padro e asrazes de ocorrncia de um determinado resultado. So perguntas do tipo Porque e como tal coisa aconteceu ? Neste manual considerou-se que as perguntasexploratrias esto associadas perguntas do tipo descritivo ou normativo, jque em ambos os casos o auditor deve investigar as causas do fenmeno descritoou do desempenho observado, valendo-se dos mtodos investigativosapropriados.


48/116

48


a) Questes descritivas:

So questes do tipo Quem? Onde? Quando? Oqu?. So formuladas de maneira a fornecer informaes relevantessobre o objeto da auditoria e, em grande parte, devem serrespondidas durante a fase de levantamento de auditoria. Exemplode questo descritiva: Como funciona o programa?.

b) Questes normativas:

So aquelas que tratam de comparaes entre odesempenho atual e aquele estabelecido em norma, padro ou meta,tanto de carter qualitativo quanto quantitativo. Abordam o quedeveria ser e usualmente so perguntas do tipo: O programa temalcanado as metas previstas?.

A abordagem metodolgica empregada nesses casos a comparao com critrios previamente identificados e as tcnicasde mensurao de desempenho.

c) Questes avaliativas (ou de impacto, ou de causa-e-efeito):

Geralmente as questes avaliativas referem-se efetividade de um programa e vo alm das questes descritivase normativas As metas foram atingidas? Quantas pessoasforam atendidas pelo programa? para enfocar o que teria ocorridocaso o programa ou a atividade no tivesse sido executada. Emoutras palavras, uma questo avaliativa quer saber que diferena,caso tenha havido alguma, fez a interveno governamental paraa soluo do problema identificado. O escopo da pergunta abrangetambm os efeitos no esperados, positivos ou negativos,provocados pelo programa. Exemplo de questo de causa-e-efeitoou de impacto: Os efeitos observados podem ser atribudos ao

programa?


49/116

49


As questes avaliativas, como veremos, quase semprerequerem estratgias metodolgicas bastante complexas,

envolvendo modelos experimentais com grupos de controle, anlisesestatsticas sofisticadas de causa e efeito (regresso) e modelagem(simulao). Esse tipo de estudo pode trazer resultados reveladores,mas, em funo do tipo de pesquisa envolvida, so caros e dedemorada implementao.

A formulao da questo de auditoria um processointerativo, o qual depende, fundamentalmente, das informaesobtidas na fase de levantamento e daquilo que se quer saber.

Embora no exista um mtodo fcil para se chegar squestes de auditoria, o NAO sugere uma abordagem estruturadapara a formulao da questo de auditoria, baseada no mtodocartesiano de soluo de problemas (NAO, 1997, p. 11-5):

1 passo - Descreva o problema;

Com base nas informaes propiciadas pelolevantamento de auditoria, assim como nos critrios definidos e nascondies observadas pela equipe8, deve-se especificar o problemaque ser enfocado pela auditoria.

Uma vez que na maior parte dos casos as solicitaesde auditoria so formuladas de maneira genrica ou muitoabrangente, o trabalho da equipe consistir em definir o escopo eexpressar, de forma clara e objetiva, o problema que nortear todoo esforo de concepo e execuo da auditoria, usando para issoas informaes obtidas na fase de levantamento.

2 passo - Explore as questes;

O problema deve ser subdividido em partes que no se

sobreponham. Cada parte, por sua vez, poder ser subdivida emsubquestes.

8 Sobre a especificao dos critrios de auditoria ver item 2.1.4. deste Manual.


50/116

50


3 passo - Estabelea hipteses;

A equipe deve fazer um brainstorm para identificarpossveis hipteses de soluo dos problemas identificados. A seguir,deve-se estabelecer uma hierarquia de hipteses/questes esubquestes relacionadas a cada um deles, como na figura abaixo:

Figura 2 Hierarquia de questes e subquestes:

4 passo - Teste suas hipteses;

Identifique as hipteses/questes de difcil resposta econsidere como as dificuldades podem ser contornadas. Confronteas questes com os recursos disponveis para a realizao daauditoria, definidos em termos de custo, prazos de execuo epessoal alocado.

5 passo - Elimine as questes no essenciais;

Descarte questes desprovidas de potencial para

melhorar o desempenho ou que no tenham soluo vivel. Portanto,os critrios para a escolha ou excluso de determinada questoso a relevncia das concluses que podero ser alcanadas e afactibilidade da estratgia metodolgica requerida para respond-lade forma satisfatria.

Subquesto 1

Subquesto 2

Subquesto 1

Subquesto 2

Problema

Hiptese 1 ou

Questo 1

Hiptese 2 ouQuesto 2

Hiptese 3 ouQuesto 3


51/116

51


Priorize as questes e decida quais devem ser estudadas.Lembre-se que as questes devem ser sucintas e sem

ambigidades.

6 passo - Avalie o impacto financeiro da questo;

Sempre que possvel deve-se demonstrar o impacto financeiroe o mtodo a ser empregado para garantir economia de recursos.

7 passo - Elabore uma proposta de trabalho detalhada;

Alm das informaes relativas equipe, ao cronograma eaos custos das atividades a serem desenvolvidas, conformemencionado no item 4.5, cada questo formulada deve dar origema uma matriz de planejamento de auditoria.

Uma vez definidas, as questes de auditoria formuladaspela equipe sero o ponto de partida de uma auditoria dedesempenho operacional ou de uma avaliao de programa eorientaro todo o trabalho de investigao.

Quando as questes abordarem aspectos voltados paraa economicidade, eficincia ou eficcia da iniciativa governamental,

tratar-sede uma auditoria de desempenho operacional, quantovoltadas para o aspecto da efetividade, sero examinadas nocontexto de uma avaliao de programa. Nesse sentido, as equipespodero deparar-se com quatro situaes:

questes ligadas economicidade, eficincia e eficcia: realizao de uma auditoria de desempenhooperacional;questes ligadas efetividade: realizao de umaavaliao de programa;questes interdependentes ligadas tanto efetividade,

como economicidade, eficincia e a eficcia:realizao de uma avaliao de programa;questes ligadas tanto efetividade, como economicidade, eficincia e eficcia, masautnomas: realizao de uma avaliao de programa


52/116

52


ou de uma auditoria de desempenho operacional,conforme a relevncia das concluses que podem ser

extradas de cada modalidade de auditoria.

O prximo quadro ilustra a relao entre problema equestes de auditoria.

Quadro 5: O Problema e as Questes de Auditoria do Projeto deAuditoria da 3 SECEX sobre o Programa deLevantamento da Plataforma Continental Brasileira -LEPLAC

Problema:

O Brasil, ao assinar a Conveno das Naes Unidassobre o Direito do Mar, sujeitou-se ao seu cumprimento.Nesse sentido, surgiu a preocupao, por parte dosadministradores, de se utilizar tcnicas aceitveis pelacomunidade internacional para a efetivao de todo olevantamento geomorfolgico no prazo estipulado, tendoem vista a possibilidade de aumento da plataformacontinental.

Questes de Auditoria:1 - Com que segurana se pode afirmar que as tcnicas utilizadas

sero aceitas pelos organismos internacionais?2 - At que ponto se pode dizer que a utilizao das tcnicasadotadas permitir a concluso do levantamento no prazoestipulado?

Fonte: 3 SECEX, 1997, p. 34.

5.2 INFORMAES REQUERIDAS

Aps formuladas as questes de auditoria e os seusdesdobramentos (as subquestes), ser necessrio identificar as

informaes requeridas para respond-las e suas respectivas fontes.

Para se determinar o tipo de informao que se pretendeobter na coleta de dados, os termos-chave empregados na questode auditoria devem ser definidos e suas dimenses ou variveisidentificadas. Por exemplo, ao formular uma questo envolvendo o


53/116

53


impacto de uma iniciativa governamental voltada para a melhoriado nvel de ensino, deve-se definir o que se entende por melhoria

do nvel de ensino, identificando-se as dimenses envolvidas nesseconceito. Pode-se considerar, entre outras variveis, o nmero deaprovaes por srie ou a reduo da evaso escolar.

A tarefa de traduzir conceitos abstratos em variveismensurveis, definindo indicadores apropriados, indispensvelpara que se possa medir o alcance dos objetivos perseguidos pelaadministrao.

As informaes coletadas e usadas para dar suporte aosachados de auditoria de desempenho operacional ou de avaliaode programa so consideradas evidncias e podem assumir asseguintes formas (ANAO, 1992, p. 110-3):

fsica: dados coletados a partir da observao direta,podendo ser representados por fotografias, mapas,grficos ou outras representaes pictogrficas;oral: declaraes geralmente obtidas em entrevistasou pesquisas com usurios ou beneficirios dainiciativa governamental, bem como com especialistas,gestores ou membros da equipe tcnica encarregada;

documental: dados registrados em papel ou meiomagntico (em geral, os mais empregados emtrabalhos de auditoria);analtica: informaes geradas a partir de outrasevidncias, geralmente envolvendo clculos,comparaes ou snteses.

recomendvel o uso de mais de um tipo de evidncia,de forma a fortalecer as concluses finais.

As evidncias fsicas, obtidas a partir da observao de

pessoas, eventos ou condies materiais existentes, sempre queconstiturem elementos crticos para o alcance dos objetivos daauditoria, devem ser corroboradas. Por esse motivo, as observaesdiretas devem ser feitas por, no mnimo, dois membros da equipede auditoria, de preferncia acompanhados de representantes do


54/116

54


auditado. Caso a equipe considere necessrio, deve-se prepararuma descrio detalhada das condies observadas e solicitar a

anuncia formal do representante do auditado.

Da mesma forma, as evidncias orais, normalmenteobtidas em entrevistas, no so provas conclusivas, devendo sersustentadas por evidncias documentais. Nos casos em que asdeclaraes do entrevistado forem crticas para a auditoria e nofor possvel obter documentao comprobatria, deve-se tentar obterdo mesmo a confirmao formal das suas declaraes em umresumo ou minuta da entrevista.

A confiabilidade e a relevncia da evidncia oral sofunes da posio, do conhecimento, da especializao e daidoneidade do entrevistado, ou seja, da sua credibilidade. Algumasvezes, a resposta do entrevistado a uma pergunta especfica poderevelar ambigidade, contaminando outros elementos do depoimentoe, dessa forma, comprometendo a confiabilidade de todo o seutestemunho.

Em resumo, sempre que possvel, os depoimentos eoutros registros considerados crticos para a auditoria devem sercorroborados por evidncias documentais.

Cabe acrescentar que a confiabilidade das evidnciasdocumentais fornecidas pelo sistema de controle do rgo auditado- por exemplo, os demonstrativos contbeis - depender do regularfuncionamento desse sistema. A relevncia da prova documental,por sua vez, deve ser analisada em relao ao objetivo da auditoria.Nesse sentido, por exemplo, a existncia de um manual deprocedimentos, por si s, no garante que ele esteja sendoempregado pelo auditado.

5.3 FONTES DE INFORMAO

As fontes de informao podem ser primrias ousecundrias.

As fontes primrias so aquelas nas quais a equipe temcontrole sobre a forma de coleta dos dados. Por exemplo, entrevistas


55/116

55


realizadas diretamente com os beneficirios de um programa ouregistros e anotaes originrios de uma visita da equipe s

instalaes de um projeto.

As fontes secundrias so aquelas coletadas esistematizadas por outros, como, por exemplo (GAO, 1994a, p. 3.2):

registros administrativos, em papel ou em meiomagntico;estudos e pesquisas existentes;legislao, normas ou procedimentos;documentos oficiais, como memorandos, ofcios, etc.

Os principais problemas ligados utilizao de dadossecundrios so os seguintes (GAO, 1994a, p. 3.3):

a forma de coleta pode no ter sido adequada;os controles internos podem no ser confiveis;os dados podem ter sofrido manipulao;os dados podem no representar as variveisselecionadas para anlise.

5.4 ESTRATGIAS METODOLGICAS

Neste ponto da elaborao do projeto de auditoria dedesempenho operacional/avaliao de programa, a equipe deauditoria deve especificar a estratgia metodolgica a ser adotada,ou seja, os mtodos de investigao requeridos pelas questes ousubquestes formuladas.

importante considerar que a estratgia metodolgicaest diretamente relacionada com a qualidade tcnica das evidnciasque podem ser obtidas, o que, por sua vez, influir na confiabilidade

das concluses do trabalho.

Qualquer que seja a estratgia metodolgica a seradotada, cada questo de auditoria deve ser analisada segundo osquatro elementos que consubstanciam as concluses ou achadosde auditoria: critrio, condio, causa e efeito.


56/116

56


Nas questes ligadas economicidade, eficincia e eficcia, em geral tratadas no mbito de uma auditoria de

desempenho operacional, os elementos citados acima podem serassim definidos (GAO, 1994a, p. 2.12-2.17):

a) Critrio: O padro ou indicador usado para determinarse o programa9 atinge, excede ou est aqum dodesempenho esperado. O critrio prov o contexto parase compreender os resultados da auditoria. A equipe,sempre que for possvel, deve incluir no projeto deauditoria de desempenho operacional os critrios aserem adotados. Ademais, ao selecionar os critrios,a equipe deve cuidar para que sejam razoveis,factveis e adequados matria sob exame. Algunsexemplos de critrios:

objetivos ou metas fixados por lei, por regulamentoou pela administrao;normas ou padres estabelecidos;opinies de especialistas;desempenho anterior;desempenho de instituies similares, nacionaisou estrangeiras.

b) Condio: A situao existente, identificada edocumentada durante os trabalhos.

c) Causa: As razes do mau ou bom desempenhoobservado.

d) Efeito: As reais conseqncias da diferenaconstatada pela auditoria entre condio e critrio.

9 A partir do presente item, os termos programa e objeto da auditoria serotratados como equivalentes, indicando programas, projetos, atividades, rgos eentidades governamentais.


57/116

57


Conseqentemente, no caso de uma auditoria dedesempenho operacional, a definio da estratgia metodolgica

deve levar em conta os seguintes aspectos:

comparaes entre condio e critrio;escopo do estudo (ex.: nmero de pessoas, registros,instalaes ou reas geogrficas selecionadas);perodo da observao (ex.: as observaes serocoletadas em determinado ponto ou perodo no tempoou em vrias ocasies diferentes).

Nas questes ligadas efetividade, tratadas, portanto,no mbito de uma avaliao de programa, os elementosidentificados anteriormente podem ser assim definidos:

a) Critrio: A natureza ou magnitude do impacto esperadocom a implementao do programa.

b) Condio: A situao verificada aps a implementaodo programa e a situao que provavelmente seriaverificada sem essa implementao.

c) Causa: O programa que est sendo avaliado. A

suposio fundamental que o programa responsvel pelas mudanas observadas. A estratgiametodolgica escolhida buscar assegurar, medianteevidncias plausveis, que nenhum outro fator, almdo programa, responsvel pelos efeitos constatados.Ou seja, a investigao deve ser planejada de forma aeliminar ou controlar fatores exgenos que podem estarinfluenciando os resultados observados (eliminao deinterpretaes alternativas).

d) Efeito: As mudanas, positivas ou negativas, nas

condies reais que podem ser identificadas eatribudas ao programa. Trata-se, assim, da diferenaentre a situao observada aps a implementao doprograma e a situao que provavelmente seriaobservada sem essa implementao.


58/116

58


Por conseguinte, no caso de uma avaliao de programa, quase sempre necessrio comparar observaes sobre

beneficirios ou clientes do programa auditado com observaessobre pessoas no afetadas pelo programa em questo.Naturalmente, o escopo e o perodo em que sero realizadas asobservaes tambm devem ser especificados.

Examinada as questes de auditoria luz dos elementosdefinidos acima, a equipe deve decidir sobre a estratgiametodolgica mais adequada para responder cada questo. Convmrelembrar que cada subquesto deve ser tratada de per si, isto ,para cada subquesto a ser examinada deve-se estabelecer umaestratgia metodolgica especfica.

As estratgias metodolgicas mais utilizadas so:

Estudo de Caso;Pesquisa10;Delineamento Experimental;Delineamentos Quase-Experimentais;Delineamentos No-Experimentais;

5.4.1 Estudo de Caso

O estudo de caso pode ser empregado tanto em umaauditoria de desempenho operacional, como em uma avaliao deprograma. a estratgia metodolgica mais amplamente utilizadapelas EFS com maior tradio em auditorias de desempenho, comoo GAO (EFS dos EUA), o OAG (EFS do Canad), o NAO (EFS doReino Unido) e o ANAO (EFS da Austrlia), alm de outras. Nostrabalhos desenvolvidos por essas EFS, os estudos de caso sofreqentemente complementados por outras estratgiasmetodolgicas, como a pesquisa e a utilizao de dados existentes.

10 Survey, na lngua inglesa.


59/116

59


Segundo o GAO:

Um estudo de caso um mtodo para conhecer umasituao complexa, baseado em uma compreensoabrangente da situao, obtida a partir da ampladescrio e anlise da mesma, considerada como umtodo e no seu contexto. [grifos nossos]11 (GAO, 1990,p.14)

O primeiro elemento (situao complexa) significa quemuitos fatos podem influenciar os acontecimentos e que essasinfluncias podem interagir no-linearmente, tornando impossvelisolar os efeitos das variveis sob estudo.

O segundo (compreenso abrangente) indica que osestudos de caso visam obter uma representao, a mais completapossvel, do que est acontecendo e do porqu.

O terceiro (ampla descrio e anlise) envolve o empregode informaes ricas e completas, provenientes de vrias fontes,particularmente de observaes diretas. Ademais, a anlise ampla,comparando dados de diferentes tipos de fontes por meio do mtododenominado triangulao(vide item 5.6).

As principais caractersticas do estudo de caso so:

mais adequado para responder a questes normativase descritivas;uso preferencial da abordagem qualitativa na coleta eanlise de dados;no-utilizao de amostragem probabilstica;anlise concomitante coleta de dados.

Porm, esse mtodo apresenta algumas limitaes, quais

sejam:no usado, em geral, para responder a perguntasavaliativas ou de causa-e-efeito;

11 Os grifos indicam os elementos-chave da definio.


60/116

60


pode ter custo elevado e necessitar de muito tempopara sua implementao;

no permite generalizaes das conclusesalcanadas para todo programa, exceto quando onmero de casos ou situaes for suficientementegrande e diversificado.

Com base em suas possveis aplicaes, esse mtodopode ser classificado da seguinte maneira (GAO, 1990, p. 31-52):

a) Ilustrativo: objetiva acrescentar exemplos reais edetalhados a outras informaes sobre o programa;

b) Exploratrio: voltado para a gerao de hipteses quesero investigadas posteriormente;c) Caso crtico: examina uma situao especialmente

relevante ou serve como um teste-crtico paraafirmaes feitas acerca do programa;

d) Implementao de programa: investiga diferentesexperincias de implementao, geralmente de formanormativa.

e) Efeitos do programa: examina relaes decausalidade, geralmente envolvendo o exame de

vrios casos e utilizando mtodos de anlise de dadosprprios de estudos de carter qualitativo (vide item5.6);

f) Cumulativo: rene descobertas provenientes de vriosestudos de caso para responder a uma questo deauditoria, seja descritiva, normativa ou de causa-e-efeito.

A seleo dos casos a serem estudados um aspectocrtico em estudo de caso. Os critrios de escolha so variados eesto relacionados ao tipo de questo que se pretende responder.Uma vez que o emprego de amostragem probabilstica geralmenteno factvel, o propsito do estudo deve guiar a escolha dos casos.

Freqentemente, trabalha-se com um ou poucos casos.Entretanto, quando se pretende tirar concluses para o programa


61/116

61


como um todo, deve-se trabalhar com um nmero maior de casos,de forma a refletir a variabilidade operacional do programa. O quadro

mostrado a seguir relaciona os principais critrios de seleo decasos.

Quadro 6: Principais Critrios de Seleo Empregados em Estudode Caso

Fonte: GAO, 1990, p. 23.Nota: (a) o critrio probabilstico escolhe casos aleatoriamente, contudo a estratgiametodolgica em questo no tem como objetivo realizar extrapolaes estatsticas(i.e., obter valores ou percentuais em torno dos quais se possa definir um intervalode confiana).

CRITRIOS DESELEO

QUESTES QUE PODEM SERRESPONDIDAS

Convenincia

Finalidade

Casos extremos

Melhores casos

Piores casos

Agrupamento

Caso Representativo

Caso Tpico

Interesse especial

Probabilidade(a)

Na situao selecionada, por facilitar a coleta dedados, o que est acontecendo e por qu?

O que est acontecendo nos extremos? O queexplica tais diferenas?

Que circunstncias so responsveis pela eficciado programa?

Por que o programa no est funcionando?

Como diferentes tipos de programas se comparam

entre si?Em situaes escolhidas para representarimportantes variaes, como se comporta oprograma e por qu?

Em uma situao tpica, o que est acontecendo epor qu?

Em uma situao especialmente relevante, o queest acontecendo e por qu?

O que est acontecendo no programa


62/116

62


Em estudo de caso, a coleta de informaes tem asseguintes caractersticas:

nfase no aspecto qualitativo da informao, ainda quesejam coletados dados quantitativos;utilizao de entrevistas no-estruturadas ouestruturada com perguntas abertas e observaodireta12;utilizao de mltiplas fontes de dados.

As principais vantagens do estudo de caso podem serassim resumidas:

permite uma anlise detalhada do programa emexame;permite formular hipteses para serem testadas emestudos de maior amplitude;evidencia os aspectos fortes e fracos daoperacionalizao do programa em exame.

5.4.2 Pesquisa

Amplamente aplicada em avaliao de programa e emauditoria de desempenho operacional, a pesquisa uma estratgiametodolgica que permite obter informaes de carter quantitativoe q

manual%20de%20auditoria

Documents

Transcript of manual%20de%20auditoria