Técnica de Pesquisa Para Auditorias - BTCU-10-2010 (2)

Braslia, 18 de Maio de 2010 - Ano XLIII - N 10

TCNICA DE PESQUISA PARA

AUDITORIAS

PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010

SECRETARIA-GERAL DE ADMINISTRAO

TRIBUNAL DE CONTAS DA UNIO Boletim do Tribunal de Contas da Unio

http://www.tcu.gov.br [email protected]

SAFS Lote 1 Anexo I sala 422 - CEP:70042-900 - Braslia - DF

Fones: 3316-7650/3316-7079/3316-7870/3316-7869

Presidente UBIRATAN DINIZ DE AGUIAR

Vice-Presidente BENJAMIN ZYMLER

Ministros

ANTONIO VALMIR CAMPELO BEZERRA WALTON ALENCAR RODRIGUES

JOO AUGUSTO RIBEIRO NARDES AROLDO CEDRAZ DE OLIVEIRA RAIMUNDO CARREIRO SILVA

JOS JORGE DE VASCONCELOS LIMA JOS MCIO MONTEIRO FILHO

Auditores

AUGUSTO SHERMAN CAVALCANTI MARCOS BEMQUERER COSTA ANDR LUS DE CARVALHO

WEDER DE OLIVEIRA

Ministrio Pblico junto ao TCU Procurador-Geral

LUCAS ROCHA FURTADO

Subprocuradores-Gerais PAULO SOARES BUGARIN MARIA ALZIRA FERREIRA

Procuradores

MARINUS EDUARDO DE VRIES MARSICO CRISTINA MACHADO DA COSTA E SILVA

JLIO MARCELO DE OLIVEIRA SERGIO RICARDO COSTA CARIB

SECRETARIA-GERAL DE ADMINISTRAO Secretrio-Geral

Fernando Luiz Souza da Eira [email protected]

Boletim do Tribunal de Contas da Unio Especial v. 1, n. 1 (1982) . Braslia : TCU, 1982- .

v.

Irregular. A numerao recomea a cada ano. Continuao de: Boletim do Tribunal de Contas da Unio.

Contedo: Tcnica de pesquisa para auditoria Ato administrativo peridico Brasil. I. Brasil. Tribunal de Contas da Unio (TCU).

RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004

D nova redao aos arts. 1 e 3

da Resoluo -TCU n 146, de 28

de dezembro de 2001.

PORTARIA - TCU N 1, DE 9 DE JANEIRO DE 2004

Define a lotao das unidades da

Secretaria do Tribunal

PORTARIA - TCU N 2, DE 9 de JANEIRO DE 2004

Dispe sobre a denominao e a

distribuio de funes de

confiana

RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004 D nova redao aos arts. 1 e 3 da

Resoluo -TCU n 146, de 28 de

dezembro de 2001.






confiana.

ANO XXVII N 01

Braslia, 12 de janeiro de 2004

RESOLUO-TCU N 168, DE 9 DE JANEIRO DE 2004

D nova redao aos arts. 1 e 3

da Resoluo -TCU n 146, de 28

de dezembro de 2001.





Dispe sobre a denominao e a


confiana.

Ano XXXVII N 01 Braslia, 12 de janeiro de 2004

TRIBUNAL DE CONTAS DA UNIO 1

Segedam Secretaria-Geral de Administrao BTCU ESPECIAL Braslia Ano xliii n. 10 18/ maio 2010

\\_sarq_prod\Sistemas\Btcu (Sede) - \\_sarq_an\Sistemas\Btcu (Asa Norte) - \\srv-UF\Sistemas\Btcu (Estaduais)

TRIBUNAL DE CONTAS DA UNIO

SECRETARIA-GERAL DE CONTROLE EXTERNO SECRETARIA DE FISCALIZAO E AVALIAO DE PROGRAMAS

DE GOVERNO

TCNICA DE PESQUISA PARA

AUDITORIAS

SEGECEX / SEPROG

MAIO/2010




Tribunal de Contas da Unio

Internet: http://www.tcu.gov.br

SAFS Quadra 4 Lt. 01

CEP: 70042-900 Braslia-DF

Secretrio-Geral de Controle Externo

Paulo Roberto Wiechers Martins

Secretrio Adjunto de Planejamento e Procedimentos

Marcelo Luiz Souza da Eira

Secretrio de Fiscalizao e Avaliao de Programas de Governo

Carlos Alberto Sampaio de Freitas

Superviso

Glria Maria Merola da Costa Bastos Gerente da 1 Diviso Tcnica da Seprog

Equipe Tcnica

Dagomar Henriques Lima

Reviso

Jorge Mendes de Oliveira Castro Neto

Brasil. Tribunal de Contas da Unio.

Tcnica de pesquisa para auditorias / Tribunal de Contas da

Unio. Braslia : TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo (Seprog), 2010.

34 p.

33 p.

1. Auditoria operacional, pesquisa. 2. Auditoria operacional,

manual. 2. Auditoria operacional, questionrio. I. Ttulo.

Ficha catalogrfica elaborada pela Biblioteca Ministro Ruben Rosa




PORTARIA-SEGECEX N 16, DE 14 DE MAIO DE 2010

Aprova o documento Tcnica de Pesquisa para

Auditorias.

O Secretrio-Geral de Controle Externo, no uso de suas atribuies e considerando o

disposto no art. 32, inciso III, da Resoluo-TCU n 214, de 20 de agosto de 2008:

Considerando que o Plano Estratgico do Tribunal definiu como objetivos estratgicos

Aperfeioar a estrutura legal e normativa de suporte ao controle externo e Aperfeioar instrumentos de controle e processos de trabalho;

Considerando a necessidade de estabelecer parmetros para orientar a construo do sistema

de pesquisa para auditoria, resolve:

Art. 1 Fica aprovado o documento Tcnica de Pesquisa para Auditorias.

Art. 2 A Segecex manter atualizado o documento de que trata o artigo anterior, cabendo-

lhe, ainda, o esclarecimento de dvidas e o recebimento de sugestes para o seu aperfeioamento, bem

como o acompanhamento de sua implementao.

Art. 4 Esta Portaria entra em vigor na data de sua publicao.

PAULO ROBERTO WIECHERS MARTINS

Secretrio-Geral de Controle Externo




SUMRIO

INTRODUO......................................................................................................................................... 5

OBJETIVO ................................................................................................................................................ 5

O QUE SO PESQUISA E QUESTIONRIO ..................................................................................... 5

APLICAO EM AUDITORIA ............................................................................................................ 5

POTENCIALIDADE E LIMITAES DA PESQUISA EM AUDITORIAS ................................... 6

QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA .................................... 7

FORMAS DE REALIZAR A PESQUISA ............................................................................................. 9

COMO USAR A PESQUISA EM AUDITORIA ................................................................................. 13

CRITRIOS DE ELABORAO DE PERGUNTAS ....................................................................... 14

TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO ............................................................. 16

ESTRUTURA E FORMATAO DO QUESTIONRIO ................................................................ 18

ESTRUTURA .......................................................................................................................................................................... 18 FORMATAO ...................................................................................................................................................................... 19

COMO ANALISAR AS RESPOSTAS ................................................................................................. 20

PLANEJAMENTO DA ANLISE .............................................................................................................................................. 20 CODIFICAO ...................................................................................................................................................................... 20 ANLISE DE CONSISTNCIA DAS VARIVEIS ....................................................................................................................... 21 TESTE DA COERNCIA ENTRE POPULAO E AMOSTRA ..................................................................................................... 22

APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS ............... 23

ANEXO A EXEMPLOS ...................................................................................................................... 24

REFERNCIAS ...................................................................................................................................... 32

NOTAS EXPLICATIVAS ..................................................................................................................... 32




INTRODUO

Os procedimentos para realizao de pesquisas1 (survey) aqui apresentados foram testados com sucesso

em auditorias realizadas nos ltimos nove anos e complementam informaes contidas no Manual de

Auditoria Operacional do TCU. Essas orientaes no devem ser tomadas como algo esttico, pois os

padres de qualidade podem se alterar com o tempo, e os documentos tcnicos do TCU devem ser

mantidos atualizados e compatveis com as melhores prticas. Para isso, importante que os usurios do

documento apresentem sugestes com base em suas experincias.

O documento est organizado por temas, que visam destacar as oportunidades de uso de pesquisa em

auditoria, orientar como elaborar e aplicar o questionrio e como analisar as respostas.

Espera-se que a disseminao dessas orientaes contribua para que as evidncias coletadas por meio de

pesquisas tenham maior validade e confiabilidade.

OBJETIVO

1. O objetivo deste documento orientar as equipes de auditoria a realizar pesquisas com o uso de questionrios para coleta de dados, mediante definio de critrios gerais. A aplicao dessas

orientaes contribuir para evitar as falhas mais comuns ao se realizar pesquisas em auditoria,

especialmente na elaborao de questionrios, de forma a garantir a validade e confiabilidade das

evidncias produzidas pela anlise dos dados coletados.

O QUE SO PESQUISA E QUESTIONRIO

2. Pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo sobre um objeto de auditoria, relacionadas, entre outros, a aspectos operacionais e

gerenciais (BRASIL, 2010, p. 46-47). Com frequncia, utilizada em conjunto com estudos de caso

como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia (ISSAI

3000/5.3). Como mtodo estruturado de coleta de dados, quando realizada na forma de pesquisa

amostral, visa generalizar para toda a populao informaes obtidas a partir de uma amostra.

Quando realizada pesquisa no amostral, no possvel generalizar, mas a evidncia obtida de

grande nmero de pesquisados importante e pode ser fortalecida por meio de informaes de outra

natureza e de deduo lgica (ISSAI 3000/Apndice 3).

3. Questionrio o formulrio de perguntas usado em pesquisas, para obter informaes de forma padronizada sobre grande nmero de unidades de pesquisa. o instrumento de coleta de dados

usado em pesquisas (BRASIL, 2010, p. 48).

4. O que distingue a aplicao de um questionrio de uma entrevista que, ao aplic-lo, mesmo pessoalmente, o pesquisador no tem possibilidade de ajustar, alterar ou adicionar novas perguntas

durante o processo de aplicao.

APLICAO EM AUDITORIA

5. A equipe de auditoria pode realizar pesquisa para colher dados primrios, no disponveis em bancos de dados da administrao pblica, ou para colher dados que permitam testar a

confiabilidade dos j disponveis. Posteriormente, os dados coletados so analisados, permitindo

extrair evidncias que daro suporte aos achados de auditoria.




6. A pesquisa pode ser usada para obter informaes quantitativas ou qualitativas com os objetivos imediatos de caracterizar unidades pesquisadas, por meio de dados descritivos, e colher opinies dos atores interessados, em especial de executores e beneficirios, sobre o desempenho e caractersticas do objeto auditado. Em situaes particulares, os dados coletados podem servir para testar hipteses sobre relaes causais.

Quadro 1 Exemplos de uso de pesquisa em auditoria

Objetivo Exemplo O que a anlise pode dizer

Caracterizar unidades de

pesquisa

Inventariar os tipos de equipamentos disponveis em postos de vigilncia fitozoossanitria de produtos agropecurios (Anexo A exemplo 1)

Se os postos dispem dos equipamentos necessrios para fiscalizar o tipo de produto agropecurio importado ou exportado no local

Inventariar nmero de equipamentos existentes em servio de radiologia de estabelecimentos pblicos de sade (Anexo A exemplo 2)

Se o Cadastro Nacional de Estabelecimentos de Sade (CNES) apresenta dados confiveis sobre equipamentos de diagnstico por imagem

Coletar dados socioeconomicos dos pesquisados (Anexo A exemplo 11)

Se o programa discrimina positivamente famlias cujo responsvel seja do sexo feminino.

Obter informaes sobre atividades do pesquisado

Levantar a distribuio de freqncia da carga horria dos cursos ministrados para professores

Identificar se os pesquisados participaram de curso de aperfeioamento para professores

(Anexo A exemplo 3)

Se h indcios de falhas na execuo do objeto do convnio por:

1 - contratao de cursos de aperfeioamento para professores com carga horria inferior ao mnimo previsto

2 treinamento de professores em nmero menor do que o mnimo previsto nos convnios

Obter informao sobre opinio

Colher avaliao dos professores participantes sobre aspectos da qualidade dos cursos de aperfeioamento (Anexo A exemplo 4)

Se, na opinio dos participantes, os cursos contratados com recursos descentralizados pela Unio apresentam caractersticas de boa qualidade

POTENCIALIDADES E LIMITAES DA PESQUISA EM AUDITORIAS

7. A pesquisa permite equipe obter informaes diretamente de atores interessados (gestores, servidores, especialistas, beneficirios de programas governamentais). Em geral, isso mais confivel do que se basear em informaes coletadas por terceiros, quando a equipe no tem controle sobre a qualidade da coleta.

8. Outra vantagem obter dados uniformes de grande quantidade de unidades de pesquisa a custo relativamente baixo. Quando essas informaes so coletadas usando tcnicas adequadas de amostragem e de coleta, possvel fazer generalizaes para a populao a partir das respostas das unidades pesquisadas (BRASIL, 2002). Mesmo quando no possvel fazer inferncia estatstica, pode ser eloqente a evidncia obtida por meio da anlise de grande quantidade de respostas, em especial se associada a outras evidncias.

9. Os dados coletados em massa e de forma padronizada podem permitir caracterizar as unidades de pesquisa segundo critrios socioeconmicos, facilitando a interpretao dos dados. Alm disso, permite comparar os dados segundo diversos critrios para posterior investigao das causas das variaes encontradas. Quando coletados em momentos diferentes, os dados permitem comparar a evoluo histrica da situao encontrada e identificar, por exemplo, variaes no desempenho.




10. A principal limitao metodolgica da pesquisa que as perguntas trazem de forma implcita a

estrutura de entendimento do fenmeno pela equipe de auditoria. Pode haver vis na formulao das

perguntas do questionrio, caso a equipe se deixe influenciar por preconceitos sociais e noes pr-

assumidas sobre o objeto da auditoria. O instrumento de coleta de dados reflete o ponto de vista de

quem elaborou as perguntas, que pode ser diferente da que compartilhada pelos atores diretamente

envolvidos. Outra limitao que a uniformidade das perguntas aparente, pois elas podem ter

sentidos diferentes para diferentes pessoas (RICHARDSON, 1999).

11. Essas limitaes podem ser reduzidas por intermdio de um bom diagnstico da situao, realizado

durante a fase de planejamento, inclusive com consulta a especialistas, gestores, servidores e

beneficirios. Outra providncia a equipe submeter o questionrio avaliao de especialistas no

tema da pesquisa que possam validar as perguntas. Por fim, o instrumento de coleta deve ser testado

com especialistas e colegas auditores e durante o teste piloto da auditoria para que sejam

identificadas falhas na construo do questionrio, como ser explicado adiante.

12. Com relao validade, nem sempre possvel saber se os dados informados correspondem

realidade. Essa incerteza varia segundo o tema da pesquisa e a natureza dos dados solicitados. Com

relao confiabilidade, as respostas dos indivduos podem variar no tempo, em especial quando se

referem a atitudes e opinies (RICHARDSON, 1999).

13. Outras fontes de vis podem atuar sobre a coleta e a anlise das informaes. Para reduzir essa

possibilidade, devem ser tomados os cuidados necessrios na definio do desenho amostral para

favorecer a obteno de amostra representativa. Na conduo da coleta de dados, caso sejam usados

pesquisadores, eles devem ser treinados e supervisionados. Por sua vez, ao analisar as respostas, a

equipe no deve desconsiderar evidncias aparentemente pouco consistentes com o que esperava.

14. A realizao de pesquisas mediante questionrios demanda tempo, sendo assim, o cronograma

fixado para a auditoria deve ser compatvel. Alm disso, a equipe j deve ter conhecimento razovel

sobre o objeto de auditoria para poder elaborar perguntas pertinentes e relevantes. Isso s vivel

em etapa avanada da fase de planejamento, o que tambm deve ser levado em conta ao estabelecer

o cronograma da auditoria.

15. Por fim, o desenho amostral para seleo das unidades de pesquisa e a anlise estatstica das

respostas pode exigir conhecimentos especficos. Caso a equipe no tenha as competncias

necessrias, elas devem ser obtidas, em tempo, por meio de apoio de outros profissionais do TCU,

requisitados de outros rgos ou contratao de consultoria.

QUANDO ELABORAR E APLICAR O QUESTIONRIO DE PESQUISA

16. Em pesquisas, h duas fontes potenciais de erro: o erro amostral e os erros no-amostrais. Sobre o

erro amostral, que pode ser controlado mediante clculo estatstico, consulte o texto Tcnicas de

Amostragem para Auditorias (BRASIL, 2002), que trata do tema em diversas oportunidades. Os

erros no-amostrais tm como fontes principais problemas com a construo e com a aplicao dos

questionrios.

17. O questionrio elaborado em fase avanada do planejamento da auditoria, quando a equipe j tem

segurana sobre a caracterizao do objeto de auditoria e a formulao do problema e das questes

de auditoria. A configurao definitiva do questionrio somente finalizada aps a validao da

matriz de planejamento e a realizao do teste piloto.




18. Para elaborar o questionrio, necessrio antes saber quais informaes devem ser coletadas e quem

so os destinatrios da pesquisa. Sendo assim, preciso j ter elaborado a matriz de planejamento. A

formulao exata das perguntas somente definida durante a elaborao do questionrio, mas elas

ainda podem sofrer alteraes aps o questionrio ser testado. Essas providncias de elaborao e

teste so realizadas na fase de planejamento da auditoria.

19. Tipicamente, nas auditorias realizadas pelo TCU o questionrio aplicado na fase de execuo da

auditoria. No entanto, o ideal que a tabulao completa dos dados esteja disponvel para a equipe

antes do incio do trabalho de campo. Assim, a equipe poder explorar detalhes, em profundidade,

sobre a situao revelada pela resposta aos questionrios. Dessa forma, no primeiro momento, o

conhecimento sobre o tema da auditoria, obtido na fase de planejamento, inclusive mediante visitas

a campo, base para a elaborao do questionrio. Em momento posterior, na fase de execuo, a

anlise da resposta aos questionrios orienta os exames realizados nos estudos de caso.

20. A pesquisa pode ser realizada em um ou mais momentos. O mais comum que a pesquisa seja em

corte transversal, isto , os dados so coletados em um nico momento. possvel tambm realizar

pesquisa longitudinal, ou seja, os dados so coletados em dois ou mais momentos (FREITAS et al.,

2000). Essa ltima situao mais rara, porm possvel, em processos de monitoramento, por

exemplo.

Quadro 2 - Exemplos de pesquisa longitudinal

Exemplo 1 - Em 2001, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional Biblioteca da Escola

(PNBE), vinculado ao Ministrio da Educao. Na ocasio, foi realizada pesquisa, via postal, com 879 escolas de

ensino fundamental de todos os estados brasileiros, selecionadas por meio de amostra estatstica, tendo sido

obtida taxa de resposta de 57,2% (TC n. 012.854/2001-6).

Em 2004, foi realizado o monitoramento final da implementao das deliberaes do TCU sobre a auditoria. Na

oportunidade foram enviados questionrios s mesmas 879 escolas pesquisadas na auditoria de 2001. A repetio

da pesquisa possibilitou comparar a situao verificada em 2001 pela auditoria e as condies das escolas em

2004. A taxa de retorno dos questionrios na segunda ocasio foi de 44,5%.

Exemplo 2 Em 2005, o TCU avaliou as aes de vigilncia e fiscalizao no trnsito internacional de produtos

agropecurios do Programa Segurana Fitozoossanitria no Trnsito de Produtos Agropecurios, sob

responsabilidade do Ministrio da Agricultura, Pecuria e Abastecimento MAPA (012.488/2005-5). Na

ocasio, foi realizada pesquisa postal e eletrnica com 26 Servios de Gesto da Vigilncia Agropecuria

VIGIAGRO/DT-UF (100% de retorno) e 91 unidades do Vigiagro (8 Servios de Vigilncia Agropecuria

SVA e 83 Unidades de Vigilncia Agropecuria Uvagro) (74% de retorno). Tambm foram enviados

questionrios a 542 fiscais federais agropecurios lotados nas unidades de vigilncia (75% de retorno).

Em 2008, foi realizado o primeiro monitoramento da auditoria (001.845/2008-6). Dessa vez, a pesquisa postal foi

realizada apenas as 91 unidades do Vigiagro (SVA e Uvagro) (47% de retorno). O objetivo da pesquisa foi

comparar a percepo dos chefes das unidades sobre a situao do programa nas pocas do monitoramento e da

auditoria. O questionrio abordou perguntas sobre a infra-estrutura das unidades, organizao e gesto de

recursos humanos, execuo de procedimentos de vigilncia fitozoossanitria e integrao com os demais rgos

envolvidos no processo.

21. O questionrio deve ser endereado aos atores pertinentes, isto , queles que detm as informaes

requeridas pela auditoria. Para circularizar as informaes e ter maior garantia sobre a validade das

evidncias, pode ser necessrio enviar diferentes questionrios para atores distintos em uma mesma

auditoria.




Quadro 3 - Exemplo de pesquisa com mais de um questionrio em uma mesma auditoria

Em 2005, o Tribunal de Contas da Unio (TCU) avaliou o Programa Nacional de Erradicao da Febre Aftosa

(PNEFA), vinculado ao Ministrio da Agricultura, Pecuria e Abastecimento (TC 002.624/2005-5).

A estratgia metodolgica aplicada compreendeu pesquisa, visita de estudo e anlise de documentos e de

dados existentes.

A pesquisa contemplou entrevistas e aplicao de questionrios, por via postal e por correio eletrnico, para

superintendncias federais de agricultura, servios estaduais de defesa agropecuria, federaes estaduais de

agricultura e pecuria, associaes de criadores de gado, sindicatos de produtores rurais e conselhos

regionais de medicina veterinria. Os questionrios foram compostos por perguntas fechadas, com emprego

de escalas ordinais, que buscaram verificar a percepo de segmentos envolvidos sobre o desempenho do

PNEFA. Os itens avaliados foram agrupados em cinco categorias: i) aes de vacinao; ii) educao

sanitria; iii) controle do trnsito de animais; iv) controle da sanidade do rebanho; v) aes emergenciais.

Considerando-se o nmero de questionrios que foram aplicados durante as visitas de campo e os

respondidos por via postal e eletrnica dentro do prazo limite, a configurao final de respondentes foi a

seguinte: 17 federaes (63% de retorno), 21 Conselhos Regionais de Medicina Veterinria (78% de

retorno), 256 sindicatos de produtores rurais (27% de retorno), 11 servios estaduais de defesa agropecuria

(41% de retorno), 10 superintendncias federais de agricultura nos seguintes estados (37% de retorno), 6

associaes de criadores (22% de retorno).

FORMAS DE REALIZAR A PESQUISA

22. Os questionrios podem ser aplicados pessoalmente, por telefone, por via postal ou por meio eletrnico. O Quadro 4 apresenta as formas de aplicao dos questionrios, suas potencialidades,

limitaes e caractersticas de uso.

Quadro 4 Formas de aplicao de questionrios: potencialidades, limitaes e caractersticas

FORMA DE

APLICAO POTENCIALIDADES LIMITAES

USO EM

AUDITORIA

Contato pessoal Confivel

Permite pesquisar pessoas com

baixa escolaridade

Custo muito alto (custo da

contratao de pesquisadores e do

deslocamento)

Demorado (tempo para contactar

pesquisados, quando dispersos

geograficamente)

Exige treinamento de

pesquisadores

Exige conferncia de parte dos

questionrios preenchidos pelos

pesquisadores

Pode haver dificuldade de

encontrar pesquisados presentes

na residncia

Pesquisados podem se sentir

constrangidos de responder certas

perguntas pessoalmente

Pode haver dificuldade de acesso

ou risco segurana dos

pesquisadores

Exige digitao das respostas

Usada pela equipe de

auditoria no teste

piloto

Usada em trabalho de

campo




FORMA DE


USO EM

AUDITORIA

Por telefone Permite obter informaes

rapidamente de nmero

reduzido de pesquisados

Permite abranger

pesquisados com alta

disperso geogrfica

Custo alto

Exige que as perguntas sejam

simples e em nmero reduzido

para que o pesquisado no

perca o raciocnio durante a

ligao

Exige que o questionrio seja

elaborado para que sua

aplicao seja inferior a 20

minutos

Como a interao entre

pesquisador e pesquisado

limitada, podem ocorrer mal

entendidos

Nas auditorias

realizadas pelo

TCU, uma forma

ainda pouco

explorada

Postal Custo baixo

Permite abranger grande

nmero de pesquisados com

alta disperso geogrfica

Permite que o pesquisado

levante as informaes

necessrias, caso no as

tenha de imediato

Permite que o pesquisado

pense melhor sobre a

resposta, confira

informaes e consulte

outros atores

O pesquisado se sente mais

seguro e livre para responder

de forma privada e annima

Exige anlise da no-resposta

para identificar possvel vis

Pode exigir trabalho de

reduo da no-resposta por

meio de reenvio de

questionrios ou contato

telefnico

Exige digitao das respostas

Exige processo trabalhoso de

impresso, codificao de

questionrios, envelopamento,

postagem

Limita acesso a pesquisados

de baixa escolaridade

Demanda tempo

Depende do entendimento do

pesquisado sobre as perguntas

e do correto preenchimento do

questionrio

Muito usada em

auditoria




FORMA DE


USO EM

AUDITORIA

Eletrnica Custo muito baixo

Possibilita eliminar digitao

das respostas

Mesmas vantagens da

pesquisa postal

No alcana pesquisados que

no possuem endereo

eletrnico

Limita acesso a pesquisados

de baixa escolaridade

Dificuldade de obter cadastro

atualizado de endereos

eletrnicos

Pode apresentar baixo

percentual de resposta

Possibilidade de ocorrncia de

problemas tecnolgicos

variados: bloqueio da

mensagem eletrnica por

firewall do pesquisado, baixo

desempenho da conexo com

a internet e outros.

Usada com

freqncia em

auditoria

Fonte: elaborao prpria e NAO (1999)

23. Quando a pesquisa aplicada por intermdio de contato pessoal, os aplicadores devem ser treinados.

Neste caso, h semelhanas entre os critrios para a aplicao de questionrios e para a realizao de

entrevistas, no entanto existem diferenas importantes. A aplicao do questionrio mediante

contato pessoal difere da entrevista no grau de interao com o entrevistado. Quem aplica o

questionrio no tem liberdade para alterar, suprimir ou adicionar perguntas e o grau de interao

com o pesquisado reduzido. Na entrevista, ocorre influncia recproca. O entrevistado tem maior

controle sobre a forma e a ordem segundo a qual presta as informaes, tornando o discurso mais

fluente e aumentando o grau de interao com o pesquiador (LDKE; ANDR, 1986).

24. Outra diferena relevante que o aplicador do questionrio, ao contrrio do entrevistador, nem

sempre faz parte da equipe de planejamento da auditoria, logo tem menor conhecimento sobre o

objeto de auditoria. O aplicador pode ser auditor do TCU, mas que no participou do trabalho desde

o incio ou pode ser um entrevistador contratado (Quadro 6). Nesses casos, o treinamento do

aplicador do questionrio inclui o seguinte:

24.1 instruo para evitar maneirismos verbais ou observaes tendenciosas, inclusive linguagem

corporal sugestiva de aprovao ou reprovao;

24.2 simulao da aplicao do questionrio, destacando procedimentos de apresentao,

conduo e agradecimento;

24.3 esclarecimento acerca do papel da superviso sobre o trabalho dos aplicadores.




Quadro 5 - Exemplo de aplicao de questionrio por terceiros

Em 2003, o Tribunal de Contas da Unio (TCU), avaliou o Programa Morar Melhor, vinculado

Secretaria Nacional de Habitao do Ministrio das Cidades (TC 012.278/2003-1).

A metodologia contemplou consulta documentao e anlise de dados secundrios; observao direta

em 8 estados brasileiros (17 municpios); entrevista individual e em grupo com tcnicas sociais que

trabalhavam em 7 gerncias regionais da Caixa Econmica Federal; entrevistas estruturadas com 27

Gerncias e Escritrios Regionais da Caixa; pesquisa postal com 437 municpios (taxa de resposta de

46,5%); e pesquisa amostral com famlias beneficiadas em projetos implementados em agregados de

municpios do Rio Grande do Norte (Acari, Campo Redondo, Lagoa Nova, Pedro Avelino, Grossos,

Parnamirim e So Jos Mipibu), e nas cidades de Campo Grande/MS, Palmas/TO e So Bernardo do

Campo/SP.

A pesquisa com os beneficirios do Programa teve por finalidade levantar dados para verificao e

anlise dos resultados e impactos sociais das intervenes sobre as famlias entrevistadas. O foco da

pesquisa foi orientado para a verificao dos seguintes aspectos: a) equidade e incluso; b) condies de

habitabilidade; e c) satisfao dos beneficirios.

A coleta de dados com as famlias beneficirias foi conduzida por profissionais da rea social,

credenciados pela Caixa, com formao superior em servio social, sociologia, pedagogia ou psicologia

e experincia em coleta de dados. O custo dos servios de consultoria prestado pela Caixa, includos os

custos de aplicao dos questionrios e de superviso tcnica da equipe de entrevistadores, foi

compartilhado, cabendo ao TCU o valor de R$ 15.000,00, que foi pago mediante recursos de doao

internacional, sem nus para o Tribunal. A coleta de dados em campo aconteceu, de forma simultnea,

nas quatro unidades da federao, de 24 de setembro a 8 de outubro de 2003.

25. Quando o questionrio aplicado por telefone, a conciso das perguntas ainda mais importante. A dinmica do contato telefnico pode oferecer oportunidade para a ocorrncia de mal entendidos e de

perda de informao da resposta.

Quadro 6 - Exemplo de aplicao de questionrio por telefone

Em 2009, o Tribunal de Contas da Unio (TCU), por solicitao do Congresso Nacional, avaliou o

Programa de Resposta aos Desastres e Reconstruo, vinculado Secretaria Nacional de Defesa Civil Sedec (TC 008.556/2009-3).

A metodologia contemplou a anlise dos processos de transferncia obrigatria firmados de novembro

de 2008 a agosto de 2009, anlise de dados secundrios em sistemas informatizados da Sedec, bem

como do Siafi e do Sistema SigaBrasil do Senado; entrevistas individuais e em grupo com a titular e

tcnicos da Sedec e do Ministrio das Cidades; pesquisa via telefone com responsveis pela defesa civil

de estados e municpios que firmaram termos de compromisso com a Secretaria Nacional de Defesa

Civil at o dia 6 de agosto de 2009.

A pesquisa com os responsveis teve por finalidade investigar a estrutura e os recursos disponveis nos

rgos de defesa civil, sua capacidade operacional, as pricipais dificuldades enfrentadas, avaliao

qualitativa da atuao da Sedec, conhecimento sobre o programa federal avaliado. Houve retorno de

89% dos responsveis estaduais (8) e 87% dos responsveis municipais (27).

A equipe testou o questionrio de 17 perguntas com trs responsveis. O tempo de resposta foi

estimado em 15 minutos, no mnimo. Ao entrar em contato com os pesquisados, o auditor informava o

objeto da pesquisa, o nmero de perguntas e o tempo estimado para respond-las. A maioria dos

entrevistados respodeu a pesquisa na primeira tentativa e poucos pediram que fosse realizado contato

posterior.




26. Sempre que vivel, o pesquisado deve ser informado previamente sobre os objetivos da pesquisa e

sobre o tipo de informao que ser solicitada (ANEXO A EXEMPLO 5). Essa providncia

adotada especialmente nas seguintes situaes: a) para comunicar ao gestor (secretrio municipal ou

estadual, por exemplo) que unidades sob sua gesto recebero o questionrio, b) para informar ao

pesquisado sobre o tipo de informao que ele eventualmente ter que compilar.

COMO USAR A PESQUISA EM AUDITORIA

27. Para que o uso da pesquisa em auditoria contribua para responder as questes de auditoria,

necessrio seguir procedimentos de planejamento, elaborao, teste, aplicao e anlise do

questionrio. Seguir esses procedimentos aumenta a probabilidade de que as perguntas do

questionrio permitam coletar as informaes necessrias para responder as questes de auditoria e

que as informaes tenham validade e confiabilidade.

28. O passo-a-passo dos procedimentos de uso de pesquisa em auditoria encontra-se no Apndice A. Cabe aqui destacar alguns desses procedimentos em razo de sua importncia para o sucesso da

aplicao da metodologia:

28.1 teste o questionrio durante o teste piloto da auditoria para verificar se os pesquisados

entendem o que voc teve a inteno de perguntar, se o que voc perguntou era relevante, se

faltou perguntar algo;

28.2 codifique os questionrios postais para viabilizar o controle de resposta. A simples

numerao sequencial dos questionrios pode ser suficiente;

28.3 confira informaes-chave de identificao dos entrevistados com amostra de 25% deles,

caso a aplicao dos questionrios tenha sido por contato pessoal e terceirizada.

28.4 O questionrio deve ser enviado com prazo fixado para ser respondido. Controle as unidades

de pesquisa que no responderam no prazo e encoraje quem permaneceu em silncio. Depois

de expirado o prazo, telefone, envie mensagem eletrnica ou reenvie o questionrio pelos

correios. Deixe claro que a resposta dos pesquisados importante e desculpe-se

antecipadamente para o caso de a resposta j ter sido enviada (NAO, 1999).

Ateno

No deixe de realizar o teste piloto do questionrio. Apenas com a aplicao e anlise do questionrio de certo nmero de pesquisados possvel

identificar falhas que podero prejudicar a eficcia da pesquisa. Alm da qualidade das

perguntas, o teste permite identificar problemas de logstica para a realizao da pesquisa e

falhas no treinamento dos pesquisadores.

1 primeiro, teste o questionrio com colegas e com profissionais que tenham conhecimento sobre o tema pesquisado.

2 em seguida, faa um teste piloto, simulando as condies reais da pesquisa, com parcela da populao pesquisada. A amostra piloto de pelo menos 30 casos em grandes pesquisas

(NAO, 1999).




CRITRIOS DE ELABORAO DE PERGUNTAS

29. O contedo das perguntas o elemento principal na elaborao do relatrio, mas a forma segundo a

qual a pergunta formulada pode afetar decisivamente o sucesso da pesquisa. Siga as seguintes

orientaes referentes a contedo.

29.1 Beseie-se na matriz de planejamento. Colete informao til para responder as questes de

auditoria, de forma compatvel com os mtodos de anlise a ser usados.

29.2 Inclua perguntas que esclaream umas s outras, permitindo conferir a consistncia das

respostas.

29.3 No faa duas perguntas em uma s. Exemplo: voc pensa que a criao de centrais de

marcao eletrnica de consultas mdicas foi uma boa iniciativa e que elas funcionam bem?

Nesse caso, o pesquisado poderia responder sim, que considera uma boa iniciativa, mas que

elas no funcionam bem, por exemplo, em razo de problemas relacionados

implementao.

29.4 Evite perguntas cuja resposta dependa demais da memria do pesquisado. No caso de

perguntas sobre a freqncia segundo a qual certo evento ocorre, apresente opes para

facilitar a resposta (exemplo: nenhuma vez no ano passado; uma ou duas vezes; mais de duas

vezes). Mesmo com esse cuidado, esteja consciente de que a resposta ter alguma margem

de erro.

29.5 Evite perguntas embaraosas.

29.6 Evite perguntas ambguas, ou seja, que usem palavras cujo significado seja incerto e d

margem a diferentes interpretaes. Por exemplo: Numere de 1 a 5, do mais importante para

o menos importante, os cinco fatores que mais contribuiram para a ocorrncia de atrasos

nesse aeroporto ultimamente. Veja como eliminar a ambiguidade dessa pergunta no Anexo

A exemplo 10.

29.7 Evite perguntas que obriguem o pesquisado a levantar dados, apesar de isso ser possvel em

questionrios postais e eletrnicos (GAO, 1991, p. 22).

29.8 Assegure-se de que a pergunta permite obter a informao necessria anlise das questes

de auditoria.

Ateno

A questo de auditoria e o tipo de informao que voc precisa para respond-la determinam

o tipo de pergunta que deve ser formulada

No inverta essa lgica




Quadro 7 - Exemplo de formulao de pergunta

30. A elaborao das perguntas do questionrio deve seguir os padres gerais de redao de relatrio, no que couber (BRASIL, 2010, p. 29-31), em especial o seguinte:

30.1 Clareza - ser de fcil compreenso para o pblico ao qual o questionrio destinado. Para aumentar a clareza e a compreenso das perguntas:

evite termos tcnicos;

evite termos eruditos e expresses em outros idiomas;

evite usar siglas e abreviaturas;

evite usar dupla negao;

use frases curtas, evitando perodos longos que se estendam por diversas linhas;

prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando oraes intercaladas, parntesis e travesses;

evite escrever em caixa alta;

organize as perguntas por meio do sequenciamento lgico dos temas, dispondo-as no questionrio em blocos identificados por ttulo sugestivo do

tema abordado.

Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno de

mamgrafos disponveis para o SUS (TC 011.587/2009-1). Havia indcios de que os equipamentos

eram subutilizados. Para dimensionar o problema, foi formulada a seguinte questo sobre o regime

de funcionamento do servio:

6. Qual a quantidade de perodos que o equipamento funciona POR MS (considerar a mdia do

primeiro semestre de 2009; PERODO corresponde a um turno, que pode ser uma manh, tarde ou

noite):

Essa pergunta foi formulada com base na experincia da equipe na fase de planejamento, inclusive

em estudo de caso realizado em Braslia, e considerando o fato de que os questionrios seriam

respondidos pelos chefes da radiologia, que possuiam alta escolaridade. Alm disso, a pesquisa foi

testada com hospitais do Estado do Amazonas. Apesar desses cuidados, foram recebidas respostas

que demostravam que a pegunta no havia ficado clara. Por exemplo, alguns responderam o nmero

de dias de funcionamento no ms, ou o nmero de horas, ou o nmero de perodos na semana ou

mesmo o nmero de dias de funcionamento no semestre.

Posteriormente, a equipe de auditoria chegou concluso de que teria sido melhor elaborar uma

questo fechada para que os pesquisados assinalassem uma combinao de dias e turnos:

6. Assinale com um X a combinao de dias e turnos nos quais o mamgrafo normalmente funciona

na semana.

Turnos

Dias

Manh Tarde Noite

Segunda

Tera

Quarta

Quinta

Sexta

Sbado

Domingo




30.2 Conciso - produzir enunciado de perguntas que no seja mais extenso do que o necessrio para transmitir a mensagem. Como critrio indicativo, o questionrio no deve ter mais do

que quatro pginas (frente e verso de duas folhas).

30.3 Relevncia - perguntar apenas o que tem importncia, considerando os objetivos da auditoria. No elabore perguntas que no sero analisadas nem contribuiro para responder

alguma questo de auditoria.

30.4 Tempestividade - cumprir o prazo previsto para elaborao do questionrio, sem comprometer sua qualidade nem o cronograma da auditoria.

30.5 Objetividade - produzir perguntas imparciais, equilibradas e neutras. A linguagem utilizada deve ser isenta de qualquer conotao tendenciosa ou ambgua, de forma a evitar atitude

defensiva e oposio.

TIPOS DE PERGUNTAS USADAS EM QUESTIONRIO

31. As perguntas podem ser abertas (Quadro 10) ou fechadas (ANEXO A EXEMPLO 3). Cada uma serve a um prposito e tm seus pros e contras.

Quadro 8 Caractersticas das perguntas abertas e das fechadas

Pergunta aberta Pergunta fechada

Permite que o pesquisado use suas prprias palavras, o que

pode trazer informao adicional

Restringe a resposta s formulaes do elaborador do

questionrio

Mais apropriada para explorar a diversidade de idias e de

opinies

Mais apropriada para colher fatos e dados numricos

Pode ser analisada por meio de criao de categorias e

posterior codificao

Permite usar ampla variedade de tcnicas de anlise

quantitativa de dados

Exige menor tempo de elaborao Exige maior tempo de elaborao para evitar vieses, mal

entendidos, reducionismo

Trabalhosa para responder. A resposta pode no representar

bem o pensamento do pesquisado com baixo nvel de

escolaridade

Fcil de responder.

O processo de codificao e anlise d margem introduo

de vieses do pesquisador

-

Demanda anlise trabalhosa Normalmente, a anlise menos trabalhosa do que a das

respostas a perguntas abertas

32. As perguntas fechadas podem permitir resposta nica (ANEXO A EXEMPLO 3) ou mltipla (ANEXO A EXEMPLO 8). Em perguntas de resposta nica, possvel usar escalas. As mais usadas em Anop no TCU so as escalas tipo Likert, perguntas com escalas diversas e o diferenciador

semntico.

32.1 A escala de tipo Likert usada para medir o grau de concordncia ou discordncia do pesquisado sobre determinada afirmao acerca de uma situao, atitude, crena, juzo de

valor (ANEXO A EXEMPLO 4).

32.2 Na escala de diferenciador semntico, solicita-se que o pesquisado se posicione em uma escala que relaciona duas palavras de significado semntico oposto nos extremos (ANEXO

A EXEMPLO 9).




32.3 Os questionrios aplicados em Anop incluem com frequencia perguntas que usam escalas. Escalas so usadas para investigar as atitudes dos pesquisados. Ao usar escalas, formule

nveis equilibrados, isto , no formule mais nveis de um tipo que de outro (discordncia ou

concordncia). Inclua a opo equivalente a no aplicvel ou no sei, se for o caso. Inclua o ponto neutro, que no expressa discordncia nem concordncia, se a situao exigir.

Pode ser que o ponto neutro no seja uma resposta conveniente para a auditoria, mas o fato

que muito provavelmente existam pesquisados com essa opinio. A omisso do ponto neutro

quando ele possvel de ocorrer pode trazer vis para as respostas e para as anlises.

Usualmente, atribui-se um nmero a cada opo da escala e calcula-se a mdia das respostas.

Assim, possvel ordenar os diferentes itens julgados pelos pesquisados (ANEXO A EXEMPLO 4).

32.4 Escalas desequilibradas so usadas quando respostas negativas no so possveis. As respostas progridem a partir de um ponto de referncia, usualmente zero ou nenhum. o

caso dos dois primeiros exemplos do Quadro 9 (GAO, 1991, p. 27).

Quadro 9 Exemplos de escalas usadas em questionrios de Anop

33. Outro tipo de pergunta a de ordenao, que tem a particularidade de fornecer mais informao do que simplesmente um rol de respostas, pois classifica os itens (ANEXO A EXEMPLO10). A ordenao apresentada no significa que os itens estejam separados pela mesma distncia. Esta pode

ser um tipo de pergunta mais difcil para o pesquisado responder, especialmente em caso de haver

muitas opes. Sendo assim, d instrues claras de preenchimento e, se possvel, pea para marcar

os itens mais importantes (os trs mais importantes, por exemplo) (NAO, 1999). Uma alternativa

quando se tem muitos itens reformular a pergunta de ordenao como vrias perguntas de escala, e

orden-las posteriormente, como descrito no pargrafo 32.3 (GAO, 1991, p. 29).

Nunca, poucas vezes, muitas vezes, sempre

No atuante, pouco atuante, atuante, muito atuante

Pssimo, ruim, regular, bom, timo

Muito rpido, rpido, normal, demorado, muito demorado

Piorou muito, piorou, ficou inalterado, melhorou, melhorou muito

Muito satisfeito, satisfeito, nem satisfeito nem insatisfeito, insatisfeito, muito insatisfeito

Aumento da incidncia, incidncia inalterada, reduo da incidncia




ESTRUTURA E FORMATAO DO QUESTIONRIO

34. Em especial questionrios que devem ser preenchidos pelo pesquisado devem apresentar formatao e estrutura claras e atrativas, o que se justifica pelas seguintes razes:

34.1 elevar taxas de resposta;

34.2 facilitar a aplicao do questionrio pelo pesquisador;

34.3 padronizar comportamento dos pesquisadores;

34.4 favorecer a correo dos registros das informaes.

Estrutura

35. A estrutura do questionrio refere-se ordenao de seus elementos, principalmente ordem em que as perguntas so apresentadas no formulrio. Os questionrios so compostos das seguintes partes:

35.1 Mensagem explicativa: inicie o questionrio com informaes sobre a (1) motivao e os (2) objetivos da pesquisa, (3) como os dados sero usados (garantia de que o respondente no ser identificado), (4) quem deve responder o questionrio (por exemplo, em questionrio enviado para hospitais, o chefe do setor de radiologia), bem como o (5) contato com a equipe em caso de dvida (ANEXO A EXEMPLO 6).

35.2 Instruo sobre como enviar resposta ao questionrio: quando a pesquisa postal, necessrio fornecer instrues precisas sobre como a resposta deve ser encaminhada. Deve tambm ser enviado envelope resposta pr-pago para os pesquisados. O TCU tem contrato com os correios que permite esse tipo de correspondncia (ANEXO A EXEMPLO 7).

35.3 Formulrio de perguntas: esta parte do questionrio corresponde ao rol de perguntas a ser respondidas.

35.4 Agradecimento: corresponde a uma simples declarao do tipo Obrigado por sua colaborao ao final do questionrio. Objetiva reconhecer a ateno e o esforo do pesquisado em responder a pesquisa.

36. No formulrio, as perguntas devem ser agrupadas em sees, por tema. Estrutura-se o questionrio do geral para o especfico, do menos pessoal para o mais delicado e pessoal. Esta estrutura aplica-se ordenao dos temas no questionrio e ordenao das perguntas no tema (GNTHER, 2003).

36.1 Inicia-se o questionrio pelos temas que no abordam diretamente o problema.

36.2 Em seguida, passa-se a perguntas referidas ao tema, mas em termos gerais.

36.3 Em terceiro lugar, so apresentadas as perguntas que formam o ncleo do questionrio, as mais complexas e mais emocionais. Nesse ponto, espera-se que o pesquisado esteja mais envolvido com o tema.

36.4 Na ltima parte, recomenda-se formular uma pergunta aberta que deixe o pesquisado livre para abordar algum ponto que no tenha sido coberto pelas perguntas fechadas (Quadro 11 exemplo 2). Por fim, pode ser formulada pergunta sobre telefone ou endereo eletrnico de contato para posterior confirmao de respostas e envio do resultado da pesquisa.

Ateno

Somente pea dados socioeconmicos se realmente for analis-los e se so importantes para responder alguma questo de auditoria.




Quadro 10 - Exemplo de pergunta sobre contato

37. Procure agrupar perguntas direcionadas para apenas um subgrupo dos pesquisados de forma a evitar

necessidade de que o pesquisado tenha que pular perguntas, obedecendo a comandos do tipo se ....

ento v para a pergunta .... O roteamento funciona melhor quando o questionrio aplicado por

pesquisadores ou por meio eletrnico que automatize o roteamento (NAO, 1999).

Formatao

38. Entre os cuidados de formatao que devem ser observados, citam-se:

38.1 Procure manter o questionrio com at 4 pginas, mas no sacrifique a clareza e o objetivo

da auditoria em razo do espao. Especialistas e gestores interessados no tema podem manter

o interesse em responder questionrios mais longos.

38.2 Numere as pginas do questionrio e as perguntas.

38.3 Use tipos e tamanhos diferentes de fontes para propsitos diferentes.

38.4 Procure registrar as opes das perguntas na vertical e no na horizontal.

38.5 Evite continuar uma pergunta em outra coluna ou pgina porque a parte final pode escapar

ao pesquisado.

38.6 No caso de questionrios longos e que sero digitados por prestadores de servio

especializados, pode ser necessrio discutir a formatao que facilite a digitao. Maiores

detalhes sobre formatao podem ser encontrados em IPEA (2005).

Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a

manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). A

informao sobre o contato dos pesquisados foi muito importante porque cerca de

15% dos repondentes foram entrevistados complementarmente por telefone para

esclarecer dados sobre os quais havia indcio de erro.

9. Por favor, informe nos campos abaixo um endereo de e-mail e um telefone para

possvel contato sobre as informaes desta pesquisa

E-mail: ______________________________

Telefone: ____________________________




COMO ANALISAR AS RESPOSTAS

39. A anlise das respostas aos questionrios pode ser realizada com grande liberdade na escolha de

tcnicas. Dessa forma, a equipe deve consultar a literatura especfica de cada tcnica. Esta seo

trata de providncias gerais de organizao e anlise preliminar que podem ser usadas em conjunto

com qualquer tcnica de anlise.

Planejamento da anlise

40. A anlise dos questionrios precisa ser planejada. Os tipos de variveis investigadas influenciam as

possveis tcnicas de anlise que podero ser usadas. Sendo assim, na fase de planejamento, devem

ser definidas as tcnicas de anlise que sero aplicadas, de forma a obter evidncias para responder

as questes de auditoria. Na prtica, o processo interativo. As perguntas so formuladas,

verificam-se quais tcnicas podem ser aplicadas para o tipo de varivel analisada e que tipo de

informao a anlise produzir. Se a concluso for insatisfatria, as perguntas so reformuladas para

permitir aplicar a tcnica que produzir a informao desejada. Esse processo inclui verificar se a

equipe possui as competncias necessrias para aplicar as tcnicas e se os recursos disponveis so

suficientes (como software adequado, por exemplo). Caso negativo, necessrio solicitar apoio

tcnico e novos recursos ou reformular o projeto de auditoria.

Codificao

41. A codificao a tarefa de atribuir nmeros s variveis e aos valores que estas possam assumir

dentro da faixa de variao (COHEN; FRANCO, 1993). Esses cdigos que so usados na prtica

quando aplicadas certas tcnicas de anlise de dados. Assim, a codificao tambm deve ser

planejada. Por exemplo, crie cdigos para diferenciar desconhecimento da resposta (9999) da falta

de resposta para a pergunta (99).

42. Outra providncia de codificao refere-se quela necessria anlise de perguntas abertas com

resposta textual. Com frequncia, a ltima questo do questionrio aberta e tem por finalidade

deixar o pesquisado expressar opinio sobre algum ponto no abordado pelo questionrio ou

apresentar sugestes de melhoria. Isso feito porque normalmente as perguntas so fechadas e

deixam pouco espao para a expresso desse tipo de informao. A codificao das respostas s

perguntas abertas realizada aps o recebimento dos questionrios, ao contrrio da codificao das

perguntas fechadas.




Quadro 11 - Exemplos de codificao de varivel

Anlise de consistncia das variveis

43. Aps a tabulao, os valores registrados devem ser testados para verificar se se encontram na faixa

de variao possvel e so consistentes entre si (COHEN, FRANCO, 1993). A anlise de

consistncia pode revelar mal entendidos na formulao da pergunta (Quadro 7), marcaes

invlidas (marcao de duas opes, quando caberia apenas uma; marcao de X quando o

solicitado era preenchimento de informao numrica, por exemplo), concentrao de no-resposta

em alguma pergunta.

44. Quando as respostas so digitadas a partir de um questionrio respondido, 10% dos dados so

conferidos. Caso sejam encontrados erros de digitao, o percentual de questionrios a ser

conferidos deve ser aumentado. A anlise de consistncia envolve calcular estatsticas descritivas,

como valores mximo e mnimo, mdia e desvio padro, bem como elaborar grficos, como o box-

plot, para identificar observaes estranhas, fora do esperado e que devem ser investigadas. Esses

valores podem representar variveis de unidades de pesquisa de fato destoantes ou podem significar

erros de digitao ou de prestao de informao. A consistncia entre as variveis pode ser

verificada, por exemplo, pela construo de tabelas que cruzem os respectivos dados e pelo

confronto de estatsticas descritivas e propores. Esses dados podem ser analisados em confronto

com uma teoria ou comportamento hipottico esperado.

Exemplo 1 varivel numrica Pode haver perda significativa de informao caso seja formulada pergunta fechada no

questionrio e a equipe no tenha dados suficientes sobre a possvel faixa de variao

da varivel. Nesse caso, a equipe pode elaborar uma pergunta aberta no questionrio.

Posteriormente, quando da tabulao dos dados, e conforme a tcnica de anlise a ser

usada, possvel codificar as respostas e elaborar uma escala formada por faixas de

variao.

Exemplo 2 varivel textual

Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a

manuteno de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Foi

elaborada a seguinte pergunta para gestores de unidades de sade onde havia

mamgrafo registrado no Cadastro Nacional de Estabelecimentos de Sade CNES.

10. Caso ache necessrio, utilize o espao abaixo para discorrer sobre algum ponto que

no tenha sido abordado pelo questionrio, ou ento opinar acerca dos fatores que

possam contribuir para aumentar o nmero de mamografias realizadas pelo Sistema

nico de Sade:

Foram digitadas respostas de 42 gestores, de total de 249 respondentes, que fizeram

comentrios substantivos sobre o tema da auditoria. As respostas foram classificadas

em 6 categorias de anlise. As manifestaes serviram para interpretar as evidncias

quantitativas, decorrentes da tabulao das respostas s perguntas fechadas, e, em

alguns casos, foram transcritas no relatrio como evidncia e ilustrao. Categorias: 1)

atualizao do CNES; 2) treinamento de pessoal; 3) manuteno de equipamentos; 4)

processadora de filmes; 5) teto financeiro; 6) estrutura fsica.




Teste da coerncia entre populao e amostra

45. Na quase totalidade das pesquisas realizadas pelo TCU, so enviados questionrios para todas as unidades de pesquisa da populao ou para uma amostra delas, com prazo para resposta. O

percentual de pesquisados que respondem pesquisa no prazo depende de vrios fatores, entre os

quais: a possibilidade de entrar em contato direto com os pesquisados para insistir na resposta, a

natureza da unidade pesquisada (se jurisdicionada ao TCU ou no), a localizao geogrfica dos

pesquisados, a qualidade do cadastro de endereos e outros. Nos exemplos apresentados nos quadros

2 a 6, a taxa de resposta variou de 44,5 a 100%.

46. O fato que as anlises so realizadas sobre as respostas obtidas, que nem sempre correspondem a uma amostra aleatria e representativa da populao. Os respondentes podem ser aqueles com

opinies mais extremadas ou que so mais interessados no tema. Dessa forma, podem no refletir a

populao (NAO, 1999).

47. Sendo assim, necessrio fazer algumas anlises para verificar se os respondentes guardam alguma correspondncia com a populao. Isso no garante que a amostra no seja enviesada, mas informa

ao leitor do relatrio sobre a qualidade dos dados obtidos.

48. O teste qui-quadrado permite testar se a distribuio dos respondentes segundo certa varivel (sexo, localizao geogrfica, renda, escolaridade) corresponde distribuio da populao segundo essa

mesma varivel. Caso essa hiptese no seja rejeitada, razovel concluir que a amostra

representativa da populao (ANEXO A EXEMPLO 12).




APNDICE A PROCEDIMENTOS PARA USO DE PESQUISA EM AUDITORIAS

1. definir populao alvo e meio de aplicao

2. elaborar as perguntas para testar as hipteses formuladas na fase de planejamento ou descrever como se desenvolvem processos ou como se caracteriza certa situao

3. selecionar pesquisados

4. testar questionrio com especialistas e colegas

5. ajustar questionrio

6. codificar respostas s perguntas fechadas

7. pilotar aplicao do questionrio e sua anlise

8. ajustar o questionrio, conforme indicado no piloto

9. avisar os pesquisados que recebero o questionrio

10. treinar aplicadores, se for o caso

11. aplicar/enviar questionrios

12. relembrar ou enviar questionrios pela segunda vez para no-respondentes

13. digitar respostas

14. codificar respostas s perguntas abertas

15. fazer primeira tabulao e anlise de consistncia das respostas

16. conferir com pesquisados algumas informaes-chave, se for o caso

17. analisar possveis padres da no-resposta

18. analisar dados (relao entre variveis, caracterizao de situaes ou grupos de pesquisados)

19. enviar aos pesquisados o resultado da auditoria




ANEXO A EXEMPLOS

Exemplo 1 - Marque um X na coluna correspondente a sua avaliao sobre a disponibilidade dos

seguintes equipamentos em seu posto de vigilncia.

Itens a serem avaliados No

existe

Existe, mas

no

satisfatrio

Existe, e

satisfatrio

No se

aplica*

No

sei

1. Veculos para as atividades de fiscalizao

2. rea que permita isolamento e segregao de cargas para tratamento fitossanitrio

3. rea que permita isolamento e segregao de cargas perigosas

4. Laboratrio para exame bsico de mercadorias

5. Local e equipamento de recebimento e isolamento de animais

6. Pedilvios

7. Rodolvios

8. Incineradores para destruio de produtos agropecurios em situao de risco

9. Cmaras de expurgo (fumigao)

10. Detector de material orgnico

11. Ambiente climatizado para inspees de mercadorias

12. Equipamentos de informtica que permitam acesso ao SISCOMEX

*Assinale esta opo caso o equipamento no seja necessrio em seu posto. Por exemplo, caso seu posto

no fiscalize trnsito de animais vivos, o item 4 no se aplica.

Fonte: adaptado do TC 012.488/2005-5.




Exemplo 2 - Preencha o quadro abaixo com o nmero total de equipamentos de diagnstico por imagem

existente no seu estabelecimento de sade e o nmero, desse total de equipamentos, que esto em

funcionamento:

Equipamentos de radiologia de TODAS as unidades do estabelecimento

de sade

Nmero total

de

equipamentos

existentes

Nmero de

equipamentos

em

funcionamento

Mamgrafo com comando simples

Mamgrafo com estereotaxia

Tomgrafo computadorizado

Ressonncia magntica

RX Mveis

RX Fixos

Raio X telecomandado (com fluoroscopia, contrastado, escopia)

Raio X para densitometria ssea (densitmetro)

Ultrassom Doppler colorido

Ultrassom ecgrafo

Fonte: adaptado do TC 011.587/2009-1

Exemplo 3 Qual a carga horria do curso de aperfeioamento para professores do qual voc participou em 2005?

igual ou inferior a 80 horas

entre 80 e 120 horas

igual ou superior a 120 horas

no sei

no participei de curso em 2005





Exemplo 4 Marque um X na coluna correspondente ao seu grau de concordncia ou discordncia com as afirmaes abaixo sobre o planejamento, a qualidade e o contedo do curso/evento de capacitao do

qual voc participou.

Afirmaes

Discordo

totalmente Discordo

Nem

concordo

nem

discordo

Concordo Concordo

totalmente No sei

1 2 3 4 5

O curso/evento ocorreu em local prximo ou

de fcil acesso para mim

Na poca da seleo, eu conhecia os critrios

que seriam usados para selecionar quem iria

participar do curso

Antes de iniciar o curso, eu j conhecia seu

programa

Participei do curso por minha prpria vontade

e iniciativa, sem imposio da minha escola

ou da Secretaria de Educao

Houve controle da freqncia dos treinandos

que participaram do curso

A freqncia foi um critrio utilizado na

avaliao dos alunos do curso

Os instrutores demonstraram ter

conhecimento sobre o contedo da disciplina

que estavam ministrando

Os instrutores demonstraram ter boa didtica

nas exposies em sala de aula





Exemplo 5 Mensagem de aviso sobre encaminhamento da pesquisa.

Senhor Secretrio,

Comunico a Vossa Senhoria que o Tribunal de Contas da Unio TCU est realizando, por solicitao do Congresso Nacional, auditoria operacional com o objetivo de avaliar a alocao, uso e

manuteno de mamgrafos e outros equipamentos de radiodiagnstico disponveis para o SUS. Um dos

objetivos do trabalho o conhecimento do panorama nacional da distribuio e funcionamento desses

equipamentos.

Para isso, estamos realizando pesquisa com os estabelecimentos de sade pblicos que

possuem equipamentos de mamografia. Assim sendo, unidades de sade sob a gesto dessa Secretaria

recebero questionrios, via postal, para a obteno das informaes necessrias.

Tendo em vista o cronograma estabelecido para realizao da auditoria, solicito a gentileza

de instruir os dirigentes das unidades sob gesto de Vossa Senhoria, e chefes dos servios de radiologia

respectivos, a enviar a resposta at o dia 10 de setembro de 2009.

O preenchimento com informaes fidedignas muito importante, pois a qualidade dos

resultados desta pesquisa depende das respostas das unidades de sade.

Nesse sentido, agradeo, antecipadamente, a colaborao que for prestada para o envio das

respostas pesquisa.

Contatos adicionais podero ser feitos com a coordenadora da auditoria, nome do(a) auditor(a), mediante o telefone (61) 3316-5463, ou nome do(a) auditor(a) (61) 3316-5132 ou endereo eletrnico [email protected] .

Atenciosamente,

Nome do titular da Unidade

Secretrio 4 Secex





Exemplo 6 Mensagem explicativa para o pesquisado.

Sr.(a). Responsvel Tcnico,

O Tribunal de Contas da Unio est realizando auditoria operacional na Poltica de Garantia de

Preos Mnimos PGPM. O foco do presente trabalho o processo de armazenamento dos produtos agrcolas adquiridos pela Conab. O objetivo principal analisar o processo de armazenagem de produtos,

para, em conjunto com a Conab, propor melhorias na execuo da PGPM.

Tendo em vista que o armazenamento dos produtos de essencial importncia para a PGPM, este

questionrio foi enviado a todos os armazns prprios da Conab, a fim de colher informaes e opinies

acerca dos temas abordados a seguir.

Ressaltamos que as respostas dadas a esse questionrio so sigilosas. Os dados coletados sero

tratados em conjunto. O desconhecimento das respostas de algumas questes no inviabiliza o

preenchimento das demais. Se houver alguma dvida, por favor, entre em contato com nome do(a) auditor(a), supervisor da auditoria, ou nome do(a) auditor(a), coordenador, pelo telefone 61-3316.7898 ou pelo e-mail [email protected].

Sua contribuio de grande importncia para o sucesso dos trabalhos e para a melhoria do

processo de armazenamento de estoques pblicos. Desde j, agradecemos sua participao.

Nome do titular da Unidade

Secretrio de Fiscalizao e Avaliao de Programas de Governo Seprog Tribunal de Contas da Unio TCU


Exemplo 7 Instruo para resposta ao questionrio.


INSTRUO PARA ENVIO DE RESPOSTA

Aps preencher o questionrio, por favor, envie-o pelos Correios usando o envelope pr-pago que o

acompanha.

Caso preferir, possvel escanear o questionrio respondido e enviar para o seguinte endereo

eletrnico [email protected]




Exemplo 8 Indique os critrios de prioridade usados pelo municpio para seleo de famlias beneficirias de programas de melhoria habitacional voltados populao de baixa renda. (admite mais

de uma resposta)

1. Chefe de famlia mulher

2. Idosos na famlia

3. Pessoas com deficincia na famlia

4. Renda per capita da famlia

5. Nmero de dependentes na famlia

6. Caracterstica tnico/racial do chefe da famlia

7. Famlias residentes em reas de risco

8. Famlias residentes em reas de degradao ou proteo ambiental

9. Famlias residentes em reas insalubres

10. Famlias que habitam domiclios rsticos ou improvisados

11. Tempo de residncia da famlia no municpio

12. Outros critrios


Exemplo 9 Marque um X na coluna correspondente ao grau de dificuldade que o municpio enfrenta para executar cada etapa do programa de tratamento de resduos slidos urbanos.

Etapa

Muito

fcil

1

2 3 4 Muito difcil

5

Cumprimento pelo municpio das condies para participar

do programa

Processo para o licenciamento ambiental

Obteno de terreno para implantao de aterro sanitrio

Elaborao do projeto pelo municpio

Execuo das obras pelo municpio

Operacionalizao do aterro pelo municpio

Manuteno do aterro pelo municpio (inclusive

equipamentos)

Cumprimento de contrapartidas pelos municpios

Articulao com o Programa Sade da Famlia

Articulao com o Programa Agentes Comunitrios de

Sade

Descontinuidade administrativa (troca de gesto

municipal)

Sustentabilidade econmica-financeira do aterro sanitrio

Sustentabilidade tcnica-operacional do aterro sanitrio

Controle social





Exemplo 10 Numere de 1 a 5, do mais importante para o menos importante, os cinco fatores que mais

contriburam para que vos tenham atrasado por mais de 30 minutos no seu aeroporto em 2007. Responda

apenas considerando a situao operacional nesse aeroporto (por exemplo, no considere o fato de o vo

j ter chegado atrasado a esse aeroporto).

( ) Manuteno no prevista de aeronaves

( ) Ptio de estacionamento de aeronaves

( ) Meio-fio de embarque

( ) Sala de embarque

( ) Balces de check-in

( ) rea de desembarque e esteiras de restituio de bagagem

( ) Meio-fio de desembarque

( ) Controle de passaportes

( ) Alfndega

( ) Controle de trfego areo

( ) Meteorologia

( ) Problemas operacionais das empresas


Exemplo 11 Marque um X na opo correspondente informao correta sobre o responsvel pela

famlia:

A - Sexo

Homem

Mulher

B Idade

at 25 anos

entre 26 e 30 anos

entre 31 e 40 anos

entre 41 e 50 anos

entre 51 e 65 anos

acima de 65 anos

C Escolaridade

At a 3 srie do 1 Grau

Da 3 srie a 7 do 1 Grau

1 Grau completo

2 Grau incompleto

2 Grau completo

Superior incompleto

Superior completo





Exemplo 12 Em 2009, o Tribunal de Contas da Unio (TCU) avaliou a alocao, o uso e a manuteno

de mamgrafos disponveis para o SUS (TC 011.587/2009-1). Entre os procedimentos de coleta de dados

usados, foram enviados 420 questionrios para os estabelecimentos pblicos de sade que figuravam no

Cadastro Nacional de Estabelecimentos de Sade CNES como possuidores de mamgrafos. A pesquisa

foi respondida por 249 estabelecimentos. A equipe usou o teste qui-quadrado (STEVENSON, 1981) para

verificar se a distribuio dos estabelecimentos respondentes por Regio seguia a distribuio dos

estabelecimentos no CNES. A hiptese foi aceita. Sendo assim, sups-se que a amostra dos respondentes

era representativa dos estabelecimentos cadastrados.

Vale lembrar que a distribuio amostral poderia ter sido classificada segundo outras variveis e

testada em confronto com a distribuio da populao. Entre as variveis que poderiam ter sido usadas,

citam-se: tamanho dos estabelecimentos (em nmero de leitos, por exemplo), natureza do estabelecimento

(beneficiente, administrao direta, administrao indireta), tipo de estabelecimento (hospital geral,

centro de sade, policlnica, clnica especializada), esfera administrativa (federal, estadual, municipal,

privada) e outras variveis disponveis no CNES.

Para testar a hiptese de que a distribuio amostral segue a distribuio da populao, foram

seguidos os seguintes passos, usando o excel, conforme registrado na Tabela E:

1 Foi calculada a estatstica de teste (somatrio da ltima coluna da Tabela E) = 0,2273.

2 Calculou-se o grau de liberdade da distribuio qui-quadrado a ser usada da seguinte forma: (L-1)*(C-

1) = (5-1)*(2-1) = 4, onde L o nmero de classes segundo a qual os dados esto distribudos (5 Regies)

e C o nmero de distribuies que esto sendo comparadas (respondentes e cadastrados).

3 Foi obtido o valor da estatstica qui-quadrado (tabelada) no excel para 95% de confiana e 4 graus de

liberdade usando a seguinte funo: =inv.qui(0,05;4) , que resultou 9,4877.

4 Como a estatstica tabelada maior do que a estatstica de teste, aceita-se a hiptese de que as

respondentes e cadastrados seguem a mesma distribuio por Regio.

Tabela E - Nmero de estabelecimentos de sade pblicos que responderam a pesquisa e estabelecimentos possuidores de

mamgrafos, segundo o Cadastro Nacional de Estabelecimentos de Sade CNES em abril de 2009, por estado

Regio Respondentes Cadastrados no

CNES

Frequencia

relativa dos

respondentes %

(O)

Frequencia relativa

dos cadastrados no

CNES % (E)

Estatstica de

teste

(O-E)^2/E

Norte 16 27 6,43 6,43 0,0000

Nordeste 50 88 20,08 20,95 0,0363

Centro Oeste 17 33 6,83 7,86 0,1350

Sudeste 144 236 57,83 56,19 0,0479

Sul 22 36 8,84 8,57 0,0081

Total 249 420 100 100 0,2273

Nota: no foram considerados o Distrito Federal e o Amazonas porque todos os estabelecimentos de sade possuidores de

mamgrafos foram pesquisados em teste piloto





REFERNCIAS

BRASIL. Tribunal de Contas da Unio. Tcnicas de amostragem para auditorias. Braslia: TCU, 2002.

______. Manual de auditoria operacional. Braslia: TCU, 2010.

COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis: Vozes, 1993.

FREITAS, H.; OLIVEIRA, M.; SACCOL, A.Z.; MOSCAROLA, J. O mtodo de pesquisa survey.

Revista de Administrao, So Paulo, v.35, n.3, p.105-112, jul./set. 2000.

GENERAL Accounting Office . Using structured interviewing techniques. Washington: GAO, 1991.

GNTHER, Hartmut. Como elaborar um questionrio Braslia: UnB, Laboratrio de Psicologia

Ambiental, 2003. (Planejamento de Pesquisa nas Cincias Sociais, n. 1)

INTERNATIONAL Organization of Supreme Audit Institutions. Implementation Guidelines for

Performance Auditing (ISSAI 3000). Viena: Intosai, 2004. Disponvel em:

. Acesso em: 8 set. 2008.

LDKE, Hermengarda A.; ANDR, Marli E. A. Pesquisa em educao: abordagens qualitativas. So

Paulo: EPU, 1986.

MEDEIROS, Marcelo. Questionrios: recomendaes para formatao. Braslia: IPEA, janeiro de 2005.

(Texto para Discusso, n. 1063)

NATIONAL Audit Office. Taking a survey. London: NAO, 1999.

RICHARDSON, R. J. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 1999.

STEVENSON, W.J. Estatstica aplicada administrao. So Paulo: Harper & Row do Brasil, 1981.

NOTAS EXPLICATIVAS

1 Este documento trata de pesquisa, que uma metodologia de coleta de dados conhecida na literaturatura em ingls por

survey. Em textos em portugus, possvel encontrar autores que no traduzem a expresso e outros que usam pesquisa survey

ou levantamento para designar a mesma metodologia.

Técnica de Pesquisa Para Auditorias - BTCU-10-2010 (2)

Documents

Transcript of Técnica de Pesquisa Para Auditorias - BTCU-10-2010 (2)