FUNDAÇÃO GETÚLIO VARGAS

JEAN MARCEL DE FARIA NOVO

ELABORAÇÃO DE ARTIGOS CIENTÍFICOS

A PARTIR DE INSPEÇÕES E AUDITORIAS DO TCE-RJ

RIO DE JANEIRO 2007

JEAN MARCEL DE FARIA NOVO

ELABORAÇÃO DE ARTIGOS CIENTÍFICOS

A PARTIR DE INSPEÇÕES E AUDITORIAS DO TCE-RJ

Trabalho de Conclusão de Curso apresentado ao Curso Intensivo de Pós-Graduação em Administração Pública - CIPAD da Fundação Getúlio Vargas - Rio de Janeiro.

RIO DE JANEIRO 2007

N945 Novo, Jean Marcel de Faria.

Elaboração de artigos científicos a partir de

inspeções e auditorias do TCE-RJ / Jean Marcel de

Faria Novo. – 2007.

48 f. ; 30 cm.

Trabalho de Conclusão de Curso apresentado ao

Curso Intensivo de Pós-Graduação em Administração

Pública - CIPAD)—Fundação Getúlio Vargas, Rio de

Janeiro, 2007.

Bibliografia: f. 38-40.

1. Metodologia Científica. 2. Artigo Científico

3. Controle Externo. 4. Tribunal de Contas. II. Tí-

tulo.

CDD 001.42352

L I S T A D E I L U S T R A Ç Õ E S

Figura 1: Modelo teórico de um sistema de produção de artigos científicos a partir de inspeções do TCE. 11

Figura 2: Atividades do TCE/RJ na coleta e no registro de dados em uma inspeção ou auditoria. 16

Figura 3: Analogia entre os conceitos metodológicos de Auditoria e de Pesquisa Científica. 24

Figura 4: A gestão do conhecimento e a transferência de informações entre agentes. 28

Gráfico 1: Resultado do processo de validação do ensaio do anexo II. 32

Gráfico 2: Respostas à questão: já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ? 33

Gráfico 3: Respostas à questão: o quanto cada um deles (artigos, pesquisas ou estudos efetuados pelo TCE-RJ ) contribuiu para o aprimoramento de seu trabalho? 33

Gráfico 4: Respostas à questão: artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? De que forma? 34

S U M Á R I O

1. INTRODUÇÃO 4

1.1. HISTÓRICO E CONJUNTURA 5

1.2. SUPOSIÇÃO 7

1.3. METODOLOGIA 8

1.3.1. Coleta de dados 9

1.3.2. Registro de informações 9

1.4. ESTRUTURA DO TEXTO 10

2. REFERENCIAL TEÓRICO 11

2.1. RELAÇÕES ENTRE AS TEORIAS SELECIONADAS 12

2.2. MÉTODOS DE INSPEÇÃO E AUDITORIA PARA O CONTROLE EXTERNO 13

2.3. O MÉTODO CIENTÍFICO COMO REFERENCIAL TEÓRICO 19

2.3.1. Características importantes ao texto científico 24

2.4. GESTÃO DE CONHECIMENTOS EM ORGANIZAÇÕES 26

3. A VALIDAÇÃO DE UM ENSAIO 30

3.1. RESULTADOS 31

3.1.1. Ensaio 31

3.1.2. Formulário 32

4. CONCLUSÃO 35

4.1. LIMITES DO TRABALHO 37

REFERÊNCIAS 38

GLOSSÁRIO 41

APÊNDICE I: FORMULÁRIO 43

APÊNDICE II: ENSAIO PARA VALIDAÇÃO DE PESQUISA DE CAMPO 45

APÊNDICE III: ORGANIZAÇÃO DOS DADOS COLETADOS 47

4

1. INTRODUÇÃO

No Estado do Rio de Janeiro, o controle externo dos recursos utilizados por administradores

públicos, a cargo da Assembléia Legislativa e das Câmaras de vereadores, é exercido com o

auxílio técnico do Tribunal de Contas do Estado. Os trabalhos técnicos de fiscalização

compreendem inspeções nas sedes dos órgãos jurisdicionados realizadas por especialistas

(técnicos e analistas de controle externo)1 de diversos ramos profissionais, tais como

advogados, engenheiros, arquitetos, médicos, contabilistas, estatísticos etc. que confeccionam

relatórios de inspeção.

Os técnicos do TCE são observadores privilegiados das organizações por eles inspecionadas.

A cada inspeção, descortinam-se oportunidades de estudos acerca de temas suscitados ao

longo das atividades de campo. Muitas são as possibilidades de modelagens sociotécnicas

com vistas a orientações a esses órgãos. Assim, as experiências vividas durante incursões

realizadas nas administrações públicas são fontes inesgotáveis de informações técnicas e

gerenciais passíveis de serem coletadas, tratadas e transferidas.

A prescrição das tarefas de inspeção conduz os técnicos à análise da origem de falhas

relacionadas à má gestão dos recursos públicos e a danos ao erário. O registro de achados de

auditoria, coleta de evidências e relato dos problemas encontrados são realizados de forma

precisa e segundo a legislação. A comunicação a respeito das atividades de campo

materializa-se por meio de um relatório, onde todos os registros de campo são fundamentados

em diplomas legais e devidamente documentados para que surtam efeitos administrativos.

Entretanto, informações a respeito de demandas que afetam o bom desempenho das

administrações inspecionadas geralmente escapam do escopo do relatório de inspeção,

especialmente sobre questões sociotécnicas emersas das relações entre pessoas, tecnologia e a

organização. Tais observações, se registradas adequadamente, podem servir de insumos para

textos a serem consultados, discutidos e divulgados oportunamente a fim de subsidiarem

futuras atividades de fiscalização ou oportunas orientações voltadas a órgãos públicos.

1 Para este estudo, não há distinções entre as competências de Técnicos ou Analistas de Controle Externo, pois ambos realizam inspeções e auditorias.

5

Para tanto, os fenômenos identificados em campo que mereçam exame mais aprofundado

devem ser adequadamente coletados e registrados pelo técnico para que, após análise crítica e

necessário período de maturação, possam ser vistos como matéria-prima na geração de

conhecimentos. Nesta passagem da experiência ao entendimento, o método científico parece

ser um fio condutor necessário ao êxito da aquisição organizacional do conhecer como

passagem da aparência à essência, da opinião ao conceito, do ponto de vista individual à idéia

universal (CHAUÍ, 1997).

Assim, este trabalho trata da seguinte questão: Como elaborar artigos científicos a partir de

inspeções do Tribunal de Contas do Estado do Rio de Janeiro?

1.1. HISTÓRICO E CONJUNTURA

A temática a respeito da gestão do conhecimento destaca-se como objeto de interesse para

esta pesquisa devido à importância que o tema geração do conhecimento nas organizações

representa para a Escola de Contas e Gestão do TCE (ECG/TCE), que busca a produção e o

intercâmbio de conhecimentos técnicos no TCE, a valorização e divulgação do aprendizado

corporativo por meio de uma produção de artigos científicos vão ao encontro do grande

investimento em capacitação de seus quadros que hoje o TCE/RJ realiza.

Na ECG, a Coordenadoria de Estudos e Pesquisas (COE) tem como principal atribuição estimular a produção técnico-científica em matérias de interesse amplo e específico da gestão pública, fomentando a criação de estudos, análises e pesquisas promovendo a inovação de práticas públicas. A COE coordena o resgate e a produção de novos conhecimentos pelos servidores do TCE-RJ e Jurisdicionados, identificando fontes e redes de especialistas, e estabelecendo metodologia para formatação de estudos, análises e pesquisas. É papel da COE incentivar a troca e a criação de saberes relacionados à atividade do TCE-RJ, promovendo grupos de estudos, fóruns e seminários com outros Tribunais de Contas, órgãos e entidades de administração pública e com Instituições de Ensino Superior (www.ecg.tce.rj.gov.br).

A elaboração de artigos científicos tem especial importância pela dinâmica que estes

apresentam na divulgação de pesquisas científicas, disponibilizando conclusões recentes de

forma ágil, em oposição à morosidade dos livros. Entretanto, o rigor científico na confecção

dos textos a serem submetidos à publicidade é fundamental para publicações em revistas

especializadas. A CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior),

6

p. ex., utiliza o sistema de avaliação Qualis2 para a validação da qualidade científica de

artigos de periódicos, anais, jornais e revistas.

Uma sistemática para a produção de artigos científicos que incentive o técnico que realiza

inspeções a buscar aprofundamentos teóricos que consubstanciem novos conhecimentos

voltados a possíveis melhorias dos sistemas sociotécnicos analisados, pode alavancar

pesquisas exploratórias, descritivas e explicativas a respeito de administrações jurisdicionadas

do TCE. Entretanto, estudos aprofundados sobre determinado evento que requeiram

conhecimentos multidisciplinares levarão o técnico a realizar pesquisas teóricas. Qualquer que

seja o método investigativo emprestado pela metodologia científica haverá sempre um fator

limitador relacionado ao perfil profissional do agente inspetor dedicado a produzir estudos

científicos sobre a realidade visitada.

A produção científica a partir de inspeções do TCE estará relacionada a pesquisas por teorias

que expliquem a melhor forma de se organizar o trabalho em foco e à construção do

conhecimento em rede por meio da trocas de informações com outros agentes que já

registraram suas observações sobre situações análogas, pois, a cada inspeção, novas

experiências são vivenciadas e registradas em relatórios pelos inspetores. Cada registro é feito

de um modo particular pelo técnico que esteve em campo, não havendo uma estrutura

padronizada que facilite a transferência de conhecimentos.

Os relatos não são estruturados com a finalidade de servir a outros agentes. Logo, a

transferência de conteúdos é casual. Em outras palavras, os problemas detectados e as

soluções técnicas recomendadas a determinado órgão jurisdicionado, em geral, não são

compartilhados entre o agente e os demais técnicos e, conseqüentemente, não há

uniformidade em orientações técnicas às diferentes Administrações.

Neste contexto, a produção de textos com base no método científico apresenta-se como o

caminho ideal para a explicação estruturada de fenômenos percebidos a partir de observações

realizadas em inspeções. Impressões subjetivas podem tornar-se orientações técnicas baseadas

em estudos e pesquisas complementares (fundamentos teóricos). Para tanto, os procedimentos

adotados para o registro e apresentação de dados e informações em artigos científicos são

2 http://qualis.capes.gov.br/

7

determinantes para a confiabilidade dos relatos realizados e para que novos conhecimentos

sejam elaborados a partir de então.

A oportunidade de estudos sobre os temas “produção de conhecimentos em organizações” e

“metodologia científica”, foi proporcionada no CIPAD, especialmente por meio dos

conteúdos das disciplinas que indicam a pertinência desta abordagem sobre tal temática. A

disciplina “Mensuração e Avaliação do Desempenho das Organizações” tratou sobre

conceitos de eficiência, eficácia, efetividade e auditoria; a cadeira Modelos de Gestão

apresentou conceitos sobre teoria da complexidade e de organizações baseadas na

aprendizagem; e as matérias Introdução ao Trabalho Científico e Metodologia da Pesquisa

descortinaram um universo de conceitos voltados à coleta, tratamento e análise de dados.

Por meio da elaboração de artigos científicos, os quais comportam estratégias para

identificação, registro e analise de mecanismos de interações sociotécnicas em organizações

públicas, os técnicos do TCE terão maior facilidade para construir conhecimentos a partir de

informações colhidas ao longo de seus trabalhos de inspeção, contribuindo:

a) Com a aprendizagem corporativa do TCE;

b) Com a produção científica da ECG;

c) Na melhoria de qualidade das orientações a órgãos públicos inspecionados.

Portanto, o objetivo final desta pesquisa é informar como produzir artigos científicos com o

olhar sobre questões técnico-administrativas a partir das inspeções do Tribunal de Contas do

Estado do Rio de Janeiro. Como objetivos intermediários, procuramos:

� Construir um referencial teórico que aproxime os seguintes campos de conhecimento: métodos de auditoria, metodologia científica e gestão de conhecimento;

� Organizar fluxos de procedimentos em inspeções para atividades de pesquisa;

� Mapear fatores que possam auxiliar a ação científica dos técnicos durante suas inspeções.

1.2. SUPOSIÇÃO

A partir do contexto apresentado, emergem algumas premissas que auxiliam a construção da

suposição central da pesquisa. Os técnicos do TCE são observadores privilegiados das

organizações por eles inspecionadas, mas os dados e informações observadas em diferentes

8

inspeções não são compartilhados de forma sistematizada, havendo mitigação indesejada no

incremento, ao longo do tempo, da utilidade de orientações técnicas a órgãos jurisdicionados.

As inspeções e auditorias possuem métodos próprios que sistematizam observações, coleta de

dados e registro de informações. De forma análoga, a pesquisa científica requer metodologia

própria para tais ações. O artigo científico apresenta-se como veículo adequado para o registro

e disseminação de informações, seja para o incremento da aprendizagem corporativa do TCE,

quando novos conhecimentos poderão servir de input e somar-se ao corpo de novos relatos ou

servir de parâmetros para novos trabalhos de pesquisa, ou para a divulgação institucional por

meio do desenvolvimento da produção científica da ECG.

Portanto, supõe-se ser possível a elaboração de estratégias para a confecção de artigos

científicos a partir de informações colhidas pelos técnicos do TCE ao longo de trabalhos de

inspeção, especialmente sobre fenômenos carentes de estudos aprofundados.

1.3. METODOLOGIA

Esta pesquisa possui aspetos exploratório, explicativo e aplicado. Caráter explicativo

enquanto trata de técnicas de auditoria de administrações públicas; cunho exploratório por se

basear na análise de conteúdos bibliográficos sobre gestão do conhecimento e metodologia

científica; e aspecto aplicado em face de possuir finalidade prática, devido à proposta de

elaboração de artigos científicos acerca de administrações auditadas e também à pretensão de

realizar um ensaio para materializar a suposição da pesquisa.

A pesquisa bibliográfica teve origem em notas de aula do CIPAD e na literatura adotada nas

disciplinas do curso. As disciplinas Introdução ao Trabalho Científico e Metodologia da

Pesquisa expõem diversas ferramentas metodológicas necessárias às atividades de pesquisa e

à geração de textos científicos. Dentre os métodos de pesquisa em administração (CORRÊA,

2002; VERGARA, 2006b) encontram-se meios de investigação de grande utilidade para o

olhar dos técnicos do TCE sobre questões de auditoria em órgãos públicos inspecionados.

Deste ponto, foi possível partir para outros autores já referenciados nas primeiras obras, como

forma de haver cautela quanto à coerência teórica do trabalho.

9

Com objetivo de exemplificar o registro de dados e a maturação de idéias, além de demonstrar

sua validação, elaborou-se um ensaio (ou esboço de argumentos) a partir de observações em

inspeções municipais do TCE. Por se tratar de trabalho qualitativo, cuidou-se da

representatividade das pessoas convidadas a validar o texto.

1.3.1. Coleta de dados

Quanto à pesquisa bibliográfica para o referencial teórico da suposição da pesquisa: 1.

Métodos de inspeções no controle externo público; 2. Metodologia científica; e 3. Gestão do

conhecimento. Em relação aos dados do ensaio intitulado “Alguns aspectos do trabalho dos

fiscais de obras públicas em Prefeituras Municipais no Rio de Janeiro” (apêndice II), as

informações nele registradas foram coletadas a partir de observações em inspeções de obras

públicas de 10 (dez) municípios do Estado do Rio de Janeiro entre janeiro de 2000 e

dezembro de 2002.

Para a validação das informações apresentadas no ensaio, foi aplicada uma pergunta aberta

(cabeçalho do apêndice II) em sala de aula, aos participantes dos cursos de economicidade de

contratos administrativos oferecidos pela ECG/TCE em 12/06/2007 e 28/06/2007 aos

servidores de administrações municipais do Estado do Rio de Janeiro. Aos mesmos

informantes foi aplicado outro grupo de perguntas, por meio de um formulário (apêndice I)

com perguntas abertas e fechadas com vistas à investigação sobre a impressão dos órgãos

jurisdicionados sobre a produção de artigos, pesquisas ou estudos do TCE.

1.3.2. Registro de informações

Os textos da pesquisa bibliográfica foram registrados em fichas de análise de conteúdo. Os

dados referentes às inspeções municipais que proporcionaram a elaboração do ensaio

apresentado foram anotados, organizados e reescritos de forma clara e objetiva em relação aos

fatos observados em campo, ainda sem qualquer enquadramento teórico. Quanto aos

formulários aplicados (apêndice I), houve organização dos dados coletados, agrupando-os por

categorias de análise definidas previamente (apêndice III).

10

1.4. ESTRUTURA DO TEXTO

O trabalho está organizado em quatro seções. Na primeira, trata-se da problematização do

estudo: contextualização no modelo de gestão do conhecimento do Tribunal de Contas,

suposição da pesquisa e metodologia adotadas. A seção seguinte aborda o referencial teórico

selecionado para dar suporte à suposição apresentada. A terceira seção põe em foco a prática

da coleta de informações durantes inspeções municipais e a validação de um ensaio que serviu

de registro das observações de campo. Na seção final, apresenta-se a conclusão do estudo e

provoca-se uma reflexão sobre as potencialidades da produção de artigos científicos por

técnicos do TCE.

11

2. REFERENCIAL TEÓRICO

A base teórica do trabalho, necessária ao tratamento da suposição apresentada, integra três

campos de conhecimento: 1. Métodos de inspeção e auditoria para o controle externo; 2.

Método científico; 3. Gestão do conhecimento em organizações. O modelo teórico (figura 1)

busca sistematizar a produção de artigos científicos a partir de inspeções e auditorias do TCE.

Neste modelo, explora-se uma forma de representar como as realidades percebidas em

inspeções do Tribunal de Contas podem ser sondadas, analisadas e registradas de forma

científica com vistas à mitigação da perda de conteúdos que possam contribuir em benefício

das administrações públicas visitadas.

Figura 1: Modelo teórico de um sistema de produção de artigos científicos a partir de inspeções do TCE.

No modelo teórico, os processos que compõem o sistema de produção de artigo científico

estão organizados em função de etapas (coleta, registro e maturação de dados e informações)

que ocorrem no tempo. Os campos de conhecimento aplicados ao modelo estão representados

por regiões tracejadas (A, B e C) que circulam grupos de processos que interagem numa

produção de informações sistematizadas. Cada um desses grupos possui uma interface com o

sistema de produção teorizado.

P L A N E J A ME N T O

DADOS DE INSPEÇÃO

DADOS PARA PESQUISA

DADOS PARA RELATO

ARTIGO CIENTÍFICO

ANOTAÇÕES

OUTRAS INSPEÇÕES

PESQUISA BIBLIOGRÁFICA

CONSTRUÇÃO DE HIPÓTESES / SUPOSIÇÕES

TEMPO

MATURAÇÃO COLETA REGISTRO

B

C

A

A = Métodos de inspeção e auditoria para o controle externo. B = Método científico. C = Gestão do conhecimento em organizações.

RELATÓRIO DE INSPEÇÃO

A-B

12

A região “A” contém os processos que têm relação direta com os métodos de inspeção e

auditoria para o controle externo (coleta de dados para relatório de inspeção). Métodos de

inspeção ou técnicas de coleta de registro e dados têm enfoque na forma de participação do

auditado na coleta e no registro de dados com vistas à produção de conteúdos de relatórios

técnicos.

Os conteúdos de outras inspeções a serem somados a uma pesquisa em andamento necessitam

ser recuperados de anotações pessoais (de inspeções de mesma autoria) ou estar

disponibilizados em uma base ou repositório de acesso coletivo (para a transferência de dados

e informações entre diferentes agentes). Sistemas voltados para o compartilhamento de

informações entre os técnicos do TCE para que haja facilitação na produção colaborativa de

textos científicos estão presentes na teoria da gestão do conhecimento (região “C”).

Na região “B” estão os processos voltados diretamente à confecção de textos científicos.

Aqui, a metodologia científica indica as etapas de planejamento, coleta, registro e análise de

dados para a produção do conhecimento científico. Assim, mesmo num contexto em que o

planejamento para a pesquisa de campo ainda não faça parte da cultura organizacional da

empresa, vislumbra-se, por meio de estratégias e táticas adequadas, a possibilidade de

produção de textos científicos, uma vez que “[...] a técnica é a maneira mais adequada de se

vencer as etapas indicadas pelo método. Por isso diz-se que o método equivale à estratégia,

enquanto a técnica equivale à tática [...]” (GALLIANO, 1979, p. 14).

2.1. RELAÇÕES ENTRE AS TEORIAS SELECIONADAS

As interdisciplinaridades presentes no modelo da figura 1 estão representadas por setas de

dupla direção. A relação entre os “métodos de inspeção e auditoria” e o “método científico”,

representada pelo segmento A-B, é estabelecida em função da interdependência do processo

de coleta e registro de dados provenientes de uma inspeção com a respectiva destinação que

lhes será dada: achados de inspeção para um relatório de inspeção, dados para a confirmação

de uma hipótese em um texto científico ou ambos, caso uma observação de campo que sirva

como achado de auditoria seja adequada ao objeto de estudo delineado pelo técnico enquanto

cientista.

13

Na mesma linha, o campo teórico acerca da “gestão do conhecimento” relacionado ao

processo denominado “outras inspeções” inscreve-se estrategicamente no diagrama

apresentado, onde tangencia as outras duas teorias. O compartilhamento de informações entre

os técnicos que realizam inspeções e auditorias pode alavancar a produção científica do TCE,

especialmente se houver ações dirigidas para a gestão do conhecimento contido em relatos, de

tal forma que seja facilitada a transferência de conteúdos armazenados. Para que isto se

materialize é necessário que o Tribunal de Contas fomente a produção de conhecimentos

segundo as normas da ciência e as disponibilize de forma eficiente.

Os campos de conhecimento específicos ao estudo de dados colhidos em inspeção estão

contidos no processo denominado pesquisa bibliográfica. As teorias escolhidas pelo técnico

criam fronteiras para o conhecimento que será produzido, mesmo que o tempo dedicado à

pesquisa bibliográfica seja abundante – o que geralmente não ocorre devido à escassez de

tempo disponível ao auditor – , pois teorias são lanternas que iluminam aspectos do real onde

antes não enxergávamos nada (MIGUELES, 2004).

2.2. MÉTODOS DE INSPEÇÃO E AUDITORIA PARA O CONTROLE EXTERNO

A temática “Métodos de Auditoria Governamental”, fundamenta-se em muitos conceitos

publicados por organismos internacionais de controle ou Entidades Fiscalizadoras Superiores

(como INTOSAI, GAO, NAO)3 e utiliza-se largamente de conceitos naturais de auditorias

contábeis (papéis de trabalho, achados de auditoria, evidências de auditoria etc.)4. Sobre estas

bases e disciplinas suplementares (estatística, administração, economia, engenharia, entre

outras), estudiosos de gastos públicos mantém suas produções de pesquisa. Como exemplos,

Gomes (2007) dá lições de auditoria de conformidade, desempenho e de avaliação de

programas; Aquino (2005) propõe modelos de papéis de trabalho para auditorias em sistemas

de limpeza urbana municipal; e Rocha (2001) estuda métodos e procedimentos em auditorias

de obras públicas.

Cruz (1997) classifica a evolução da auditoria governamental em três etapas: fiscalizadora

que tem como foco a fiscalização financeira e patrimonial, bem como os registros dela

decorrentes, objetivando certificar a adequação dos controles internos e o apontamento de

3 Ver glossário (anexo 1). 4 Ver glossário (anexo 1).

14

irregularidades, truques e fraudes detectadas; de gestão onde o propósito é a vigília da

produção e da produtividade (na identificação de desvios relevantes), além da avaliação dos

resultados alcançados diante de objetivos e metas fixados para determinado período (padrões

de desempenho esperados) e; operacional que, conforme manual do TCU

abrange duas modalidades: a auditoria de desempenho operacional e a avaliação de programa. O objetivo da auditoria de desempenho operacional é examinar a ação governamental quanto aos aspectos da economicidade, eficiência e eficácia, enquanto a avaliação de programa busca examinar a efetividade dos programas e projetos governamentais (BRASIL, 2000, p. 120).

Para o TCE-RJ, a distinção entre inspeção e auditoria está regulada na Ordem de Serviço

SGE/TCE/RJ 01/96. Oficialmente, a inspeção5 (ordinária, extraordinária ou especial) tem

como objetivo suprir omissões e lacunas de informações constantes em prestações e tomadas

de contas, em relatórios de auditoria ou em pareceres técnicos. Contudo, para esta pesquisa,

não importam apenas as peculiaridades de uma e outra forma de controle (inspeção e

auditoria) no que diz respeito a sua finalidade, mas, sobretudo quanto ao envolvimento da

administração auditada nas atividades do auditor. Neste sentido, é relevante entender quando

e porque os procedimentos de coleta e registro de dados de auditoria valorizam ou não a

participação da autoridade auditada como colaboradora além de simples agente público sob a

lente do controle externo.

O relacionamento do auditor com o jurisdicionado varia de acordo com a natureza da

auditoria (CRUZ, 1997). Nas auditorias fiscalizadoras e de gestão, o auditado é visto como

um informante e não tem oportunidade de opinar ou intervir no conteúdo do relatório,

enquanto que a auditoria operacional confere à Administração a oportunidade de emitir

opinião, inclusive durante as análises das questões a serem relatadas. Gomes (2007) destaca

que as questões em auditoria influenciam as ferramentas e técnicas para a coleta, tratamento e

divulgação dos dados obtidos; e, referindo-se a estudos6 desenvolvidos pela NAO, classifica-

as em quatro tipos:

5 Ver glossário (anexo 1). 6 Manual Designing VFM Studies do NAO (Sumer, 1997).

15

a) Questões descritivas: têm por objetivo expor fatos e fornecer informações relevantes a respeito do objeto de auditoria. Usam ferramentas mais diretas para obter o resultado desejado. Cuidam as questões descritivas do “ser” das coisas - como elas são; b) Questões normativas (baseadas em critérios): geralmente cuidam de comparar o desempenho ou a operação atual de determinado objeto de estudo com normas, padrões ou metas - podem ser critérios qualitativos (ex. boas práticas) ou quantitativos (indicadores de desempenho). Cuidam as questões normativas do estado de dever ser das coisas - como elas deveriam ser; c) Questões explanatórias: são aquelas que perguntam o porquê e tentam entender o como as coisas acontecem. Procuram explicar eventos, variações de padrões e razões da ocorrência de resultados particulares. Questões dessa natureza geralmente requerem uso de pesquisa e técnicas investigativas;

d) Questões avaliativas: em termos gerais, procuram endereçar o problema de efetividade de programa. Questões avaliativas são referenciadas como questões de impacto. Tais questões preocupam-se com o que aconteceria se o programa não existisse. Elas perguntam que diferença faz o programa no contexto que ele atua. Questões avaliativas também são preocupadas com os efeitos não esperados de programas. Esse tipo de questão envolve metodologias mais complexas como modelagem econômica, análise de causa e efeito, testes experimentais ou quase experimentais. O custo e o tempo para se responder esse tipo de questão são altos. (GOMES, 2007, p. 125-126).

Na medida em que o planejamento de inspeções e auditorias for mais valorizado, as últimas

questões serão mais utilizadas. Por enquanto, os técnicos do TCE dependem dos próprios

mecanismos de planejamento e controle elaborados pelos órgãos inspecionados para a

condução de seus trabalhos de campo. Assim, o potencial das análises de auditoria

(profundidade das questões de auditoria) depende da qualidade dos procedimentos de

planejamento e controle que a administração auditada elaborou e põe à disposição do auditor.

Um recorte das atuais operações de inspeção realizadas pelos técnicos do TCE/RJ

(planejamento, coleta para relato, registro, avaliação e relatório) está modelado na figura 2

em conjunto com as atividades propostas para a produção científica (planejamento, coleta

para pesquisa, validação, registro, maturação e artigo) a fim de facilitar a discussão em

estudo.

16

Figura 2: Atividades do TCE/RJ na coleta e no registro de dados em uma inspeção ou auditoria.

Em cada uma das atividades relacionadas à produção do relatório de auditoria está presente a

possibilidade de percepção de novos elementos fornecidos ou não pelo órgão visitado, pois

desde o planejamento até a conclusão do relatório, novas informações podem ser extraídas

dos papéis de trabalho ou de outras fontes complementares (relatórios anteriores, internet,

contato com outros órgãos de controle etc.).

Há circunstâncias paradoxais em relação às administrações que trabalham de forma mais

organizada, pois na medida em que os agentes têm maior facilidade de acesso às informações

do jurisdicionado, terão maiores possibilidades de encontrar falhas. Por outro lado, a

insuficiência de informações de administrações altamente desorganizadas acarreta maior

dificuldade para análises conclusivas sobre os achados de auditoria.

As informações podem ser dispostas no relatório de inspeção sob diferentes modos,

dependendo do objeto a ser auditado e dos objetivos que o técnico auditor pretende alcançar

quanto ao aprofundamento teórico, investigativo e de fundamentação para recomendações ou

determinações ao órgão auditado. Os técnicos do TCE procuram registrar e fundamentar

achados e evidências do não cumprimento de procedimentos técnicos e formais,

principalmente no que tange à aplicação da Lei Federal 8.666/93. O relato de falhas de

execução em uma contratação, p. ex., corroboradas por evidências documentadas, seguidas

pelos motivos técnicos e legais que contribuíram para sua ocorrência, podem levar à

conclusão uma recomendação ou determinação para que sejam corrigidas as irregularidades

detectadas.

Análise de dados

Planejamento

Relatório

Coleta para pesquisa

Coleta para relato

Avaliação

Maturação

Validação

Artigo

Registro

17

Ao iniciar um novo relatório, o auditor recorre aos papéis de trabalho coletados para extrair as

informações necessárias às suas exposições. O agente utiliza suas anotações (da memória de

trabalho atual ou guardada em documentos de sua autoria por ocasião de outras inspeções)

para a edição de textos que julgue adequados para a disposição das irregularidades

encontradas no órgão auditado. Tratando-se de recuperação de textos de inspeções anteriores,

o agente pode recorrer a arquivos pessoais ou a um banco de dados do TCE.

Uma vez que uma informação seja recuperada de uma base de dados, há duas situações a

considerar: 1. a autoria das informações pertencem ao mesmo técnico que está redigindo o

novo relatório; 2. outro técnico esteve em campo e relatou o material que agora serve como

subsídio ao novo relatório. No segundo caso, quando há recuperação de texto de outro autor

para inclusão em artigo científico, é fundamental que seja feita devida referência para haver o

merecido crédito a quem produziu algum conhecimento. Conforme Castro, Lima & Carvalho

(1999) informação não é conhecimento.

Ela é o produto de um processo técnico de sistematização de dados quantitativos e qualitativos, transferidos de alguma forma entre seus usuários e necessitando interpretação. Ao ser interpretada e apropriada, a informação se transforma em conhecimento e se constitui na matéria-prima para a formulação da decisão, fator preponderante para a ação. (CASTRO, LIMA & CARVALHO 1999, p. 15).

Este processo de sistematização precisa de mais tempo para ser concluído quando se trata de

pesquisa científica. O relatório de inspeção ou auditoria sempre terá prioridade para ser

apresentado, de forma que as etapas de validação dados e maturação de idéias para artigos

científicos estão associadas à reelaboração de textos a fim de serem alcançadas maiores

objetividade, precisão e clareza, pois com o tempo as idéias tornam-se mais claras.

De modo que, ao reescrever, você ficará compreendendo ainda melhor o que está tratando de transmitir. E isso também fará com que o texto ganhe em qualidade, porque mesmo sem sentir você estará tornando-o mais agradável, fluente e comunicativo para o leitor. Quando isso ocorre, o leitor é capaz de compreender precisamente o raciocínio que você desenvolveu, de modo que não fica qualquer dúvida sobre o que você quis dizer-lhe. Essa compreensão do conteúdo é o fator mais importante na comunicação científica (GALLIANO, 1979, p. 120).

Uma possível classificação para as fontes de informação pode ser a seguinte: primárias,

secundárias e terciárias (BOOTH, COLOMB & WILLIAMS, 2005). Por esta taxonomia, as

18

equipes de inspeção do TCE são, por natureza, fontes primárias de informação e podem

contribuir com o levantamento de dados inéditos, a partir de seus trabalhos de campo.

Portanto, a oportunidade de coleta de informações relevantes para grupos de pesquisa é

imensa, especialmente quando se tratarem de estudos específicos carentes de literatura como

fontes secundárias confiáveis.

a) Fontes primárias: São os elementos sobre os quais você está escrevendo diretamente, as matérias primas de sua pesquisa. Em áreas que estudam autores ou documentos, os textos sobre os quais você escreve são fontes primárias. Em áreas como idiomas ou história, normalmente não se pode escrever um artigo de pesquisa sem usar fontes primárias.

b) Fontes secundárias: São os livros e artigos através dos quais outros pesquisadores informam os resultados de pesquisas baseadas em dados primários ou fontes. Você os cita ou menciona como um suporte para sua própria pesquisa. Um arquivo que você escrever será fonte secundária de um pesquisador que o usar para apoiar um argumento dele. Por outro lado, se sua biografia estivesse sendo citada por ele, seu artigo seria uma fonte primária;

c) Fontes terciárias: São livros e artigos baseados em fontes secundárias, nas pesquisas de outros. As fontes terciárias sintetizam e explicam a um público popular a pesquisa feita em uma certa área, ou simplesmente reafirmam o que outros disseram. As fontes terciárias podem ser úteis nas fases iniciais de sua pesquisa, mas representam um suporte fraco para seu argumento porque costumam simplificar e generalizar demais, quase nunca são atualizadas e normalmente são tratadas com desconfiança pelos especialistas.

(BOOTH, COLOMB & WILLIAMS, 2005, p. 92)

A Entidade de Fiscalização Superior norte-americana aponta problemas ligados à utilização

de dados secundários em auditorias de natureza operacional, pois “a forma de coleta pode não

ter sido adequada; os controles internos podem não ser confiáveis; os dados podem ter sofrido

manipulação; os dados podem não representar as variáveis selecionadas para análise” (GAO,

1994). Nesta linha, entende-se que os dados primários, que emergem das situações

observadas, são preferíveis aos demais quando são devidamente validados. Da mesma forma

como nos métodos de inspeção e auditoria, este tema é fundamental para a pesquisa científica.

A questão da validação é uma das questões centrais em pesquisa, e está no cerne das preocupações metodológicas. Ela se refere ao julgamento da pertinência dos métodos e procedimentos empregados para a coleta de dados e informações, e sua veracidade em relação às conclusões. (MIGUELES, 2004, p. 91).

19

2.3. O MÉTODO CIENTÍFICO COMO REFERENCIAL TEÓRICO

Como em Demo (2000, p. 176), “não pretendemos aqui ‘ensinar’ a fazer pesquisa, mas

discutir implicações metodológicas do processo de produção de conhecimento científico,

tendo como base o processo de pesquisa” a partir de observações e experiências de campo

realizadas por técnicos do TCE. De acordo com modelo teórico voltado à suposição desta

pesquisa, o desenvolvedor do texto científico necessita dispor de um período de maturação de

suas idéias, fruto de observações em inspeção (ou auditoria), que se inicia no momento da

coleta e registro de dados e informações e termina na ocasião em que haja condições de

produção de um texto consistente e que acrescente algo ao acervo existente da Administração

Pública.

Este período de maturação, além de estar associado ao aprimoramento das anotações do

pesquisador, compreende etapas metodológicas fundamentais à cientificidade do produto final

desejado. Tratam-se principalmente da problematização e da fundamentação teórica

necessárias. Outra ação importante para a fase chamada maturação é o planejamento de coleta

da base empírica que, via de regra, somente poderá ser feito em função de um primeiro

contato com o objeto de estudo. Ou seja, situações consideradas relevantes para pesquisa,

percebidas em inspeção, é que indicarão os planos para observações em futuras incursões a

campo.

Havendo planejamento quanto ao escopo da inspeção ou auditoria, uma vez em campo, o

agente persegue os dados e informações que lhe parecem mais adequados aos seus objetivos.

Caso predomine o interesse por questões contábeis, normativas e legais, p. ex., a percepção do

técnico estará orientada para estes assuntos. Sem dúvida, a coleta de dados torna-se mais

eficiente na medida em que há maior planejamento dos trabalhos de campo. Mas a ausência

deste não significa que a pesquisa esteja comprometida a ponto de ser inviável sua

concretização.

Este é um fator que pode auxiliar a ação científica dos técnicos durante suas inspeções: a falta

de um projeto de pesquisa elaborado previamente não impede que o técnico recolha dados e

informações que possam alimentar estudos científicos. As dificuldades de produção de textos

científicos a partir de observações de campo devido à ausência de um projeto de pesquisa é

mais presente quando um tema é enfrentado pela primeira vez, ou seja, caso o técnico-

20

cientista esteja iniciando nova investigação ao invés de estar continuando aquela já iniciada

em inspeção ou auditoria anterior.

Não se trata exatamente da Grounded Theory, metodologia onde uma teoria é construída

unicamente de dados empíricos, sem a utilização de referências teóricas precedentes

(APPOLINÁRIO, 2004). Tampouco se defende que o planejamento de pesquisa deva ser

negligenciado pelo técnico. O contexto contemporâneo das ações do TCE, com escassez de

tempo para o planejamento até mesmo de suas atividades ordinárias, é que indica a

necessidade de estratégias metodológicas para a alavancagem de uma produção científica,

exeqüível e duradoura sobre questões relevantes para a melhoria da administração pública, a

partir de observações técnicas privilegiadas.

O fato que se coloca neste trabalho assemelha-se ao que é explicado por Santos7 (1994 apud

VERGARA, 2006a, p. 104) a respeito de uma das características que o método de pesquisa

Grounded Theory: “Resgistra-se, aqui, que os passos da pesquisa não são fixos ou

predeterminados. São orientados pela coleta e pela análise dos dados, etapas que se mesclam,

não sendo possível determinar quando uma termina e a outra se inicia”. Certamente que a

formulação do problema de pesquisa é fundamental e que sua fundamentação teórica não deve

ser negligenciada. Entretanto, a idéia de adiamento destas fases visa à mitigação de alguns

obstáculos à ação científica em inspeções do TCE, especialmente quanto à escassez de tempo

para planejamento e confecção de relatório, à desordem documental em instituições auditadas

e à falta de cultura organizacional voltada à pesquisa científica.

Outra fonte de dificuldade possível de ser enfrentada por pesquisadores reside na necessidade

de autorização para divulgação de informações. Seja qual for o nível de aprofundamento em

questões de pesquisa, deve-se considerar a possibilidade de não ser autorizada pela

administração auditada a publicidade de dados e informações coletadas em campo. Esse

entendimento é fundamental para o técnico que somente realiza inspeções ou auditorias

fiscalizadoras, onde a relação com o administrador público tem mais chance de não ocorrer de

forma colaborativa. Além disso, mesmo em auditorias operacionais é necessário cuidado

especial quanto ao sigilo dos dados coletados junto a jurisdicionados do TCE.

7 SANTOS, Ursula W. B. dos. Métodos qualitativos para pesquisa em administração: caracterização e relacionamento aos paradigmas para pesquisa. 1994. 159 f. Dissertação (Mestrado em Administração de Empresas) PUC-RIO.

21

Uma forma de contornar tal dificuldade é a construção de modelos por meio dos quais são

estudados os fenômenos relativos a certo problema, sem a necessidade de serem informadas

as fontes das informações apresentadas (que devem ser mantidas em arquivo, respeitando a

confidencialidade e o sigilo de cada sujeito incluído na pesquisa). Conforme Krick (1965), os

modelos facilitam a visualização da natureza e do comportamento de um sistema, de uma

estrutura ou de um fenômeno.

O propósito de aproximar o método científico da atividade de inspeção visa à produção de

textos estruturados que comportem informações confiáveis para a produção de

conhecimentos, sem que haja uma simplificação demasiada em textos meramente descritivos

e carentes de análises dos problemas encontrados em nas organizações visitadas. Portanto, o

processo de coleta e registro de dados para divulgação em artigos científicos é importante

objeto de preocupação metodológica, máxime fora do contexto da auditoria operacional.

A coleta de dados é realizada mediante um instrumento de pesquisa, que irá variar em função da ciência e do método utilizado. Por exemplo, nas ciências sociais ‘são três os caminhos para compreender o comportamento humano: (1) observar o comportamento que ocorre naturalmente no âmbito do real; (2) criar situações artificiais e observar o comportamento ante tarefas definidas para essas situações; (3) perguntar às pessoas sobre o que fazem (fizeram) e pensam (pensaram). Cada uma das três famílias de técnicas para conduzir estudos empíricos – observação, experimento e survey – apresenta vantagens e desvantagens distintas’. (APPOLINÁRIO, 2004, p. 48; GÜNTHER8, 1999 apud APPOLINÁRIO, 2004, p. 48).

Quanto à forma de registro de dados e informações e à técnica de desenvolvimento de idéias

(maturação), desperta atenção o ensaio que serve às duas finalidades (registro e maturação).

“Entendemos por ensaio propostas com alguma pretensão científica, dentro de certo raio de

liberdade de expressão. No fundo, trata-se de opinião bem argumentada. Pode ser menos

formal, ritual, mas sem dispensar o cuidado com a argumentação.” (DEMO, 2000, p. 184).

Assim como para a opção da linha de argumentação, os interesses pessoais, as fontes de

consulta acessíveis, a bagagem teórica e prática do pesquisador irão influenciar na escolha do

objeto de pesquisa (ECO, 1994). Entretanto, um fator que não deve ser negligenciado na

escolha pelo tema da pesquisa é que o tempo da inspeção é escasso. Portanto, quanto mais

22

houver aproximação entre os objetivos delineados nos planos de auditorias e aqueles afetos à

pesquisa, melhores serão os resultados alcançados na produção de textos científicos.

No Manual de Auditoria de Natureza Operacional do TCU há informações que estabelecem

relações entre os conceitos metodológicos de auditoria e de pesquisa científica. Tais relações

surgiram a partir de implantação do Projeto de Capacitação em Avaliação de Programas

Públicos, no ano de 1995, em parceria com a Fundação Getúlio Vargas, a Universidade

americana Virginia Polytechnique Institute e a National Academy of Public Administration

dos Estados Unidos (BRASIL, 2000).

Albuquerque (2006) explica que o Manual de Auditoria de Natureza Operacional do TCU

contém os procedimentos operacionais e as estratégias metodológicas a serem utilizadas na

realização de auditorias de desempenho operacional e avaliações de programa. Este manual

estabelece que na elaboração do projeto de auditoria, a equipe deve especificar a estratégia

metodológica a ser adotada, ou seja, os métodos de investigação requeridos diante das

questões formuladas. O Manual descreve estratégias metodológicas, como estudo de caso;

trata de pesquisas de cunho quantitativo e qualitativo; recomenda a especificação de métodos

de coleta de dados; e enumera técnicas de análise de dados, como o tratamento estatístico, a

análise de conteúdo e a triangulação.

[...] o estudo de caso “é um método para conhecer uma situação complexa, baseado em uma compreensão abrangente da situação, obtida a partir da ampla descrição e análise da mesma, considerada como um todo e no seu contexto” [...]. A coleta de informações tem como características a ênfase nos aspectos qualitativos (ainda que sejam coletados dados quantitativos), a aplicação de entrevistas não-estruturadas ou estruturadas com perguntas abertas e observação direta, além da utilização de múltiplas fontes de dados.

O estudo de caso permite uma análise detalhada do programa e possibilita formular hipóteses para serem testadas em estudos de maior amplitude. Apresenta algumas limitações, uma vez que não é usado, em geral, para responder a perguntas avaliativas ou de causa-e-efeito; pode ter custo elevado e necessitar de muito tempo para sua implementação; além de não permitir a generalização das suas conclusões para todo o programa, exceto quando o número de casos ou situações for suficientemente grande e diversificado [...]

8 GÜNTHER. H. Como elaborar um questionário. In: Pasquali, L. (Org.). Instrumentos psicológicos: manual prático de elaboração. Brasília: LabPAM/IBAPP, 1999.

23

A segunda estratégia metodológica proposta pelo Manual é a pesquisa [...]. Essa estratégia, segundo o Manual, permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados, sendo freqüentemente utilizada em conjunto com estudos de caso como suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Como método estruturado de coleta de dados, a pesquisa visa generalizar para toda a população informações obtidas a partir de uma amostra [...]

[...] uma vez definida a estratégia metodológica a ser empregada, devem ser especificados os métodos de coleta de dados que serão adotados, sendo os mais freqüentes a entrevista, o questionário enviado pelo correio, a observação direta e a utilização de dados secundários [...]. Como técnicas de análise de dados o Manual enumera, dentre outros, o tratamento estatístico, a análise de conteúdo e a triangulação, além das denominadas “técnicas de auditoria”, descritas na seqüência, que têm sido testadas e adotadas institucionalmente ao longo dos últimos anos como subproduto do mencionado Projeto de Cooperação Técnica [...]

(ALBUQUERQUE, 2006, p. 110-113)

Um estudo sobre estratégias metodológicas, tipos de pesquisa ou métodos de coleta de dados

extrapolaria o escopo deste trabalho. A bibliografia sobre metodologia científica é vasta e

acessível aos interessados pela temática. O foco aqui está voltado para as semelhança entre os

métodos empregados pela auditoria e pela pesquisa científica. É importante notar como os

Tribunais de Contas podem trazer para a pesquisa científica muitos dos conceitos de auditoria

que se originaram na área acadêmica, realizando um caminho inverso com várias ferramentas

empregadas em seus próprios relatórios.

A triangulação, p. ex., mencionada por Albuquerque (2006) como técnica de análise de dados

no Manual do TCU, pode ser utilizada para a validação de dados. Vergara (2006a, p. 258)

explica que “a triangulação de dados refere-se ao uso de diferentes fontes de dados. Neste

contexto, é sugerido o estudo de um fenômeno a partir de diferentes momentos (tempo),

locais (espaço) e pessoas (informantes)”. Além dessas aproximações, existe imenso potencial

a ser explorado numa analogia entre os conceitos metodológicos de auditoria e de pesquisa

científica (figura 3).

24

Pesquisa científicaAuditoria

Analogia

• Solicitação de informações • Questionários / Formulários

• Avaliações • Avaliações

• Exame de editais e contratos • Análise crítica

• Solicitação de documentos • Levantamento bibliográfico

• Definição de estratégia • Hipótese de trabalho

• Verificação dos documentos • Fichamento

• Exame de projetos • Esquematizações

• Observações de campo • Pesquisa de campo

• Achados de auditoria • Confirmação de hipótese

• Relatório • Artigo

• Obtenção de evidências • Validação de hipótese (tese)

• Planejamento • Planejamento

Pesquisa científicaAuditoria

Analogia

• Solicitação de informações • Questionários / Formulários

• Avaliações • Avaliações

• Exame de editais e contratos • Análise crítica

• Solicitação de documentos • Levantamento bibliográfico

• Definição de estratégia • Hipótese de trabalho

• Verificação dos documentos • Fichamento

• Exame de projetos • Esquematizações

• Observações de campo • Pesquisa de campo

• Achados de auditoria • Confirmação de hipótese

• Relatório • Artigo

• Obtenção de evidências • Validação de hipótese (tese)

• Planejamento • Planejamento

AnalogiaAnalogia

• Solicitação de informações • Questionários / Formulários• Solicitação de informações • Questionários / Formulários

• Avaliações • Avaliações• Avaliações • Avaliações

• Exame de editais e contratos • Análise crítica• Exame de editais e contratos • Análise crítica

• Solicitação de documentos • Levantamento bibliográfico• Solicitação de documentos • Levantamento bibliográfico

• Definição de estratégia • Hipótese de trabalho• Definição de estratégia • Hipótese de trabalho

• Verificação dos documentos • Fichamento• Verificação dos documentos • Fichamento

• Exame de projetos • Esquematizações• Exame de projetos • Esquematizações

• Observações de campo • Pesquisa de campo• Observações de campo • Pesquisa de campo

• Achados de auditoria • Confirmação de hipótese• Achados de auditoria • Confirmação de hipótese

• Relatório • Artigo• Relatório • Artigo

• Obtenção de evidências • Validação de hipótese (tese)• Obtenção de evidências • Validação de hipótese (tese)

• Planejamento • Planejamento• Planejamento • Planejamento

Figura 3: Analogia entre os conceitos metodológicos de Auditoria e de Pesquisa Científica.

Quanto à redação de relatórios de auditoria de inspeções, é possível dizer que se assemelham

a laudos, onde prevalece a redação clara, objetiva pertinente e concisa (FIKER &

MEDEIROS JUNIOR, 1996). Entretanto, o texto científico exige maior rigor, aproximando-

se de um relatório que verse sobre auditoria operacional.

2.3.1. Características importantes ao texto científico

As seguintes características de trabalhos científicos, anotadas em aulas do CIPAD9,

sumarizam alguns critérios de avaliação para textos científicos.

9 Notas de aula. Disciplina Metodologia da Pesquisa – prof. Sylvia Constant Vergara. Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, agosto de 2006.

25

a) Clareza, pertinência e consecução de objetivos

- clareza na apresentação dos objetivos;

- pertinência dos objetivos;

- clareza na justificativa do problema de pesquisa;

- argumentação sobre o alcance ou não dos objetivos.

b) Qualidade da redação e organização do texto

- qualidade formal da redação (ortografia e gramática);

- organização do texto (objetividade, lógica e estrutura).

c) Originalidade do trabalho e relevância do tema

- novas evidências empíricas;

- novas articulações teóricas;

- quadros teóricos que articulem teorias a questões ainda não respondidas;

- implicações significativas sobre um campo de conhecimento ou para a sociedade;

- implicações sobre práticas organizacionais em função de um contexto.

d) Qualidade da revisão da literatura

- referencias a pesquisas anteriores e em conhecimentos acumulados pela comunidade científica (referenciais nacionais e internacionais);

- amplitude do referencial proporcional à amplitude dos objetivos;

- metodologia e análise empírica (quando existente).

e) Consistência teórica do trabalho

- coerência na utilização de uma teoria ao longo do trabalho;

- coerência na utilização de um conjunto de diferentes teorias, correntes teóricas ou escolas de pensamento;

f) Metodologia

- atenção à coerência entre as etapas da metodologia adotada;

- atenção à adequação e robustez entre a metodologia e o contexto estudado;

- em trabalhos quantitativos, deve haver consistência entre as ferramentas e o tipo e tamanho de amostras e fenômenos sob análise, de forma que não haja complexidade exagerada no tratamento estatístico;

26

- em trabalhos qualitativos, deve ser bem avaliada a significância ou representatividade dos indivíduos entrevistados em relação a uma coletividade ou organização como um todo.

g) Análise de resultados – articulação teórica e metodológica da interpretação

- avalia-se a harmonia entre resultados, teoria e metodologia de pesquisa.

h) Conclusões

- avalia-se se existem fundamentos consistentes às conclusões do autor;

- considera-se a coerência entre as conclusões e o quadro teórico de referência utilizado.

i) Contribuição do trabalho para o conhecimento na área temática

- questiona-se quanto o trabalho permite o avanço do conhecimento, o quanto ele soma ao que se sabe sobre um tema.

A respeito da coerência em ciência, mencionada pela professora Sylvia Vergara em mais de

um destes itens, encontram-se em Pedro Demo a seguinte nota sobre critérios de

cientificidade.

Coerência: significa sua propriedade lógica, ou seja: falta de contradição; argumentação bem estruturada; corpo sistemático e bem deduzido de enunciados; desdobramento do tema de modo progressivo e disciplinado, com começo, meio e fim; dedução lógica de conclusões. Coerente é o discurso que, estabelecido seu ponto de partida, evolui sem entrar em contradição, tanto no sentido de não partir de premissas conflitantes como no de ter um corpo intermédio concatenado, e também no de chagar a conclusões congruentes entre si e com as premissas iniciais. (DEMO, 1995, p. 20).

2.4. GESTÃO DE CONHECIMENTOS EM ORGANIZAÇÕES

Os relatórios dos auditores são ótimos veículos para a divulgação de práticas adequadas para a

administração pública. Por meio de artigos científicos esta comunicação pode ser ainda mais

eficaz, pois o horizonte de seu alcance é mais largo, especialmente se ao longo da fase de

maturação de idéias, as recuperações de textos referentes a relatórios de outras inspeções

ocorrerem a partir de relatórios cujas autorias sejam de outros técnicos (e não do agente que

realiza a pesquisa).

27

O nível de intercâmbio de conhecimentos é proporcional ao grau de entendimento entre os

integrantes da organização. No TCE, por haver auditores com especialização variada e

diferentes experiências pregressas, há necessidade de um suporte tecnológico que propicie um

intercâmbio de conhecimentos no coletivo de trabalho com essas características. A gestão do

conhecimento das pessoas em um coletivo de trabalho - habilidades e experiências individuais

em relação ao trabalho realizado - é fundamental para que o desempenho de uma organização

seja maximizado.

Um passo importante será a categorização do conhecimento como um bem, que compõe a principal parte do patrimônio de uma organização. O entendimento deste fato pelas autoridades de uma corporação poderá viabilizar os trabalhos necessários para o bom gerenciamento dos conhecimentos da organização, gerando um novo tipo de conhecimento: o conhecimento da organização sobre si mesma. (ORTENCIO, 2006, p. 11).

Uma solução possível passa pelo uso de uma base de dados alimentada constantemente pelos

próprios agentes. Muitas tecnologias físicas e cognitivas estão disponíveis para a melhoria dos

acessos a informações que permanecem nas organizações: gerenciamento eletrônico de

documentos, Groupware, painéis eletrônicos e grupos de discussão, bases de dados online,

intranet etc. Mas a Gestão do Conhecimento não deve ser centrada apenas em tecnologias

físicas e cognitivas, mesmo que dependa delas, e sim articulá-las com tecnologia

organizacional, direcionada à interação entre pessoas e processos. (SEEMANN, 1997).

Essas tecnologias são úteis para facilitar o compartilhamento de informações entre as pessoas,

mas não são suficientes para que este objetivo seja atingido. O ambiente organizacional que

pretende a interação entre pessoas necessita, além do acesso a tecnologias, promover um

ambiente propício para o uso efetivo de tais ferramentas. A centralidade da organização deve

ser orientada para o suporte de competências dos agentes que operam os processos e não para

o tecido tecnológico.

A criação do conhecimento organizacional deve ser entendida como um processo que amplia ‘organizacionalmente’ o conhecimento criado pelos indivíduos, cristalizando-o como parte da rede de conhecimentos da organização. Esse processo ocorre dentro de uma ‘comunidade de interação’, que atravessa níveis e fronteiras interorganizacionais. (TAKEUCHI & NONAKA, 1997, p. 165).

28

Polanyi (1966) afirma que “os seres humanos adquirem conhecimentos criando e organizando

ativamente suas próprias experiências [...] podemos observar mais do que podemos dizer”. A

construção e a interferência do conhecimento mútuo influenciam a evolução das relações na

equipe. As trocas interativas dentro de uma equipe, envolvendo mecanismos específicos,

podem ser fonte de erros, como também ponto de apoio para consertá-los. A figura 4 tem por

objetivo ilustrar a complexidade envolvida na transferência de conhecimento entre duas

pessoas que não possuem uma mesma base de orientação (os planos de referência individuais

interferem na interpretação da informação transmitida).

Figura 4: A gestão do conhecimento e a transferência de informações entre agentes.

O desenvolvimento de relatórios de auditoria é cada vez mais complexo (em face do avanço

tecnológico, das alterações na legislação, do aperfeiçoamento da expertise técnica dos órgãos

auditados etc.), tornando-se praticamente impossível que um único auditor domine todo o

conhecimento agregado aos empreendimentos modernos (sejam compras, serviços ou ambos).

Portanto o TCE deve promover a cooperação, além de estabelecer diretrizes formais de

conduta, pois caso os procedimentos prescritos não promovam a troca de informações entre os

agentes, as experiências individuais não serão disseminadas.

Planos de referência teórico-práticosde diferentes agentes

Interpretações distintas

Dado ou Informação

Matérias-primas na geração de conhecimentos

29

A despeito do aumento de produtividade proporcionado pelo uso intensivo da informática na

elaboração de relatórios de auditoria, não há incremento significativo no aprimoramento

técnico dos agentes devido ao uso desta tecnologia. O trabalho coletivo também não é

privilegiado durante a prática de redação, quando conhecimentos individuais ou informações

relatadas anteriormente pelos diversos agentes poderiam servir de input e somarem-se ao

corpo dos relatórios correntes. Nota-se, todavia, a ocorrência de relatórios extremamente

distintos a despeito de versarem sobre contratações análogas e em condições semelhantes.

Caso haja uma decisão gerencial de produção de artigos científicos a partir da colaboração de

dois ou mais agentes, o TCE estará agindo de acordo com as learning organizations

(organizações de aprendizagem). Para Ferreira et al. (2005, p. 152-153), “as organizações que

procuram seguir esse modelo aspiram a uma realidade além de sua própria sobrevivência [...],

focalizando seus interesses no desenvolvimento de estruturas evolutivas”. Falando sobre

aprendizado contínuo em organizações, Mota (2004) explica que

toda empresa possui um grande estoque de conhecimentos, além de uma imensa capacidade de recriá-los e de aplicá-los. Cabe à empresa simplesmente abrir canais de comunicação, criando um ambiente onde existam: incentivos para as pessoas experimentarem, correrem riscos e tolerarem erros; participação para as pessoas manifestarem a sua criatividade; e meios para todos aprenderem de suas próprias experiências. (MOTA, 2004, p. 135).

Uma estrutura de trabalho coletivo pronta a dar suporte adequado à produção científica do

TCE pode ser o embrião de um grupo de pesquisas. Além da publicidade positiva para a

organização quando houver a divulgação de trabalhos inéditos, os auditores terão uma

formação melhor estruturada e serão capazes de promover a capacitação dos agentes

auditados com maior efetividade. Ao não analisar tecnicamente uma irregularidade detectada,

não apontando suas causas e conseqüências em um relatório de auditoria que não seja voltado

ao problema, o auditor pode anotar o que viu e aproveitar, em outra oportunidade, um canal

de comunicação com os técnicos públicos auditados.

30

3. A VALIDAÇÃO DE UM ENSAIO

A análise de um exemplo de coleta, registro e maturação de informações emersas de uma

série de inspeções realizadas por técnicos de controle externo do TCE-RJ, apresentada nesta

seção, objetiva facilitar a reflexão sobre problema da pesquisa. Tais inspeções ocorreram

entre janeiro de 2000 e dezembro de 2002 em obras e serviços de engenharia realizados em 10

(dez) prefeituras municipais do Estado do Rio de Janeiro.

Os técnicos que participaram das inspeções, incluindo o autor deste trabalho, visaram à

produção de relatórios técnicos sobre a situação físico-financeira dos contratos em andamento

em cada município. Desta forma, ao longo de visitas in loco foram coletados dados e

informações sobre a situação legal e econômica da execução dos contratos, bem como das

condições técnicas dos serviços executados. Tais informações foram registradas em relatórios

de inspeção que, por sua vez, integraram processos administrativos que seguiram o trâmite

ordinário do Controle Externo do TCE até chegarem ao Plenário para serem apreciados.

As informações referentes às inspeções municipais que proporcionaram a elaboração do

ensaio apresentado no apêndice II – “Alguns aspectos do trabalho dos fiscais de obras

públicas em Prefeituras Municipais no Rio de Janeiro” – foram anotados em arquivos de

texto, organizados e reescritos ao longo de vários anos. Tais informações foram colecionadas

simultaneamente a outros grupos de dados. Paralelamente, alguns campos teóricos foram

testados para dar alguma cientificidade aos grupos de dados e informações anotados.

Como possibilidade de enquadramento teórico ao texto do ensaio analisado, cogita-se sobre a

análise do mesmo sob alguns aspectos relacionados à eficiência, eficácia e efetividade dos

órgãos públicos. Há um processo de desenvolvimento das auditorias que buscam cada vez

mais a mensuração e a avaliação do desempenho das organizações, como mostra Bevilacqua

(2006). Além disso, as organizações podem ser vistas como sistemas sociotécnicos

(TAYLOR, 1995) quando se busca avaliar um desempenho global, especialmente buscando

uma adequação entre técnica, organização e pessoas. Mota (1997) destaca a importância da

abordagem sociotécnica para a compreensão das questões de flexibilidade organizacional e

apresenta a atualização dessa contribuição na literatura geral contemporânea (FERREIRA et

al., 2005).

31

Para a validação das informações colecionadas, foi aplicada uma pergunta aberta (cabeçalho

do apêndice II) a 46 (quarenta e seis) servidores de administrações municipais do Estado do

Rio de Janeiro, inscritos nos cursos de economicidade de contratos administrativos oferecidos

pela ECG/TCE em 12/06/2007 e 28/06/2007, a ser respondida com relação ao ensaio “Alguns

aspectos do trabalho dos fiscais de obras públicas em Prefeituras Municipais no Rio de

Janeiro”.

O texto foi apresentado aos servidores, possíveis validadores, sem o acompanhamento de

conceitos teóricos e despido de argumentações subjetivas. A pergunta aberta buscou uma

análise crítica sobre os fatos apresentados:

Comente o texto a seguir, destacando as situações que achar familiares ou que lhe pareçam absurdas. Se desejar, exponha algum caso semelhante do qual tenha conhecimento ou alguma solução porventura adotada por uma Administração Pública que enfrenta ou enfrentou problemas semelhantes. Você não precisa concordar com o texto, mas sim fazer uma análise crítica sobre ele.

Aos mesmos servidores aplicou-se um formulário (apêndice I) com perguntas abertas e

fechadas visando à investigação sobre a sua opinião a respeito da produção de artigos,

pesquisas ou estudos realizados pelo TCE. A organização dos dados coletados encontra-se no

apêndice III.

3.1. RESULTADOS

3.1.1. Ensaio

A respeito da validação do ensaio (apêndice II), como resultado da pergunta aberta aplicada

aos alunos do curso de economicidade, 42 (quarenta e duas) pessoas concordaram com o

texto do ensaio, 03 (três) não emitiram opinião e 01 (uma) afirmou que desconhecia a

existência de situações semelhantes às relatadas. Dos 42 validadores, 36 comentaram o texto,

destacando trechos variados que mais lhes paraeceram familiares e 6 (seis) acrescentaram

comentários que extrapolaram o conteúdo do ensaio. Estes comentários foram os seguintes:

� “para mudar esta realidade é preciso capacitar o funcionalismo público”;

� “os órgãos de fiscalização já estão buscanco a qualificação das gerencias públicas”;

32

� “a ECG/TCE-RJ proporciona cursos que proporcionam a qualificação de funcionários públicos municipais”. [Obs.: este comentário ocorreu (2) duas vezes];

� “nos casos de recursos carimbados há alteração nos mecanismos de controle de sua aplicação com a designação de equipe técnica qualificada objetivamente e com possibilidade de exclusividade para o exercício da função”;

� “as obras seriam melhor fiscalizadas se houvesse divisão das atividades dos fiscais por especialização (saneamento, edificações etc.)”.

A validação do ensaio logrou êxito com 91,30% das pessoas que o leram. A representação

gráfica dos dados coletados (gráfico 1) permite uma descrição facilitada do grau de aprovação

alcançado. Desta forma, pode-se considerar que as informações contidas no ensaio estão

legitimadas a servirem de base empírica para um artigo científico.

Gráfico 1: Resultado do processo de validação do ensaio do anexo II.

3.1.2. Formulário

Quanto às respostas ao formulário sobre artigos, pesquisas ou estudos já realizados pelo

TCE/RJ, os resultados (organizados no apêndice III) foram os seguintes:

1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?

42 Concordaram com o texto (91,30 %)

3 pessoas não opinaram (6,52%)

1 pessoa desconhecia situações semelhantes (2,17%)

33

0

5

10

15

20

25

30

35

40

45

50

Sim Não

Gráfico 2: Respostas à questão: já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ? 1.1. Pode citar exemplos? Foram obtidos 27 (vinte e sete) exemplos de referência (artigos, pesquisas ou estudos)

disponibilizadas pelo TCE. A relação completa encontra-se no apêndice III, onde os Estudos

Sócioeconômico dos municípios destacam-se dos demais com 5 (cinco ocorrências). A

internet também foi lembrada por 5 (cinco ocorrências) pessoas como fonte de informações

difundidas pelo Tribunal: Artigos disponíveis na Internet (1); Pesquisas de preços pela

internet (2) Consultas pela internet / Temas site TCE (2).

1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?

0

2

4

6

8

10

12

14

Contribuíram muito Contribuíram Neutro Não responderam

Gráfico 3: Respostas à questão: o quanto cada um deles (artigos, pesquisas ou estudos efetuados pelo TCE-RJ ) contribuiu para o aprimoramento de seu trabalho?

44

02

95,65 %

12

38,71 %

08

25,81 % 03

9,68%

08

21,81 %

34

De acordo com os dados apresentados, mais de 95% dos técnicos municipais que

responderam ao formulário já tomaram conhecimento de publicações do TCE. Destes,

64,52% acreditam que as publicações do TCE têm contribuído (ou contribuído muito) para

suas tarefas na administração pública.

2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? 2.1. De que forma?

0

5

10

15

20

25

30

35

40

45

SIM NÃO Não responderam

Gráfico 4: Respostas à questão: artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha? De que forma?

Os números apresentados indicam que 39 dos 46 funcionários municipais que participaram da

pesquisa aprovam a produção científica do TCE com base em dados coletados em inspeções.

Pode-se deduzir que os respondentes têm grande interesse em serem leitores de tais

piblicações.

31 (79,49%)

08 (20,51%)

39

84,78 %

03 04

35

4. CONCLUSÃO

A suposição sobre a possibilidade da elaboração de estratégias para a confecção de artigos

científicos, a partir de informações colhidas pelos técnicos do TCE ao longo de trabalhos de

inspeção, foi confirmada. A pedra de toque da argumentação do estudo gira em torno de um

possível caminho de retorno dos métodos e técnicas acadêmicas de pesquisa que são

utilizadas por Entidades Superioras de Fiscalização (EFS), fruto de parcerias com instituições

de ensino e pesquisa, para o âmbito das publicações científicas onde também seriam úteis no

auxílio de agentes do TCE que se dediquem à ciência e à produção de artigos científicos.

Na prática, a ciência lida com incertezas configuradas em suposições ou hipóteses. Os

técnicos do Tribunal de Contas já têm essa experiência em seu cotidiano, mas falta-lhes

incentivo institucional para que expressem suas idéias nessa linguagem. Os beneficiários

desse processo não serão apenas dos técnicos cientistas, quando seu esforço e conhecimento

forem reconhecidos, mas de toda a instituição. A pesquisa evidenciou alguns benefícios

potenciais para cada um dos atores envolvidos com a produção científica sobre órgãos

jurisdicionados do TCE, mapeados no quadro 1.

Beneficiários Benefícios da produção científica sobre inspeções do TCE

Administrações Públicas • Divulgação de boas práticas de gestão; • Oportunidade de aprimoramento de suas ações com auxílio do

conhecimento científico resultante das pesquisas.

Técnicos do TCE

• Desenvolvimento de novos métodos de inspeção; • Possibilidade de replicação do conhecimento acumulado por

meio de sistema de colaboração no TCE ou com a divulgação de seus trabalhos em publicações científicas;

• Colaboração com a aprendizagem corporativa do TCE.

Tribunal de Contas / Escola de Contas

• Aplicação da gestão do conhecimento em suas atividades, proporcionando permanente inovação em seus procedimentos;

• Divulgação de suas ações em revistas científicas; • Produção de dados primários para geração de relatórios

inéditos ou para uso de outras instituições; • Incremento na produção científica da ECG; • Oportunidade de melhoria de qualidade das orientações a

órgãos públicos inspecionados.

Comunidade Científica • Fonte primária de conhecimento a partir de observações empíricas em locais e situações de difícil observação.

Quadro 1: Benefícios da produção científica sobre inspeções do TCE.

36

O estudo aponta algumas especificidades do trabalho dos técnicos do TCE, quando em

situação de inspeção ou auditoria, que devem ser consideradas quando houver ações de

pesquisa em órgãos jurisdicionados: a escassez de tempo para o planejamento e para a

elaboração de relatórios, a dificuldade enfrentada em relação à desordem de certas

administrações e a importância do sigilo de informações sem autorização para divulgação.

As conexões entre os três campos teóricos (métodos de inspeção e auditoria para o controle

externo, método científico e gestão do conhecimento em organizações) ficaram evidenciadas

no modelo teórico apresentado. Por meio de revisão bibliográfica, a construção do referencial

teórico abordou aspectos fundamentais para a coerência do modelo proposto:

a) Relevância da aproximação do planejamento da auditoria e da pesquisa

científica; b) Influência da especialidade ou embasamento teórico do técnico auditor

enquanto pesquisador; c) Necessária participação do auditado na validação de dados coletados para

pesquisa; d) Importância do tempo de maturação de idéias para a produção de textos

científicos consistentes.

Foram apresentados fluxos de procedimentos de inspeção em compasso com atividades de

pesquisa de campo, onde foram evidenciados os pontos de tangência e divergência entre as

duas atividades que se propõe aproximar. Neste contexto, o registro de dados e sua validação

destacaram-se como atividades fundamentais para o sucesso ou insucesso da pesquisa

científica. Por tanto, a validação de um ensaio, apresentada na seção 3, procurou demonstrar a

viabilidade da operação proposta para a produção de conhecimentos a partir do modelo

teórico estudado.

A viabilidade de tal aproximação (auditoria & pesquisa científica) pode ser facilitada pelo

mapeamento apresentado dos fatores que podem subsidiar a ação científica dos técnicos

durante suas inspeções: uso de metodologias adequadas à eventual impossibilidade de

planejamento prévio da pesquisa; elaboração de modelos para que processos e fenômenos

sejam estudados, preservando-se o sigilo de fontes não autorizadas; registro de idéias em

textos sem grande pretensão inicial quanto à cientificidade, mas com ênfase na argumentação

(ensaios).

37

Mais do que um documento teórico ou acadêmico, um artigo científico baseado em inspeções

e auditorias do TCE pode ser visto como uma ferramenta colaborativa (no ambiente interno

do TCE) e participativa (em relação à sociedade). As perspectivas para o crescimento

profissional dos técnicos envolvidos com a pesquisa científica são gigantescas: apuro da

percepção de demandas de administrações auditadas; aprimoramento da capacidade crítica;

prática em redação com cientificidade; valorização da apresentação de soluções etc. Para a

sociedade o ponto central está na melhoria de qualidade das orientações aos jurisdicionados,

que depende do incremento de competências dos agentes que operam os processos de

auditagem.

Finalmente, as perguntas fechadas indicaram que há demanda para artigos científicos a serem

produzidos pelos técnicos do TCE/RJ. Mais de 95% dos técnicos municipais que responderam

ao formulário já tomaram conhecimento de artigos e, deste universo, cerca de 64% acreditam

que as publicações do TCE têm contribuído (ou contribuído muito) para suas tarefas na

administração pública. Portanto, deduzimos que a produção de conhecimentos do Tribunal

tem público com alto grau de interesse e que esse mesmo público consumirá pesquisas e

estudos que o TCE-RJ venha a realizar baseado em suas inspeções e auditorias. Além disso,

84,78 % dos alunos respondentes acham que artigos científicos elaborados por técnicos do

TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir (ou contribuir

muito) para o aprimoramento dos órgãos em que trabalham.

4.1. LIMITES DO TRABALHO

Este estudo pretendeu a elaboração de modelos baseados em revisão bibliográfica mínima

necessária ao tratamento da suposição apresentada como resposta à questão central da

pesquisa. Muito mais há na literatura a respeito dos três ramos do conhecimento que

compuseram o quadro teórico revisto. O questionário aplicado com uma pergunta aberta

forneceu validação de um ensaio que, por meio do modelo teórico proposto no estudo, deve

evoluir para um artigo científico. Entretanto, outras etapas metodológicas, que escaparam ao

escopo deste trabalho, ainda são necessárias para a finalização da pesquisa baseada no ensaio

analisado.

38

REFERÊNCIAS

ALBUQUERQUE, Frederico de Freitas Tenório de. A auditoria operacional e seus desafios: um estudo a partir da experiência do Tribunal de Contas da União. Dissertação de Mestrado em Administração – UFBA, Salvador, 2006.

APPOLINÁRIO, Fabio. Dicionário de metodologia científica. São Paulo: Atlas, 2004. AQUINO, Stepple de In: SÁ, Adolfo L. S.; PEREIRA, Gustavo P. C. (Org.). Auditoria de

Engenharia: uma contribuição do Tribunal de Contas do Estado de Pernambuco. Recife: TCE-PE, 2005. p. 287-306.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS (ABNT). NBR 14724.

Informação e documentação – Trabalhos acadêmicos – Apresentação, agosto/2002. BRASIL. Tribunal de Contas da União. Manual de auditoria de natureza operacional. 2000.

Disponível em: <http://www2.tcu.gov.br>. Acesso em: 9 maio 2007. BEVILACQUA, Roberto. Mensuração e avaliação do desempenho das organizações. Rio de

Janeiro: Fundação Getúlio Vargas, 2006. 90 p. Apostila da disciplina. BOOTH, Wyne C., COLOMB, Gregory G. & WILLIAMS, Joseph M. A arte da pesquisa.

São Paulo: Martins Fontes, 2005. BORGES, Carlos Alberto Nunes e CAMPOS, Sandra Maria De Carvalho. Auditoria

Governamental. Apostila do Curso da Associação dos Membros dos Tribunais de Contas do Brasil (ATRICON), Rio de Janeiro, 1998.

CASTRO, Antonio M. G., LIMA, Suzana M. V. e CARVALHO, José R. P. de. Planejamento

de C&T: sistemas de informação gerencial. Brasília: Embrapa-DPD, 1999. p. 15. CHAUÍ, M. Convite à Filosofia. São Paulo: Ática, 1997. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPPES).

<http://qualis.capes.gov.br>. Acessado em 20/09/2006. CORRÊA, Vera Lúcia de Almeida. Introdução ao Trabalho Científico. Rio de Janeiro:

Fundação Getúlio Vargas, 2002. 48 p. Apostila da disciplina. CRUZ, Flávio da. Auditoria Governamental. São Paulo: Atlas, 1997. DAVIS, L. E. e TAYLOR, J. C. Design of jobs. Harmondsworth: Penguin, 1972. DEMO, Pedro. Metodologia Científica em Ciências Sociais. São Paulo: Atlas, 1995. ______. Metodologia do Conhecimento Científico. São Paulo: Atlas, 2000. ECO, Umberto. Como se Faz uma Tese. São Paulo: Perspectiva, 1994.

39

ESCOLA DE CONTAS DO TRIBUNAL DE CONTAS DO ESTADO DO RIO DE

JANEIRO (ECG/TCE-RJ). Coordenadoria de Estudos e Pesquisas (COE). <www.ecg.tce.rj.gov.br>. Acesso em 20/09/2006.

FERREIRA, V. C. P. et al. Modelos de Gestão. Rio de Janeiro: FGV, 2005. FIKER, José & MEDEIROS JUNIOR, Joaquim da Rocha. A perícia judicial: como redigir

laudos. São Paulo, PINI, 1996. GALLIANO, A. Guilherme. O método Científico: teoria e prática. São Paulo: Harbra, 1979. GIL, Antonio Carlos. Como elaborar projetos de pesquisa. 4ª ed. São Paulo: Atlas. 2002. GAO - United States General Accounting Office. Approach and methodology selection

workshop: instructor manual. Washington. 1994. GOMES, Marcelo Barros. Controle Externo. Rio de Janeiro: Fundação Getúlio Vargas, 2007.

126p. Apostila da disciplina. HOUAISS, A. Dicionário eletrônico Houaiss da língua portuguesa. Rio de Janeiro: Objetiva,

2001. INTERNATIONAL ORGANIZATION OF SUPREME AUDIT INSTITUTIONS

(INTOSAI). Código de Ética e Normas de Auditoria. 2005. Disponível em: <http://www.tce.ba.gov.br/4-congresso/codigo.pdf>. Acesso em: 12 maio 2007.

KRICK, E. V. An Introduction to Engineering and Engineering Design. New York: John

Wiley & Sons. 1965. MAGARÃO, Marília. Processos de mudança e modelagem organizacional. Rio de Janeiro:

Fundação Getúlio Vargas, 2002. 83 p. Apostila da disciplina. MIGUELES, Carmen. Pesquisa: por que administradores precisam entender disso? Rio de

Janeiro: E-Papers, 2004. MOTA, Paulo Roberto. Gestão Contemporânea: a ciência e a arte de ser dirigente. 8ª ed. Rio

de Janeiro: Record, 1997. MOTA, Paulo Roberto. Transformação Organizacional: a teoria e a prática de inovar. Rio de

Janeiro: Qualitymark, 2004. NAGEL, José. Perspectivas para a educação e a pesquisa em controle externo no próximo

milênio. Revista do TCU, Brasília, v. 31, n. 84, p. 317-332, abr/jun. 2000. Notas de aula. Disciplina Introdução ao Trabalho Científico – prof. Vera Lúcia de Almeida.

Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, fevereiro de 2006.

40

Notas de aula. Disciplina Metodologia da Pesquisa – prof. Sylvia Constant Vergara. Curso Intensivo de Administração Pública (CIPAD). Rio de Janeiro: FGV/EBAPE, agosto de 2006.

ORTENCIO, Vanderlei Vilhanova. Gestão de dados e a abordagem capitalização de

conhecimento. In: I Congresso de Tecnologia para Gestão da Dados e Metadados do Cone Sul. Set 2003. Fonte: < http://conged.deinfo.uepg.br/~iconged/Artigos/artigo_06.pdf> obtido em 12 Jun 2007.

PINTO, Sérgio Antoni F. Introdução à auditoria. Apostila de Curso, Rio de Janeiro, Instituto

Serzedêlo Corrêa/TCE/RJ, 2001. POLANYI, M. The Tacit Dimension. Londres: Routledge & Kegan Paul.1966. RIO DE JANEIRO. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO

(TCE/RJ). Deliberação TCE/RJ 167: art. 49, parágrafos 1º, 2º e 3º. Rio de Janeiro: 1992. ROCHA, Márcio Soares da. Métodos e Procedimentos em Auditorias de Obras Públicas. In:

Anais do VI Simpósio Nacional de Obras Públicas (SINAOP). Florianópolis: 2001. SEEMANN, Patricia. A prescription for knowledge management: what Hoffmann-LaRoche´s

case can teach others. Ernst & Young, 1997. Disponível em: <http://www.businessinnovation. ey.com/journal/issue1/features/apresc/loader.html>. Acesso em: 15 maio 2007. SILVA, Lino Martins da. Auditoria Governamental. Apostila de Curso, Rio de Janeiro, 1998. TAKEUCHI, Hirotaka e NONAKA, Ikujiro. Criação de conhecimento na empresa: como as

empresas japonesas geram a dinâmica da inovação. Rio de Janeiro: Campus, 1997. TAYLOR, Frederick Winslow. Princípios de Administração Científica. São Paulo: Atlas,

1995. VERGARA, Sylvia Constant. Métodos de pesquisa em administração. 2ª ed. São Paulo: Atlas,

2006a. ______. Projetos e Relatórios de pesquisa em administração. 7ª ed. São Paulo: Atlas, 2006b.

41

GLOSSÁRIO

Achados de auditoria: constatações de determinado documento ou situação não conforme a

determinado critério.

Arbitramento: Atividade que envolve a tomada de decisão ou posição entre alternativas

tecnicamente controversas ou que decorrem de aspectos subjetivos (Resolução 345/90 do

CONFEA, art. 1º).

Artigo científico: é parte de "uma publicação com autoria declarada, que apresenta e discute

idéias, métodos, processos, técnicas e resultados nas diversas áreas do conhecimento."

(ABNT, 2002, p.2). A ABNT reconhece dois tipos de artigos: Artigo original: quando

apresenta temas ou abordagens próprias. Geralmente relata resultados de pesquisa e é

chamado em alguns periódicos de artigos científicos; Artigo de revisão: quando resume,

analisa e discute informações já publicadas. Geralmente é resultado de pesquisa bibliográfica.

Auditoria: a distinção entre inspeção e auditoria (enquanto procedimentos de fiscalização) foi

regulada pelo TCE/RJ da seguinte forma: a inspeção tem como objetivo suprir omissões e

lacunas de informações constantes em prestações e tomadas de contas, em relatórios de

auditoria ou em pareceres técnicos (PINTO, 2001).

CONFEA: Conselho Federal de Engenharia, Arquitetura e Agronomia.

Evidências de auditoria: provas obtidas pelo auditor, em face da aplicação dos

procedimentos de auditoria, para avaliar se os critérios estabelecidos estão sendo ou não

atendidos.

INTOSAI: International Organization of Supreme Audit Institutions. Organização

Internacional de Entidades Fiscalizadoras Superiores (http://www.intosai.org).

Inspeções: (1) inspeções ordinárias serão realizadas segundo programação aprovada pelo

Presidente do Tribunal, com o objetivo de verificar in loco a legalidade, a legitimidade e a

economicidade dos atos, ou contratos, de natureza contábil, financeira, orçamentária,

42

operacional e patrimonial, nas unidades dos Poderes do Estado, dos Municípios sob sua

jurisdição, e bem

assim nas entidades da administração indireta, incluídas as fundações e sociedades instituídas

ou mantidas pelos referidos Poderes, e nos fundos; (2) inspeções especiais serão realizadas em

cada caso, ex-officio, por determinação do Presidente, por solicitação do Conselheiro, do

representante do Ministério Público, ou do Secretário-Geral de Controle Externo, sempre que

houver necessidade de entendimento direto, visando a coletar dados, esclarecer fato

determinado, verificar in loco a execução de contratos, bem como dirimir dúvida ou suprir

omissões em processo em trânsito no Tribunal; (3) inspeções extraordinárias serão

autorizadas, em cada caso, pelo Plenário, tendo por finalidade apurar fatos cuja relevância ou

gravidade exijam exame mais detido e aprofundado. Deliberação TCE/RJ 167/92, art. 49,

parágrafos 1º, 2º e 3º. (RIO DE JANEIRO, 1992).

GAO: Government Accountability Office (successor do General Accounting Office). Entidade

de Fiscalização Superior (EFS) norte-americana.

NAO: National Audit Office. Entidade de Fiscalização Superior (EFS) do Reino Unido.

Papéis de trabalho: (1) Constituem um registro permanente dos serviços executados pelo

auditor, contendo os métodos e procedimentos por ele adotados, os testes que efetuou, as

informações que obteve e as conclusões relativas ao seu exame (BORGES & CAMPOS,

1998);

(2) Descrições das constatações do auditor, em cumprimento às instruções do programa de

auditoria onde são registrados todos os dados e informações julgadas relevantes para o

alcance do escopo do trabalho de auditoria. (SILVA, L., 1998).

43

APÊNDICE I: FORMULÁRIO

Por favor, opine sobre as seguintes questões:

1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?

□ Sim

□ Não

Caso afirmativo:

1.1. Pode citar exemplos?

_______________________________________________________________

_______________________________________________________________

_______________________________________________________________

_______________________________________________________________

_______________________________________________________________

_______________________________________________________________

1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?

□ Contribuíram muito: _______________________________________

□ Contribuíram: ____________________________________________

□ Neutro:_________________________________________________

□ Não contribuíram: ________________________________________

□ Não contribuíram de modo algum: ___________________________

44

2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha?

□ Sim

□ Não

Caso afirmativo:

2.1. De que forma você entende que tais artigos poderiam contribuir para o aprimoramento de seu trabalho?

□ Contribuiriam muito

□ Contribuiriam

□ Neutro

□ Não contribuiriam

□ Não contribuiriam de modo algum

45

APÊNDICE II: ENSAIO PARA VALIDAÇÃO DE PESQUISA DE CAMPO

Comente o texto a seguir, destacando as situações que achar familiares ou que lhe pareçam absurdas. Se desejar, exponha algum caso semelhante do qual tenha conhecimento ou alguma solução porventura adotada por uma Administração Pública que enfrenta ou enfrentou problemas semelhantes. Você não precisa concordar com o texto, mas sim fazer uma análise crítica sobre ele.

Alguns aspectos do trabalho dos fiscais de obras públicas em Prefeituras Municipais no Rio de Janeiro

Em geral, as atividades dos fiscais de obras dos municípios estudados não são realizadas somente em uma frente de trabalho. Normalmente, cada agente está envolvido em mais de uma fiscalização simultânea e precisa interagir com diferentes projetos, normas e empresas contratadas. Quando a equipe técnica que acompanhou determinado empreendimento não se encontra mais na Prefeitura (em função de mudança de Prefeito ou por alterações administrativas no mesmo mandato), um simples entupimento na rede pública de drenagem pode consumir dias para ser diagnosticado, pois não existem arquivos de projetos referentes ao que há sob a superfície urbana. Para contornar tais dificuldades, os fiscais tentam recuperar parte da memória urbana, não registrada apropriadamente, por meio de entrevistas com moradores que eventualmente presenciaram a condução de obras já realizadas. Ao fiscalizar obras cujos projetos são deficientes e, ainda, não são de autoria da Administração municipal, podem surgir dificuldades na aferição de procedimentos executivos (posicionamento de instalações/equipamentos, utilização adequada de materiais etc.). Diante disso, as tomadas de decisão ficam, em muitos casos, por conta dos técnicos das empresas que executam os serviços. Com poucos recursos humanos, as Administrações não conseguem fiscalizar diariamente ou, por vezes, nem uma vez a cada semana todas as obras públicas em andamento. Na tentativa de garantir o uso da boa técnica executiva, algumas Administrações promovem remanejamentos de fiscais de posturas e de obras particulares para o acompanhamento de obras públicas que, em geral, exigem conhecimentos técnico-legais não habituais para estes agentes municipais. A fiscalização também pode ficar longe das frentes de trabalho por vários dias por falta de automóveis oficiais disponíveis, havendo casos em que o fiscal usa seu carro particular para ir às obras, mas este procedimento não é comum. Em muitos casos, os técnicos das empresas fiscalizadas promovem a confecção das planilhas de medição. A legislação não desautoriza realização de medições pela contratada, mas sua verificação deve ser feita pela fiscalização do órgão contratante (o que nem sempre ocorre). A reincidência de defeitos apresentados por obras feitas repetidas vezes no mesmo município (escolas, calçamentos, praças, asfaltamentos etc.) indica, em alguns casos, uma possível deficiência na qualificação técnica dos agentes fiscais em relação aos métodos construtivos

46

(mesmo aqueles já consagrados e que não se relacionam com as inovações tecnológicas, hoje cada vez mais freqüentes). O desconhecimento de Normas Técnicas da ABNT sobre o controle tecnológico de materiais e serviços de engenharia é comum entre os fiscais de obras. Assim, serviços de pavimentação asfáltica, por exemplo, apresentam vida útil inferior à de projeto quando os parâmetros de seus componentes constituintes (finura, dosagem, homogeneidade etc.) e as condições de sua aplicação (temperatura, ferramentas e equipamentos auxiliares, tempo de transporte etc.) não são controlados. Quando escolas são construídas com verbas destinadas à Secretaria de Educação ou postos de saúde são edificados sob a supervisão da Secretaria de Saúde, o corpo técnico da Secretaria de Obras interage com a execução das obras somente em alguns momentos, em geral uma vez a cada mês quando as notas fiscais têm que ser rubricadas – por engenheiro, arquiteto ou técnico – para que o respectivo pagamento seja autorizado pela Secretaria de Fazenda. Nestes casos, os técnicos fazem meros serviços burocráticos. Os boletins de medição devem anteceder a confecção das notas fiscais, pois os valores medidos compõem o total a ser pago à contratada. Entretanto, quando um fiscal se depara com uma Nota Fiscal preenchida, tende a não se preocupar com pequenas diferenças de quantidades porventura não executadas, pensando em corrigi-las por meio de compensações em medições posteriores. Assim, o agente se arrisca a perder o controle sobre andamento da obra caso outro fiscal realize as medições subseqüentes. Planilhas e cronogramas nem sempre apresentam valores compatíveis. Nestes casos em que os procedimentos de controle da execução contratual não são bem traçados, o fiscal fica sem parâmetros para executar sua atividade. Alguns cobram da contratada as confecções de novos documentos, outros fazem suas anotações de forma paralela. A maioria dos agentes fiscais não se preocupa com o prazo relacionado ao andamento dos empreendimentos. Nestes casos, tanto as empresas quanto a Administração fazem do Termo Aditivo regra quando deveria ser exceção. Alterações de Projetos não são registradas (em desenhos, diário de obras, termo aditivo, memorando etc.), comprometendo a memória técnica do empreendimento. Uma vez que não há o costume de serem feitos projetos as built ao final da obra, é comum que serviços aditados, detalhes alterados ou troca de serviços aparentes (pinturas extras, instalações adicionais, troca de materiais como pisos ou telhas etc.) ou enterrados (movimentos de terra, concreto de fundações, tubulações etc.) não constem de arquivos municipais.

47

APÊNDICE III: ORGANIZAÇÃO DOS DADOS COLETADOS

1. Você já tomou conhecimento de artigos, pesquisas ou estudos efetuados pelo TCE-RJ?

□ Sim = 44 opções SIM.

□ Não = 02 opções NÃO.

Caso afirmativo:

1.1. Pode citar exemplos?

� Estudo Sócioeconômico dos municípios. [Obs.: este exemplo ocorreu (5) duas vezes];

� Revista do Tribunal;

� Deliberações TCE [Obs.: este exemplo ocorreu (2) duas vezes];

� Subsídio de vereadores [Obs.: este exemplo ocorreu (3) três vezes];

� Pareceres de conselheiros;

� Artigos disponíveis na Internet;

� Entendimentos citados por doutrinadores em livros;

� Especificação de materiais;

� Pesquisas de preços pela internet [Obs.: este exemplo ocorreu (2) duas vezes];

� Fiscalização de obras (Revista TCE);

� Aplicação de recursos em obras e aproveitamento dos mesmos durante a execução;

� Royalties;

� Cursos de capacitação da ECG;

� Consultas pela internet / Temas site TCE [Obs.: este exemplo ocorreu (2) duas vezes];

� ISSQN no segmento de petróleo;

� Relatório de inspeção realizada no órgão;

� Artigo do TCE sobre as contratações de emergência da união, classificando-as como fraudulentas (relativas à recuperação das estradas federais);

� Artigo do TCE sobre o controle e gestão de receitas municipais, apresentando a coordenadoria de controle das receitas;

1.2. O quanto cada um deles contribuiu para o aprimoramento de seu trabalho?

□ Contribuíram muito = 12 opções CONTRIBUIRIAM MUITO

48

Comentários:

� “Maior clareza em Pregão”;

� “É importante conhecer o trabalho de um órgão que trabalho sobre o nosso trabalho”

□ Contribuíram = 08 opções CONTRIBUIRIAM

Comentários:

� “Esclarecimento de dúvidas”;

� “Base legal e dados estatísticos”;

□ Neutro = 03 opções NEUTRO

□ Não contribuíram =

□ Não contribuíram de modo algum =

[Obs. 08 não responderam.]

2. Em sua opinião, artigos científicos elaborados por técnicos do TCE-RJ, com base em dados coletados em inspeções, poderiam contribuir para o aprimoramento do órgão em que você trabalha?

□ Sim = 39 opções SIM.

□ Não = 03 opções NÃO.

[Obs. 04 não responderam.]

Caso afirmativo:

2.1. De que forma você entende que tais artigos poderiam contribuir para o aprimoramento de seu trabalho?

□ Contribuiriam muito = 31 opções CONTRIBUIRIAM MUITO

□ Contribuiriam = 8 opções CONTRIBUIRIAM

□ Neutro

□ Não contribuiriam

□ Não contribuiriam de modo algum