Seres divinos e mercenários

Os financiadores geralmente concordam que seria bom ter mais e melhores avaliações dos projetos financiados. Elas ajudariam na avaliação do impacto dos projetos e, consequentemente, no julgamento se os doadores estão gastando o dinheiro bem ou mal. Mas como aqueles que estão na ponta recebedora se sentem a respeito das exigências de relatórios feitas pelos doadores? Alliance perguntou a três organizações, que operam programas com financiamento governamental, como seu trabalho é afetado pelos sistemas de avaliação dos doadores e pelos requisitos de informação.

A visão de Pati Ruiz Corzo, Diretora Federal da Reserva de Biosfera de Sierra Gorda, México, é de crítica. Sierra Gorda está implementando um projeto de Instalação Ambiental Global em parceria com grupos locais. Os “seres divinos, mercenários”, contratados pela GEF para conduzir avaliações, muitas vezes parecem “não entender nada em profundidade”, diz ela. Em vez disso, como muitos consultores, eles “lançam acusações infundadas” e produzem “análises tendenciosas”. “Eles não apreciam as realizações do projeto e subestimam o esforço local.” Ela conclui que existe um elemento de interesse próprio em suas conclusões: a não ser que “encontrem erros, falhas ou falta de estratégia, eles não conseguiriam justificar seu contrato”.

Ela acha que um dos problemas centrais é que os requisitos são definidos sem levar em consideração a situação local. “No nosso caso, os requisitos de projeto da GEF foram estipulados na forma de uma teoria de mesa, completamente afastada dos contextos reais.”

Apoorva Oza, CEO do Aga Khan Rural Support Programme (Índia), está, pelo menos em princípio, mais otimista com relação à avaliação. “Antes de mais nada, quero dizer que sou um grande defensor de sistemas de avaliação para as ONGs.”, diz ele. No entanto, ele concorda que existem muitas organizações ruins, “tipos espúrios demais, e algumas cujo trabalho não corresponde aos seus relatórios. Muito trabalho precisa ser feito nos objetivos e na metodologia dos relatórios e dos sistemas de avaliação.”

A visão mais positiva sobre as avaliações, entre aqueles com quem conversamos, veio de Atallah Kuttab, Diretor Geral da Welfare Association, que opera principalmente na Palestina e no Líbano. “Nossa experiência é que a avaliação mantém nosso foco e nos ajuda a atingir uma maior transparência e responsabilização em nossos programas. Além disso, ter doadores que apreciam os sistemas de monitoramento/avaliação nos ajuda a implantar um sistema institucional na Welfare Association, com parte dos custos cobertos por diversos doadores.”

Os requisitos de avaliação restringem os projetos?
Consideravelmente, segundo Apoorva Oza. Em um ambiente de mudanças rápidas, como a Índia, “mesmo um projeto de cinco anos se torna obsoleto em algum momento. Uma ONG que se atenha rigidamente a ele perderá oportunidades.” Ele concorda que os objetivos podem ajudar a manter o foco, mas “depois de dois ou três anos, quando as mudanças são necessárias, esses objetivos se tornam uma restrição.”

Em contraste, ele cita uma doação da Comissão Européia que deu uma certa flexibilidade com relação aos objetivos. “Nós propusemos apenas três itens de linha para o desenvolvimento de recursos hídricos,” ele explica, “mas, graças à flexibilidade que tivemos, no fim do projeto tínhamos 20 tecnologias, mais baratas e mais fáceis de usar.”

Muitos projetos, ele acrescenta, estão sujeitos a “estruturas rígidas de registro, linhas rígidas no orçamento e prescrições de percentagens fixas de contrapartida (quando os doadores querem que os financiados participem com uma proporção do que foi concedido como doação)”. Os requisitos de informações são muitas vezes pesados, uma vez que eles são muito “focados nos dados”, sem prestar atenção ao processo ou aos resultados.

Também nesse aspecto, Atallah Kuttab tem uma visão mais positiva, com uma reserva importante. Ele acha que são “muito úteis em termos de monitoramento, mas algumas vezes tenho minhas dúvidas em termos de avaliação de impacto”. Ele complementa: “Um aspecto negativo é que algumas vezes os doadores têm sistemas diferentes (especialmente os grandes) e isso simplesmente aumenta a carga sobre a nossa capacidade, com pouca vantagem para os resultados do programa.”

Os doadores compreendem os custos? “No nosso caso, sim”, diz Kuttab. Apoorva Oza concorda, mas acha que eles provavelmente subestimam “o tempo necessário para preparar e participar da avaliação, especialmente para as comunidades”.

O efeito sobre o risco
O problema real, segundo Apoorva Oza, é aquilo que ele descreve como sistema de objetivos anuais que muitos doadores empregam. Em áreas de conflito, por exemplo, “se quisermos insistir em um enfoque inclusivo, que envolva todas as castas em um projeto de represa, a pressão para terminarmos a represa em um ano nos obriga a conciliar, em fez de marcar posição com a comunidade dominante.” A preocupação com objetivos anuais, segundo ele, é “também o motivo pelo qual muitas ONGs se concentram na implementação, em vez de na política, uma vez que nada pode ser atingido em um ano na defesa de políticas, o que sempre é um risco, com grandes chances de falha.”

Atallah Kuttab acha também que os sistemas de avaliação impedem que se assumam riscos, “uma vez que os doadores pagam pelas atividades do programa dentro de objetivos especificados e não permitem outros custos”. Ele acha que os doadores ocidentais são especialmente inibidos, ou, em suas palavras, “totalmente apavorados” de assumir riscos políticos, especialmente em programas de defesa de idéias. Ele concorda, no entanto, que é “muito bom ver a maioria dos nossos doadores assumindo riscos quando se trata de fazer trabalhos em Jerusalém, o que foi um tabu por muitos anos devido ao tratado de Oslo.”

O produto final
Até que ponto são úteis os relatórios produzidos por essas avaliações? “Eles são muito apreciados por gerentes e doadores”, diz Atallah Kuttab, “e isso contribui para a construção de confiança em nossa capacidade operacional, fazendo com que mais fundos estejam disponíveis.” Até aqui, tudo bem. “No entanto,” ele continua, “o formato desses relatórios é útil apenas para o doador. A Welfare Association precisa fazer mais em termos de formatação e reestruturação de seus relatórios para torná-los úteis para um público maior.”

Pati Ruiz é caracteristicamente franca e condenatória. Os relatórios, diz ela, são “documentos caros e volumosos que não fornecem nada de novo. Eles são cheios de erros e de imprecisões, sem nenhuma contribuição construtiva”.

Uma maneira melhor?
Independente dos requisitos de relatórios impostos pelos doadores, as pessoas com quem falamos têm seus próprios sistemas para monitorar e avaliar seu trabalho. “Um bom sistema que temos atualmente”, diz Apoorva Oza, “é uma breve avaliação anual, pelas mesmas pessoas, por cinco anos. Isso é melhor do que uma revisão de meio ou de fim de projeto, uma vez que o feedback pode ser trabalhado e tanto a ONG quanto o avaliador aprendem juntos.”

Ele distingue dois tipos de avaliação: explícita, em que uma avaliação externa é parte do projeto, e implícita, em que a avaliação é feita através dos requisitos de relatórios de uma doação. “As avaliações explícitas, quando bem feitas, têm resultados que são de todos e, eventualmente, levam a ações em uma ONG boa e com autocrítica.”

Mesmo a Sierra Gorda, apesar de suas más experiências, “ganhou no processo de profissionalização de nosso sistema de monitoramento e avaliação”. Pati Ruiz explica: “Nós buscamos consultores do SVT Group, de São Francisco, para desenvolver uma metodologia que reflita o retorno social e ambiental de nosso trabalho em quatro setores: monetário, quantitativo, qualitativo e narrativo. Isso está sendo ajustado internamente como uma nova disciplina em padrões de relatórios e esperamos ter indicadores e números objetivos que nos dêem os elementos para apresentarmos relatórios mais transparentes e mais concretos”.

Avaliando os avaliadores
Entre as pessoas com quem conversamos, no entanto, as avaliações patrocinadas pelos doadores causaram impressões diversas. Mesmo quando as experiências são amplamente positivas, existe espaço para aprimoramentos, por exemplo, formatos de relatórios que sejam úteis para os beneficiários finais e não apenas para os doadores e gerentes de projeto, ou maior uniformidade nos requisitos de relatórios quando mais de um financiador estiverem envolvidos.

Um ponto final: A experiência de Pati Ruiz com o projeto de Sierra Gorda levou-a a sugerir que os avaliadores devem passar por alguma forma de avaliação. “Com algumas exceções”, ela sugere, “os consultores deveriam ser avaliados e classificados em listas vermelhas.” Deveria haver também a possibilidade de “monitoramento acompanhado por pessoas que tenham experiência em campo e não apenas em uma mesa”, que seria, portanto, mais capaz de reconhecer as realizações e os pontos fracos, e de ajudar a construir processos, e “não julgar ignorando aquilo que não compreendem”. Muitos financiados certamente concordam com ela.

Alliance Brasil gostaria de agradecer às seguintes pessoas por suas contribuições para este artigo:
Atallah Kuttab Diretor Geral, Welfare Association, Palestina.
Apoorva Oza CEO, Aga Khan Rural Support Programme (Índia).
Martha Isabel (Pati) Ruiz Corzo Diretora Federal, Sierra Gorda Biosphere Reserve, México.


Andrew Milner
Editor Associado da revista Alliance

Publicado pelo redeGIFE Online, Edição 525, em 03/03/08