Procedimentos e
critérios de avaliação de projectos de ICDT
O sistema de solicitação pública de
candidaturas de projectos de investigação, cujos objectivos e métodos são
propostos pelos próprios cientistas nelas envolvidos, e a avaliação
independente e rigorosa por painéis de avaliação constituídos por cientistas de
elevado mérito internacional, com exigentes critérios internacionais de
referência e elevada selectividade, constituem os aspectos centrais da política
sistemática de melhoria da qualidade científica e de expansão dos resultados da
investigação.
Em 1997-98 procedeu-se a uma profunda
revisão dos processos de candidatura e avaliação de projectos.
Sistematizaram-se os princípios e procedimentos de avaliação, prepararam-se
novos formulários de candidatura e avaliação, consolidaram-se e clarificaram-se
os critérios de avaliação, os quais passaram a ser do conhecimento prévio dos
candidatos tal como eram transmitidos aos avaliadores. Acabou-se com o sistema
anterior em que cada painel de avaliação adoptava os seus critérios, a posteriori da apresentação de
candidaturas.
O processo de avaliação de projectos
foi desenvolvido afinando e juntando componentes dos melhores procedimentos de
avaliação das principais agências financiadoras de C&T estrangeiras. Certas
das suas características de detalhe são hoje vistas como exemplos que têm
tendência a ser adoptados internacionalmente: avaliação por painéis de cientistas predominantemente estrangeiros e
cuja identidade é publicamente conhecida em vez de ficar confidencial,
interacção entre os avaliadores e os candidatos em sessões de apresentação dos
projectos, critérios de avaliação que valorizam o mérito internacional das
candidaturas e dão expressão à competência dos avaliadores, sobrepondo-a a
grelhas automáticas de avaliação, exigência de aprovação selectiva de projectos
de elevado mérito internacional, solicitação aos painéis de avaliação de
recomendações explícitas quanto ao financiamento a atribuir.
A partir de 1997, a FCT passou a
adoptar três critérios de avaliação[1] cuja classificação pressupõe a consideração de vários
aspectos pelos próprios avaliadores.
Os formulários de candidatura e os
critérios de avaliação têm em conta que na avaliação da investigação científica
a qualidade e a originalidade devem ter precedência sobre a quantidade, e que é
importante considerar os resultados obtidos pela equipa de investigação em
projectos anteriormente financiados:
Criterium 1 - Scientific merit and originality of the
proposed activity[2];
Criterium 2 - Scientific merit of the research team, its
qualifications to conduct the project and its configuration regarding research
opportunities provided to young scientists[3];
Criterium 3 -
Feasibility, work program and budget appropriateness[4].
Os avaliadores classificam cada
candidatura em cada um destes critérios, numa escala de 1 (baixo) a 5
(elevado), previamente a analisarem a candidatura em conjunto no painel de
avaliação. O painel de avaliação prepara em conjunto o relatório de avaliação
final e classifica a candidatura numa escala Excelente, Muito Bom, Bom, Regular
e Fraco, tendo em conta as
classificações dos critérios de avaliação pelos avaliadores e chegando à
classificação global com base na opinião colegial dos membros do painel, sem os
restringir a um esquema pré-definido de ponderação das classificações parciais.
A selectividade da avaliação de
candidaturas de projectos de investigação apresentadas à FCT tem sido elevada.
É solicitado aos avaliadores que indiquem para aprovação apenas as candidaturas
que, relativamente aos critérios adoptados, tenham mérito Excelente ou Muito Bom a
nível internacional. Globalmente, a aprovação de candidaturas situou-se em 38%,
com financiamentos globais atribuídos de 20% dos financiamentos globais
solicitados.
Foi assim concretizado um processo de
avaliação coerente e transparente, cuja qualidade tem sido elogiada pelos
cientistas estrangeiros que nele têm participado como avaliadores e que
frequentemente identificam no conjunto dos procedimentos adoptados aspectos
superiores aos seguidos pelas agências financiadoras de projectos de
investigação dos seus próprios países.
Painéis de
avaliação constituídos maioritariamente por cientistas estrangeiros
Os painéis de avaliação passaram a ser
constituídos essencialmente por cientistas estrangeiros pelas razões seguintes:
· "Não é
permitido ao homem mais justo que seja juiz em causa própria" (Blaise
Pascal, 1670), o que em países pequenos leva
directamente à necessidade de envolver avaliadores estrangeiros;
· As avaliações devem ser realizadas face às melhore
práticas internacionais;
· É uma forma clara e simples de afirmar a política de
internacionalização científica, em especial junto aos investigadores e às
instituições de C&T;
· A exposição da nossa investigação a avaliações
internacionais traz uma visibilidade internacional natural a competências em
torno das quais pode ser expandida a ligação da comunidade científica em rede
internacional;
· Os resultados das avaliações obtêm mais facilmente
credibilidade e reconhecimento internacional se os avaliadores forem
especialistas estrangeiros, dado que
as referências comparativas são neste caso mais fáceis de estabelecer;
· Há mais vantagens do que inconvenientes em que a
avaliação seja feita por especialistas externos à comunidade científica envolvida,
os quais, naturalmente, são mais susceptíveis a detectar competências
emergentes e novas oportunidades de lideranças científicas, assim como práticas
obsoletas e competências em decadência, e
de as considerar abertamente pelo seu valor facial, o que é
particularmente importante numa altura de rápido crescimento da comunidade
científica, em que cada ano há mais 10% novos doutorados no sistema.
A constituição dos painéis de
avaliação ser pública e de haver interacção directa entre os membros desses painéis
e os candidatos assegura um elevado nível de responsabilização e um controlo da
qualidade e da isenção da avaliação que não seriam possíveis sob anonimato,
permite completar com informações adicionais os dados disponíveis nas
candidaturas escritas possibilitando a obtenção de respostas a perguntas dos
avaliadores, melhora a credibilidade do processo de avaliação visto que permite
aos candidatos construir as suas impressões sobre as atitudes dos avaliadores
com base em contactos directos.
Elevada
dimensão e complexidade dos exercícios anuais de avaliação
A avaliação do concurso anual para
projectos em todos os domínios científicos, que envolvem cerca de 2.000
candidaturas, é sempre um exercício de elevada dimensão, ao qual acrescem as
avaliações dos concursos para projectos de investigação orientada.
Todos os anos é assegurado o
funcionamento de mais de 45 painéis de avaliação que envolvem cerca de 200
avaliadores estrangeiros. Estes painéis reunem em Lisboa, em regime residencial
permanente com a duração média de uma semana, durante a qual também interagem
com os proponentes em sessões de apresentação pública das propostas de
investigação[5].
Figura 4.5 – Distribuição por
classificações de avaliação do
nº de projectos aprovados no concurso de
2000 para todos
os domínios científicos (Fonte: FCT)
Classificações
de avaliação, objectivos socio-económicos e áreas científicas dos projectos aprovados - Exemplo do concurso de 2000 para projectos em todos os
domínios
Em geral, procura-se aprovar as
candidaturas de mérito internacional Excelente
e Muito Bom. No período 1997-2001, a
média de aprovações em número de propostas foi 38% e em financiamento aprovado
relativamente ao solicitado 20%. É, portanto, um processo selectivo e exigente.
Como exemplo dos resultados de
avaliação e aprovação de projectos de investigação científica e desenvolvimento
tecnológico em concursos para todos os domínios científicos, apresentam-se aqui
dados relativos ao concurso de 2000, o mais recente que se encontra apurado.
No concurso referido foram avaliadas 1.945 candidaturas, das quais foram
aprovadas 844, o que corresponde a uma aprovação de 43%. O financiamento
solicitado por todas as candidaturas foi 236 milhões de Euros e o financiamento
atribuído foi 56 milhões de Euros, o que corresponde a uma aprovação de 24%.
A distribuição de classificações de avaliação dos projectos é apresentada
na Figura 4.5, onde se vê que 6% foram classificados com Excelente e 29% com Muito
Bom. Portanto, os projectos com uma destas classificações corresponderam a
45% das candidaturas avaliadas, pelo que as candidaturas aprovadas são
praticamente as que foram classificadas nestes dois níveis de topo.
A distribuição dos projectos aprovados por objectivos socio-económicos é
apresentada na Figura 4.6, sendo os objectivos mais frequentes a promoção geral
dos conhecimentos (34%), a indústria (24%), a saúde humana (8%), o ambiente
(8%) e a agriculturas (7%), mas com números significativos também com
objectivos de infraestruturas e ordenamento do território, desenvolvimento
social e serviços sociais, e mar pesca e piscicultura.
A distribuição por grandes domínios científicos encontra-se indicada na
Figura 4.7, com um pouco mais de metade dos projectos totais em Ciências de
Engenharia e Tecnologias (35%) e Ciências Naturais e do Ambiente (23%).
Disponibilização
na Internet de bases de dados dos
projectos aprovados
Em 1998 foi
iniciada a disponibilização pública na Internet
de bases de dados dos projectos aprovados.
A informação disponibilizada para cada projecto inclui título, objectivos, objectivos socioeconómicos, palavras-chave, resumo, investigador responsável, equipa de investigação, unidades de I&D envolvidas, financiamento atribuído. São disponibilizados endereços de contacto com as entidades e os investigadores, nomeadamente de correio electrónico, com o objectivo de reforçar a interligação em rede da comunidade científica.
Para cada concurso é também fornecida informação estatística sobre as classificações, aprovações e financiamentos dos projectos.
Figura 4.6 – Distribuição por objectivos
socio-económicos do
nº de projectos aprovados no concurso de 2000 para todos os
domínios científicos (Fonte: FCT)
Sistema SAPIENS – Submissão e Avaliação de Propostas pela Internet em Segurança
Em Novembro de 1999, para o concurso de projectos de investigação em todos
os domínios científicos que foi aberto do fim desse mês ao fim de Janeiro de
2000, a FCT introduziu um sistema pioneiro de submissão electrónica de
candidaturas a projectos de investigação científica pela Internet, designado SAPIENS - Submissão e Avaliação de Propostas pela Internet em
Segurança. Este sistema permitiu a milhares de
investigadores uma preparação e submissão mais simples de candidaturas a
financiamento de projectos de investigação e situa-se na vanguarda dos sistemas
de submissão electrónica de projectos de investigação, a nível mundial.
Figura 4.7 – Distribuição por grandes
áreas científicas do
nº de projectos aprovados no concurso
de 2000 para todos
os domínios científicos (Fonte: FCT)
O sistema SAPIENS incluiu um formulário electrónico acessível na Internet, uma base de dados estruturada
residente na FCT e um conjunto de programas que permitem a gestão electrónica
integrada das candidaturas desde a submissão até aos pagamentos e ao controlo
da execução dos projectos aprovados. Trata-se de um caso exemplar de ilustração
das vantagens da administração pública electrónica.
O sistema acabou com os longos
processos de organização e verificação manual de candidaturas, bem como com o
envio aos avaliadores de candidaturas em papel pelo correio, o que permite uma
considerável economia de custos e a aceleração dos procedimentos. Por exemplo,
em 2001 foi possível disponibilizar as candidaturas aos avaliadores do primeiro
painel de avaliação, pela Internet,
apenas quatro dias após terminado o período de candidatura e, subsequentemente,
foi possível concluir os trabalhos deste painel, incluindo a apresentação
pública das candidaturas aos avaliadores pelos proponentes, dez dias depois.
A Figura 4.8 mostra a progressão da avaliação do concursos de projectos em
todos os domínios científicos que encerrou em 31 de Janeiro de 2000.
Verifica-se que 80% das candidaturas estavam avaliadas após 5,5 meses da
submissão, o que é um valor muito bom dado que o benchmarking internacional aponta para a avaliação de pelo menos
75% de candidaturas em seis meses. No entanto, a finalização da avaliação
progrediu de vagar, por dificuldades na constituição e estabilização dos
correspondentes painéis e problemas de disponibilidade dos avaliadores para
marcação de datas das avaliações. É ainda necessário melhorar este aspecto que,
inclusivamente, levou a maiores atrasos na avaliação do concurso para projectos
em todos os domínios científicos de 2001. Os dados mostram que o sistema
permite avaliações muito rápidas, desde que fiquem resolvidas com antecedência
a constituição dos painéis e a marcação das datas das avaliações.
Figura 4.8 – Progressão da avaliação do concurso para projectos
em todos os domínios científicos que encerrou em 12 de Março
de 2000 (Fonte: FCT)
O aumento do rigor e da eficiência do
processamento das candidaturas, tornado possível pelo novo sistema, em que a
informação estruturada que integra a base de dados de candidaturas é
introduzida directamente pelos candidatos, assegura as condições para
estabilizar a abertura de um concurso geral para projectos de investigação
todos os anos – procedimento este que teve início em 1998 – permite encurtar o
período desde a submissão da candidatura e da constituição do respectivo painel
de avaliação até à divulgação dos resultados da avaliação e facilita a
capacidade operacional para abertura de mais concursos para projectos de
investigação orientada ao longo de cada ano.
As dificuldades de realização de ambiciosos calendários de concursos e
avaliações ficaram confinadas à designação dos coordenadores dos painéis de
avaliação e a assegurar que estes estabilizam a constituição dos painéis de
avaliação e as marcações para o período de avaliação em Portugal. Estes ainda
são aspectos de gestão muito difícil, dadas as interacções individualizadas que
envolvem, mas que ficaram deste modo libertos de outras dificuldades
logísticas. Com o objectivo de resolver este problema, preparou-se a avaliação
do concurso para projectos em todos os domínios científicos de 2002 assegurando
a possibilidade de constituição de praticamente todos os painéis de avaliação
no primeiro trimestre de 2002, ainda antes de encerrado o concurso, e
procurou-se garantir um período de estabilidade aos coordenadores de cada
painel e a um núcleo dos seus membros, de forma a evitar atrasos no futuro.
Em 2000, 83% das 1.958 candidaturas recebidas foram submetidas
electronicamente, percentagem que em 2001 subiu para 97%. São elevadíssimas
taxas de adesão a um sistema que permitiu à FCT situar-se na vanguarda das
instituições congéneres a nível mundial no que respeita à submissão electrónica
de projectos de investigação e à subsequente avaliação e gestão electrónicas.
Além da submissão electrónica, foi implementado
um sistema de avaliação electrónica que permite aos avaliadores terem acesso às
candidaturas e prepararem relatórios electrónicos de avaliação preliminar pela Internet, logo a seguir ao encerramento
do período de candidaturas e antes do contacto directo com os proponentes na
fase final da avaliação. Os relatórios electrónicos de avaliação
preliminarmente efectuados nos locais de origem dos avaliadores são facilmente
concluídos pelo painel de avaliação em Portugal, após interacção com os
proponentes.
A partir das informações fornecidas
nas candidaturas pelos investigadores responsáveis pelos projectos aprovados
são publicadas na Internet as bases de dados dos projectos aprovados.
No que respeita à submissão electrónica de candidaturas, o sistema só
encontra par na National Science
Foundation (NSF) dos EUA e inclusivamente ultrapassa esta agência
financiadora de investigação no que respeita à avaliação electrónica, uma vez
que a NSF se encontrava a introduzir
este tipo de processo (o painel de avaliação de projectos de Eng.
Electrotécnica e Informática - Sistemas Robóticos, Inteligentes e de Informação em
2001, predominantemente composto por reconhecidos cientistas americanos destas
áreas, quis elogiar a FCT pelo desenvolvimento do sistema, que consideraram
claramente superior ao da NSF e,
comparativamente, de uma geração mais avançada e com um desempenho de muito
elevada qualidade). É de notar que a NSF
foi pioneira mundialmente, em fase experimental, dos sistemas de submissão
electrónica de candidaturas em 1989 e fixou atingir 100% de submissões
electrónicas no ano 2000, ano em que começou a ensaiar a avaliação electrónica
em certas áreas, o que significa que em Portugal superámos rapidamente um
atraso considerável e assumimos uma posição de vanguarda nesta matéria que
convém manter com uma permanente modernização dos sistemas.
A situação na NSF e na FCT
contrasta com o facto das submissões electrónicas de projectos apresentados ao
Programa Quadro da Comissão Europeia em 2000 não terem ultrapassado 5% de todas
as candidaturas. Nos outros países europeus, as agências financiadoras de
investigação mais avançadas são os Research
Councils do Reino Unido, embora neste caso a generalização dos sistemas de
submissão electrónica que vem sendo anunciada há vários anos tenha sido
sucessivamente adiada.
Está prevista a melhoria do sistema em vários aspectos, incluindo a
possibilidade de escrita de fórmulas e inserção de diagramas e figuras nos
próprios campos de texto, em vez do esquema actual em que podem ser submetidas
num anexo em formato pdf.