Classificação das Propostas

Este é o resumo da metodologia utilizada pelo papers para a classificação das propostas. Este documento é uma versão generalizada do documento original escrito para o fisl7.0? .

Definições

  • Proposta: é uma proposta de palestra que entrou no sistema até o final do período de envio de propostas.
  • Trilha: É um conjunto de propostas que tenham o mesmo tema em comum.
  • Proponente: É o autor de uma proposta.
  • Avaliador: É uma pessoa escolhida pelo Comitê de Programa do evento para proceder a avaliação das propostas.
  • Avaliação: É a atribuição de conceitos subjetivos para uma proposta feita por um avaliador em conjunto com a recomendação e a auto-avaliação da capacidade do avaliador.
  • Avaliação Rejeitada: É uma avaliação que foi rejeitada pelos critérios de exclusão das avaliações conforme descritos a seguir.
  • Escore Bruto: É um número entre 1 e 20 pelo qual as propostas são avaliadas. O cálculo do Escore Bruto (e seus derivados) é explicado a seguir.

Formulário de Avaliação

As avaliações serão feitas segundo os seguintes elementos:

  • Grau de confiança da avaliação (gr): Representa o quanto o avaliador confia em sua própria avaliação. Formado por categorias qualitativas "Não conheço bem o assunto, sou generalista", "Não sou expert, mas sinto-me à vontade com o assunto, mas não sou expert", "Sou expert", atribuídas aos valores 1,0, 1,5 e 2,0 respectivamente.

  • Relevância (rel): Representa o quanto o avaliador acredita que a proposta é relevante para a finalidade do evento. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5, respectivamente.

  • Qualidade técnica (qual): Representa a qualidade técnica da proposta segundo o que o avaliador pôde apurar a partir do resumo e da descrição fornecidos pelo autor. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5, respectivamente.

  • Experiência do autor com o tema (exp):Representa a experiência do autor da proposta segundo o que o avaliador pôde apurar a partir do mini-curríiculo fornecido. Formado pelas categorias qualitativas "Nenhuma", "Pouca", "Alguma", "Muita", "Extrema", associadas aos valores de 1 a 5.

  • Recomendação geral (rec): Representa a impressão geral do avaliador sobre a proposta. Formado pelas categorias qualitativas "Rejeição forte - Tenho argumentos fortes para rejeitar o trabalho", "Rejeição fraca - Não tenho argumentos fortes para rejeitar o trabalho; tenho mais argumentos para rejeitar o trabalho do que para aceitar", "Aceitação fraca - Não tenho argumentos fortes para aceitar o trabalho; tenho mais argumentos para aceitar o trabalho do que para rejeitar", "Aceitação forte - Tenho argumentos fortes para aceitar o trabalho", associadas aos valores 1,0, 1,5, 1,75, e 2,0 respectivamente.

Critério de Exclusão de uma Avaliação

Para evitar distorções o Comitê de Programa excluirá as avaliações que responderem a qualquer dos seguintes critérios:

  • Trilha incompleta: O avaliador deverá avaliar a trilha completamente, sem deixar nenhuma proposta sem avaliação. Todas as avaliações (dentro de uma mesma trilha) de um avaliador que não tenha avaliado a trilha completa serão excluídas.

Cálculo do Escores Bruto, Composto e Médio

Os Escores Bruto (eb) e Composto (ec) de cada avaliação e o Escore Médio (em) de cada proposta são calculados através das seguintes fórmulas: 

    eb = [ (rel * 0,20) + (qual * 0,50) + (exp * 0,30) ]
    ec = gr * eb * rec
    em = media(ec1 + ec2 + ... + ecN)

Cálculo da Média e do Desvio-Padrão das Trilhas

Todas os em das propostas de uma mesma trilha servem para cálculo da média e do desvio-padrão daquela trilha. As formulas utilizadas são as mesmas de qualquer livro de estatística, mas para constar: 

    m  = (em1 + em2 + ... + emN) / N
    dp = sqrt( 1/2 * ( ((em1 - m) ^ 2) + ((em2 - m) ^ 2) + ... + ((emN - m) ^ 2) ))

Cálculo do Escore Padrão e do Argumento de Classificação

Da mesma forma, com a m, o dp de cada trilha, e os em das propostas, agora podemos calcular o escore padrão (z) de cada proposta. Novamente, os livros de estatística nos trazem a fórmula: 

    z = (em - m) / dp

O argumento de classificação (ac) é obtido multiplicando o z por 100 e somando 500: 

    ac = z * 100 + 500

Classificação das Propostas

O ac das propostas serve para classificá-las dentro de cada trilha, conforme as seguintes regras:

  • As propostas serão aceitas a medida que houverem vagas dentro de uma mesma trilha.
  • Se um proponente tem duas propostas aceitas, a de menor ac será descartada e a próxima proposta da classificação entrará na zona de aceite (a menos que seja, novamente, do mesmo proponente, quando o mesmo processo se repete).

Links

Desvio Padrão
Escore Padrão