Revolucionando a atribuiçãoeletrônica de notas

Redução de custos •Redução dos prazos de execução •

Melhoria da qualidade •Garantia do anonimato do candidato •

Simplificação da logística •Melhoria da Segurança •

Melhoria do gerenciamento de informações •

Há quatro décadas, a DRS tem apoiadoorganizações globais de atribuição de notas eavaliação, escolas, faculdades e universidades como seu processo de avaliação seguro e soluções decaptura de dados para avaliação, incluindo:

• Lançamento de exames e formulários de matrícula incluindo a captura de fotos

• Respostas de avaliadores e quadro de notas totalmente otimizado para captura eletrônica

• Produção e processamento de Questionários de Múltipla Escolha e de folhetos

• Produção e processamento de exames customizados

• Soluções de correção eletrônica de exames • Tecnologias sofisticadas projetadas

especificamente para o escaneamento de exames • Claves de serviços de imagens

Se você deseja reduzir as pressões administrativasno seu estabelecimento e ao mesmo tempo melhorara exatidão e confiabilidade das suas avaliações,podemos oferecer-lhe soluções planejadas paraalcançar os seus objetivos.

Temos o orgulho de ser afiliados às seguintesinstituições

FAB | AEA Europe | IAEA | AEAA |BESA | SERCO

Transformando o futuro da atribuição de notas de examesO e-Marker® foi projetado para atender às necessidades de todos os tipos de organizações de avaliação eteste, desde alguns milhares de exames até centenas de milhares de exames. O e-Marker® oferece asferramentas para aumentar a eficiência e eficácia do processo de atribuição de notas.

Solução eficaz para a atribuição de notasO e-Marker® utiliza o poder da Internet além da funcionalidade de um software sofisticado e da tecnologia dealta especificação, oferecendo uma solução de atribuição de notas flexível e eficaz e proporcionando benefíciosdiretos em termos de custo, qualidade e controle.

Gerenciando a logística de examesA DRS tem quase quatro décadas de experiência em gerenciamento de dados de exames. Trabalhamos hámuitos anos junto a organizações internacionais de atribuição de notas e entendemos totalmente ascomplexidades associadas ao ciclo de vida de um exame.

Os exames dos candidatos são escaneados e dispostos como imagens utilizando os scanners de últimageração PhotoScribe® da DRS, capturando cada resposta. As imagens são então administradas comsegurança pelo e-Marker®, o elemento de atribuição de notas eletrônico integral do nosso sistema completo deatribuição de notas.

Cuidaremos de toda a logística, incluindo o recebimento seguro dos exames, o escaneamento e a disposiçãoem imagens das respostas, a fim de preparar a atribuição eletrônica de notas por parte dos examinadores.

Eliminação de errosO e-Marker® utiliza procedimentos de controle de qualidade que já foram usados e testados para garantir queao término da atribuição de notas não seja mais necessário efetuar outras verificações – os erros administrativossão eliminados durante o processo e através de verificações regulares automáticas dos padrões de atribuiçãode notas em cada passo da operação.

Gerenciamento de informações em tempo realCom um módulo completo de administração desenvolvido em conjunto com importantes organizações deatribuição de notas, o e-Marker® possibilita o gerenciamento e o acompanhamento de todos os estágios daatribuição de notas, oferecendo gerenciamento de informações em tempo real e funções de administraçãorelevantes.

Benefícios do

Ao efetuar a mudança do sistema de atribuição de notas tradicional feito em papel para métodos eletrônicos, oe-Marker® traz melhorias tanto em relação à qualidade da atribuição de notas, como à habilidade demonitoração de tal processo.

Os sistemas baseados em papel somente podem ser aperfeiçoados na medida em que as limitações detrabalhar com uma cópia de uma resposta de um candidato tornam-se aparentes. A atribuição secundária denotas é influenciada pelas primeiras notas que já estão escritas nos exames e dependem de que os examessejam enviados pelo correio ou de que os examinadores estejam no mesmo local durante certo tempo.

A DRS acaba com todas estas limitações, e garantimos que com o e-Marker® , os exames serão administradosde maneira segura e que as respostas dos candidatos serão avaliadas confidencialmente.

Contudo, apesar de todas as inovações do sistema eletrônico de atribuição de notas, nós não perdemos ocandidato de vista. Cada aluno tem as suas próprias esperanças, sonhos e ambições e é essa visão simples,mas crítica, que influencia e conduz a paixão com a qual oferecemos o e-Marker®.

Economia de custosPode-se economizar significativamente simplificando o complexo processo de atribuição de notas em áreas como:• Movimentação de exames• Documentação de apoio aos avaliadores• Verificação independente de acréscimos, preenchimento do quadro de notas e exames faltantes.

Muitas das exceções que atualmente exigem intervenção manual intensa e trabalhosa são controladas pelosistema e-Marker®, incluindo a correspondência de exames adicionais e inesperados aos dados contidos emnossos registros.

Processos de simplificaçãoOs processos que podiam somente ser suportados pela atribuição de notas em centrais podem ser realizadosremotamente pelos avaliadores, em suas casas, sem as limitações do processamento de papéis. As imagensdas respostas dos candidatos podem ser distribuídas eletronicamente em qualquer lugar do país, permitindoque os avaliadores corrijam as provas onde quer que estejam e a qualquer hora que desejarem fazê-lo.

A eliminação dos processos baseados em papéis resultam não apenas em redução de custos, como tambémproporcionam um aumento do controle de qualidade – tal como amostras automáticas regulares de correções,ao invés de depender da revisão dos exames em papel selecionados de uma alocação de um avaliador.

Técnicas de para efetuar novamente a correção de maneira simplificadaO módulo de recurso de exames do e-Marker® demonstrou ser instrumental, possibilitando que asorganizações de atribuição de notas alcancem objetivos importantes do governo. Os exames em papel nãoprecisam ser circulados outra vez para revisão e nova correção. A imagem do exame já existe no e-Marker® esimplesmente selecionando os candidatos a serem revisados, pode-se corrigir novamente a imagem eletrônicado exame.

Um processo que poderia levar até duas semanas a ser realizado, é efetuado agora em menos de 24 horas –literalmente clicando um botão.

2

4

Benefícios do

Técnicas de para efetuar novamente a correção de maneira simplificadaO módulo de recurso de exames do e-Marker® demonstrou ser instrumental, possibilitando que asorganizações de atribuição de notas alcancem objetivos importantes do governo. Os exames em papel nãoprecisam ser circulados outra vez para revisão e nova correção. A imagem do exame já existe no e-Marker® esimplesmente selecionando os candidatos a serem revisados, pode-se corrigir novamente a imagem eletrônicado exame.

Um processo que poderia levar até duas semanas a ser realizado, é efetuado agora em menos de 24 horas –literalmente clicando um botão.

Aumento da segurançaO e-Marker® foi desenvolvido tendo em vista a segurança como o seu foco principal. O gerenciamento deinformações confidenciais é vital no processo de avaliação, seja em papel ou eletronicamente, e com quasequatro décadas de experiência em administração de dados de avaliações em todo o mundo, entendemos eapreciamos perfeitamente as questões relacionadas ao tema.

Possuímos processos e controles sofisticados para administrar perguntas e esquemas de atribuição de notascom o e-Marker®. Os sistemas de processamento são isolados de quaisquer outros sistemas, com controle deacesso e Sistema de Circuito Fechado de TV.

• servidor da DRS está localizado num centro de dados de última geração, com vários níveis de segurança eserviços de cópia de segurança. A infra-estrutura da DRS foi projetada com um sistema incorporado desuperação de falhas e redundâncias a fim de garantir a manutenção de um serviço contínuo. A entrega doserviço é realizada através de um link de internet codificado de 128 bits e pode suportar milhares de avaliadoresao mesmo tempo.

• anonimato do candidato é tratado com a máxima segurança e a maneira como o Marker® lida com cadaimagem dos exames dos candidatos faz com que nenhum avaliador, independente do seu nível, possaidentificar um aluno a partir de seu exame.

Redução dos prazos de execuçãoOs prazos de execução para a atribuição de notas são reduzidos com o e-Marker®.

A correção automática pode ser feita num período de 10 dias, oferecendo o mecanismo para que um pequenonúmero de avaliadores possa corrigir muitos itens com mais segurança.

As organizações que realizam atribuição de notas e utilizam o sistema reduziram todo o processo em pelomenos uma semana.

AnáliseAnálises post-hoc podem ser realizadas utilizando-se cerca de 15 relatórios padrão oferecidos pelo e-Marker®.

Relatórios em tempo real podem ser elaborados para medir a eficiência do exame, que tipo de respostas oscandidatos deram às perguntas, quanto tempo os avaliadores levaram para corrigir cada item e se cadaavaliador seguiu os padrões de correção avaliados pelo processo de controle de qualidade de 'seeding'.

Este progresso e qualidade de correção em tempo real, em conjunto com a introdução regular de notas paracapacitar a avaliação do desempenho no exame podem ser realizados com mais rapidez do que a correçãotradicional feita em papel.

Características do CMI+

Gerenciamento de correção em tempo realO processo on-line faz com que você sempre esteja ciente do andamento do programa e cadaexame e cada avaliador pode sofrer intervenções em qualquer etapa, se necessário.

Identificação antecipada de anomalias e exames faltantes O relatório permite-lhe identificar quaisquer problemas e intervir imediatamente.

Monitoramento contínuo do desempenhoA função seeding garante que os avaliadores cumprem continuamente os padrões de qualidade.

Não há atrasos de postagemOs exames são escaneados imediatamente nos centros

Transferência de notas com mais rapidezA atribuição de notas é feita em tempo real

Os problemas são enviados por mensagens instantâneasTodos os avaliadores podem utilizar a ferramenta de envio de mensagens instantâneas parareportar problemas ao avaliador sênior

Atribuição automática dos totais das notas

Nenhuma resposta passará despercebida

Os parâmetros para a atribuição de notas são administradosOs esquemas de notas são alocados às perguntas, para assegurar que os avaliadores recebamorientações claras sobre como alocar as notas às perguntas

Esquemas centralizados de notasQuaisquer atualizações ou correções efetuadas no esquema de notas podem ser rapidamentenotificadas aos avaliadores

A imagem completa do exame está disponívelCaso um avaliador necessite consultar mais de uma imagem da pergunta individual para alocaruma nota, isso é possível

Capacidade de Seeding Para efetuar o controle de qualidade dos avaliadores

Os exames em papel não são enviados aos examinadores

Realocação eletrônica de examesCaso as perguntas precisem ser realocadas entre os avaliadores, o processo é imediato edinâmico

Melhora da atribuição de notas

Especialização de itensTrês tipos diferentes de avaliadores (automático, geral e especialista) são utilizados para aalocação de perguntas específicas ao avaliador mais apropriado

Aumento da resposta do candidato

Menor necessidade de correção efetuada por um especialistaAtravés do uso apropriado da correção automática e correção geral (correção administrativa)

Facilidade de correção automática

Facilidades de anonimato

Redução de C

ustos

Prazo de E

xecução

Melhoria da Q

ualidade

Anonim

ato do Candidato

Sim

plificação da Logística

Monitoram

ento em Tem

po Real

Segurança

Benefício

Característica

� �

� �� � �� �

� � ��� ��

� ��� ��

� �

� �

� ��

� �

� �� � ��� ��� � ����

6

��� �

� ��

�� � �

�

�

�� ���� � �� � �

Desenvolvimento do

Acreditamos que o e-Marker® é a ferramenta mais eficaz para efetuar a atribuição de notas eletrônica deexames realizados em papel. Possibilita mudanças na correção de exames que não podiam serrealizadas somente com a correção feita em papel.

Com todas as inovações tecnológicas da atribuição de notas eletrônica, é importante nunca perder o candidato devista. Na DRS entendemos que cada aluno tem as suas próprias esperanças, sonhos e ambições e é essa visãosimples, mas crítica, que influencia e conduz a paixão com a qual desenvolvemos e oferecemos o e-Marker®.

Desejamos trabalhar com organizações de avaliação e teste para assegurar-nos de que o e-Marker® éadequado para as suas necessidades e possuímos um programa contínuo de desenvolvimento que possibilitanovas funcionalidades em cada versão.

O novo software integrado de Ferramentas de Avaliação de Matemática é um exemplo notável destaabordagem. Desenvolvido para possibilitar que imagens gráficas sejam corrigidas em 0,5 mm, a DRS combinoutécnicas de imagens nítidas com processos de escaneamento industrais desenvolvidos especificamente paragarantir que as imagens apresentadas aos avaliadores sejam precisas e não distorcidas.

O que fazer em seguida?

Passo 1 – Avaliar a adequação do formato dos exames para serem aplicados imediatamente ao e-Marker®Passo 2 – A DRS recebe as amostras e analisa a compatibilidadePasso 3 – Conceito de revisão realizada em tempo não real utilizando o e-Marker® em exames que já

foram avaliadosPasso 4 – Avanço nos testes e orientações utilizando exames em tempo real, inicialmente com correção

paralela.

8

Enfoque na Qualidade

O e-Marker® possibilita maior controle de qualidade na medida em que as atribuições de notas em papelnão são empregadas. O uso de imagens possibilita a segmentação e correção separada de perguntasindividuais, trazendo os seguintes benefícios:

• melhoria da qualidade da atribuição de notas - os avaliadores podem concentrar-se em uma determinada pergunta por vez«

• redução da tendenciosidade na atribuição de notas e aumento da confiabilidade – mais de um avaliador corrige um exame de um candidato

• Preservação do anonimato, uma vez que os avaliadores não sabem de quem é a resposta que estão corrigindo

• Os avaliadores que atribuem notas fora dos limites de tolerância deixam de corrigir determinadas perguntas até receberem outro treinamento. Isto é alcançado através da comparação das notas que os avaliadores dão às perguntas que já foram corrigidas por um avaliador sênior e que são apresentadas de maneira anônima aos avaliadores no dia da correção (conhecido como ‘seeds’)

Uma vez que a atribuição de notas é concluída, não é necessário realizar outras medidas de controle dequalidade. As notas são precisas, fidedignas e confiáveis.

As pesquisas realizadas pela DRS e pela NFER1 em exames de cinco matérias do GCSE2 (ensino secundário)demonstraram que houve: • concordância exata entre os avaliadores e as perguntas seeded entre 79% e 98,7%• concordância de uma nota entre 91% e 99,4%

Utilizando a SegmentaçãoA segmentação melhora a qualidade da atribuição de notas e propicia a utilização de uma melhor relaçãocusto-benefício dos recursos de correção, possibilitando que cada pergunta segmentada seja direcionada auma abordagem de correção específica.

A DRS pode ajudá-lo a alocar cada pergunta à abordagem de correção mais adequada.

Correção automática As imagens das respostas simples de somente uma letra ou uma palavra são enviadas para processamento e então colocadas no e-Marker®. Todas as respostas dadas pelos candidatos são divididas em grupos, verificadas por um examinador sênior e as corretas recebem notas.Isto possibilita a correção de um grande número de perguntas por uma pessoa, trazendo maior consistência ao processo de correção.Além disso, o e-Marker® pode fornecer o detalhes de cada resposta para análise posterior, possibilitando o aperfeiçoamento das perguntas

Correção Geral Respostas simples de algumas palavras ou diagramas e gráficos podem ser corrigidas por avaliadores que receberam treinamento, mas que não são especialistas.

Correção feita por Respostas mais complexas que exigem conhecimento específico são reservadas para avaliadores especialistas, possibilitando o enfoque de recursos mais escassos em áreas mais importantes, por parte da organização de avaliação e teste.

1 NFER – National Foundation for Education Research, (Fundação Nacional para a Pesquisa Educacional), Slough, Reino Unido2 2006 GCSE (ensino secundário) Geografia, Francês, ICT, Matemática e Ciências 10