anais seminário...

ANAISSeminário InternacionalAvaliação da Educação Superior

MINISTÉRIO DA EDUCAÇÃO

GOVERNOFEDERAL

Seminário InternacionalAvaliação da Educação Superior

ANAIS do

Dados Internacionais de Catalogação na Publicação (CIP) de Acordo com ISBD

Seminário Internacional Avaliação da Educação Superior: características e perspectivas (2018 : Brasília, DF)

Anais / Seminário Internacional Avaliação da Educação Superior: características e perspectivas, 30 e 31 de outubro de 2018, Brasília.XX p., il.: color.

ISBN: 978-85-63520-18-0

Evento realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) 1. Educação 2. Educação Superior 3. Avaliação Educacional 4. Qualidade Educacional 5. Indicadores de qualidade I. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) II. Título

CDU: CDU: 378

S471a

Presidente da RepúblicaMichel Temer

Ministério da Educação Ministro Rossieli Soares da Silva

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira PresidenteMaria Inês Fini

Diretora de Avaliação da Educação Básica Luana Bergmann Soares

Diretora de Avaliação da Educação Superior Mariângela Abrão

Diretor de Estatísticas EducacionaisCarlos Eduardo Moreno Sampaio

Diretora de Gestão e PlanejamentoEunice de Oliveira Ferreira Santos

Diretora de Estudos EducacionaisAlvana Maria Bof

Diretor de Tecnologia e Disseminação de Informações EducacionaisCamilo Mussi

Comissão Organizadora Inep 80 anosAlessandra Regina BrascaChristyne Carvalho da Silva

Emerson José de Almeida SantosJane Hudson de AbranchesLuiza Maria Sousa do Amaral MadrugaMaria Cândida Lacerda Muniz TrigoMaurício Medici Vidal CarvalhoRenata SanchesSílvia Maria Pires Véspoli Godoy

Produção Executiva do ProjetoFrancisca Helena Teixeira Florentino de CarvahoLoraine Correa SilvaMarcos Eduardo Matos de Brito

Núcleo de GestãoMaria Inês Fini (presidente do Inep)Camilo Mussi (diretor DTDIE)Carlos Eduardo Moreno Sampaio (diretor DEED)Eunice de Oliveira Ferreira Santos (diretora DGP)Luana Bergmann Soares (diretora DAEB)Mariângela Abrão (diretora DAES)Valdir Quintana Gomes Junior (diretor DIRED)

Unidades ParceirasDiretoria de Gestão e Planejamento Eunice Santos e equipe

Diretoria de Estudos Educacionais Valdir Quintana

Coordenação de Editoração e Publicações Dorivan Ferreira Gomes

Centro de Informação e Biblioteca em Educação Célia Maria Guimarães Anchieta

Assessoria de Comunicação Alexandre Retamal Barbosa e equipe

Elaborado por Charlene Cardoso Cruz – CRB -1/2909

ELOS EDUCACAO E COMUNICACAO

Brasília 2018

ANAIS doSeminário InternacionalAvaliação da Educação Superior

APRESENTAÇÃO

O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - Inep, do Ministério da Educação, em parceria com o Programa das Nações Unidas para o Desenvolvimento (PNUD), promoveu, nos dias 30 e 31 de outubro de 2017, o Seminário Internacional Avaliação da Edu-cação Superior: características e perspectivas, na cidade de Brasília, Distrito Federal. O objetivo principal do Seminário foi proporcionar uma reflexão analítica sobre a Avaliação do Ensino Su-perior nas suas diferentes versões: as avaliações in loco, o Exame Nacional de Avaliação de De-sempenho de Estudantes (Enade) e os Indicadores de Qualidade da Educação Superior, por meio de exposições e debates com os participantes nacionais e internacionais, que refletiram sobre as boas práticas e a promoção de ajustes facilitadores e eficientes para a garantia da melhoria da qualidade da Educação Superior no País.

O Seminário foi direcionado, prioritariamente, à equipe técnica do Inep, às diferentes instâncias implicadas no Sinaes, como as secretarias do Ministério da Educação, a Comissão Nacional de Avaliação da Educação Superior, o Conselho Nacional de Educação Superior e às instituições de Educação Superior brasileiras. Contou com a presença de docentes, pesquisadores, dirigentes, for-madores de opinião e representantes das diferentes instâncias de articulação de políticas públicas.

Devido à abrangência do Sistema Federal de Educação Superior Brasileira, foi efetuada a trans-missão on-line, democratizando o acesso, mesmo que remotamente, da comunidade acadêmica ao evento, cujo conteúdo audiovisual permanece disponível no Portal Inep, endereço eletrônico:

http://seminariointernacional.inep.gov.br/.

Por meio destes anais, o Inep deixa registradas, através das apresentações, mesas redondas, confe-rências e debates, as contribuições dos pesquisadores e autoridades que participaram do evento.

SUMÁRIO

Seminário Internacional Avaliação da Educação Superior.............................5

Programação................................................................................................10

Entidades Participantes...............................................................................13

Conferencistas, debatedores e autoridades participantes..........................17

Abertura......................................................................................................29

Avaliação da Educação Superior.................................................................33

Conferência 1..............................................................................................45

Apresentação..............................................................................................78

Mesa Redonda 1 ........................................................................................99

Mesa Redonda 2 ......................................................................................115

Conferência 2............................................................................................129

Mesa Redonda 3.......................................................................................144

Mesa Redonda 4 .......................................................................................202

Mesa Redonda 5 ......................................................................................230

Encerramento...........................................................................................285

10

30 de Outubro – Segunda-feira – ManhãHORÁRIO ATIVIDADE CONVIDADO08h00 – 09h00 Credenciamento09h00 – 09h30 Abertura Maria Inês Fini

Presidente do Inep09h30 – 10h00 Avaliação da Educação Superior Maria Helena Guimarães de Castro

Secretária Executiva do MEC10h00 – 11h10 Conferência 1

Contribuição dos Sistemas de Avaliação para a Garantia e Melhoria da Qualidade da Educação Superior

Michael JamesBoston College/MA-EUA

11h10 – 11h30 Sessão de perguntas Rogério DentelloDiretoria de Avaliação da Educação Superior (Moderador)

11h30 – 11h40 Intervalo11h40 – 13h00 Apresentação

Estrutura e procedimentos para a Avaliação da Educação Superior no Brasil: limites e novas possibilidades

Mariângela AbrãoDiretora de Avaliação da Educação Superior /DAESRenato Augusto dos SantosCoordenador-Geral de Controle de Qualidade da Educação Superior /CGCQESSueli Macedo SilveiraCoordenadora-Geral de Avaliação dos Cursos de Graduação e IES/CGACGIESAlline Nunes AndradeCoordenadora-Geral do Enade/CGEnade

13h00 – 14h30 Brunch30 de outubro - Tarde14h30 – 15h50 Mesa Redonda 1

Evolução, benefícios e integração entre avaliação interna e externaAlexandre Silvino e Ana Carolina OliveiraDiretoria de Avaliação da Educação Superior(Moderadores)

Marion Creutzberg avaliadora do BASisCarlos Almir Monteiro de Holanda Avaliador do BASisCarlos Roberto Juliano Longo - ABED

15h50 – 17h50 Mesa Redonda 2Participação do Inep em ações

internacionais ARCU-SUL; RIACES

projetos de cooperação

Rogério DentelloDiretoria de Avaliação da Educação Superior (Moderador)

15h50 – 17h50 Coffee

PROGRAMAÇÃO

11

31 de Outubro – Segunda-feira – ManhãHORÁRIO ATIVIDADE CONVIDADO09h00 – 10h00 Conferência 2

Medidas de Qualidade no Ensino Superior: Qual o papel de avaliações de estudantes em países da OCDE?

Thomas Weko OCDE - Paris/França

10h00 – 10h20 Sessão de perguntas Alline Nunes Andrade e Renato Augusto dos Santos Diretoria de Avaliação da Educação Superior (Moderadores)

10h20 – 10h40 Coffee Break10h40 – 12h40 Mesa Redonda 3

Avaliação em larga escala na Educação Superior no Brasil: óticas contemporâneas e novos caminhos Webster Spiguel Cassiano e Alline Nunes Andrade Diretoria de Avaliação da Educação Superior (Moderadores)

Mauro Luiz Rabelo - UnB/DF Claudette M. Medeiros Vendramini - USF/SP Dalton Francisco Andrade - UFSC/SC

31 de outubro - Tarde14h00 – 15h30 Mesa Redonda 4

O papel do Enade e dos Indicadores na Indução da Qualidade na Educação Superior Mariângela Abrão Diretora de Avaliação da Educação Superior (Moderadora)

Antônio Carbonari Netto- CNE Paulo Barone - SESU Henrique Sartori de Almeida Prado - SERES José Janguiê B. Diniz - ABMES Fábio do Prado - CRUB

15h30 – 15h50 Coffee Break15h50 – 17h20 Mesa Redonda 5

Perspectivas sobre os Indicadores de Qualidade da Educação Superior Brasileira Renato Augusto dos Santos Diretoria de Avaliação da Educação Superior (Moderador)

Francisco Louzada Neto - USP/SP Girlene Ribeiro de Jesus - UnB/DF Robert Evan Verhine - UFBA/BA Paulo Antônio Gomes Cardim - CONAES

17h20 – 18h10 Lançamentos: - Prêmio: Melhorias e Inovações nos Processos de Avaliação da Educação Superior - Portaria Normativa: Avaliação da Educação Superior (renovação da “Portaria 40”) - Novos instrumentos de avaliação externa

Mendonça Filho Ministro de Estado da Educação Maria Inês Fini Presidente do Inep Mariângela Abrão Diretora de Avaliação da Educação Superior

18h10 – 18h30 Encerramento

Entidades Participantes

Associação Baiana de Mantenedoras do Ensino SuperiorAssociação Brasileira de Avaliação EducacionalAssociação Brasileira de Educação a DistânciaAssociação Brasileira de Instituições Ed. EvangélicasAssociação Brasileira das Instituições de Pesquisas Tecnológicas e InovaçãoAssociação Brasileiradd e Matenedoras de Ensino SuperiorAssociação Brasileira das Mantenedoras das FaculdadesAssociação Brasileira das Universidades ComunitáriasAssociação Brasileira de Reitores das Universidades Públicas Estaduais e MunicipaisAssociação Brasileira de Tecnologia EducacionalAssociação De Mantenedores de Educação Superior de Santa CatarinaAssociação Nacional dos Centros UniversitáriosSindicato Nacional dos Docentes das Instituições de Ensino SuperiorAssociação Nacional dos Dirigentes Das Instituições Federais De Ensino SuperiorAssociação Nacional de Educação Católica do BrasilAcademia Nacional de Estudos TransnacionaisAssociação Nacional Dos Cursos de Graduação em AdministraçãoAssociação Nacional das Universidades ParticularesAssociação Nacional das Universidades Particulares

14

Associação Nacional das Universidades ParticularesAssociação Nacional das Universidades ParticularesCoordenação de Aperfeiçoamento de Pessoal De Nível SuperiorConselho Nacional de EducaçãoConselho dos Institutos Federais de EducaçãoConselho dos Institutos Federais de EducaçãoComissão Nacional de Avaliação da Educação SuperiorConselho Nacional de Secretários de EducaçãoConselho de Reitores das Universidades BrasileirasFundo Nacional de Desenvolvimento da EducaçãoFundação Nacional de Desenvolvimento do Ensino Superior ParticularMinistério da EducaçãoFederação de Sindicatos de Professores e Professoras de Instituições Federais de Ensino Superi-or e de Ensino BásicoTécnico e TecnológicoSociedade Brasileira Para o Progresso da CiênciaSindicato das Entidades Mantenedoras de Estabelecimentos de Ensino Superior do Estado do Rio de JaneiroSindicato das Entidades Mantenedoras de Estabelecimentos de Ensino Superior do Estado de GoiásSindicato das Entidades Mantenedoras de Estabelecimentos de Ensino Superior do Estado de São PauloAssociação das Fundações Educacionais de Ensino Superior do Estado de Minas GeraisUnião Marista do BrasilSindicato Nacional dos Docentes das Instituições de Ensino Superior Câmara de Educação Supe-rior do Conselho Estadual de Educação - CEE/RJCâmara de Educação Superior do Conselho Estadual de Educação - CEE/ESCâmara de Educação Superior do Conselho Estadual de Educação - CEDFCâmara de Educação Superior do Conselho Estadual de Educação - CEDFCâmara de Educação Superior do Conselho Estadual de Educação - CEE/RNCâmara de Educação Superior do Conselho Estadual de Educação de Alagoas Câmara de Educação Superior do Conselho Estadual de Educação de São PauloCâmara Superior de Educação do Conselho Estadual de Educação do CEE/MSCâmara Superior de Educação do Conselho Estadual de Educação - POA/RSCâmara Superior de Educação do Conselho Estadual de Educação - CEE/RRConselho Estadual de Educação de são paulo - Região Sudeste Conselho Estadual de Educação do paraná - Região Sul

15

Conselho de Educação do Distrito Federal - Região Centro-oeste Conselho Estadual de Educação da Bahia - Região NordesteConselho estadual de educação do Amapá - Região NorteFórum Nacional de Conselhos Estaduais de EducaçãoUniversidade Estadual de CampinasUniversidade Metropolitana de Santos - UNIMESCentro Universitário IESBFundação Cesgranrio Organização dos Estados Iberoamericanos no Brasil - OEI Brasil Centro Universitário Internacional - UNINTER Conselho Federal de Administração - CFAFundação Educar DPaschoal - DPASCHOAL Associação Nacional de Pós-Graduação e Pesquisa em Educação - ANPEd Instituto Ayrton Senna - IAS Financiadora de Estudos e Projetos - FINEPInstituto Qualidade no Ensino - IQE Todos Pela Educação - TPE Instituto de Pesquisas e Administração da Educação - IPAE Instituto Benjamin Constant - IBCAssociação Brasileira de Educação - ABEFundação LemannFundação Nacional de Desenvolvimento do Ensino Superior Particular - FUNADESP Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESPFundação Getúlio Vargas - FGV Federação Nacional das Escolas Particulares - FENEPConfederação Nacional dos Estabelecimentos de Ensino - CONFENEN Comissão Técnica de Acompanhamento da Avaliação do MEC - CTAA / SESU / MECComissão Técnica de Acompanhamento da Avaliação - CTAA Universidade de São Paulo - USPForGradConselho Nacional de Desenvolvimento Científico e Tecnológico - CNPQ Programa das Nações Unidas para o Desenvolvimento - PNUDUnião Nacional dos Dirigentes Municipais de Educação - UNDIME Instituto de Pesquisa Econômica Aplicada - IPEA Secretaria de Educação Continuada, Alfabetização, Diversidade e Inclusão - SECADI/ MECSecretaria de Educação Básica - SEB/MECSecretaria de Articulação com os Sistemas de Ensino - SASE/MEC

16

União Marista Brasil - UMBRASIL Associação das Fundações Educacionais de Ensino Superior do Estado de Minas Gerais - AFEESMGSECRETARIA DE EDUCAÇÃO PROFISSIONAL E TECNOLÓGICA - SETEC Secretaria de Educação Superior - SESUSecretaria de Regulação e Supervisão da Educação Superior – SERES/MECFUNDO NACIONAL DE DESENVOLVIMENTO DA EDUCAÇÃO - FNDECOMISSÃO NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR - CONAES CONSELHO NACIONAL DE EDUCAÇÃO - CNE COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES/MECAssociação Brasileira de Avaliação Educacional - ABAVESindicato das Entidades Mant. de Estabelecimentos de Ens. Superior e de Ens. Básico de São Paulo - SEMESPSindicato das Entidades Mant. de Estabelecimentos de Ens. Superior e de Ens. Básico de Goiás -SEMESGSindicato das Entidades Mant. de Estabelecimentos de Ens. Superior e de Ens. Básico do Rio de Janeiro - SEMERJSociedade Brasileira Para o Progresso da Ciência - SBPCFed.Sindicatos de Professores e Professoras de Instituições Federais de Ensino Superior e de E. Básico Técnico e Tecnológico - PROIFESFundação Nacional de Desenvolvimento do Ensino Superior Particular - FUNADESPConselho Nacional de Secretários de Educação - CONSEDAssociação Brasileira de Reitores das Universidades Públicas Estaduais e Municipais - ABRUEMAssociação Brasileira das Mantenedoras das Faculdades -ABRAFI Academia Nacional dos Estudos Transnacionais - ANETAssociação Nacional dos Cursos de Graduação em Administração - ANGRAD Associação Brasileira de Tecnologia Educacional - ABTAssociação Brasileira das Instituições de Pesquisas Tecnológicas e Inovação - ABIPTIAssociação de Mantenedoras Particulares de Ed. Superior de Santa Catarina - AMPESCAssociação Brasileira de Instituições Ed. Evangélicas - ABIEEAssociação Baiana de Mantenedoras do Ensino Superior - ABAMES Associação Nacional das Universidades Particulares - ANUP Associação Brasileira de Educação Média - ABEMConselho dos Institutos Federais de Educação - CONIF Conselho de Reitores das Universidades Brasileiras -CRUB Sindicato Nacional dos Docentes das Instituições de Ensino Superior - ANDESAssociação Nacional de Educação Católica do Brasil - ANECAssociação Nacional dos Centros Universitários - ANACEU

17

Conferencistas, debatedores e autoridades participantes

Maria Inês FiniDoutora em Educação, pedagoga, professora e pesquisadora em Psicologia da Educação, Psi-cologia do Desenvolvimento, Social e do Trabalho, especialista em Currículo e Avaliação, com experiência em Gestão Educacional na Educação Básica e Superior. Fundadora da Faculdade de Educação da UNICAMP, onde atuou de 1972 a 1996, exercendo cargos de docente, de pesquisa-dora, de funções administrativas e de representação. De 1996 a 2002, no Inep/MEC, foi Diretora de Avaliação para Certificação de Competências, sendo responsável pela criação e implemen-tação do ENEM e do ENCCEJA. Foi diretora do PISA no Brasil. De 2003 a 2006, desenvolveu e coordenou projetos para a implantação de Sistemas de Avaliação em larga escala para sistemas de ensino, prefeituras e secretarias de estado da educação. De 2007 a 2010, criou e coordenou o Projeto São Paulo Faz Escola, responsável pela reestruturação do currículo e do sistema de ava-liação SARESP da Secretaria de Estado da Educação de São Paulo. Membro do Conselho Editorial da Revista META: Avaliação (CESGRANRIO). Reitora da Universidade Metropolitana de Santos (UNIMES). Diretora da F&F Educare de 2003 até 2016; membro do Conselho Editorial da Revista Ensaio: Avaliação e Políticas Públicas em Educação (CESGRANRIO), consultora da Fundação Ro-berto Marinho, da ABRIL Educação em 2014 e 2015; diretora pedagógica do Grupo SLMandic, Campinas SP, de 2012 a 2014. Foi coordenadora do Comitê Deliberativo do Observatório da Edu-cação da FEAC de Campinas de 2013 até 2016. Foi membro do Conselho de Responsabilidade So-cial da FIESP e Consultora ad hoc da FAPESP e do Banco Mundial. É presidente do Inep - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - desde maio de 2016.

Informações obtidas através da Plataforma Lattes do CNPq e dados obtidos no site do evento

18

Maria Helena Guimarães de Castro

Socióloga e mestra em Ciência Política pela Unicamp, é professora aposentada desta universida-de, onde atuou também como pesquisadora do Núcleo de Estudos de Políticas Públicas/NEPP. Secretária Executiva do Ministério da Educação desde maio de 2016, vice-presidente do Conse-lho Diretivo do Programa Internacional de Avaliação de Estudantes (PISA) da OCDE desde junho de 2016 e covice-presidente e rapporteur da Aliança Global para a Alfabetização junto ao Comitê Diretivo de Educação da Unesco e dos Objetivos de Desenvolvimento Sustentável 2030 desde se-tembro de 2016. Atualmente preside o Comitê Gestor da Base Nacional Comum Curricular/MEC. Foi Conselheira Titular do Conselho Estadual de Educação de São Paulo (2010-2016) e Diretora Executiva da Fundação SEADE de São Paulo até 16 de maio de 2016. No governo do estado de São Paulo atuou, de 2007 a abril de 2009, como Secretária de Educação. Foi também Secretária de Assistência e Desenvolvimento Social e Secretária de Ciência, Tecnologia e Desenvolvimento Econômico desse estado. Possui experiência e trabalhos na área de Ciência Política, com ênfase em Políticas Públicas, principalmente nos temas: Educação no Brasil, Política Social, Avaliação, Políticas Públicas e Educação – estudos internacionais comparados. É membro do Comitê Cientí-fico da Associação Brasileira de Avaliação Educacional/ABAVE. É membro da Academia Brasileira de Educação desde 2005 e da Academia Paulista de Educação desde 2015. Publicou vários arti-gos, capítulos de livros e pesquisas sobre Educação e Política Social no Brasil. No período de 1995 a 2002, no Ministério da Educação do governo Fernando Henrique Cardoso, presidiu o Instituto Nacional de Estudos e Pesquisas Educacionais/Inep, a Secretaria Nacional de Educação Superior e a Secretaria Executiva do Ministério da Educação. Foi, de 1993 a 1995, Secretária municipal de Educação de Campinas-SP e presidente da UNDIME.

Michael James

Doutor e mestre em Filosofia da Educação e em Administração do Ensino Superior pela Uni-versidade de Indiana, graduado em Teologia e Psicologia pela Universidade de Notre Dame – USA. Acumula cerca de 30 anos de experiência em ensino, pesquisa, administração e consul-toria internacional em Educação e Desenvolvimento. Sua posição atual é no Boston College. É orientador na área de Educação Superior Católica no Roche Center for Catholic Education, de-pois de ter atuado como vice-presidente da Associação de Instituições de Ensino Superior Católi-cas em Washington, DC. Foi encarregado também de uma variedade de serviços de atendimento ao estudante nos assuntos de admissão, suporte financeiro e acomodação estudantil na Indiana University e na University of Notre Dame. Além de suas funções e docência, o Dr. Michael James é diretor do Instituto de Administradores no Ensino Superior Católico. Foi editor e colaborador em diversos periódicos relacionados à Educação Superior nos Estados Unidos.

19

Autoridades, Conferencistas e Debatedores

Rogério Dentello

Mestre em Composição pela Hochschule für Musik Köln (Alemanha), bacharel em Música pela Universidade São Judas Tadeu – São Paulo. Servidor público federal lotado na Diretoria de Ava-liação da Educação Superior – DAES/Inep desde 2009. Coordenador de Avaliação in loco na DAES. Coordena o fluxo processual das avaliações pelo Sistema Nacional de Avaliação da Educação Superior – SINAES e ações internacionais relacionadas à Educação Superior. Responsável pela secretaria da Rede de Agências Nacionais de Acreditação – RANA do MERCOSUL, que gerencia o sistema ARCU-SUL. Formador de avaliadores internacionais para o ARCU-SUL. Assessor da DAES na Rede Iberoamericana de Garantia da Qualidade da Educação Superior – RIACES. Integrante de Cooperação Internacional em parceria com a Agência Brasileira de Cooperação (Itamaraty) em projetos de implementação de sistemas de avaliação da Educação Superior em Cabo Verde e São Tomé e Príncipe.

Mariângela Abrão

Doutora em Educação pela Universidade de Campinas (Unicamp), mestra em Educação pela Pon-tifícia Universidade Católica de Campinas e graduada em Ciências Econômicas pela Faculdade de Ciências Econômicas do Triângulo Mineiro. Servidora pública federal do Inep/MEC, carreira de Pesquisadora Tecnologista em Informações e Avaliações Educacionais. No Inep, é diretora de Avaliação da Educação Superior (Daes/Inep). Já ocupou os cargos de Coordenadora-Geral de Instrumentos e Medidas Educacionais. Tem experiência na área educacional em Avaliação, Planejamento, Educação Superior, Qualidade de Ensino, Currículo, Atividades Complementares e Projeto Político-Pedagógico. Na área de Administração, com ênfase em Gestão Empresarial, tra-balhou com os seguintes temas: Empreendedorismo e Inovação, Reestruturação de Negócios e Planejamento Estratégico. É coautora do livro Matemática Básica para Decisões Administrativas, publicado pela Editora Atlas.

20

Renato Augusto dos Santos Doutor em Educação pela PUC-SP, mestre em Educação: Psicologia da Educação pela PUC-SP, especialista em Gestão em Instituições de Ensino, licenciado em Pedagogia pela Universidade Bandeirante de São Paulo e em Matemática pela Universidade Guarulhos. Pesquisador-tecno-logista da carreira do Inep, vinculado à Diretoria de Avaliação da Educação Superior, exercendo a função de Coordenador-Geral de Controle de Qualidade da Educação Superior. Atuou como docente, coordenador do curso de pós-graduação em Docência no Ensino Superior, assessor de Reitoria e membro do Conselho Universitário (CONSUN), Conselho de Ensino, Pesquisa e Exten-são (CONSEPE) e Comissão Própria de Avaliação (CPA). No âmbito da docência, tem experiência na área da Educação, com ênfase na formação de professores. No âmbito da gestão educacional, atuou na gestão de processos de reestruturação curricular e de implementação das novas pro-postas formativas, mais intensamente nas áreas da saúde e de formação de professores, e na implantação de Conselho Institucional de natureza consultiva e deliberativa.

Sueli Macedo Silveira

É pedagoga, especialista em Gestão da Educação. Servidora do Inep/MEC desde janeiro de 1987. Atual Coordenadora-Geral de Avaliação de Cursos de Graduação e IES/DAES/INEP. Substituta da Diretora de Avaliação da Educação Superior. Membro representante do Inep na Comissão Técnica de Acompanhamento das Avaliações-CTAA. Técnica em Assuntos Educacionais.

Alline Nunes Andrade Doutora e mestre em Psicologia. É pedagoga e psicopedagoga. Pesquisadora tecnologista em Ava-liações e Informações Educacionais do Inep. É a atual Coordenadora-Geral do Enade, responsável também pela concepção pedagógica das provas do Enade, Anasem e Revalida.Desenvolve pesquisa com ênfase em Desenvolvimento da Moralidade, Formação de Personalida-des Éticas e Uso do Método Clínico Piagetiano em Língua de Sinais Brasileira, com a participação de pessoas surdas.Integra o Laboratório de Psicologia da Moralidade (LAPSIM/UFES), sob a coordenação da Profª Drª Heloisa Moulin de Alencar, contribuindo com o grupo de pesquisa Psicologia da Moralidade: pro-cessos de desenvolvimento e contextos socioculturais.

21


Alexandre Magno Dias Silvino

Ana Carolina Oliveira

Doutor em Psicologia pela Universidade de Brasília, mestre e graduado em Psicologia pela mesma universidade, com ênfase em Ergonomia Cognitiva aplicada a Interfaces. Concluiu seu estágio de pós-doutoramento como pesquisador colaborador pleno junto ao Departamento de Psicologia So-cial e do Trabalho da Universidade de Brasília. Pesquisador tecnologista do Inep, lotado na Direto-ria de Avaliação da Educação Superior (DAES). Atuou como Gestor de Gente e Qualidade do Centro Universitário Estácio/Facitec de Brasília. Professor titular e coordenador da Comissão Própria de Avaliação da Faculdade de Ciências Sociais e Tecnológicas (FACITEC), bem como fundador e edi-tor-geral da e-Revista Facitec. Atuou como avaliador de cursos de Psicologia junto ao Inep e como consultor do Instituto de Ciências do Trabalho.Seus temas de interesse em pesquisa e atuação estão relacionados à Moralidade Intuitiva e Religião; Avaliação da Educação Superior; Navegabilidade/Usabilidade/User Experience; Data Science. Atuou como professor de pós-graduação em várias Instituições de Ensino Su-perior no Distrito Federal.

Mestra em Avaliação pela Fundação Cesgranrio, pedagoga, especialista em Educação Infantil e Psicologia. Pesquisadora-tecnologista em Informações e Avaliações Educacionais no Inep. Atual coordenadora pedagógica na Coordenação-Geral de Avaliação dos Cursos de Graduação e Insti-tuições de Ensino Superior (CGACGIES), da Diretoria de Avaliação da Educação Superior (DAES). Responsável pelos instrumentos avaliativos, pelas questões pedagógicas e pela assessoria do Banco de Avaliadores (BASis) do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Coordena a capacitação, recapacitacão e formação continuada de docentes para composição do BASis, que constitui o cadastro nacional e único de avaliadores selecionados pelo Inep para realizar as avaliações in loco nas instituições de Educação Superior.

Marion Creutzberg

Doutora em Gerontologia Médica, mestra em Enfermagem, MBA em Gestão de IES, gradua-da em Enfermagem e Obstetrícia, possui licenciatura em Enfermagem. Professora titular da Faculdade de Enfermagem, Nutrição e Fisioterapia da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS). Especialista em gestão de Instituições de Ensino Superior com foco em Autoavaliação Institucional. Desenvolve estudos em Avaliação da Educação Superior, Avaliação Institucional no Contexto do SINAES, Avaliação e Qualificação da Formação em Saúde, Avaliação Interna e Externa como Ferramenta de Gestão Institucional. É membro da Comissão Técnica de Acompanhamento da Avaliação (CTAA/Inep/MEC).

22

Carlos Almir Monteiro de Holanda

Doutor em Engenharia Mecânica pela Universidade Federal da Paraíba, tem especializa-ção em Ciências Térmicas pela Universidade Federal de Santa Catarina e é graduado em En-genharia Mecânica pela Universidade de Fortaleza. Tem experiência na área de Engenharia Mecânica, com ênfase em Análise Energética e Exergética, atuando principalmente nos seguin-tes temas: refrigeração, simulação, simulação numérica, análise termodinâmica e docência. Gestor acadêmico, especialista em Avaliação e Membro da Comissão Técnica de Acompanha-mento da Avaliação (CTAA/INEP/MEC), tem larga experiência em gestão acadêmica, na gradua-ção e na pós-graduação. Foi pró-reitor adjunto de extensão, é professor associado da Universida-de Federal do Ceará/UFC e o atual diretor do Centro de Tecnologia desta Instituição.

Carlos Roberto Juliano Longo

Ph.D. em gestão pela Newcastle University – Inglaterra, graduado em Engenharia Civil. Diretor da ABED (Associação Brasileira de Educação a Distância), representa a Associação em comissões no INPE e CNE para definição e diretrizes do Marco Regulatório da Educação a Distância. Professor titular e pró-reitor acadêmico da Universidade Positivo, onde desenvolve e supervisiona a im-plementação das políticas e estratégias acadêmicas e as aplicações de Tecnologias de Informa-ção e Comunicação na graduação e pós-graduação. Atuou como avaliador do Inep e pela SEED como membro de equipe de Supervisão de Qualidade em IES em processo de supervisão. Consul Member do Gerson Lehrman Group International, presta consultoria a diversos grupos dos EUA, Europa e Ásia com interesse no mercado de Educação Superior brasileiro e da América Latina. Diretor nacional de EaD da Laureate International Universities no Brasil, foi diretor de Educação Executiva do Grupo Ibmec Educacional S/A e vice-presidente de Educação a Distância da Whit-ney International University System. Foi diretor executivo do FGV Online, por 10 anos. Publicou artigos e capítulos de livros sobre ensino a distância e qualidade em serviços no Brasil e no ex-terior. Agraciado, em novembro 2007, com o Prêmio Destaque em Educação na modalidade de Educação a Distância pelo Instituto IPAE - RJ (Instituto de Pesquisas Avançadas em Educação).

Anna Pérez

Bacharel em Sociologia com experiência na área de coordenação, planejamento, análise, avaliação e monitoramento de projetos para implementação de políticas públicas, adquiridas no exercício de funções técnicas de assessoramento e gestão em instituições públicas e de projetos de coopera-ção técnica internacional e organismo não governamental. Analista de Projetos, desde dezembro de 2009, do Programa das Nações Unidas para o Desenvolvimento (PNUD) na Agência Brasileira de Cooperação (ABC). Coordena ações para concepção, programação, elaboração e execução de projetos e atividades de Cooperação Técnica Internacional, com foco na modalidade Sul-Sul.

23


Raúl Aguilera Mendéz

Webster Spiguel Cassiano

Thomas Weko

Doutor em Educação com ênfase em Educação Superior pela Universidade Americana de As-sunção, mestre em Planejamento e Condução Estratégica Nacional, especialista em Avaliação da Educação Superior, graduado em Ciências da Educação. Presidente do Conselho Diretivo da Agência Nacional de Avaliação e Acreditação da Educação Superior – ANEAES, do Paraguai. Pre-sidente da Rede Ibero-americana para a Garantia da Qualidade na Educação Superior – RIACES. Possui várias publicações na área de legislação educacional.

Doutor em Educação pela Universidade de Brasília (UnB) na área de Educação em Ciências e Ma-temática, mestre em Educação pela UnB, bacharel e licenciado em Física pela mesma universida-de. Foi professor de Física em escolas do Ensino Médio e instituições de Educação Superior em Brasília. Coordenou programas da Secretaria de Educação a Distância e da Secretaria de Educa-ção Superior do MEC. Foi coordenador-geral do Exame Nacional de Desempenho dos Estudantes (Enade) e é pesquisador-tecnologista em Informações e Avaliações Educacionais do Inep/MEC.

Analista sênior na divisão de Aconselhamento e Implementação de Políticas Educativas do Dire-tório de Educação e Competências da OCDE. Atuou como Pesquisador Sênior de Ensino Supe-rior no Instituto Americano de Pesquisa (American Institutes for Research). Diretor do Serviço de Planejamento de Políticas Educativas e Pesquisa do Departamento de Educação dos Estados Unidos e como Comissário Associado de Educação Pós-secundária, para Adultos e Carreiras no Centro Nacional de Estatísticas de Educação (EUA). Atuou também como analista sênior em uma agência para accountability do Congresso Americano (US Government Accountability Office) e em uma agência pública de Educação Superior do estado de Washington (Washington State Hi-gher Education Coordinating Board). Thomas foi um Atlantic Fellow do Instituto de Políticas de Educação Superior ligado à Universidade de Oxford e colaborou com o projeto da OCDE Tertiary Education for the Knowledge Society. Doutor pela Universidade de Minnesota e pesquisador (Research Fellow) do Brookings Institution.

24

Mauro Luiz Rabelo

Claudette M. Medeiros Vendramini

Doutor, mestre e graduado em Matemática pela Universidade de Brasília (UnB), com pós-douto-rado pela Stanford University. Professor associado do Departamento de Matemática da Univer-sidade de Brasília e diretor de Desenvolvimento da Rede de IFES da Secretaria de Educação Su-perior (SESu/MEC). É membro do Comitê Técnico-Científico (CTC) da Educação Básica da Capes. Atua no Programa de Mestrado Profissional em Matemática em Rede Nacional -PROFMAT. Espe-cialista em Matemática na área de Avaliação Educacional, com ênfase em Avaliação de Sistemas e de Programas, Construção e Análise de Itens para Avaliações de Larga Escala (ENEM, ENADE, ENCCEJA, SAEB, PROVA BRASIL, PISA, PAS/UnB) e Avaliação de Competências. Foi presidente do Fórum Nacional de Pró-reitores de Graduação na gestão 2014-2015. Exerceu os cargos de diretor acadêmico e diretor-geral do CESPE/UnB. Foi tutor do Programa de Educação Tutorial (PET) da Matemática e diretor da SBEM-DF. Atuou como parecerista e coordenador-adjunto na análise de livros didáticos de Matemática do Programa Nacional do Livro Didático (PNLD).

Doutora em Educação pela UNICAMP, mestra e graduada na área de Estatística. É docente do curso de graduação e pós-graduação em Psicologia da Universidade São Francisco-USF. Membro da Comissão Técnica de Acompanhamento e Avaliação (CTAA/INEP/MEC), coordena-dora do Programa de Avaliação Discente da USF e coordenadora brasileira do International Sta-tistical Literacy Project (ISLP). Foi consultora ad hoc do MEC/Inep para avaliação do ENADE e multiplicadora do Programa de Capacitação de Avaliadores do BASis/MEC. Especializou-se em Psicologia, com ênfase em Construção e Validade de Testes, Escalas e Outras Medidas Psicológi-cas, atuando principalmente em Educação Estatística, Ensino Superior e Avaliação Educacional em larga escala.

25

Dalton Francisco Andrade

Antônio Carbonari Netto

Ph.D. em Biostatistics pela University of North Carolina at Chapel Hill. Mestre e graduado na área de Matemática, é também mestre em Estatística, ambos os títulos obtidos na Universidade de São Paulo – USP. Professor titular da Universidade Federal de Santa Catarina (UFSC), atua em programas de pós-graduação dos Departamentos de Engenharia de Produção e de Informática e Estatística. Tem experiência na área de Probabilidade e Estatística, com ênfase em Análise de Dados, atuando principalmente nos seguintes temas: Teoria da Resposta ao Item, Avaliação Edu-cacional, Modelos de Variável Latente, Dados Longitudinais e Modelos Hierárquicos/Multiníveis e Não-Lineares. Pesquisador Associado da Fundação Vunesp, consultor do Inep/MEC em Méto-dos Quantitativos para Avaliação Educacional desde 1998, é atualmente Membro da Comissão de Psicometria e do Comitê Técnico de Avaliação da Formação Médica para a Avaliação Nacional Seriada dos Estudantes de Medicina (Anasem).

Mestre em Administração, Comunicação e Educação pela Universidade São Marcos em São Paulo, Master of Educational Administration – Wisconsin International University, especialista em Educação Matemática – USF/CAPES, MBA em Gestão Universitária – UNIMARCO, licenciado em Matemática pela Pontifícia Universidade Católica de Campinas. Tem experiência na área de Administração, com ênfase em Gestão Acadêmica e Administração Estratégica. Membro titular vitalício da Academia Brasileira das Ciências da Administração. Presidente da Miami University of Science and Technology, Hollywood – FL – USA. Diretor técnico da ABMES. Vice-presidente do SEMESP. Foi conselheiro do Conselho Estadual de Educação de SP. Conselheiro titular do CDES – Conselho de Desenvolvimento Econômico e Social da Presidência da República e fundador/presidente da Anhanguera Educacional S.A.

Paulo Monteiro Vieira Braga Barone

Doutor e mestre em Física pela Universidade Estadual de Campinas, graduado em Física pela Universidade Federal de Juiz de Fora e em Engenharia Elétrica pela mesma Universidade. Profes-sor associado da Universidade Federal de Juiz de Fora, é também pesquisador na área de Física, especialista em Estrutura Eletrônica de Moléculas Bioativas e de Nanodispositivos. Secretário de Educação Superior do Ministério da Educação – SESu/MEC. Conselheiro da Câmara de Educação Superior do Conselho Nacional de Educação, foi presidente da Câmara. Tem larga experiência em Gestão e Avaliação Educacionais e em outros temas em Educação Superior.


26

Henrique Sartori de Almeida Prado

José Janguiê Bezerra Diniz

Doutor em Ciência Política pelo Instituto de Estudos Sociais e Políticos (IESP/UERJ), mestre em Direito, Relações Internacionais e Desenvolvimento pela Pontifícia Universidade Católica de Goi-ás (PUC-Goiás), bacharel em Direito pela Universidade para o Desenvolvimento do Estado e da Região do Pantanal, especialista em Relações Internacionais pela Universidade de Brasília (UnB). Secretário da Secretaria de Regulação e Supervisão da Educação Superior do Ministério da Edu-cação (SERES/MEC). Professor da Faculdade de Direito e Relações Internacionais da Universida-de Federal da Grande Dourados – UFGD, na área de Direito e Relações Internacionais. Chefiou o gabinete da Reitoria da Universidade Federal da Grande Dourados e foi secretário-executivo do Conselho Nacional de Educação (CNE/MEC). Pesquisa e trabalha na área de Ciência Política, Relações Internacionais e Regulação da Educação Superior.

Doutor, mestre e graduado em Direito pela Universidade Federal de Pernambuco (UFPE) e gra-duado em Letras pela Universidade Católica de Pernambuco (Unicap). Presidente da Associação Brasileira das Mantenedoras de Ensino Superior (ABMES) e do Fórum das Entidades Represen-tativas do Ensino Superior Particular. Reitor do Centro Universitário Maurício de Nassau (Uni-nassau) e da Universidade da Amazônia (Unama). Presidente do Conselho de Administração do Grupo Ser Educacional. Tem experiência na área de Direito, com ênfase em Direito e Processo do Trabalho, Direito Educacional, Empreendedorismo e Educação Superior.

Fábio do Prado

Doutor em Geofísica Espacial pelo Instituto Nacional de Pesquisas Espaciais (INPE), mestre em Física pelo Instituto Tecnológico de Aeronáutica (ITA), bacharel em Física pela Universidade Presbiteriana Mackenzie, graduado em Física pela mesma Universidade. Reitor do Centro Uni-versitário FEI, vice-presidente do Conselho de Reitores das Universidades Brasileiras – CRUB, coordenador-suplente do Fórum das Instituições de Educação Superior Confiadas à Companhia de Jesus no Brasil – FORIES, segundo vice-presidente da AUSJAL – Associação das Universidades confiadas à Companhia de Jesus na América Latina e membro do Conselho Fiscal da ABRUC – Associação Brasileira das Universidades Comunitárias. Tem experiência nas áreas de Física, com ênfase em Física de Plasmas e Descargas Elétricas.

27

Girlene Ribeiro de Jesus

Doutora em Psicologia Social, do Trabalho e das Organizações pela Universidade de Brasília, mestra em Psicologia com ênfase em Avaliação Educacional pela mesma universidade, graduada em Psi-cologia pela Universidade Federal da Paraíba. Áreas de interesses de pesquisa: Política e Avaliação da Educação Básica e Superior, Monitoramento e Avaliação de Programas Educacionais e Sociais, Indicadores e Metas Educacionais, Matrizes de Referência e Testes Educacionais. Professora na Universidade de Brasília, credenciada no Programa de Pós-graduação em Educação, com linha de pesquisa em Políticas Públicas e Gestão da Educação. Vice-líder do Grupo de Estudos de Políticas de Avaliação da Educação Superior (Gpaes) e líder do grupo de pesquisa: Política e Avaliação da Educação Básica. Participou do Grupo de Estudos de Indicadores para a Educação Superior – GEIES, idealizado pelo Inep e atualmente participa da Comissão de Psicometria do Inep.

Robert Evan Verhine

Doutor em Educação pela Universität Hamburg, mestre (M.A) em Estudos Latinoamericanos pela University of California, bacharel (B.A.) em Economia pela University of California. Professor titular (aposentado) da Faculdade de Educação e Professor Permanente do Programa de Pós-Graduação em Educação da Universidade Federal da Bahia. Atua como professor-cooperante da Universidade Nacional da Timor Larosa e como membro do Conselho Diretor da Comissão Fulbright do Brasil e da Comissão Editorial do CNPq. Foi pró-reitor de pós-graduação da UFBA, presidente da Comissão Nacional de Avaliação da Educação Superior (CONAES), representante da área de educação junto à CAPES, diretor científico da Fundação de Amparo à Pesquisa da Bahia (FAPESB) e vice-presidente da Associação Brasileira de Avaliação Educacional (ABAVE).

Paulo Antônio Gomes Cardim

Graduado em Direito pelo Centro Universitário das Faculdades Metropolitanas Unidas. Presidente da CONAES – Comissão Nacional de Avaliação da Educação Superior, membro da Comissão Execu-tiva do Fórum das Entidades Representativas do Ensino Superior Particular, com vasta experiência em Educação Superior. Membro do Conselho da Presidência da Associação Brasileira de Mante-nedoras de Ensino Superior (ABMES). Professor, advogado e, desde 1993, diretor-presidente da “Febasp Associação Civil”, entidade mantenedora do Centro Universitário Belas Artes de São Paulo, onde iniciou suas atividades em 1964, na Secretaria Geral e atualmente é o reitor.


29

A solenidade de abertura do Seminário Internacional Avaliação da Educação Superior foi presi-dida pela professora Maria Inês Fini, presidente do Inep, e contou com a presença da secretária executiva do Ministério da Educação, Maria Helena Guimarães de Castro, e da diretora de Ava-liação da Educação Superior do Inep, Mariângela Abrão.

Nas palavras iniciais, a presidente do Inep destacou que o Seminário de Avaliação do Ensino Superior, organizado pela diretoria que cuida da avaliação do Ensino Superior, é parte das comemorações de 80 anos de fundação do Inep e 20 anos como autarquia do Ministério da Educação, tendo como objetivo promover reflexão acerca dos processos de avaliação, apro-veitando toda a experiência já desenvolvida ao longo desses 20 anos de existência da ava-liação e buscando aprimorar instrumentos, procedimentos e práticas, com a colaboração da comunidade acadêmica, que tem dado imensa contribuição ao Inep. A presidente concluiu convidando os participantes do Seminário a olharem para os instrumentos, para os indicado-res e para o Enade no sentido de buscar seu aprimoramento.

A professora Mariângela Abrão, à frente da equipe que conduz a Avaliação da Educação Supe-rior no Brasil, destacou o enorme senso de responsabilidade da Diretoria da Avaliação da Educa-ção Superior - DAES com os convidados que compareceram para o espaço de reflexão propiciado pelo Seminário. Segundo ela, a função do Inep é realizar levantamentos estatísticos, promover estudos, realizar avaliações e gerar indicadores que subsidiem as políticas públicas educacionais e, por essa razão, simultaneamente à produção do evento, muitas ações foram efetuadas.

Segundo a professora Mariângela, foi feita a revisão dos instrumentos, realizadas mais de 5.000 avaliações in loco, elaborados os diferentes cadernos de prova do Enade 2017, promovida a capacitação de centenas de colaboradores para os dois bancos sob a responsabilidade do Inep, antecipado o cálculo dos indicadores de qualidade da Educação Superior neste ano e foram entregues outros produtos realizados ao Enade 2016, promovidas várias ações de cooperação internacional, entre outras importantes ações e projetos. Como conclusão, disse ter ciência das críticas e dos questionamentos apresentados pelos diferentes atores da Educação Superior no Brasil, que parte das críticas externas estão em consonância com os anseios das equipes técnicas do Inep por mudanças, e que muitos passos já foram dados: os novos instrumentos, a platafor-ma para a capacitação dos avaliadores, a nova portaria, o planejamento para a realização de novos estudos sobre indicadores e outras formas de avaliação.

Solenidade de Abertura

30.10.2017 Manhã

Solenidade de Abertura 9h00

30

Encerrou sua apresentação afirmando que o Inep aguarda, neste Seminário, as contribuições da comunidade para que todos possam trabalhar uma agenda propositiva para a Avaliação da Educação Superior no Brasil.

Seguem os registros na íntegra dos pronunciamentos das professoras Maria Inês Fini e Ma-riângela Abrão.

Bom dia a todos, àqueles que estão nos prestigiando com a sua presença e àqueles que nos acompanham também, de maneira remota. Como todos sabem, o Inep completa, neste ano, 80 anos como fundação e 20 anos como autarquia do Ministério da Educação. Nesta ocasião, para festejarmos essa existência tão primorosa, nós estamos comemorando inicialmente com o Seminário de Avaliação do Ensino Superior.

Este Seminário, realizado pela diretoria específica que cuida da avaliação do Ensino Superior, tem por objetivo promover uma reflexão bastante séria acerca dos nossos processos de avaliação, aproveitando toda a experiência já desenvolvida pela diretoria ao longo desses 20 anos de existên-cia da avaliação, buscando aprimorar procedimentos, instrumentos e práticas com a colaboração da comunidade acadêmica que tem emprestado, no seu valioso papel, uma imensa contribuição para os processos que são desenvolvidos pelo Inep. Nós contamos com os nossos avaliadores, com o trabalho excepcional de representar o Inep nos processos que desempenham junto às nossas instituições, usando todos os nossos instrumentos de maneira sábia, competente e ética. Nestes dois dias, nós vamos olhar para os instrumentos, vamos olhar para o nosso Enade e para os nossos indicadores. Contamos com vocês para olhar para a nossa primeira reflexão e, juntos, podermos apreciar o caminho desenvolvido e apresentado para vocês até então. Desejo que aproveitemos esses dois dias e que, mais uma vez, sejam todos muito bem-vindos. Obrigada.

Sejam muito bem-vindos. Eu cumprimento a secretária executiva do MEC, professora Maria Hele-na, a presidente do Inep, professora Maria Inês Fini, os diretores do Inep aqui presentes e é com grande satisfação e enorme senso de responsabilidade que eu dou as boas-vindas aos senhores e senhoras que compareceram para contribuírem com os espaços de reflexão a serem propiciados pelo Seminário Internacional de Avaliação da Educação Superior. Aproveito o ensejo para cumpri-mentar todos aqueles que nos acompanham de maneira remota. Agradeço especialmente à presi-dente do Inep, a professora Maria Inês Fini, por propiciar a realização deste evento e nos instigar a autoavaliação e a revisão das nossas práticas e dos nossos processos internos avaliativos. Agradeço à equipe que nos apoiou para a realização deste evento e que o tornou possível, especialmente à equipe DAES, que se envolveu completamente, ao gabinete da presidência, à área internacional da presidência, à DGP, equipe Inep 80 anos, equipe DIRED, Ascom, comitê de eventos, equipe MEC,

Maria Inês Fini

Mariângela Abrão

31

PNUD e demais parceiros. Não os nomearei, sob pena de cometer injustiça. Este evento surgiu como parte das comemorações dos 80 anos do Inep como fundação e dos 20 anos como autarquia, cuja função precípua é realizar levantamentos estatísticos, promover estudos, realizar avaliações e gerar indicadores que subsidiem as políticas públicas educacionais. Para que este Seminário fosse possível, procuramos reunir as contribuições que temos recebido dos diferentes setores da so-ciedade, os anseios das equipes técnicas relativamente aos temas que são sensíveis aos nossos processos e produtos e a larga e diversificada experiência de estudiosos da avaliação da Educação Superior no Brasil e em outros países. O Inep tem o desafio de promover um conjunto complexo de ações avaliativas, com inúmeros processos em andamento, envolvendo uma extensa rede de cooperação e conta, para isso, com uma equipe de servidoras com alto nível de formação e com-prometida com a qualidade do serviço entregue à sociedade.

Por essa razão, concomitante à produção deste evento, revisamos os instrumentos; realizamos mais de 5.000 avaliações in loco; elaboramos os diferentes cadernos de prova do Enade 2017; promovemos a capacitação de centenas de colaboradores para os dois bancos sob nossa res-ponsabilidade; antecipamos o cálculo dos indicadores de qualidade da Educação Superior neste ano e a entrega de outros produtos realizados ao Enade 2016; promovemos várias ações de cooperação internacional, entre outras importantes ações e projetos. Empreendemos não ape-nas processos avaliativos complexos, com ampla participação da comunidade acadêmica, como também produzimos processos estruturantes, principalmente nos ocupamos de atender à so-ciedade que nos procura acerca de suas demandas individuais. Não prescindimos da necessária autoavaliação e temos ciência das críticas e dos questionamentos apresentados pelos diferentes atores da Educação Superior no Brasil. Parte das críticas externas que ouvimos estão em con-sonância com os anseios das nossas equipes técnicas por mudanças, mas também tais anseios encontram eco no senso de responsabilidade mencionado no início da minha explanação.

Muitos passos já foram dados: os novos instrumentos, a plataforma para a capacitação dos ava-liadores, a nova portaria, o planejamento para a realização de novos estudos sobre indicadores e outras formas de avaliação estão aí para mostrar isso. Estamos aqui para obter mais subsí-dios em nossas reflexões, os quais certamente advirão das diferentes exposições programadas para este evento. Também estamos aqui para expressar nosso compromisso com uma agenda propositiva e sustentável de melhorias e é com esse espírito de conhecimento da capacidade técnica, do valor acadêmico e da experiência da nossa equipe, dos honoráveis convidados que integrarão as mesas redondas, dos conferencistas internacionais, do relevante intercâmbio com a comunidade acadêmica e do incentivo da gestão, que reintero nossa abertura ao diálogo e a novos processos que sejam estruturados de forma sustentável, eficiente e com os resultados que contribuam com o aperfeiçoamento da Educação Superior em nosso país.

30.10.2017 Manhã

Solenidade de Abertura 9h00

32

Para concluir, como todas as pessoas idealistas, eu assumo parte da fala do professor Ildeu Moreira Coêlho, em 1998, numa conferência na Unicamp, a que tive o prazer de assistir e anotei numa agenda que resgatei neste fim de semana: “Finalmente, o que proponho é uma utopia, um sonho, mas somente quem imagina e sonha com o que não existe e parece impos-sível não se acomoda nem se acovarda, e será capaz de construir uma nova realidade, superar limites, tornar possível o que antes parecia irrealizável, descobrir o que, do ponto de vista in-dividual e coletivo é realmente possível e, portanto, cabe a nós realizá-lo, torná-lo real, fazê-lo existir. Alguns dirão: de que adianta sonhar se os sonhos não se realizam? Mas o que interessa não é apenas a realização ou não de nossos sonhos, mas a sua grandeza e força, a abertura ao novo e ao futuro que eles representam. Mesmo que nenhum sonho se realizasse, nem por isso poderíamos deixar de sonhar, pois o sonho nos faz grandes, abre possibilidade de nos tornarmos homens, seres autônomos e livres”. Espera-se que os resultados possam contribuir de forma construtiva para os relevantes processos de transformações pelos quais já passa a DAES, atualmente, e a Educação Superior brasileira. Há caminhos e descaminhos, como tudo nesta vida, e o que gostaríamos de registrar é que não nos falta vontade.

Estamos utilizando a estrutura de que dispomos e este evento foi pensado de uma maneira bastante organizada e integrada, em quatro momentos: no período da manhã nós contare-mos com a conferência de abertura, da professora Maria Helena, que vai falar sobre o con-texto da avaliação da Educação Superior no Brasil. Em seguida nós teremos a conferência do professor Michael James, acerca da contribuição dos sistemas de avaliação para a garantia e melhoria da qualidade da Educação Superior. A partir daí nós vamos fazer uma mesa com os coordenadores da DAES apresentando como se estrutura a avaliação da Educação Superior no âmbito do Inep. No período da tarde, a coordenação da avalição in loco assume esse momento e falará acerca dos processos sob a sua responsabilidade. Amanhã pela manhã, quem assume a responsabilidade da fala e da coordenação do momento é a coordenação geral do Enade, que fará uma discussão a partir da avaliação do contexto do estudante, avaliação de curso e do desempenho do estudante, e na parte da tarde quem assume o momento é a Coordenação Geral da Qualidade que faz a amarração com a avaliação externa a partir dos indicadores, e nós aguardamos as contribuições da comunidade para que possamos trabalhar uma agenda propositiva. Bom dia e bom trabalho a todos nós.

33

Avaliação da Educação Superior Maria Helena Guimarães de Castro/ Secretária Executiva do MEC

Na conferência de abertura, a professora Maria Helena Guimarães de Castro fez uma trajetória histórica da Educação Superior brasileira, até os dias atuais, e propôs uma reflexão corajosa sobre os rumos da Avaliação Superior no Brasil. Segundo ela, ao retomar textos importantes sobre a história da avaliação do Ensino Superior no Brasil, verifica-se que os problemas, que já vêm sendo apontados de longa data, permanecem, já que o Ensino Superior no Brasil não está mudando do ponto de vista substantivo; ele está crescendo, mas não tem dado a devida atenção às novas abordagens e metodologias pedagógicas que estão presentes nas grandes reformas universitárias do mundo, que têm passado por profundas transformações nos últimos 20 anos.

Fez uma reflexão sobre o modelo de Educação Superior existente no país desde a última reforma profunda, que ocorreu em 1968, quando o governo federal aprovou uma legislação inspirada no modelo das universidades americanas, a Lei 5.440.

As renovações promovidas pela reforma de 1968 ocorreram, sobretudo, nas instituições públicas e abriram espaço para a ampliação do setor privado que, ao longo do tempo, e especialmente nos últimos anos, vem assumindo um papel cada vez maior no atendimento à demanda por Ensi-no Superior no Brasil, já que o sistema público não foi capaz de atender a demanda emergente. Segundo ela, a principal consequência desse processo foi a expansão cada vez maior do setor privado dedicado à oferta de diplomas universitários de bacharelado e licenciatura, sem cumprir os requisitos da reforma de 1968, que eram impossíveis de serem cumpridos por esse setor.

Hoje, 75% da oferta é privada. Houve inúmeras mudanças, como a Constituição Federal de 1988, a LDB, o SINAES, o Prouni, o FIES, que não alteraram, de fato, o modelo de Ensino Superior no Brasil. O Reuni, que foi um programa lançado pelo ministro da educação, em 2009, de amplia-ção das instituições federais, criando novos campi, ampliando o número de alunos em troca de recursos públicos adicionais, teve uma expansão muito grande em 2013 e 2014, tendo sido paralisado por falta de repasse de recursos. Ela ressaltou também a criação da política de cotas, que dá acesso a estudantes oriundos de escolas públicas, afrodescendentes e indígenas.

Após o histórico da trajetória da Educação Superior no Brasil, a professora Maria Helena passou a falar sobre a avaliação e fez também um histórico da avaliação no Brasil, iniciando pela criação da CONAES (Comissão Nacional de Avaliação do Ensino Superior), que foi formalmente instituída em 2004, mas que não dispõe de estrutura operacional própria, e depende principalmente do

30.10.2017 Manhã

Conferência 1 - 9h30

34

Inep e, em menor medida, da CERES e da SISU. Explica que depois de um longo período de incer-tezas, o Inep reintroduziu um sistema de avaliação do Ensino Superior seguindo a orientação da CONAES e do SINAES, que era muito semelhante ao dos anos 1990, que pouco difere do Provão, tão criticado no passado, e que as instituições federais de Ensino Superior não dependem nem de credenciamento nem de autorização para funcionar. Então, na prática, o credenciamento, o reconhecimento e a autorização são aspectos da avaliação que funcionam apenas para o setor privado. Ressalta que um fator relevante é que na concepção original do SINAES, esse procedi-mento deveria estar associado a um processo de autoavaliação, que é muito importante, mas que na prática não existe ou não é considerado nos índices de avaliação.

A professora Maria Helena reconhece que o sistema tem sido amplamente criticado por diversos setores e que parte dessa crítica vem dos idealizadores do SINAES, que entendem que o MEC abandonou as ideias centrais da Comissão. Outras críticas vêm do setor privado, que consideram os padrões de qualidade do MEC, baseados no modelo das universidades públicas de pesquisa, mas que não levam em consideração as características da maioria das instituições privadas e a enorme diversificação do sistema. Ela afirma que os processos avaliativos, ao invés de criar uma dinâmica formativa que pudesse ajudar as instituições de menor qualidade a se desenvolverem, acabou se transformando num processo burocrático que gera uma tensão muito grande e o resultado da avaliação não chega de volta para a revisão do currículo, das práticas, das metodo-logias, dentre outros, apresentando alguns questionamentos:

1) Para onde vai a avaliação do Ensino Superior brasileiro?

2) Não seria este o momento de empreender uma profunda revisão da concepção desse sistema?

3) Não é o momento de buscar mecanismos talvez mais descentralizados, de produzir outro tipo de informação menos burocrática, pensar mais na melhoria da qualidade das IES que não têm bom desempenho?

4) Como fazer para melhorar a qualidade e pensar nas políticas de regulação que não funcionam como deveriam funcionar?

5) Quais são os aspectos da avaliação que precisam subsidiar a regulação?

6) E em relação às instituições públicas e privadas, às universidades que já têm autonomia, o que poderia ser feito para que elas encontrem seus caminhos?

7) Que tipo de papel o MEC teria em relação às universidades e que tipo de monitoramento e de avaliação deveria ser feito?

35

8) Seria possível criar um sistema de incentivos que favoreça e estimule a qualidade e desestimu-le o mau desempenho? Por que não pensar em algum incentivo?

9) Como tornar mais transparentes as informações disponíveis para o setor privado, colocando à dis-posição do público em geral informações sobre custos, benefícios, dentre outras?

10) E para o setor público, como colocar as instituições públicas sob contratos de desempenho ou acordos de desempenho como condição para que se beneficiem de subsídios públicos extra-orçamentários?

11) Como evoluir do sistema atual baseado na distribuição dos resultados das provas dos alunos em uma curva normal, como o Enade, para o estabelecimento explícito de referenciais de quali-dade para cada área de conhecimento?

E, finalmente, lançou um grande desafio, ao propor o questionamento:

Como avançar em relação aos preceitos da reforma universitária de 1968 que foi anterior ao processo de expansão e massificação do Ensino Superior brasileiro?

Concluindo, a professora Maria Helena frisou a importância do Seminário, no sentido de trazer contribuições para repensar a avaliação do Ensino Superior brasileiro.

Seguem os registros na íntegra da apresentação da professora Maria Helena Guimarães de Castro.

Bom dia a todos, a todos que estão presentes aqui no Seminário, aos que estão assistindo pela internet ou em polos, enfim, é um prazer estar aqui com vocês nesta manhã e no início deste Se-minário que tem o objetivo muito importante que é refletir sobre a avaliação do Ensino Superior brasileiro e debater o futuro.

Quero também agradecer e cumprimentar a Maria Inês Fini, presidente do Inep e toda a equipe do Inep, em nome da sua presidente, pela realização do Seminário e pelos trabalhos realizados. Não vou nomear nenhuma das autoridades, professores presentes, enfim, eu desejo a todos vocês um ótimo dia e espero que minhas palavras não os assustem, porque eu vou falar um pouco sobre o futuro, com muita liberdade de pensamento e olhando para frente e é com esse objetivo que eu escrevi, coisa que não é normal, normalmente eu não escrevo o que eu vou falar, mas resolvi escrever porque pensei sobre a história da avaliação do Ensino Superior no Brasil, retomei alguns textos importantes, uma tese do José Benedito Martins, trabalhos do Simon Schwartzman, alguns trabalhos até do Cláudio de Moura Castro, do Bob Viernheim, do Renato

Maria Helena Guimarães

de Castro

30.10.2017 Manhã


36

Pedroza, enfim, vários que têm se dedicado à avaliação do Ensino Superior e então, ao dar uma folheada nessa produção acumulada sobre avaliação do Ensino Superior eu observo que os pro-blemas permanecem, problemas que já vêm sendo apontados de longa data, isso de um lado, e de outro lado, nós vemos que o Ensino Superior no Brasil não está mudando do ponto de vista substantivo. Ele está crescendo, o problema é sempre crescer, aumentar vaga, expandir, garantir cobertura, o problema tem sido esse.

O Ensino Superior brasileiro não tem dado a devida atenção às novas abordagens e metodo-logias pedagógicas que estão presentes nas grandes reformas universitárias do mundo. Se há uma área que passou por profundas transformações nos últimos vinte anos foi o Ensino Supe-rior. A Alemanha fez uma reforma gigantesca, a França está fazendo uma reforma imensa, os Estados Unidos já têm um modelo que dá uma enorme liberdade para que as instituições se diferenciem e se diversifiquem, outros países como Portugal, por exemplo, também fizeram mudanças profundas e o Brasil se preocupou e continua preocupado, com razão, muito, com mudanças na Educação Básica, entendendo que o Ensino Superior brasileiro estava com tudo resolvido, mas o Ensino Superior brasileiro precisa mudar. Ele precisa se renovar, e é disso que eu vou falar aqui com vocês.

Debater a avaliação do Ensino Superior brasileiro nos obriga a refletir sobre o modelo de Edu-cação Superior existente no país. A última reforma profunda no nosso Ensino Superior ocor-reu em 1968, no regime militar, quando o governo federal aprovou uma legislação inspirada no modelo das universidades americanas, a Lei 5.440, que incluía a organização departamental, o sistema de créditos e a pós-graduação sem, no entanto, incluir a experiência tão bem sucedida dos cursos de formação de professores e os Community Colleges. Essas inovações promovidas pela reforma de 1968 ocorreram, sobretudo, nas instituições públicas e abriram espaço para a ampliação do setor privado que, ao longo do tempo, e especialmente nos últimos anos, vem assumindo um papel cada vez maior no atendimento à demanda por Ensino Superior no Brasil e em grande medida isso se deve ao fato de que o sistema público não foi capaz de atender a demanda emergente devido ao modelo adotado em 1968.

Hoje 75 por cento da oferta é privada e tivemos inúmeras mudanças, como a Constituição Fede-ral de 1988, a LDB, depois o SINAES, o Prouni, enfim, uma série de mudanças sem de fato alterar o modelo de Ensino Superior no Brasil. Ao contrário da maioria dos países da América Latina, que permitiam o livre acesso às universidades públicas para todos os estudantes que completassem o ensino médio, as instituições públicas brasileiras limitavam, e continuam limitando, o acesso de acordo com a sua capacidade de atendimento mediante uma seleção rígida. Paralelamente, as particulares precisavam atrair o maior número possível de candidatos, para se financiar. Um

37

resultado importante desse processo foi a criação de um corpo de professores muito qualifica-dos contratados como funcionários públicos que a partir dos anos oitenta, sobretudo a partir da Constituição de 1988, passaram a atuar como um grupo de pressão para exigir que o governo federal expandisse os recursos para as instituições públicas e instituísse uma carreira profissional com salários idênticos em todo o país, independentemente do desempenho ou produtividade de cada instituição, departamento ou professor. O mesmo ocorreu em todos os estados, inclusi-ve no meu, o estado de São Paulo.

A principal consequência desse processo foi a expansão cada vez maior do setor privado de-dicado à oferta de diplomas universitários de bacharelado e licenciatura, sobretudo nas áreas de Direito, Administração, Economia e licenciaturas, sem cumprir os requisitos da reforma de 1968, que eram impossíveis de serem cumpridos pelo setor privado. Paralelamente, houve uma estratificação importante entre um número pequeno de instituições públicas que conseguiram se aproximar do modelo previsto na reforma de 1968 e um grande número de IES públicas que não conseguiram atender esses critérios, mas se beneficiaram do modelo público. Em 1985, na transição à democracia, o MEC criou uma comissão de alto nível, muitos aqui talvez se lembrem dessa comissão, com o objetivo de propor uma nova organização para o Ensino Superior do país. A comissão propunha o fortalecimento da meritocracia, a autonomia das instituições públicas federais, a vinculação entre recurso e desempenho e a instituição de um sistema de avaliação das universidades públicas e privadas. Propunha, também, o financiamento das instituições pri-vadas com recursos públicos em função de sua qualidade e desempenho. Essas propostas ob-viamente não foram aprovadas, foram objeto de uma forte resistência dos sindicatos docentes e arquivadas pelo Ministério da Educação.

Em 1988 a Constituição Federal manteve o princípio da gratuidade do ensino público em todos os ní-veis e consagrou o modelo da reforma de 1968. Embora a diversificação do Ensino Superior brasileiro tenha se acentuado progressivamente, muitas das características atuais do nosso sistema superior decorre desse entendimento, incluindo algo que me parece bastante grave e que precisa ser repen-sado, a adoção de critérios únicos nas avaliações do Ensino Superior que foram instituídas desde a década de 1990 e eu, inclusive, responsável pela implantação do Provão e das condições de oferta, e por isso mesmo me sinto muito à vontade para propor uma reflexão e repensar os modelos ado-tados. Entre 1995 e 2002, na gestão de Paulo Renato, várias medidas foram implementadas para melhorar a qualidade do desempenho do Ensino Superior brasileiro e aumentar a capacidade do MEC em coordenar o sistema sem, no entanto, alterar as características centrais do modelo de 1968.

O fortalecimento do Inep a partir de 1995, responsável pelo Censo anual, por um sistema de avaliação extremamente complexo e sofisticado, baseado em provas, avaliação das condições de

30.10.2017 Manhã


38

oferta, foram medidas talvez as mais importantes no processo de avaliação e que se mantêm ao longo do tempo. O sistema de avaliação da pós-graduação sob a coordenação da Capes foi mantido e consolidado. Houve, ainda, várias tentativas de dotar as instituições públicas federais de autono-mia financeira, todas elas frustradas. O MEC introduziu também um critério novo de classificação das IES, como, por exemplo, a criação dos centros universitários das faculdades integradas e os centros de educação tecnológica. Finalmente, em 1999, o governo, o Ministério da Educação abriu a possibilidade de as instituições de Ensino Superior se organizarem como entidades de natureza comercial com fins lucrativos, reconhecendo uma situação de fato que não era contemplada pela legislação. Essas medidas, somadas às restrições orçamentárias que afetaram os salários, geraram uma situação de tensão entre o governo e os sindicatos docentes, ao longo de todo o governo Fernando Henrique, eu fiquei os oito anos como presidente do Inep, como secretária do Ensino Superior, etc., então eu tive a oportunidade de acompanhar todo o processo.

Paralelamente, o setor privado, na minha época, na gestão do Paulo Renato, se sentia prejudi-cado pelas avaliações externas que não levavam em conta a pluralidade institucional e as distin-tas missões das diferentes instituições, e eu acredito que esse ponto permanece até hoje, nós não tivemos nenhuma alteração nisso. A partir de 2003, o governo Lula, com amplo apoio dos sindicatos, passou a priorizar as políticas públicas baseadas na mobilização e participação da sociedade organizada, sobretudo os movimentos sindicais e de estudantes. Segundo a visão pre-dominante, os problemas da educação se deviam, sobretudo, às políticas neoliberais do governo anterior e os principais objetivos do novo governo seriam fortalecer o Ensino Superior, público, controlar o setor privado, restringir a expansão do setor privado, mudar o sistema de avaliação, restringir as avaliações externas e dar maior destaque à autoavaliação, ampliar o acesso ao Ensi-no Superior, em especial para as minorias e a população de baixa renda.

Uma das primeiras medidas do governo Lula foi incorporar a gratificação por docência ao salário regular dos professores das universidades federais, medida instituída pela gestão do Paulo Renato, e alterar o sistema de avaliação do Ensino Superior. Em 2004, na gestão do ministro Tarso Genro, muito preocupado com a expansão das instituições privadas, lançou proposta de reforma que ti-nha por objetivo expandir o acesso ao Ensino Superior público e consolidar a gestão democrática e participativa. O MEC propunha aumentar substancialmente os recursos públicos para as insti-tuições federais de ensino, implantar a autonomia orçamentária nas instituições federais, restrin-gir a autonomia departamental, aumentar o controle sobre a criação e o funcionamento das IES privadas. Propunha, também, reservar cinquenta por cento das vagas para os egressos da escola pública e as cotas. Sem apoio do governo Lula, o projeto de Tarso Genro nunca foi encaminhado ao Congresso Nacional, mas a visão geral presente no projeto de reforma do então ministro passou a predominar no governo federal em relação às instituições públicas, não em relação às privadas.

39

Entre 2003 e 2015, observamos uma enorme ampliação do setor público, que cresce quase 100 por cento e do setor privado, que cresce 130 por cento. No mesmo período, portanto, nós vemos aí, quando eu estou me referindo ao setor público eu não estou falando apenas das instituições federais, estou me referindo também às instituições estaduais e municipais de Ensino Superior. No esforço de ampliar o acesso ao Ensino Superior, o governo Lula desenvol-veu quatro linhas de ação: primeiro, a ampliação do FIES, para permitir que mais estudantes pudessem pagar o Ensino Superior nas instituições privadas. Como todos sabem, o FIES teve um crescimento muito forte, especialmente em 2013 e 2014. Em 2015 o FIES praticamente quebrou e agora nós estamos discutindo uma nova modelagem para torná-lo mais sustentá-vel. Em seguida, o governo também criou o Prouni, que dá às instituições privadas isenção de impostos em troca de bolsas para alunos carentes.

O Prouni é uma iniciativa muito importante, no entanto não houve um monitoramento ade-quado da parte do Ministério da Educação, coisa que agora nós estamos procurando corrigir, uma vez que pretendemos utilizar as vagas ociosas do Prouni. Não sei se os senhores têm conhecimento, o Prouni tem 40 por cento das vagas ociosas, 40 por cento. E isso representa uma perda de recursos públicos, porque na verdade o Prouni significa isenção fiscal e em mé-dia 1 bilhão e 200 milhões de reais por ano de isenção fiscal para o Prouni, então, agora, nós estamos encaminhando ao Congresso Nacional um Projeto de Lei que altera um pouco a Lei do Prouni, mantendo todos os critérios que estão previstos na Lei, mas se as vagas não forem completadas de acordo com a demanda porque os critérios, sobretudo os critérios de renda individual não têm sido cumpridos, se isso não for possível nós vamos abrir, se houver deman-da, as instituições poderão completar as vagas do Prouni, independentemente da renda dos alunos, que dificulta que essas vagas sejam ocupadas.

O Reuni foi um grande programa lançado pelo ministro Fernando Haddad em 2009, de am-pliação das instituições federais, criando novos campi, ampliando o número de alunos, em troca de recursos públicos adicionais. O Reuni também teve uma expansão muito grande em 2013 e 2014 e em 2015 o programa foi simplesmente paralisado, não é que ele foi extinto, os recursos não foram repassados, nós retomamos alguns dos repasses do Reuni porque a conta era muito grande, quer dizer, nós sabemos que é importante a expansão das institui-ções públicas federais, os reitores fazem um enorme esforço para expandir e manter obras que muitas vezes são extremamente custosas, há obras no valor de um bilhão de reais, como é o caso da Unila, em Foz do Iguaçu, essas obras estão paralisadas e dependem de um aporte de recursos muito grande e nós estamos priorizando as mais avançadas, as mais adiantadas para poder garantir os repasses e evitar um processo de paralisia das obras, que nós sabemos que não é desejável nem para as universidades, nem para os alunos, nem para

30.10.2017 Manhã


40

a sociedade, e vamos continuar lutando por mais recursos. E, finalmente, a política de cotas, que dá acesso a estudantes oriundos de escolas públicas, afrodescendentes e indígenas.

O meu foco agora é a avaliação. O que aconteceu com a avaliação a partir de 2003? Primeiro, o governo federal criou a CONAES, Comissão formada predominantemente por professores de universidades federais e por gestores do Ministério da Educação. O SINAES, Sistema Nacional de Avaliação do Ensino Superior, deveria substituir o modelo de avaliação criado no governo Fernando Henrique Cardoso. O novo sistema seria coordenado pela CONAES, Comissão Nacional de Avalia-ção do Ensino Superior, que foi formalmente instituída em 2004, mas que não dispõe de estrutura operacional própria, e depende principalmente do Inep e, em menor medida, da CERES e da SISU.

Depois de um período longo de incertezas, o Inep reintroduziu um sistema de avaliação do En-sino Superior seguindo essa orientação da CONAES e do SINAES, mas o sistema de avaliação era muito semelhante ao dos anos 1990, como os exames de final de curso, o Enade, que pouco di-ferem do Provão tão criticado no passado. Um amplo processo de coleta de informações, visitas às instituições para avaliar as condições de oferta, as instalações, o quadro docente, etc., etc.

Esses dados são combinados por meio de uma fórmula que gera um conceito preliminar de cur-sos, dentro de um ranking de cinco posições, que é combinado com os dados dos cursos de pós-graduação para gerar o Índice Geral de Cursos. As instituições federais de Ensino Superior não dependem nem de credenciamento nem de autorização para funcionar, e os estados também têm autonomia para organizar as instituições sob sua jurisdição, então, na prática, o credencia-mento, o reconhecimento e a autorização são aspectos da avaliação que funcionam apenas para o setor privado. Na concepção original do SINAES, esse procedimento deveria estar associado a um processo de autoavaliação, que é muito importante, mas que na prática não existe ou não é considerado nos índices de avaliação. Esse é um ponto que me parece relevante. Quando nós chegamos ao MEC em 1995, o meu querido amigo Edson Machado só falava de um processo de autoavaliação e de avaliação institucional que tinha uma sigla que eu não consigo lembrar agora, e o Edson dizia que tem que respeitar a autoavaliação.

Nós discutimos intensamente a autoavaliação e não conseguimos incorporá-la na avaliação das condições de oferta, ou seja, nós estávamos em um processo de mudança, implantar o Provão, implantar o Censo do Ensino Superior no Inep porque o Censo do Ensino Superior estava na SISU, como os senhores lembram, mudar a sistemática de ingresso na burocracia do MEC, nos processos de autorização, credenciamento, abertura e reabertura de novos cursos, quer dizer, havia muita mudança em andamento, implantar a matriz de financiamento das universidades públicas federais e a matriz de financiamento dos institutos federais de ensino técnico e tecnológico, enfim, era um

41

conjunto de iniciativas muito arrojadas para a época e não deu tempo de nós incorporarmos a autoavaliação na avaliação das condições de oferta, mas o governo que vem em seguida já chegou anunciando que só ia privilegiar a autoavaliação, e que ia diminuir a avaliação externa e não incor-porou a autoavaliação nos processos de avaliação como previa o SINAES, então eu acho que está na hora de começar a refletir sobre esses temas, aliás, passou da hora.

A implementação desse novo sistema SINAES foi feita por uma série de instrumentos que se tor-naram muito complexos, extremamente burocráticos, e eu estou aqui na frente dos funcionários do Inep e me sinto à vontade para falar, eu estudei no fim de semana, é muito burocrático, me desculpem, essa é a minha visão, e alguns extremamente problemáticos, e a culpa não é dos funcionários do Inep, não é nada disso, é da burocracia federal, existe uma burocratização do Estado que é uma coisa absurda, vocês imaginem eu, por exemplo, como secretária executiva, ter que autorizar viagem para as universidades federais, para reitor, vice-reitor ou pró-reitor, tem cabimento isso? Pois é assim que funciona, é uma burocracia completamente inútil, claro que a universidade tem autonomia para isso, não precisa de autorização do MEC. Voltando aqui à nos-sa avaliação, esses instrumentos, quando são combinados com ponderações arbitrárias em ín-dices agregados, muitas vezes se tornam problemáticos. Muitas vezes não é possível entender o racional, a lógica que está por trás desses índices. O conceito preliminar de cursos, por exemplo, que poderia ser um instrumento muito útil para um diagnóstico inicial, acabou se transformando em definitivo ao ser divulgado oficialmente pelo MEC. Na hora em que o MEC divulga o conceito preliminar, todo mundo divulga e aquilo entra na roda.

O sistema tem sido amplamente criticado por diversos setores, eu mesma, quando estava fora do MEC, o critiquei bastante. Tem até entrevista minha, artigo e tudo o mais, podem ver. Parte dessa crítica vem dos idealizadores do SINAES, que entendem que o MEC abandonou as ideias centrais da Comissão, e a Comissão tem razão, as ideias centrais não foram, de fato, levadas a sério. Ou-tras críticas vêm do setor privado, que consideram os padrões de qualidade do MEC, baseados no modelo das universidades públicas de pesquisa, mas que não levam em consideração as caracte-rísticas da maioria das instituições privadas e a enorme diversificação do sistema. Essas críticas do setor privado muitas vezes são interpretadas como uma tentativa de fugir das avaliações porque, em geral, as instituições privadas situam-se nos níveis inferiores das avaliações, mas é importante lembrar que a distribuição dos cursos nas instituições públicas também apresenta uma grande dispersão, não há uma homogeneidade no resultado das instituições públicas.

Na verdade, os processos avaliativos, ao invés de criar uma dinâmica formativa que pudesse ajudar as instituições de menor qualidade a se desenvolverem, acabou se transformando num processo burocrático que gera uma tensão muito grande. Por que eu digo isso? Porque na Edu-

30.10.2017 Manhã


42

cação Básica, a Maria Inês é a campeã disso, ela vive dizendo: “Tem que avaliar o que é ensinado, a avaliação tem que ser formativa, tem que melhorar a qualidade da educação, da formação de professores”, e no caso do Ensino Superior nós não estamos conseguindo, o resultado da avalia-ção não chega de volta para a revisão do currículo, das práticas, das metodologias, etc.

É disso que eu estou falando e gostaria muito que vocês pudessem discutir esse tema. Então as perguntas que eu tenho são: Para onde vai a avaliação do Ensino Superior brasileiro? Dadas as atuais dimensões do nosso sistema, com características tão diversas, é viável manter um sistema como esse? No ano passado, cerca de 5.000 visitas foram feitas pelo Inep. Vocês imaginam o que é isso, 5.000 visitas num ano letivo de dez meses, porque nas férias e no Natal é muito difícil fazer visitas? E os relatórios? Milhares de relatórios. Quem tem tempo de analisar os relatórios e de fato considerar os resultados para poder influenciar uma mudança futura de melhoria da qualidade? Não seria este o momento de empreender uma profunda revisão da concepção des-se sistema? É um convite que eu faço a todos vocês, vamos ter coragem, debater com liberdade.

Não é o momento de buscar mecanismos talvez mais descentralizados, de produzir outro tipo de informação menos burocrática, pensar mais na melhoria da qualidade das IES que não têm bom desempenho, o que fazer para que elas melhorem? Liberar um pouco aquelas instituições que são muito bem avaliadas para que elas não sejam avaliadas frequentemente, etc., quer dizer, eu não tenho nenhum poder para mudar nada, vai depender muito de quem está com a mão na massa poder mostrar o que é possível para que possamos evoluir pelo menos num debate e apresentar uma proposta para o futuro, eu não estou falando de amanhã nem de depois de amanhã, eu estou falando do futuro, mudança feita muito rapidamente não funciona. A outra pergunta que eu tenho é: Como fazer para melhorar a qualidade e pensar nas políticas de regu-lação que não funcionam como deveriam funcionar?

Nós temos aqui um problema na regulação, a avaliação é uma coisa, a regulação é outra, a avalia-ção subsidia. Quais são os aspectos da avaliação que precisam subsidiar a regulação? A pergunta é: E em relação às instituições públicas e privadas, as universidades que já têm autonomia? O que poderia ser feito para que elas encontrem seus caminhos? Que tipo de papel o MEC teria em re-lação às universidades e que tipo de monitoramento e avaliação deveria ser feito? Seria possível criar um sistema de incentivos que favoreça e estimule a qualidade e desestimule o mau desem-penho? Por que não pensar em algum incentivo? Como tornar mais transparentes as informações disponíveis para o setor privado colocando à disposição do público em geral informações sobre custos, benefícios, etc? E para o setor público, como colocar as instituições públicas sob contratos de desempenho ou acordos de desempenho como condição para que se beneficiem de subsídios públicos extraorçamentários? Eu não estou me referindo ao orçamento das universidades, mas ao

43

algo a mais, como existe nas universidades francesas, por exemplo, isso está em implantação, nas alemãs, nas inglesas, agora, o Brasil é tão bom que não precisa disso? Não sei.

O outro ponto é: Como evoluir do sistema atual baseado na distribuição dos resultados das provas dos alunos em uma curva normal, como o Enade, para o estabelecimento explícito de referenciais de qualidade para cada área de conhecimento? Esse é um ponto que eu não tenho a menor ideia de como resolver, mas eu tenho certeza de que muitos aqui já pensaram no as-sunto, quer dizer, que referenciais de qualidade, porque aquela curva de Gauss não ajuda muito a entender o que precisa mudar.

Há experiências nas áreas de Direito e Medicina, com o papel das associações profissionais cien-tíficas que têm agido nessa direção, mas o papel das associações profissionais eu também ques-tiono, há sempre o risco de que o interesse de reserva de mercado das corporações profissionais prevaleça sobre os interesses mais gerais da sociedade. Será que os monopólios profissionais, exercidos pelos conselhos profissionais – eu sou da Ciência Política, professora de Ciência Políti-ca – então isso é uma herança da cidadania regulada do governo Vargas anos 30, das caixas de pensão, é uma herança muito antiga. Será que esses monopólios profissionais não poderiam ser substituídos por um sistema mais plural? Eu acho que está na hora.

Finalmente, um grande desafio: como avançar em relação aos preceitos da reforma universitária de 1968 que foi anterior ao processo de expansão e massificação do Ensino Superior brasileiro? Eu acho que é importante rever. Voltando: você tem o processo de Bolonha na Europa, agora tem um novo modelo de Ensino Superior na Alemanha, as Grande Écoles francesas estão disputando um orçamento, elas têm que se juntar, tem que haver uma fusão das Grande Écoles para elas dis-putarem o orçamento, pesquisas entre grupos de pesquisadores diferentes, enfim, tem mudanças substanciais acontecendo e o Brasil continua na ilha. No Brasil, por exemplo, as instituições pú-blicas são forçadas a fazer de tudo, da pós-graduação e pesquisa ao ensino de massas, à inclusão social, à formação profissional, e um sistema de governança no mínimo ultrapassado. Eu lamento dizer, mas eu concordo com a avaliação que os reitores das federais fazem de que a governança está totalmente ultrapassada, é verdade. O setor privado, por outro lado, preserva as comunitárias sem fins lucrativos e, ao mesmo tempo, as instituições lucrativas que prestam importantes serviços à sociedade têm que seguir as mesmas regras das pequenas instituições comunitárias ou faculda-des isoladas, então há questões que são muito importantes para a nossa reflexão.

Eu concluo lembrando que eu li vários artigos para vir aqui conversar com vocês e gostei muito de alguns artigos, que eu recomendo, um artigo do senador Cristovam Buarque que saiu recen-temente no jornal sobre inovação, mudança tecnológica, tudo está mudando, Ensino Superior,

30.10.2017 Manhã


44

etc., é verdade, como mostrou aqui o vídeo, mas o Cristovam faz um artigo brilhante sobre ino-vação, dizendo: “O novo está na educação. Como reformá-la? Como mudá-la?” É disso que se trata, como reformar e como mudar a educação. O doutor Rogério Cerqueira Leite, da Unicamp, também escreveu um artigo recente, na Folha de São Paulo, há um mês, mais ou menos, sobre a ineficiência das universidades públicas, e ele diz: “Para combater a ineficiência e o corporati-vismo da universidade pública é preciso alterar radicalmente sua estrutura jurídica.” Concordo integralmente com o Rogério Cerqueira Leite. O Edson Nunes diz: “O MEC e a sociedade brasi-leira precisam compreender que não há nada de natural naquilo que os jovens aprendem hoje nas universidades. Não passam de codificações primitivas de ditames corporativos advindos de grupos de interesse que tiveram sua profissão legal sancionada pelo Congresso. Continuamos a perpetuar um passado que governa o estudo das novas gerações obrigando-as a gastar tempo com informações que não têm sentido, não têm mais lógica no mundo real”. Eu concluo dizendo que, infelizmente, terei que sair correndo daqui, gostaria muito de permanecer e poder debater com vocês, eu vou viajar em seguida e faço de fato um convite: mentes abertas, corações livres para que esse debate seja muito frutífero e traga ótimas contribuições para repensar a avaliação do Ensino Superior brasileiro. Muito obrigada!

45

Conferência 1Contribuição dos sistemas de avaliação para a garantia e melhoria da qualidade da Edu-cação Superior Michael James / Boston College/MA-EUA

O professor Michael James iniciou sua conferência explicando que os comentários seriam provo-cativos e que, com a colaboração dos presentes ao Seminário, poderiam garantir a melhoria da avaliação do Ensino Superior. Enumerou as três ideias que seriam colocadas:

1) definir, colocar alguns parâmetros à ideia de acreditação ou avaliação do Ensino Superior;

2) apresentar três rápidos estudos de caso que permitam identificar alguns aspectos positivos e desafiadores para o trabalho; e

3) oferecer, para consideração, desafios contemporâneos que são prioridades para a avaliação e o desempenho e, finalmente, fazer várias recomendações.

Ele inicia com a definição de avaliação, esclarecendo que a acreditação é um processo que existe para avaliar e reconhecer uma instituição, para encontrar os padrões pré-desenvol-vidos a fim de medir a qualidade da educação, os padrões para promover a educação de qualidade. Sugere que se foque na avaliação como um processo que desafia as instituições a mostrarem os seus processos empíricos, o seu sucesso identificado em objetivos que são colaborativamente atingidos e avaliados por colegas. Afirma que a primeira questão é defi-nir até que ponto a avaliação é um bem público e até que ponto é um bem privado, dando exemplos para mostrar a superposição entre público e privado. Do lado público, dá alguns exemplos, entre eles a maior participação civil e, do lado privado, o aumento da renda de cada indivíduo e o bem-estar social.

Quanto aos estudos de caso, ele dá exemplo de três países para analisar se o investimento em Educação Superior é um bem privado ou um bem público. O primeiro é a universidade americana de Madaba, na Jordânia, Oriente Médio. Essa instituição tem uma identidade complexa, já que é a única no contexto jordaniano que não tem objetivos lucrativos, priva-dos, pois é uma instituição religiosa patrocinada pela igreja católica. O segundo caso apre-sentado é de uma história de sucesso da universidade católica na Austrália, em um pequeno campus, em Melbourne, com quatro campi, ao longo do país todo. Em quatro anos passou a ter 35.000 alunos e continua a crescer. Nessa universidade, que apresenta um processo altamente corporativo, tudo é medido.

30.10.2017 Manhã


46

Ele defende que tanto a universidade de Melbourne quanto a americana de Malaga têm uma avalição regulatória muito restritiva e um processo altamente corporativo que não são mode-los nos quais seria bom se inspirar. O terceiro caso é o dos Estados Unidos. O sistema ameri-cano é altamente descentralizado e dá liberdade para as instituições de Educação Superior se diferenciarem. Não há Ministério da Educação, nem há um sistema de supervisão central, e há universidades públicas, privadas; com lucro, sem lucro; seculares, religiosas; educação com foco em educação liberal, vocacional, profissional e de pesquisa. A supervisão inclui o governo estadual, com as regulamentações, o governo federal e a implementação de expectativas e o processo de acreditação. Ele mostra as vantagens e desvantagens do sistema de supervisão nos Estados Unidos e explica quais são as características de um sistema forte e efetivo de avaliação: a acreditação efetiva é desenvolvida por padrões que são determinados autonoma-mente; que são desenvolvidos e avaliados por colegas, no sistema peer review; cujos objetivos de programas são estabelecidos pelas instituições e não por agências externas; em que a auto-avaliação é a base da avaliação; em que o sucesso institucional é medido pelos sucessos que são determinados pelas instituições que estão sendo acreditadas; e que qualquer processo de avaliação é um processo formativo, contínuo, de melhoramento, mais do que ser um processo punitivo ou sumário, e de melhoria contínua.

Os desafios identificados pelo professor Michael James são os seguintes:

1) financiamento da Educação Superior, que é um aspecto muito competitivo de qualquer pro-cesso. Os recursos são cada vez mais escassos e isso significa que o trabalho com a pesquisa é cada vez mais importante;

2) acessibilidade para o consumidor de Educação Superior e formas de torná-la mais acessível, como colaborar e coordenar o resultado para aumentar a demanda cada vez maior;

3) como medir a produtividade da instituição e o sucesso dos estudantes.

Ele cita os desafios de larga escala, como, por exemplo, como procurar meios melhores para as questões administrativas, de liderança, responsabilização e controle e dá uma sugestão sobre igualdade de acesso baseado no exemplo dos Estados Unidos. Há um grupo de insti-tuições norte-americanas que avalia o acesso à educação, a retenção, o término do curso e a qualidade das atividades de alto impacto na graduação e, em menor grau, o resultado da aprendizagem dos alunos.

47

Sua segunda sugestão é olhar de forma mais precisa para:

1) os resultados dos estudantes, por meio das categorias: integração de conhecimentos, apti-dões e aplicações;

2) as medições de conhecimentos aplicados;

3) as aptidões, liderança, resolução de problemas, de questões;

4) as medidas das aptidões que dependam menos de conhecimentos gerais.

Finalmente, a terceira recomendação é como ajudar a identificar essas qualidades que são mais eficientes nas instituições, para atuar globalmente. Ele define globalização e internacionaliza-ção, no Ensino Superior, como o processo intencional de integrar uma dimensão internacional, intercultural ou global no objetivo, nas funções e oferta de Educação Superior para melhorar a qualidade da educação e pesquisa para todos os estudantes e pessoal docente e trazer uma contribuição significativa para a sociedade.

Ele discorre sobre os resultados desejáveis para uma instituição que está buscando um plano estratégico internacional que, segundo ele, são:

1) que seja um sistema de educação capaz de produzir cidadãos globais e profissionais;

2) que respeitem e apreciem outras culturas;

3) que os estudantes, profissionais globais e profissionais possam contribuir para o desenvolvi-mento dos conhecimentos e economias nas suas sociedades;

4) que estejam melhor posicionados na alta estratégia de assuntos globalizados;

5) que esses indivíduos possam competir e colaborar com o resto do mundo, incluindo os países e regiões emergentes. Na sua conclusão, ele recomenda que se reflita sobre como vemos a Educação Superior no nosso contexto, se é como um bem público ou como um bem privado e que para ele essas ideias não competem e por isso é possível achar uma solução colaborativa, que leve em conta estes fatores: 1) que os padrões sejam estabe-lecidos colaborativamente; 2) que seja feito por pares; 3) que os objetivos sejam esta-belecidos com as instituições colaborativamente; 4) que a avaliação seja primariamente autoavaliativa; 5) que a medida do sucesso tenha a ver com a medida dos objetivos deter-minados pela instituição; 6) que tenha alta participação da faculdade; e finalmente, que seja visto como um processo contínuo de melhoria.

30.10.2017 Manhã


48

Além disso, Michael James sugere que:

1) qualquer pesquisa de avaliação tenha resultados efetivamente avaliados;

2) envolva professores e funcionários;

3) verifique padrões;

4) haja certificação de profissionais;

5) seja determinado que tipo de investimento haverá, público ou privado;

6) possa prover sistemas mais competitivos;

7) os fundos federais possam ser determinados;

8) a qualidade da governança seja melhorada pelo sistema;

9) que os estudantes possam participar desses sistemas globais de avaliação.

Ele finaliza sua apresentação afirmando que no Brasil a situação é muito boa, que está sendo possível criar um processo muito efetivo e que as pesquisas no Brasil e na América Latina estão tendo um foco criativo, não meramente para resolver problemas, mas permitindo que esse pro-cesso de desenvolvimento, de autoefetividade de um sistema de avaliação possa criar oportuni-dades na América Latina para alcançar a qualidade do Ensino Superior.

Seguem os registros, na íntegra, da apresentação do professor Michael James.

Bom dia, é um privilégio e um prazer estar aqui com os senhores durante esta Conferência In-ternacional, eu falo para os meus estudantes, na Universidade de Boston, que estudar e se preparar para uma apresentação é só o começo, mas uma vez que você está apresentando, está no palco, essas ideias se tornam parte do diálogo, então eu espero ser enriquecido pela sua par-ticipação e espero que meus comentários sejam provocativos, para as colaborações de todos, para que todos possamos garantir a melhora da avaliação do Ensino Superior.

Eu farei três coisas nos próximos 30 minutos ou aproximadamente. Primeiramente, eu gostaria de definir, colocar alguns parâmetros à ideia de acreditação ou avaliação do Ensino Superior. Em segundo lugar, eu gostaria de apresentar três rápidos estudos de caso que nos permitiriam identificar alguns aspectos positivos e desafiadores para o trabalho. Em terceiro lugar, eu gosta-ria de oferecer, para consideração, desafios contemporâneos que vejo como prioridades para a avaliação e o desempenho e humildemente fazer várias recomendações.

Michael James

49

Em primeiro lugar, uma definição. Então, por onde começamos quando pensamos em educação e avalição do Ensino Superior? Eu gostaria de oferecer essa rápida, mas acho que rica, definição para a nossa consideração. A avaliação ou a acreditação é um processo para avaliar e reconhecer uma instituição para encontrar os padrões pré-desenvolvidos para medir a qualidade da educa-ção, os padrões para promover a educação de qualidade. A acreditação não é uma força policial, não é um carimbo, e não é fácil. Particularmente, eu sugiro que nós foquemos na avaliação como um processo que desafia as instituições a mostrarem sucesso, que as instituições mostrem os seus processos empíricos, o seu sucesso identificado em objetivos que são colaborativamente atingidos e avaliados por colegas.

Olhando as particularidades dos processos de avaliação do Ensino Superior, a primeira questão é: até que ponto isso é um bem público e até que ponto ela é considerada um bem privado? O que eu quero dizer com bem privado e bem público? A senhora executiva nos providenciou várias formas de diferenciar o público do privado e eu gostaria de dar vários exemplos para diferenciar público do privado. Eu vou mostrar a vocês, em um minuto, vários exemplos e vou mostrar a superposição de público e privado.

Do lado público, temos coisas como força de desenvolvimento econômico; maior participa-ção civil; resultado de pesquisa e desenvolvimento; defesa e segurança. Esses seriam bons resultados públicos.

Do lado bom do privado poderíamos considerar o desenvolvimento socioeconômico do status particular; aumento da renda de cada indivíduo; certificação profissional na carreira; engaja-mento cívico; bem-estar social; direitos pessoais e responsabilidades; benefícios de saúde, em termos sociais e psicológicos. A diferença entre o público e o privado também é importante para os que fazem política e vêm do contexto de onde eu vim, os Estados Unidos, as políticas ame-ricanas questionam isso e a resposta parece ir mais a favor do bem privado do que do público, e no investimento em Educação Superior, se é um bem privado, o usuário individual desse bem deve ter um custo ou arcar mais com os custos e essa é uma mudança na política que vimos nos Estados Unidos. Mas o que vemos em outras partes do mundo? Essa é uma Conferência Interna-cional, um diálogo de diferentes contextos e experiências, e eu gostaria de oferecer três visões rápidas, em três diferentes contextos, sobre a avaliação de Educação Superior.

A primeira é no Oriente Médio. Na Jordânia eu tive o privilégio de trabalhar com muitas uni-versidades privadas que estavam buscando se estabelecer, não só competitivamente, no seu país anfitrião, mas também na região e tinham aspirações de competitividade global. A univer-sidade americana de Madaba é uma universidade relativamente nova, que tem uma identida-

30.10.2017 Manhã


50

de interessante. No contexto da Jordânia, onde a educação e a saúde são recursos primários do governo da Jordânia e eles não têm muitos recursos naturais, a educação e a saúde são recursos humanos, são recursos críticos e o governo jordaniano, sob o patrocínio do rei, prio-rizou educação e saúde como os recursos por meio dos quais a Jordânia quer se distinguir. E nos últimos 25 anos a educação pública se abriu para mais privatização e, nesses empreendi-mentos privados, o sistema teve um lucro maior com essas instituições privadas, há poucas instituições que não sejam para lucro na Jordânia, com exceção da universidade americana de Madaba, que não tem objetivos lucrativos, privado, que é única no contexto jordânico e é patrocinada pela igreja católica, então é uma instituição, vamos dizer, religiosa. Então ela tem uns desafios, ela é privada, sem lucros, o que é pouco comum na Jordânia, se identifica como instituição patrocinada pela igreja católica num país muçulmano, 75 por cento dos alunos que vão para essa universidade são muçulmanos e a universidade se estabelece plenamente como uma universidade estabelecida por jordanianos, para jordanianos.

Então, essa instituição tem uma identidade, vamos dizer, bastante complexa, e com essa complexidade na sua identidade o sistema de avaliação na Jordânia fica um pouco perdido, pois se trata de uma instituição pública, com interesse público, ou com interesse privado, como uma instituição religiosa privada, e a vemos como uma instituição privada. O sistema de avaliação da Jordânia tem sido bastante cético a respeito do setor privado, para o lucro, então minha experiência com a universidade americana de Madaba, em termos de avaliar o seu processo, ela quer ser acreditada como uma universidade americana, de graça. O con-texto jordaniano é altamente regulatório, é bem definido, não só é regulatório, mas o pro-cesso que avalia suas regulações é protetor e restritivo num sentido muito politizado. Todos os nossos processos são políticos e estamos procurando o equilíbrio entre investimentos e recursos limitados, mas o processo jordaniano é restritivo, protetivo e muito politizado, e protege os interesses individuais, em especial. Eu espero que nos afastemos desse modelo, alguém concorda? Ótimo, esse foi um modelo fácil.

No contexto australiano, eu tive a oportunidade e continuo a trabalhar com a universidade que mais cresce na Austrália, que é a universidade católica da Austrália, que foi de um peque-no campus, em Melbourne, para quatro campi, ao longo do país todo e em quatro anos tem 35.000 alunos e continua a crescer. Essa é uma ótima história de sucesso para essa universi-dade, mas é um desafio para a instituição em termos da sua própria identidade, não só para a sua identidade, mas para as suas operações, para sua identidade no foco de uma missão, da forma que o governo busca avaliar o processo. Essa universidade católica australiana também quer ser competitiva globalmente, mas esse é um processo que eu caracterizaria como um processo altamente corporativo, em que tudo é medido, você não pode ser um empregado

51

ou um membro da faculdade ou um administrador sem ter que praticamente relatar todos os minutos do seu dia, o que você faz, não somente como você está fazendo, por que está fazen-do, mas também o que você está fazendo. Novamente, essa universidade tem muitos sucessos e é uma instituição da qual podemos aprender muito. A universidade americana de Malaga também é uma instituição de sucesso numa área de contexto religioso e político complexo, mas com uma avalição regulatória muito restritiva e um processo altamente corporativo que não são modelos nos quais gostaríamos de nos inspirar.

Uma questão central para nós em termos de ver o equilíbrio e um modelo mais efetivo é a tercei-ra questão, se é um bem público ou privado, mas qual é a missão, qual é o propósito da Educação Superior? Se eu fosse sair agora daqui eu gostaria que vocês retivessem essas perguntas: Como se responde a pergunta sobre se é um bem público ou um bem privado e quais são as especifici-dades com que você responderia a pergunta de qual é a missão da Educação Superior.

Uma das características comuns, que eu observei internacionalmente em relação a avaliar os sis-temas, é em termos de rankings como uma possível medida. Eu sugeriria, e não vou falar muito a respeito, que os rankings se prestam a comparações institucionais internas, mas eu sugiro que se você está buscando formas alternativas de fazer avaliações efetivas, você se afaste de rankings completamente. Daqui a pouco eu posso responder perguntas sobre isso.

O meu terceiro caso é um em que eu tenho mais experiência e é um caso nos Estados Unidos. O sistema americano é altamente descentralizado e dá um grau de liberdade para as instituições de Educação Superior para se diferenciarem. A descentralização tem sido a história da Educação Superior nos Estados Unidos desde a primeira faculdade em 1563 em Boston, Massachusetts, uma pequena escolinha chamada Harvard University. O sistema de Educação Superior não tem o Ministério da Educação nem há um sistema de supervisão central e isso ofereceu uma oportuni-dade para uma grande diversidade por todos os setores e uma grande diversidade institucional e nessa grande diversidade e descentralização houve uma medida que afetou tudo, que é até que ponto a Educação Superior ajuda a promover uma democracia diversa e robusta?

Entre a diversidade de instituições em que 21 milhões de estudantes escolhem suas instituições anualmente, temos instituições públicas, privadas; com lucro, sem lucro; seculares, religiosas; edu-cação com foco em educação liberal, vocacional, profissional e de pesquisa. Parece familiar para muitos de vocês, eu imagino. Como podemos ajudar para que as escolas sejam responsáveis pelas suas avaliações? Temos um sistema de accountability de três áreas: o primeiro, no nível de gover-nança institucional, público, privado e que tem o seu sistema próprio. Aí temos os governos, com uma responsabilidade que a Constituição dá aos estados para que os estados sejam responsáveis

30.10.2017 Manhã


52

pela Educação Secundária e Superior, e o terceiro, mais tardio, em termos de história, que é o do governo federal. Então a accountability de cada instituição é, até certo ponto, distribuída entre as diretorias e as governanças federal, estadual, então a responsabilidade, em termos das finanças, regulações, em termos de seguir as leis e a Constituição, e também em termos de lidar com o fundo público, vamos ver como essa tríade pode funcionar em termos de supervisão. Novamente, a supervisão inclui o governo estadual, com as regulamentações, o governo federal e a implemen-tação de expectativas e o processo de acreditação. Eu gostaria de focar no processo de acreditação. Há vantagens e desvantagens no sistema de supervisão nos Estados Unidos. Uma é que essas múl-tiplas entidades podem compartilhar informação e isso não é típico, mas dá oportunidade de co-laboração e troca de informações e isso leva à cooperação, a pensar mais coletivamente sobre pa-drões e expectativas. Também há desvantagens na descentralização do sistema, porque há muitos processos que se sobrepõem em cada instituição. E o segundo, claro, é que há ideias em conflito sobre o que é o melhor para a Educação Superior e o terceiro é que há duplicação, que leva à bu-rocracia, que não é eficiente e também tira recursos das áreas em que deveríamos estar focando.

O sistema de acreditação tem sete ou oito agências de acreditação regionais. Minha univer-sidade está na Nova Inglaterra, no nordeste do país, faz parte da associação de escolas e universidades da Nova Inglaterra e foi a primeira agência. Há agências de acreditação institu-cional pelo tipo de instituições, instituições de pesquisa, universidades liberais que podem livremente participar e aí tem um processo de acreditação via programas de escolas médicas, escolas de business, de engenharia, etc. É um sistema complexo e cada um desses processos de acreditação é voluntário. As instituições de alta educação escolhem ser parte, se sujeitam e participam desses processos de acreditação, não é obrigatório.

Eu vou, então, chegar ao cerne do meu comentário. Quais seriam as características de um sis-tema forte e efetivo de avaliação? Eu digo o seguinte: a acreditação efetiva é desenvolvida por padrões que são determinados autonomamente; que são desenvolvidos e avaliados por cole-gas, no sistema peer review; cujos objetivos de programas são estabelecidos pelas instituições, e não por agências externas; em que a autoavaliação é a base da avaliação; em que o sucesso institucional é medido pelos sucessos que são determinados pelas instituições que estão sen-do acreditadas; e que qualquer processo de avaliação é um processo formativo, contínuo, de melhoramento, mais do que ser um processo punitivo ou sumário, então, de melhora contínua.

Os resultados de acreditação são mais efetivos quando se verifica se a instituição ou progra-ma segue os padrões estabelecidos; quando engaja os funcionários e os professores de toda a instituição, de forma abrangente, em toda a avalição e planejamento institucional; e quando a informação está disponível e acessível para que os estudantes possam fazer escolhas sobre

53

instituições de maior qualidade e quando estabelece critérios para a certificação profissional, licenciamento e cursos de atualização.

Outro resultado que eu acho que é um índice de indicador forte é o que ajuda a identificar o programa que pode receber os investimentos privados e que nas instituições poderia servir para um bem maior. E, finalmente, qualquer processo de acreditação terá informação válida e confiável para o bem comum.

Vamos para os desafios, as prioridades e três recomendações. Os primeiros são desafios que saem do contexto dos Estados Unidos, mas que têm significado global. O financiamento da Educação Superior é um aspecto muito competitivo de qualquer processo. Os recursos são cada vez mais escassos e isso significa que o nosso trabalho com a pesquisa é cada vez mais importante. O segundo é o desafio de acessibilidade para o consumidor de Educação Superior e como podemos torná-la mais acessível, como colaboramos e coordenamos o resultado para aumentar a demanda cada vez maior.

O desafio de medir a produtividade da instituição e o sucesso dos estudantes. Particular-mente no contexto dos Estados Unidos, há uma política de que é mais um bem privado, os estudantes estão assumindo o ônus da educação, estamos financiando com empréstimos públicos e privados, mas nos Estados Unidos os empréstimos para os estudantes estão se tornando um desafio cada vez maior. Dentro de uma diversidade cada vez maior de univer-sidades, o desafio não é apenas a qualidade, mas também prestar um bom serviço e não prejudicar os estudantes. Há ainda o desafio de sempre estamos vigilantes em relação à for-ma como historicamente e culturalmente estão os estudantes no seu acesso. Alguns desses desafios são de vocês também? Perfeito.

Há alguns desafios de larga escala, e o primeiro é como procuramos meios melhores para as questões administrativas, de liderança, responsabilização e controle? Como olhamos os desa-fios da profissão acadêmica? Quem estamos contratando? Quais são as suas credenciais? Como sustentamos, quais recursos elas requerem? Como provemos faculdades com participação em governança e responsabilização divididas? Vemos uma diminuição de recursos públicos e um aumento em recursos privados e como contrabalançamos isso como investimento maior de res-ponsabilização pública em razão do aumento da participação privada? O aumento, talvez, da qualidade, a diversificação, poderia ser um indicador de sucesso no sistema, mas a estratificação da qualidade não. Que tipo de estudantes recebem acesso às melhores instituições? E que tipo de estudantes historicamente estão excluídos das oportunidades nas melhores instituições? Até que ponto a Educação Superior facilita uma maior disparidade econômica? Eu sugeriria então que a grande questão de acesso educacional e de igualdade são políticas importantes, e tam-bém que os processos de criação de consciência deveriam ser avaliados.

30.10.2017 Manhã


54

Quanto aos desafios de instituições globais, quais são nossas responsabilidades como avalia-dores, até onde podemos ajudar as instituições numa economia global? Isso nos traz as três prioridades e as três sugestões, que consideremos a qualidade das instituições, do atendimen-to das instituições, mas primeiro, quem tem acesso às nossas instituições? Isto é, há igualdade em relação aos tipos de estudantes, às categorias de estudantes, à raça, à geografia, às ques-tões socioeconômicas? Em segundo lugar, que nós priorizemos os resultados do aprendizado dos estudantes e, em terceiro, que consideremos como ajudar nossas instituições para serem melhores, mais efetivas na competição global. Então, no meu primeiro ponto sobre igualdade de acesso eu ofereceria uma sugestão. Há um grupo de instituições, nos Estados Unidos, que avalia uma variedade de resultados de estudantes baseados na persistência, na graduação, e o que chamamos de práticas de alto impacto. Então 100 por cento das instituições-membro dessa associação de universidades são instituições que medem notas de graduação; 100 por cento também medem quantos estudantes ficam na universidade, quantos ficam até o fim, até o terceiro e quarto anos; como há um menor grau mais significativo, eles medem a forma pela qual os estudantes entram em práticas de alto impacto, que seriam uma categoria de práticas que encorajariam os estudantes a completar o curso, e aí medimos o grau de conclu-são. Em menor grau também estão medindo os resultados de aprendizado dos estudantes. As instituições também estão vendo em qual grau os estudantes estão chegando às instituições de mais alto nível. Resumindo, acesso à educação, retenção, graduação, término do curso e a qualidade das atividades de alto impacto.

Minha segunda sugestão para se focar em avaliação de ensino é olhar para formas mais sofistica-das de como olhamos os resultados dos estudantes, por exemplo, estas categorias: a integração de conhecimentos, aptidões e aplicações. Segundo, as medições de conhecimentos aplicados. Terceiro, olhar formas de medir o que chamamos de aptidões, liderança, resolução de proble-mas, de questões. Quarto, as aptidões dependerem menos de conhecimentos gerais.

E a terceira recomendação, como ajudaríamos a identificar essas qualidades que são mais eficientes nas instituições para completar globalmente? Então vamos começar com uma definição: o que é globalização e internacionalização em Educação Superior? Eu tenho um colega na universidade que é um líder em globalização e internacionalização, então eu vou usar a definição dele. Globalização e internacionalização, no Ensino Superior, é o processo intencional de integrar uma dimensão internacional, intercultural ou global no objetivo, nas funções e entrega de Educação Superior para melhorar a qualidade da educação e pesquisa para todos os estudantes e pessoal docente e trazer uma contribuição significativa para a sociedade. Isso parece ser uma definição rica e que traz altos padrões para uma instituição que busca uma estratégia global. Quais são os resultados desejáveis para uma instituição

55

que está buscando um plano estratégico internacional? Primeiro, um sistema de educação para receber cidadãos globais e profissionais; segundo, que respeite e aprecie outras cul-turas; terceiro, que os estudantes, profissionais globais e profissionais possam contribuir para o desenvolvimento de economias e conhecimentos nas suas sociedades; e quarto, alta estratégia de assuntos globalizados, eles são mais bem posicionados nisso; e o quinto, que esses indivíduos possam competir e colaborar com o resto do mundo, incluindo os países emergentes, regiões emergentes. Acho que gostaríamos de encontrar esse tipo de pessoas.

Alguns comentários de conclusão. Eu recomendaria que começássemos nossas conver-sas nesses próximos dias, sobre avaliação da Educação Superior, tendo em mente como vemos a Educação Superior no nosso contexto, com o um bem público ou como um bem privado? E respondendo essa pergunta, o que eu sugeriria é que não há uma resposta simples, necessariamente não são ideias que competem, mas poderíamos achar uma de-finição colaborativa. Então, respondendo a pergunta se é um bem privado, público ou uma combinação, eu ofereceria essas características para um sistema efetivo de avaliação. Primeiro, que os padrões sejam estabelecidos colaborativamente; segundo, que seja feito por pares; terceiro, que os objetivos sejam estabelecidos com as instituições colaborativa-mente; quarto, que a avaliação seja primariamente autoavaliativa; quinto, que a medida do sucesso tenha a ver com a medida dos objetivos determinados pela instituição; sexto, que tenha alta participação da faculdade; e, finalmente, que seja visto como um processo contínuo de melhoria. Eu também ofereceria esses resultados sugeridos aqui: que qual-quer pesquisa de avaliação tenha resultados efetivamente avaliados; que envolva profes-sores e funcionários; que verifique padrões; que haja certificação de profissionais; que seja determinado que tipo de investimento haverá, público ou privado; que possa prover sistemas mais competitivos; que os fundos federais possam ser determinados; que a qua-lidade da governança seja melhorada pelo sistema; e que os estudantes possam participar desses sistemas globais de avaliação.

Eu concluo com dois comentários sobre a minha visão da realidade latino-americana de ava-liação do Ensino Superior. Duas palavras encorajadoras. Uma é que o processo está emergin-do, vocês estão numa posição muito boa, estão podendo criar um processo muito efetivo. E a minha segunda observação é que o processo pelo qual esta Conferência está sendo levada, hoje, é um processo generativo, que as pesquisas no Brasil e na América Latina, olhando para frente, não para trás, estão olhando criativamente, não meramente para como resol-ver problemas, mas permitindo que esse processo de desenvolvimento, de auto efetividade de um sistema de avaliação possa criar oportunidades na América Latina em geral e para a qualidade do Ensino Superior no mundo.

30.10.2017 Manhã


56

Acho há que duas práticas aqui no Brasil, que são o reconhecimento desse processo generativo e colaborativo e o engajamento com esses programas, e finalmente eu sugeriria: nós somos um bem público, ou um bem privado, quais são os resultados efetivos, e até que ponto a avaliação contribui para o bem comum? Como nos vemos, como competidores ou cada um de nós com o nosso contexto nacional e individual como recurso dividido? Como vemos que a pesquisa de avaliação melhora lá em Boston ou em Massachusetts, se melhora também a qualidade nos altos padrões no Brasil ou na América Latina, na Jordânia, na Austrália, esse é o nosso desafio. Nós estamos aptos a isso? Eu acho que estamos. Obrigado.

Seguem os slides da apresentação

57

30.10.2017 Manhã


59

30.10.2017 Manhã


61

30.10.2017 Manhã


63

30.10.2017 Manhã


65

30.10.2017 Manhã


67

30.10.2017 Manhã


69

30.10.2017 Manhã


71

30.10.2017 Manhã


73

30.10.2017 Manhã


74

Bom dia. Agradeço muito a presença do professor Michael James. Foi uma exposição maravilhosa e acredito que contribuiu muito e atingiu as nossas expectativas de colaboração ampla e muito especial, muito forte. Recebemos algumas perguntas e uma primeira pergunta, professor James, seria relacionada aos estudantes. Nós sabemos que nos Estados Unidos há uma convergência muito grande de estudantes internacionais, e isso é uma das características das instituições norte-americanas. Por diversos motivos, os estudantes procuram essas instituições, especialmente por causa da renomada qualidade do ensino. A pergunta é: Como esses estudantes estrangeiros, que têm uma cultura muito diferente da americana conseguem se adequar à realidade norte-americana e se eles conseguem amalgamarem-se, misturarem-se com a cultura americana e contribuir para essa internacionalização?

Uma das medidas de globalização e internacionalização como uma estratégia que é afetada pode ser o número de estudantes internacionais que vão para as nossas instituições. Há dois níveis de alunos internacionais que vão para a Educação Superior nos Estados Unidos, que são os universitários e os pós-graduados e há dois tipos de culturas de estudantes baseadas numa política estabelecida por instituições individuais. Os estudantes de graduação, na maior parte do tempo, são indivíduos que têm meios financeiros para irem a essas instituições públicas e privadas, não há ajuda financeira a estudantes internacionais e muitas instituições incluem estu-dantes internacionais mais como uma estratégia econômica e menos como estratégia cultural, o que é problemático. Essa não era a pergunta, mas eu queria ser transparente sobre a realidade dos estudantes internacionais. Os estudantes internacionais procuram muito as universidades americanas, mas definem muito estritamente quais eles gostariam, então a maioria das nossas instituições têm uma porcentagem significante de estudantes internacionais, que varia entre sete e 29 por cento dos nossos estudantes, dependendo do local. Como os estudantes se ade-quam à cultura e participam plenamente com os recursos e oportunidades? A educação que essas instituições de Educação Superior oferecem é um desafio e usamos duas estratégias para melhorar para os estudantes: uma é processo de desenvolvimento dos alunos, damos a eles cer-tas condições de moradia, suporte emocional, de saúde, que eles recebem dentro dos nossos campi, temos escritórios para o desenvolvimento de estudantes internacionais, que têm recur-sos e que entram em contato com os estudantes para ver quais são os desafios e como podemos dispor de recursos para ajudá-los. O segundo nível de assistência para os estudantes interna-cionais vem geralmente do nível de habilidades deles no inglês, seja falado ou escrito. Fazemos exames TOEFL, recomendamos aos alunos que não têm o inglês como o seu primeiro idioma que se inscrevam em vários campos do conhecimento que requerem certo nível de habilidade, então damos uma monitorada nos alunos que não têm o inglês como o seu primeiro idioma.

Sessão de Perguntas

Rogério Dentello

Michael James

75

Muito bem, a próxima pergunta é relacionada a um termo muito interessante que o senhor usou: ranking, o ranking das universidades com base nos conceitos obtidos, então são duas perguntas relacionadas. A primeira delas diz: Em um sistema da avaliação da Educação Superior como o nosso, no Brasil, que classifica cursos com a pontuação de um a cinco, como evitar um ranking feito pela imprensa e pela sociedade? Quais as alternativas? Ainda em relação a isso, considerando que esse ranking é muito utilizado pelas instituições privadas, justamente para conseguir uma publicidade maior e mais estudantes, qual é a sua opinião?

Rankings dão às instituições oportunidades para fazer marketing, claro, ranking é uma forma clara para o aluno consumidor e o público poderem diferenciar entre as instituições, rankings são uma indústria, mas rankings não proveem medidas confiáveis de qualidade institucional. So-mos uma comunidade de professores e de pesquisadores para desenvolver sistemas para avaliar a Educação Superior com critérios confiáveis e que têm significado. O problema com os rankings é que eles às vezes não são transparentes em relação aos critérios usados e mesmo quando esses critérios são claros talvez não sejam cientificamente os melhores critérios para medir o sucesso ou a qualidade de instituições. Esse é o problema com o ranking e a nossa responsabi-lidade para com a comunidade é que temos que dar uma alternativa de medidas transparentes que comunicam de uma forma que faça sentido ao público e estudantes. Podemos gastar três dias falando sobre rankings e sistemas alternativos, mas a minha sugestão é que devemos pegar a responsabilidade coletivamente – alguém não quer ouvir essa resposta, pelo jeito - temos que ter a responsabilidade coletiva de achar alternativas que são transparentes ao consumidor para identificar instituições, eu tenho fortes opiniões sobre ranking, eu posso falar mais, privada-mente, se quiserem.

Então, a próxima pergunta é relacionada à cultura da avaliação. É um tema muito buscado por nós, do Inep, desenvolver a cultura da avaliação dentro da comunidade acadêmica. Então a per-gunta é: Existe algum estímulo, nos Estados Unidos, para que as instituições participem do pro-cesso de avaliação, considerando que não é obrigatória? O que atrai as instituições a realizarem? É a cultura da avaliação ou são outros benefícios que a instituição pode receber? E complemen-tando, a pergunta seria se nos Estados Unidos existe um conhecimento, uma cultura dentro das comunidades universitárias a respeito do processo da avaliação? Se isso se torna uma fiscaliza-ção ou se é realmente um processo benéfico para a comunidade acadêmica?

Eu acho que a pergunta se responde. A cultura de avaliação, por minha definição, é uma cultura que é altamente colaborativa, que toma um tempo para ouvir todas as partes principais do pro-cesso, que provê incentivos primariamente pela necessidade e o desejo de melhorar. No contexto dos Estados Unidos, poderíamos dizer que temos uma cultura de avaliação, do jeito que a pergunta

Rogério Dentello

Rogério Dentello

Michael James

Michael James

30.10.2017 Manhã


76

colocou, mas a acreditação por sistemas regionais provê instituições de Educação Superior com incentivos financeiros importantes, financiamento federal ou dos estudantes, e as universidades e faculdades não conseguem receber ajuda federal a menos que elas tenham alguma acreditação por agências de acreditação oficialmente reconhecidas. Isso é um incentivo enorme, mas esse in-centivo só existe desde 1965, quando foi criada uma legislação específica. Mas o nosso sistema de avaliação já existia antes de 1965, então eu diria que sim, os incentivos financeiros são importan-tes, mas falar de uma cultura de avaliação para melhora contínua é o motivo primário.

A próxima pergunta é relacionada à educação a distância. A educação a distância é muito desen-volvida no Brasil e, inclusive, há instituições brasileiras que ofertam cursos nos Estados Unidos, têm polos no exterior. Então a pergunta é: há alguma forma de avaliação dos cursos a distância nos Estados Unidos? Como é a realidade da educação a distância lá?

Parte da oportunidade que tivemos em termos de estabelecer novas pedagogias são coisas como educação a distância. Não é um termo muito bom a respeito do que está acontecendo agora, em termos do processo de aprendizado, do que está acontecendo nessa experiência. Uma resposta simples é sim, precisamos dar oportunidade e oportunidades novas para avaliar a qualidade desses tipos de pedagogias. Eu não me limitaria só à educação a distância, acho que temos que dar incentivo e prover sistemas de avaliação em termos da qualidade e há várias prá-ticas pedagógicas. Minha recomendação seria que o resultado do aprendizado seria uma prio-ridade de avaliação, uma subcategoria de quanto os alunos estão se engajando num material, como se aplica o material, como é que os professores e estudantes estão participando mais e re-ciprocamente, então temos que considerar que é mais complexo do que simplesmente avaliar a educação a distância, tem a ver com o uso da tecnologia, com o nosso currículo, eu tenho cursos em que eu ensino no College of Boston, em que eu tenho alunos na sala, a gente lê textos jun-tos, realizamos solução de problemas em grupos, enquanto há estudantes que estão seguindo a nossa sala na Austrália, no Oriente Médio e na China. Eu tenho uma preocupação em relação aos estudantes que estão visualmente participando, que eles possam não ter o benefício completo da minha qualidade de ensino. Eu sou um cara legal e quero compartilhar meus talentos com os estudantes, ter conversas com eles com regularidade, dar conselhos aos estudantes fora da sala de aula, então eu acho que os alunos que estão só visualmente participando perdem um pouco, temos que ainda ver toda a complexidade das novas tecnologias, mas acho que primariamente não é nem tanto validar a qualidade, mas que deveria ser mais a avaliação dos resultados gerais.

Aqui há uma pergunta interessante relacionada aos critérios de avaliação, que é: Existiriam indi-cadores de avaliação globais? Como comparar os critérios de qualidade em termos globais? Eu entendo que a pergunta se refere a se uma avaliação num país utilizaria os mesmos critérios de qualidade de outro país.

Rogério Dentello

Rogério Dentello

Michael James

77

Eu acho que os nossos sistemas são tão diferentes que seria difícil fazer comparações comple-tas em certas instituições, mas fazemos, amanhã vamos falar sobre uns bancos de dados que são apropriados, efetivos, fazemos medidas comparadas a certos padrões de competência bá-sica de Matemática, por exemplo, e Ciências. A padronização às vezes limita ou restringe o que queremos, certos padrões de comparação, e isso é problemático, se fôssemos perguntar como medimos em várias instituições para tentar formar cidadãos globais, talvez seja mais produtiva essa comparação, em que teremos que participar da conversa conjuntamente, e definir o que é um cidadão global, qual é a definição? Ser um cidadão global no contexto americano deve ser diferente de no contexto brasileiro, então ter essa conversa seria interessante, ao procurar um padrão global de comparação. Eu acho que primeiro teríamos que ter uma conversa glo-bal sobre como vemos e como entendemos os nossos resultados e como priorizamos certas coisas, isso seria benéfico.

São tantas perguntas, variadas, muito interessantes, que serão todas encaminhadas ao doutor Mi-chael James, e mais perguntas podem ainda ser enviadas por e-mail, pelo endereço seminá[email protected]. Então sintam-se à vontade se quiserem fazer mais, porque não temos mais tem-po para a continuação, e eu agradeço muito a participação do público com as perguntas muito in-teressantes, que enriqueceram, com certeza, essa apresentação. E novamente, ao doutor Michael James, pela sua brilhante e generosa participação no nosso Seminário. Muito obrigado.

Rogério Dentello

Michael James

30.10.2017 Manhã


78

Estrutura e procedimentos para a Avaliação da Educação Superior no Brasil: limites e novas possibilidadesMariângela Abrão – Diretora da Daes

Sueli Macedo Silveira - Atual Coordenadora-Geral de Avaliação de Cursos de Graduação e IES/

DAES/INEP

Alline Nunes Andrade - Coordenadora-Geral do Enade

Renato Augusto dos Santos – Coordenação-Geral de Controle de Qualidade da Educação Superior

A professora Mariângela Abrão, diretora da Diretoria de Avaliação da Educação Superior/Daes,

explicou de forma ampla como se organiza a estrutura e quais são os procedimentos para a

Avaliação da Educação Superior no Brasil, através da Daes/Inep e deixou que cada um dos inte-

grantes detalhasse a função de cada uma das suas coordenações.

A professora Alline, ao falar sobre a Coordenação-Geral do Enade, entre tantos temas escolheu se

ater à concepção do instrumento que é gerado por essa Coordenação, o Enade. Explica que a ges-

tão do exame passou a ser realizada pela Coordenação-Geral de Controle de Qualidade (CGEnade)

que empreende um complexo processo de concepção dos instrumentos, em 88 áreas. Explica que

esse é um processo que faz interface constante com a Coordenação de Controle de Qualidade

para apresentar subsídios pedagógicos, específicos das áreas, para que a sociedade receba os pro-

dutos gerados pelo Enade. Prossegue explicando que, após a aplicação do Enade, a Coordenação

de Controle de Qualidade, junto com a Coordenação-Geral do Enade, analisam os resultados da

aplicação, gerando alguns relatórios extremamente importantes para a comunidade acadêmica e

para os demais setores envolvidos. Passa, a seguir, a fazer uma explanação sobre a concepção do

instrumento e destaca alguns passos importantes que precisam ser dados neste sentido:

1) o Ciclo Avaliativo do Enade deve estar definido nos normativos que instruem o processo;

2) o instrumento Enade não pode ser dissociado das Diretrizes Curriculares Nacionais que insti-

tuem a estruturação dos currículos da formação superior no nosso país;

3) é necessário o intercâmbio contínuo com a comunidade acadêmica.

Ressaltou também que o Ciclo está dividido em três anos e citou as áreas que são avalia-

das a cada ano. Continuando sua apresentação, a professora Alline citou alguns fatores

limitantes e as possibilidades para o trabalho de sua esquipe em relação ao Enade. Quanto

aos limites, foram citados:

Apresentação

79

1) a periodicidade da avaliação;

2) o paradigma das competências;

3) a diversidade de áreas de formação, que são em torno de 88 áreas;

4) a desatualização ou inexistência de Diretrizes Curriculares Nacionais para algumas áreas;

5) os instrumentos não serem comparáveis entre suas edições.

Finalmente, em relação às possibilidades, foram citados:

1) ampla participação da comunidade acadêmica;

2) o aperfeiçoamento contínuo, no processo de produção e análise crítica de itens, da equipe técnica; e

3) a possibilidade de haver uma Matriz de Referência por área, que é algo que tem sido sugerido pelos diversos atores que participam do processo.

O professor Renato inicia sua fala afirmando que, no âmbito da coordenação, eles concordam com as críticas recebidas quanto aos indicadores, e que querem mudar, mas a única dificuldade é como e com que recursos fazer a mudança. Ele faz uma comparação entre a avaliação externa por indicadores e a avaliação in loco, que possui um viés mais quantitativo. Segundo ele, o que há como indicadores hoje é: o Conceito Enade, o IDD, o CPC e o IGC e todos eles têm as suas edições vinculadas ao ciclo avaliativo do Enade.

Então, a cada edição do Enade que é realizada, são calculados e publicados os indicadores. Afir-ma que os cursos são avaliados por indicadores desde 2004 e que a avaliação por indicadores é diferente da avaliação in loco, mostrando a diferença entre os dois tipos de avaliação. A seguir, passa a apontar os limites e possibilidades dos indicadores. Em primeiro lugar, os limites:

1) por melhor que sejam os indicadores, eles não conseguem ser um retrato fiel da realidade, e não conseguem substituir a avaliação in loco;

2) expressam valores relativos e não absolutos, não são comparáveis entre suas edições e áreas de avaliação;

3) quanto à implementação de ajustes de indicadores utilizados para fins de regulação, super-visão e financiamento, mexer com um indicador enquanto ele está sendo utilizado, para vários fins, é uma preocupação.

30.10.2018Manhã

Apresentação 11h40

80

Em segundo lugar, as possibilidades:

1) há possibilidade de aprimorar os indicadores existentes, mas com cuidado para não mudar

radicalmente a estrutura do indicador;

2) a composição de escala de valores que expressem medidas absolutas e permitam a compa-

ração entre as edições: se houver indicadores de condições de oferta, é possível estabelecer

padrões mínimos e, portanto, ter valores absolutos;

3) a composição de “cesta de indicadores” para dar a possibilidade de outros indicadores, de diversas

naturezas, com diversos enfoques, serem utilizados para os seus fins específicos;

4) no âmbito da Coordenação de Controle de Qualidade da Educação Superior se tem trabalha-

do para antecipar a devolutiva sobre a avaliação do Enade para a comunidade. Informa que em

setembro foram disponibilizados todos os produtos do Enade e IDD: microdados, boletim do

estudante, relatório-síntese de área, relatório de curso de IES, e que as instituições os usam para

a revisão de suas propostas pedagógicas.

Conclui dizendo que a devolutiva sempre pode ser melhor, e que estão num processo de revisão,

inclusive do conteúdo dos relatórios-síntese de área, para colocar mais informações, outras formas

de agregação e isso também se refletir nos relatórios de curso.

Sueli Macedo Silveira anunciou que o foco da sua apresentação se daria com base no que prevê

o Sinaes e, iniciando, explicou que a avaliação externa in loco é um dos pilares do Sistema Nacio-

nal de Avaliação da Educação Superior; que ela constitui um referencial básico para os processos

de regulação e supervisão da Educação Superior a fim de promover a melhoria das instituições

e dos cursos, mas não tem início no Inep, e sim por demanda da Secretaria de Regulação e Su-

pervisão da Educação Superior e volta, também, com o relatório de avaliação produzido pelos

avaliadores como um referencial para as decisões regulatórias.

A avaliação externa acontece por meio da Comissão de Avaliadores do BASis, formado por do-

centes da Educação Superior e tem como referencial para as visitas procedimentos e instrumen-

tos diversificados. Ela informou que para o ano de 2017, data do Seminário, havia quatro metas

principais e que para desenvolver as metas previstas os servidores são capacitados continua-

mente, por meio do estudo dos documentos atualizados, da evolução da legislação, para, além

de aferir a qualidade das instituições e dos cursos, ser um instrumento de indução da qualidade.

Sobre os limites da avaliação in loco, citou vários fatores:

81

1) o quantitativo atual de avaliadores do BASis, que está, há muito tempo, sem novas entradas;

2) a falta de cumprimento da agenda de disponibilidade informada pelos avaliadores;

3) as desistências intempestivas dos avaliadores designados;

4) a obrigatoriedade, pela legislação atual, da capacitação presencial, embora já se tenha con-seguido, com a nova gestão, capacitar avaliadores a distância e assim dar início ao processo de formação continuada e à preparação e planejamento para novos avaliadores;

5) as solicitações de adiamentos das visitas pelas IES;

6) o pouco atendimento ao cumprimento das avaliações dos avaliadores pós-visitas.

Fez também um levantamento das possibilidades, entre elas:

1) no novo sistema e-MEC, há um novo módulo de cadastro e designação de avaliadores;

2) monitoramento do perfil e desempenho dos avaliadores;

3) capacitação de avaliadores a distância, por meio da plataforma Moodle;

4) relatórios gerenciais para identificar problemas e resolver situações;

5) estudos qualitativos e quantitativos dos resultados da avaliação in loco.

Como conclusão de sua participação, ela lembra que cabe ao Inep realizar a avaliação externa, mas que compete à Secretaria de Regulação e Supervisão usar esses resultados e que espera, junto os demais atores do sistema, trabalhar para que as instituições e os cursos possam conhe-cer a qualidade com que elas vêm desempenhando o seu papel e também estar sempre induzin-do a melhoria da qualidade, que é o papel do Sinaes.

A professora Mariângela Abrão conclui as apresentações da manhã afirmando estar ciente que os desafios são imensos, mas há também possibilidades, que a escola está se esforçando para atender à mudança em relação à formação, está se empenhando para aprender a avaliar essa competência do sujeito que está sendo formado nesse novo mundo, e o Inep está tentando se estruturar para avaliar também com esse novo olhar.

Sintetizando os desafios, ela cita:

1) o tamanho do sistema;

2) o tamanho reduzido da equipe;

30.10.2018Manhã


82

3) o entendimento equivocado sobre as competências da regulação, da avaliação e da supervi-são por parte tanto do público externo quanto do público interno do sistema, gerando deman-das que não são da avaliação.

Quanto às possibilidades, foram citadas:

1) o novo e-MEC que está sendo preparado;

2) o trabalho integrado com as secretarias do MEC;

3) a estruturação das equipes da DAES;

4) a integração entre o trabalho produzido pelas três coordenações; e

5) a integração dos sistemas dentro do próprio Inep: os sistemas da Avaliação, do Cadastro, do Censo e da Educação Básica, que já começou, mas é preciso fazer com que essas bases conver-sem entre si.

Seguem os registros, na íntegra, da apresentação da Daes.

Pessoal, é com grande responsabilidade que nós estamos aqui hoje. Falar um pouco sobre a estrutura da avaliação superior para este público é meio que chover no molhado, porque é uma estrutura que vocês já conhecem, sobretudo porque vocês lidam com essa estrutura diuturna-mente, seja nas suas associações, nas suas instituições, nos mecanismos pelos quais vocês se organizam, mas hoje eu queria ir um pouco além da estrutura. Nós gostaríamos de falar também de limites e possibilidades.

A Diretoria se organiza desta maneira: eu tenho uma assessoria de gabinete, que está aqui hoje presente e as três coordenações gerais: a Coordenação- Geral de Avaliação de Cursos de Gra-duação e de Instituições de Educação Superior, a Coordenação-Geral do Enade, que não faz só isso, também é responsável pelo Revalida e pela Anasem e a Coordenação-Geral de Controle de Qualidade da Educação Superior. Cada uma das três coordenações tem as suas finalidades e competências descritas conforme a seguir, mas eu vou deixar que os coordenadores falem sobre elas com mais detalhes. Então eu vou falar de maneira muito rápida.

A Coordenação-Geral de Avaliação in loco, como é mais conhecida no meio e até para nós, inter-namente, é responsável pela operacionalização da avaliação externa in loco, pelo Sinaes, pelo Sistema ARCU-SUL e pelo Sistema de Avaliação de Escolas de Governo. E também pela Coope-ração Técnica Internacional.

Mariângela Abrão

83

A Coordenação-Geral do Enade é responsável pela concepção pedagógica dos instrumentos de avaliação de desempenho de estudantes, pela capacitação e acompanhamento das Comissões Assessoras de Área, dos elaboradores e revisores de itens e pela gestão do BNI da Educação Superior do Inep.

A Coordenação-Geral de Controle de Qualidade da Educação Superior é responsável pela ges-tão dos exames da Educação Superior, pelo cálculo e divulgação dos Indicadores de Qualidade da Educação Superior, que estão aí citados, por enquanto é o que temos, mas temos alguns sendo gestados e estudados, e alguns estudos para revisão e criação de novos indicadores.

A partir de agora os meus coordenadores vão assumir e falar um pouquinho das suas áreas, dos limites e possibilidades de cada área e eu volto ao final porque gostaria de já começar a dar umas respostas aos desafios apresentados pela professora Maria Helena, pena que ela não vai estar aqui para ouvir, mas vamos tentar começar a dialogar com as perguntas que ela apresentou.

Bom dia para todos vocês, é uma imensa satisfação estar nesse espaço de troca, de escuta, de exposição, também gostaria de cumprimentar aqueles que estão nos assistindo remotamente, es-pero receber as suas contribuições, indagações e sugestões, para que aperfeiçoemos os nossos processos. Quando eu estava pensando sobre como falar sobre a Coordenação-Geral do Enade, achei que poderíamos fazer várias escolhas, mas a escolha que eu fiz para a fala de hoje foi come-çar pelo instrumento que é gerado do nosso trabalho.

Quando se fala em Enade, é comum que pensemos, inicialmente, é claro, nesse produto. O que vai ser aplicado em novembro, para a partir daí serem gerados determinados conceitos, determinados resultados, que sirvam como um insumo para pensar a qualidade do curso, as políticas educacio-nais, a formação dos nossos futuros egressos. É claro que eu não vou passar pelo processo de con-cepção pedagógica do instrumento, poderíamos conversar sobre isso em outros momentos, mas eu gostaria de trazer para vocês algumas considerações importantes sobre como chegar àquele instrumento tão esperado.

Neste ano nós teremos o instrumento em campo no dia 26 de novembro, é quando o Enade será aplicado, e aí nós tiraremos o instrumento do cofre, que fica lá guardadinho, escondido, com todo segredo possível, para que no dia da aplicação consigamos obter aquilo que se espera da aplicação do Enade. Nós temos como nome Coordenação-Geral do Enade, porém, hoje, esta Coordenação se dedica à concepção dos instrumentos, especialmente a essa ati-vidade, e a gestão do exame passou a ser realizada pela Coordenação-Geral de Controle de

Alline Nunes Andrade

30.10.2018Manhã


84

Qualidade, não só a gestão do exame, o Renato vai falar um pouco mais sobre as atribuições

da sua Coordenação, mas eu gostaria sempre de deixar essa informação clara para todos,

nós somos sempre questionados sobre o processo de inscrição, sobre a aplicação, quais

serão os locais de aplicação, o cálculo dos indicadores, porém hoje a CGEnade empreende

um complexo processo de concepção dos instrumentos, considerando que nós temos, como

desafio, promover essa concepção para instrumentos em 88 áreas, se eu não me engano, e

em 2017, 44 áreas serão avaliadas.

E em um processo que faz interface constante com a Coordenação de Controle de Qualidade, é

justamente naquele momento em que nós precisamos nos debruçar sobre os resultados da apli-

cação daquela edição e apresentar subsídios pedagógicos, subsídios específicos das áreas, para

que a sociedade receba os produtos gerados por cada Enade. Então, após a aplicação do Enade,

a Coordenação de Controle de Qualidade, junto com a Coordenação-Geral do Enade, analisam

os produtos, os resultados daquela aplicação, gerando, a partir de então, alguns relatórios ex-

tremamente importantes para serem apropriados pela comunidade acadêmica e para os demais

setores envolvidos. Eu vou me ater, então, à fala sobre a concepção do instrumento.

Basicamente, a concepção do instrumento precisa passar por alguns importantes elementos. O

primeiro deles é o Ciclo Avaliativo, não se pode pensar em concepção de um instrumento de pro-

va sem olhar para o Ciclo Avaliativo do Enade e esse Ciclo Avaliativo estar definido nos normati-

vos que instruem o processo. Neste ano de 2017 nós estamos com o Ciclo Avaliativo que avalia

as engenharias, as licenciaturas, as áreas associadas à computação e alguns eixos tecnológicos

específicos vinculados a essas áreas.

Nós também precisamos olhar para as Diretrizes Curriculares Nacionais. O instrumento Enade não

pode ser deslocado, dissociado das Diretrizes que instituem a estruturação dos currículos da for-

mação superior no nosso país. Nós também não podemos fazer isso prescindindo da participação

da comunidade acadêmica, a nossa equipe, assim como a equipe da Sueli, é uma equipe enxuta,

com 15, 16 servidores que têm um megadesafio, de pensar esses diferentes instrumentos, e não

seria possível pensar isso sem o intercâmbio contínuo e constante com a comunidade acadêmica

e é dessa equipe que eu acabo de falar, dessa equipe técnica altamente comprometida, com uma

formação acadêmica louvável e uma experiência que se acumula a cada edição do exame.

Para falar sobre o Ciclo Avaliativo Trienal eu trouxe apenas um recorte, é claro que o Ciclo não se

inicia em 2010, mas apenas para nos lembrar que o Ciclo está dividido em três anos.

85

O Ano 1 avalia as áreas de Saúde, Ciências Agrárias e áreas afins e os Eixos Tecnológicos Am-biente e Saúde, Produção Alimentícia, Recursos Naturais, Militar e Segurança. A última avalia-ção desse Ciclo ocorreu agora em 2016, nós entregamos, se eu não me engano, em agosto, o relatório-síntese de área desse ciclo, além do relatório-síntese de área, o conceito Enade e o IDD, o Boletim de Desempenho Individual do estudante também foi entregue em agosto. Qual foi o propósito disso? Apresentar elementos para que os cursos se apropriem da avaliação de forma qualitativa, olhando com interesse pedagógico para esses resultados e podendo trazer para o âmbito dos seus cursos, das suas realidades institucionais as contribuições riquíssimas que são geradas pelo processo de avaliação.

O Ano 2 avalia então as licenciaturas, as ciências exatas e as áreas afins. Nós estamos justamente neste ano do Ciclo que também avalia os Eixos Tecnológicos Controle e Processos Industriais, Informação e Comunicação, Infraestrutura e Produção Industrial.

O Ano 3 é o próximo, nós já estamos trabalhando nele, existe uma equipe lá no Inep fazen-do levantamentos para a composição de comissões assessoras que serão nomeadas para atuar no Enade 2018, nas áreas de Ciências Sociais Aplicadas, Ciências Humanas e áreas afins e os Eixos Tecnológicos Gestão e Negócios, Apoio Escolar, Hospitalidade e Lazer, Pro-dução Cultural e Design.

Falamos sobre os ciclos, é tudo fácil de digerir, de pensar, não podemos esquecer que o Ciclo Avaliativo Trienal é a cada ano publicado a partir de uma decisão, de uma homologação da CO-NAES, que se reúne para analisar quais serão as áreas que serão avaliadas, o Inep instrui essa reunião levando insumos sobre quantitativo de expectativa de concluintes, de cursos naque-las áreas, para que a CONAES a possa então decidir quais serão as áreas, dentro daquele ano avaliativo, que passarão pelo Enade em questão. Nesse ano, se eu não me engano, a CONAES homologou a decisão em setembro, na última reunião da CONAES.

Outro elemento importante para o Enade era olhar para as Diretrizes Curriculares Nacionais. O Enade não tem como objetivo curricular a área, não pode estruturar um currículo para a área, e sim apresentar um instrumento de avaliação que converse com o que havia sido anunciado pelas Diretrizes Curriculares Nacionais que, por sua vez, precisam estar associadas aos projetos pedagógicos dos cursos. A comunidade acadêmica participa desse processo, eu trouxe alguns números apenas a título de ilustração. Para tratar do Enade 2015, 2016 e 2017, neste ano nós nos relacionamos, recebemos, realizamos reuniões técnicas com 476 docentes membros de Comissões Assessoras de Área, com diferentes conjuntos e diferentes momentos dos processos avaliativos.

30.10.2018Manhã


86

Em relação ao edital, o Enade 2017 teve a inscrição de 1.306 docentes interessados em se capacitar para se tornarem elaboradores e revisores de itens para o Banco Nacional de Itens da Educação Superior, lembrando que esse Banco é de onde nós extraímos os itens que são a nossa matéria-prima para compor os instrumentos Enade. Desses 1.306 inscritos na capa-citação, nós tivemos 631 elaboradores e 217 revisores de itens. O Banco Nacional de Itens, considerando o Edital Enade 2017, recebeu 5.341 itens e desses 5.341 itens em torno de 59 por cento foram aceitos ou para serem armazenados ou para comporem os instrumentos do Enade. A equipe técnica do Inep, que se divide entre atividades pedagógicas e atividades ad-ministrativas, precisa conduzir uma série de processos para dar conta de toda a demanda que significa o Enade. Uma demanda muitas vezes silenciosa, nós não recebemos, por exemplo, 40.000 demandas externas pelo Fale Conosco, nós recebemos uma demanda interna e contí-nua da nossa equipe, mas também da comunidade acadêmica, que contribui com o processo elaborando os itens, participando das capacitações, discutindo nas reuniões que vão dese-nhar os instrumentos de avaliação, então não seria possível essa equipe técnica atuar sem a contribuição daqueles mais de 400 docentes que estão nas comissões assessoras e também sem a contribuição daqueles docentes da Educação Superior que participaram do processo de capacitação para se tornarem elaboradores e revisores de itens.

Então vejam que nós temos diferentes atores e eu ainda trago mais um grupo composto por do-centes, que é o grupo da Comissão de Assessoramento Técnico, a CAT, que vem então contribuir de uma forma mais específica para pensar o padrão desse processo de elaboração de instrumen-to. Vejam, se somos milhares de docentes elaborando itens, com diferentes entendimentos so-bre o processo avaliativo, por mais que nós busquemos compor, na capacitação, o entendimento de que a avaliação proposta pelo Enade precisa olhar para aquilo que as Diretrizes Curriculares Nacionais propõem em termos de avaliação do perfil do egresso, avaliação das competências para a sua atuação no cenário profissional e também a avaliação de objetos do conhecimento que vão mobilizar todos esses conhecimentos, não seria possível pensar que o item chegaria para o Inep totalmente pronto para ser inserido num instrumento, então essa equipe técnica e pedagógica que atua com as comissões assessoras de área, ao instituir aquilo que se espera de um instrumento por área, acompanha a capacitação para elaboração de itens e também pre-serva toda a memória das discussões por área e todo o entendimento do que seria adequado propor como estrutura de itens para esses instrumentos.

É com essa equipe que nós também contamos para a avaliação do instrumento quando ele está em fase de diagramação e contínuas revisões técnicas. Nós nomeamos as comissões assessoras em março, realizamos reuniões em maio, em junho, em julho realizamos oficinas de itens, em agosto e em setembro selecionamos os itens que vão compor o instrumento, em outubro nós

87

simplesmente nos imergimos em processo de diagramação, um processo difícil, extenuante e ao mesmo tempo específico desse grupo, que compõe com acesso de outras pessoas externas, por-que lidamos com uma informação extremamente sensível, que precisa ser sigilosa e que precisa resguardar aquilo que foi discutido pela comunidade acadêmica por meio das comissões assesso-ras de área nomeadas. Então essa equipe técnica na área de diagramação faz inúmeras revisões técnicas de modo que o item, ao ser entregue à sociedade no dia da aplicação da prova, de fato afira o conhecimento e a competência que ele se propõe a aferir. Tem falhas? Claro que tem, não tem como não ter falhas, porém existem muitos ganhos nesse processo. E o primeiro ganho que eu poderia citar - tudo bem que a tela é de limites - é essa participação e essa integração entre os diferentes atores de modo que o processo se dê cada vez mais democrático e colaborativo, porque a avaliação da Educação Superior que se propõe a envolver instituições e cursos não pode aconte-cer num gabinete nas nossas salas no Inep, precisamos desse intercâmbio, desse diálogo contínuo com a comunidade acadêmica que é quem está no dia a dia do seu curso e da formação superior.

Então vamos falar um pouco de limites, eu imagino que alguns dos limites que eu vou apontar aqui já fazem parte das críticas dos senhores, outros que eu não considerar em minha fala talvez venham em forma de perguntas ou novas considerações, mas eu penso que é para isso que nós estamos hoje aqui. Um limite para o nosso trabalho é a periodicidade da avaliação. Esse ciclo de 2017 será retomado em 2020 e nós estamos em 2017, acabamos de entregar os cadernos de provas, estão lá guardadinhos até o dia da aplicação, e já iniciamos o ciclo 2018, o 2017 nem se encerrou e nós iniciamos o ciclo 2018. Quando estivermos com as comissões de 2018 nós esta-remos novamente com o ciclo de 2017 analisando aqueles resultados e tentando entregar para a comunidade acadêmica os relatórios que são provenientes dessa análise. Então nós temos ciclos que se encontram e ao mesmo tempo nós não temos uma periodicidade menor para avaliar as mesmas áreas. Esse é certamente um limite, mas é um dado da nossa realidade.

O outro limite é algo que precisa ser muito discutido, pensado, estudado, é o paradigma das competências. Como avaliar esse paradigma anunciado pelas Diretrizes Curriculares Nacionais a partir dos anos 2000, início dos anos 2000, vimos com as Diretrizes anunciando que os cur-sos devem se estruturar considerando o paradigma das competências, porém nós vivenciamos uma dificuldade muito grande em compreender, nós, em termos gerais, temos uma dificuldade grande em compreender o que significa o paradigma das competências, na prática pedagógica, na estruturação desses cursos de fato. E nós observamos isso nas capacitações, como inúmeras dúvidas dos docentes em compreender essa perspectiva traduzida nos instrumentos.

A diversidade de áreas de formação, nós avaliamos em torno de 88 áreas; garantia de acessibilida-de pedagógica; a desatualização ou inexistência de Diretrizes Curriculares Nacionais para algumas

30.10.2018Manhã


88

áreas é um limitador, e esse é um limitador extremamente importante; e os instrumentos não comparáveis entre suas edições é uma crítica que nós temos ouvido constantemente. Os resulta-dos do Enade geram indicadores que são relativos, não são comparáveis porque os instrumentos mudam a cada edição do exame, então esse é um dos limites mais apontados, uma das maiores críticas que nós recebemos.

Como possibilidade, como já exaltei, é essa ampla participação da comunidade acadêmica; a disseminação da abordagem de avaliação por competências, considerando a necessária relação entre DCNs e formação superior, isso nós vamos observando à medida que a equipe amadure-ce com relação a esse processo pedagógico, porque a cada edição nós aprendemos um pouco mais, repensamos os nossos processos e os retroalimentamos, e com esse entendimento, com essa maturidade da equipe as capacitações vão sendo revistas, os docentes vão compreendendo um pouco mais sobre como é pensar um instrumento de avaliação em larga escala que conver-se com essas diretrizes, e além disso as comissões assessoras de área, que são compostas por cinco novatos e dois veteranos, ou seja, dois docentes que vieram da edição anterior, esses dois docentes ajudam a trazer a experiência já acumulada das outras edições, também amadurecem o entendimento sobre como o processo deve ser conduzido e trazem contribuições importan-tíssimas para garantir essa historicidade mas também avançar em termos de melhorias, porque a cada edição nós identificamos dificuldades e a partir do momento em que nós identificamos essas dificuldades, as comissões, ao se renovarem com os cinco novatos, mas mantendo os ve-teranos, vão atualizando as informações e ajustando o processo.

Consequentemente, nossa equipe técnica passa por um aperfeiçoamento contínuo, nesse pro-cesso de produção e análise crítica de itens. Nem sempre foi assim, o Enade até 2010 tinha o seu instrumento construído externamente ao Inep, e de repente o Inep assume, então, essa respon-sabilidade técnica por não apenas apresentar o que se esperava do instrumento, mas também conduzir todo o processo de elaboração desse instrumento, trazendo para si o conhecimento técnico e pedagógico relacionado ao processo, e isso é muito importante, porque a partir daí nós conseguimos guardar, trazer essa informação para o Instituto e também ampliar o processo de participação a partir do momento em que nós chamamos a comunidade acadêmica, de Norte a Sul, de todas as regiões do país, de todas as organizações acadêmicas e categorias administrati-vas, a participarem do processo de elaboração do instrumento.

Outra possibilidade que desponta seria a proposição de Matriz de Referência por área, é algo que tem sido sugerido também por diversos espaços de fala, por que não o Enade ter uma matriz de referência por área? É algo a ser pensado, a ser discutido, a ser amadurecido com aqueles que estão envolvidos no processo e de repente também podemos, é claro, convidar novos estudio-

89

sos, novos pesquisadores a contribuir com o fazer Enade. É isso, eu vou passar a palavra para o

Renato, que vai dar sequência, já que nós temos interface de atuação.

Boa tarde a todos, reitero o prazer que foi manifestado por cada um dos membros da mesa,

de estarmos realizando este evento, a importância dele para a reflexão dos nossos processos.

Antes de começar a minha fala, eu gostaria de dizer que internamente, boa parte das críticas

que nós recebemos em relação aos indicadores, que é aquilo que está no âmbito da minha

coordenação, nós concordamos e queremos mudar, a única e pequena dificuldade é o como

e com que recursos fazer. A avaliação externa por indicadores configura-se como outra abor-

dagem de avaliação de cursos de graduação e de instituições de ensino, e possui um viés mais

quantitativo em comparação com a avaliação in loco.

Então na avaliação in loco nós temos um instrumento, uma equipe de avaliadores que vai lá e

consegue mensurar in loco as condições de oferta. O que nós fazemos no âmbito dos indicado-

res é tentar achar uma proxy que se aproxime da realidade. Então nós tentamos estimar aquilo

que acontece dentro das instituições através de informações de diversas fontes. Hoje o que nós

temos instituídos como indicadores são o Conceito Enade, o IDD, o CPC e o IGC. Todos eles têm

as suas edições vinculadas ao ciclo avaliativo do Enade. Então, a cada edição do Enade que é rea-

lizada, são calculados os indicadores e publicados subsequentemente. Nós temos aí a indicação

das inscrições, ao longo do tempo, do Enade, nós percebemos que até 2010 temos quantitativos

maiores, porque faziam prova ingressantes e concluintes.

Para a edição de 2017 nós temos 537.220 estudantes concluintes inscritos para a realização de

provas. Nós temos os cursos avaliados por indicadores desde 2004, pensando que no último tri-

ênio passa de 22.000 cursos, aproximadamente 70 por cento dos cursos existentes no cadastro

do sistema e-MEC são avaliados por meio de indicadores. As características vocês também já co-

nhecem, os componentes do Conceito Enade, IDD e CPC passam por processo de padronização

e reescalonamento para serem expressos em valores contínuos de zero (zero) a 5 (cinco), que

foi o que a professora Maria Helena falou, na sua apresentação, sobre a curva de Gauss, então,

em última instância, nós pegamos todos os resultados e distribuímos numa curva de Gauss, ou

seja, nós sempre teremos cursos à esquerda da média e à direita da média. Os resultados finais

expressam medidas relativas, em cinco faixas de conceito. O que eu quero dizer com medida

relativa? Todos os resultados são comparados em relação à média. Absolutamente diferente do

que acontece com a avaliação in loco, em que temos os critérios estabelecidos e os cursos e as

instituições são avaliados a partir daqueles critérios. Para os nossos indicadores, no que existe

hoje de indicador, de metodologia utilizada, nós temos medidas relativas.

Renato Augusto dos Santos

30.10.2018Manhã


90

Os resultados não são comparáveis entre duas edições e entre áreas de avaliação diferentes. Então aqui nós temos boa parte das nossas críticas, e não é só uma crítica externa, é uma crí-tica interna também. Eu estou na mesma equipe desde que ingressei no Inep em 2014 e é um problema para pensarmos em ter só indicadores com medidas relativas. É ruim? É errado? Não, metodologicamente é adequado, serve para determinado fim, a grande questão é que ele não serve para todos os fins, e aí é que temos que tomar um pouco de cuidado, então os indicadores, quando foram pensados, atendiam a um objetivo específico e a medida relativa ajudava plena-mente o objetivo que foi estipulado. A questão é que eu não consigo utilizar isso para tudo o que eu quero fazer quando eu olho para cursos e instituições. Vocês já conhecem esse diagrama, em toda apresentação o utilizamos; então nós temos os quatro indicadores apontados em cores diferenciadas, e o Enade também como ponto de partida com uma cor diferenciada. A partir do Enade nós temos diretamente o Conceito Enade sendo calculado, a partir de informações que vêm do Conceito Enade e de características de desenvolvimento dos estudantes ao ingressarem nos cursos de graduação que estão sendo avaliados nós temos o cálculo do IDD, então nós pe-gamos a informação do estudante, as características do desenvolvimento dele ao ingressar no curso e estimamos que nota ele teria e aí nós fazemos a comparação daquilo que foi estimado com a nota efetivamente obtida por ele no exame.

O Conceito Preliminar de Curso vai utilizar informações que vêm do Enade, do cálculo das notas do Enade, informações que vêm do questionário do estudante, sobre a percepção que eles têm acerca das condições de oferta dos cursos. Nós temos a informação que vem do IDD, o corpo docente que vem do Censo, e com isso nós temos o CPC e as informações de cálculo do CPC mais as informações oriundas dos cursos de pós-graduação stricto sensu, nós temos o cálculo do IGC. E quando olhamos para o CPC, nós temos 20 por cento referentes ao Conceito Enade, que não é especificamente o Conceito Enade, mas a nota contínua, nós temos 15 por cento que vêm das informações do questionário do estudante, 35 por cento IDD e 30 por cento do corpo docente, pensando em titulação e regime de trabalho.

Então, indicadores, limites e possibilidades. Então, limites. Por melhor que sejam os indicadores, eles não conseguem ser um retrato fiel da realidade, portanto eles não conseguem substituir a avaliação in loco. São formas distintas de avaliação e podem subsidiar, indicar para a avaliação in loco ou não? Pode, mas não substitui, são formas distintas de se chegar numa mensuração de qualidade. Expressam valores relativos e não absolutos, não são comparáveis entre suas edições e áreas de avaliação, isso também é algo que precisamos repensar e conseguir superar, mas são limites que hoje existem concretamente. Implementação de ajustes de indicadores utilizados para fins de regulação, supervisão e financiamento. Então, mexer com um indicador enquanto ele está sendo utilizado para vários fins, para a equipe técnica do Inep é uma preocupação.

91

Como eu havia dito, nós temos consciência dos limites que esses indicadores têm, da vontade que temos de calcular e disponibilizar outros indicadores, mas acima de tudo pensamos nesses indicadores com muito cuidado para não desarranjar toda uma estrutura de relação e de finan-ciamento, por exemplo. Então o cuidado na mudança é grande. E aí uma discussão interna muito grande que nós temos, de propor uma cesta de indicadores, porque aí nós damos a possibilidade de outros indicadores, de diversas naturezas, com diversos enfoques, serem utilizados para os seus fins específicos.

Enquanto possibilidades, nós temos a possibilidade de aprimorar os indicadores existentes? Te-mos, mas sempre com aquele cuidado para não mudar radicalmente a estrutura do indicador, a composição de escala de valores que expressem medidas absolutas e permitam a comparação entre as edições. Então, de ponto de partida, se eu tiver indicadores de condições de oferta, eu posso estabelecer padrões mínimos e, portanto, ter valores absolutos. Quando eu falo de indica-dores de desempenho, por exemplo, se eu não tiver um Enade comparável entre edições, ou que tenha uma nota de corte claramente definida eu não consigo produzir indicadores, então eu te-nho algumas questões que precisam da revisão do Enade, mas outras não, eu posso pensar nas condições de oferta e aí achar valores mínimos de qualidade para fazer o corte nos indicadores. E a composição de “cesta de indicadores”. Nós estamos em um processo de rever e de pensar muito claramente o que nós podemos oferecer de diferente para a sociedade.

Nós temos contratações de consultores em andamento, a proposição de uma das mesas para este evento é justamente quais são as possibilidades que representantes da Academia estão en-xergando para indicadores, e uma coisa que é importante dizer é que no âmbito da Coordenação de Controle de Qualidade da Educação Superior nós temos trabalhado na direção, por exemplo, de antecipar a devolutiva sobre a avaliação do Enade para a comunidade. Então, como a Alline havia dito, em primeiro de setembro nós disponibilizamos todos os produtos do Enade e IDD: microdados, boletim do estudante, relatório-síntese de área, relatório de curso de IES. A profes-sora Maria Helena havia dito na fala dela que as instituições não recebem as devolutivas para a mudança dos seus projetos pedagógicos, e nesse ponto eu discordo dela, nós temos a devolutiva sim, e as instituições a usam sim, para a revisão de suas propostas pedagógicas. Antes de ir para o Inep eu venho de uma história com a Educação Superior, como docente da Educação Superior, e na instituição em que eu estava nós utilizávamos todos os relatórios para repensar o que havia de necessário de ajuste nas nossas propostas pedagógicas.

Os próprios indicadores que nós divulgamos, quando nós fazemos a divulgação, não divulgamos todos os resultados, nós temos todos os insumos, então se a instituição quiser analisar o seu de-sempenho em comparação com outras instituições, ou isoladamente, pensando em cada um dos

30.10.2018Manhã


92

insumos, por exemplo do CPC, há possibilidade. Então, se a devolutiva pode ser melhor, eu acho sempre pode ser melhor, nós estamos num processo de revisão inclusive do conteúdo dos relató-rios-síntese de área, para colocar mais informações, outras formas de agregação e isso também se refletir nos relatórios de curso, mas a devolutiva existe, e nós, no âmbito da coordenação, temos dois vieses bem distintos de atuação: uma é a gestão de exames e a outra é indicadores de quali-dade. E assim como as demais coordenações, eu tenho na equipe nove servidores com mais quatro colaboradores, com formas de contratação diferentes, para ajudar na nossa tarefa, então quando dizemos que sabemos o que pretendemos, em que direção queremos caminhar, nós sabemos, a grande dificuldade é o ritmo com o qual nós conseguimos avançar.

Bom dia a todos e a todas, o foco da apresentação neste momento vai ser com base naquilo que prevê o Sinaes. Nós vamos ter uma mesa mais tarde que vai tratar dos programas de co-operação internacional. A avaliação externa in loco é um dos pilares do Sistema Nacional de Avaliação da Educação Superior que promove a indução da qualidade por meio da avaliação in loco, que é responsabilidade de uma das coordenações da Daes, como já foi mostrado, e numa concepção que desde o início sempre procura manter e fazer com que ela aconteça de forma formativa e emancipatória.

Ela constitui um referencial básico para os processos de regulação e supervisão da Educação Superior a fim de promover a melhoria das instituições e dos cursos e isso significa que esse pro-cesso de avaliação in loco não inicia no Inep, ele sempre chega ao Inep, na Daes por demanda da Secretaria de Regulação e Supervisão da Educação Superior e volta, também, com o relatório de avaliação produzido pelos avaliadores como um referencial para as decisões regulatórias. E ela tem como princípio orientar os estudantes, informar a sociedade e oferecer os subsídios para as políticas públicas de educação. Nós temos acompanhado ao longo desses anos do Sinaes, eu me lembro bem do início do processo e vejo hoje, nós acompanhamos, analisamos esse estudo todo, esse processo todo como acontece e vemos a diferença, inclusive, como hoje os estudan-tes se orientam pelo resultado dessas avaliações, então é um processo que vimos acompanhan-do e não temos dúvidas, ao longo desses anos de Sinaes, ao longo dos resultados apresentados, que seguramente nós não podemos dizer que não existe mais a cultura da avaliação.

Eu vou falar sobre um dos pilares do Sinaes, que é a avaliação externa. Como isso acontece? Primei-ro, ela tem como objetivo principal a indução permanente da qualidade da Educação Superior, das instituições e dos cursos. Ela acontece por meio da Comissão de Avaliadores do BASis e o Banco de Avaliadores do BASis é formado por docentes da Educação Superior. É necessário que seja assim, porque com essa expertise do processo que conseguimos construir, inclusive tendo como subsídio a autoavaliação, o processo de avaliação interna das instituições que muito contribui para o pro-

Sueli Macedo Silveira

93

cesso de avaliação externa. Então a comissão de avaliadores é constituída por docentes da Educa-ção Superior, e tem como referencial para as visitas procedimentos e instrumentos diversificados. Isso significa que nós temos como responsabilidade que esses procedimentos aconteçam confor-me os avanços, as necessidades não só das regulações vigentes, mas também do comportamento dos resultados que nós temos dos momentos das visitas e o acompanhamento é também para a atualização e a adequação dos diversos instrumentos de avaliação que estão ligados diretamente com os respectivos atos autorizativos. Como eu já disse, a autoavaliação é um subsídio extrema-mente importante, é um referencial bastante utilizado para a avaliação externa, e com o resultado das visitas dos avaliadores, subsidiado pelos respectivos instrumentos que determinam os critérios de qualidade da avaliação, é produzido um relatório de avaliação como referencial básico para as decisões da regulação e supervisão. Então temos ali no meio a avaliação in loco e nada acontece se não houver a visita dos avaliadores que são capacitados e sempre direcionados pelo momento da visita por aquilo que está previsto nos instrumentos de avaliação. E para isso, essa coordenação de avaliação in loco trabalha com uma ferramenta de gestão que nos possibilita acompanhar esses processos de forma que eles possam ter maior celeridade e consigam se comportar de forma que possamos cumprir as metas que estão estabelecidas. Para este ano, nós temos, como planejamen-to, quatro metas. A Meta 1 é realizar 5.000 avaliações. Nós já finalizamos mais de 5.500 avaliações e vamos terminar este ano com mais de 6.000 avaliações in loco realizadas. Fora isso, nós temos mais de 8.000 processos que passaram pela fase de avaliação, tiveram o tratamento e tiveram seus devidos encaminhamentos.

Como exemplo, eu posso citar o novo marco de EaD, o Decreto 9.057 em que nós devolvemos para a Secretaria de Regulação e Supervisão mais de 2.000 processos, mas essa devolução demanda análise, procedimentos, estabelecimento de critérios, então, fora as avaliações que são finalizadas, os processos que ali chegam têm o devido tratamento e a sua devolutiva, con-forme necessário. Então nós temos como meta 1 realizar 5.000 avaliações; a Meta 2, reduzir o tempo médio dos processos, e esse é um acompanhamento que nós temos feito para que os processos possam ficar na fase Inep o menor tempo possível e que sejam assim cumpridas to-das as suas etapas, verificadas e acompanhadas para que possamos dar celeridade a esse fluxo processual. A Meta 3, capacitar docentes e avaliadores do BASis. Capacitar docentes significa os novos avaliadores que farão parte do Banco, e capacitar avaliadores é o nosso processo de formação continuada, que hoje acontece pela plataforma Moodle. Quem é avaliador ou está aqui nos acompanhando de forma virtual sabe que esse processo vem acontecendo dia-riamente, trabalhamos normativos que devem ser atualizados, procedimentos e informações diversas, bem como as discussões fruto do fórum dos avaliadores. A Meta 4, atender 100 por cento das demandas externas. A nossa coordenação tem uma característica diferente, aten-de ao público externo, então nós temos uma demanda muito grande, para vocês terem uma

30.10.2018Manhã


94

ideia, só essa demanda de atender 100 por cento só do Fale Conosco, nós já atendemos neste ano mais de 40.000 demandas, fora as demandas que nós temos dos e-mails institucionais, fora as demandas das diversas secretarias, presidência e Diretoria da Avaliação da Educação Superior. Seguramente acho que chegaremos ao final do ano com mais de 50.000 demandas. E é necessário, porque como nós trabalhamos com atendimento ao público, às IES, que são os nossos usuários, é necessário que tenhamos esse atendimento, agora, estamos trabalhando sempre na melhoria desses processos, dos instrumentos para que também possamos reduzir essa quantidade e necessidade de orientações.

Para desenvolver todas essas metas previstas, nós capacitamos constantemente os nossos ser-vidores, porque é extremamente importante que todos conheçam, se atualizem e acompanhem em tempo real tudo o que está acontecendo e nisso eu incluo as devolutivas do momento da visita, as demandas dos avaliadores, os anseios de todo o público que utiliza esse processo de avaliação. Capacitamos os avaliadores e temos previsto já para o início do ano uma capacitação de em torno de 2.000 avaliadores, já temos 600 avaliadores na área de saúde, já selecionados para iniciarmos uma capacitação para novos ingressos no BASis. E executar os planos de ação necessários entre eles tendo sempre, lógico, como finalidade a avaliação in loco, e para que ela aconteça nós acompanhamos sempre esse processo de evolução da legislação, os estudos para que possamos estar atualizando todos os documentos necessários para que esse momento da visita consiga chegar o mais perto possível daquilo que é o objetivo do Sinaes, que é aferir a qua-lidade das instituições e dos cursos, mas também ser um instrumento de indução da qualidade.

E como se faz isso? Nós planejamos, desenvolvemos as nossas ações, mas nós checamos, por meio dos indicadores que nós temos, o desempenho das nossas metas, nós temos um boletim que nós chamamos de Gestão à Vista, que é divulgado semanalmente e todos os servidores da coordenação se debruçam nas metas que estão propostas, nas metas individuais, coletivas, para que possamos ver se o que foi planejado, se as nossas metas estão acompanhando con-forme as necessidades. E a consequência é padronizar aqueles procedimentos, aquelas ações que estão dando certo, que estão nos dando a devolutiva positiva e rever constantemente os nossos planos de ações. Então é com este olhar, é com este compromisso que a Comissão de Avaliação in loco vem construindo esse processo e esse ano nós já obtivemos esse resultado, que com a equipe – nunca achamos que temos a equipe suficiente, não é? – mas eu não tenho dúvida de que a nossa é muito pequena, nós somos 15 servidores e mais alguns colaboradores que muito nos ajudam.

Sobre os limites da avaliação in loco, o quantitativo atual de avaliadores do BASis é uma ne-cessidade, esse Banco vem, há muito tempo, sem novas entradas, mas o momento é esse,

95

em que estamos com o estudo de todo esse comportamento não só do Banco, mas também das avaliações, dos instrumentos, então esse quantitativo realmente tem limitado um pouco a nossa condição de trabalho e é preciso que isso seja revisto. A falta de cumprimento da agenda de disponibilidade informada pelos avaliadores; os avaliadores trabalham de forma voluntária, é decisão do avaliador fazer parte do Banco ou não, mas também há dificuldade e entendemos os compromissos externos, mas a designação acontece conforme a disponi-bilidade informada e isso tem sido difícil de ser cumprido, então tem limitado bastante a nossa condição de designação; desistências intempestivas dos avaliadores designados, isso é um problema muito sério que virou rotina no processo de avaliação in loco; a obrigatorie-dade, pela legislação atual, da capacitação presencial limitou durante muitos anos os nossos procedimentos para aumento do Banco.

Hoje, com uma portaria transitória, nós conseguimos, com a atual gestão, poder capacitar avaliadores a distância, e foi aí que demos início ao processo de formação continuada e à preparação e planejamento para novos avaliadores. Solicitações de adiamentos das visitas pelas IES, isso tem sido um problema muito grave, porque as instituições preenchem um formulário, dizem que estão prontas para esperar a visita e quando chega a semana da visita entram com uma solicitação pedindo o adiamento da visita. Isso é bastante complicado, nós respondemos por isso, respondemos por uma passagem emitida e não utilizada, a disponi-bilidade dos avaliadores, enfim, todo o processo tem limitado bastante também os nossos trabalhos. O pouco atendimento ao cumprimento das avaliações dos avaliadores pós-visitas, nós pedimos, aproveitamos esse momento para pedir, nós precisamos da colaboração das instituições, participem conosco desse processo, façam a avaliação dos avaliadores que vão até as instituições, isso tem sido uma ferramenta, para nós, de atualização do Banco, e não é punitivo, é construtivo esse processo e precisamos que isso seja de fato usado. A evolução do sistema e-MEC, todos vocês conhecem o e-MEC e sabem a dificuldade que temos, o pro-cesso é todo eletrônico, prazos a cumprir, dependência de fatores externos, nós podemos fazer tudo, da melhor forma possível na nossa avaliação, mas se não tivermos um Banco que cumpra com as suas disponibilidades, com os avaliadores que estejam preparados para irem até as instituições para fazerem suas visitas, não adianta, não conseguimos, só com o nosso empenho interno, fazer com que esse processo chegue ao final da melhor forma possível. E a demanda expressiva de atendimentos externos, da qual já falei.

As possibilidades. Conhecendo como nós já conhecemos os nossos limites, preciso dizer que nós também temos grandes possibilidades e eu acho que já avançamos muito este ano. Novo módu-lo de cadastro e designação de avaliadores do BASis, estamos, no Inep, paralelo à reformulação, vamos chamar assim, do novo sistema e-MEC, nós estamos com um novo módulo de cadastro e

30.10.2018Manhã


96

designação de avaliadores; a renovação do Banco de Avaliadores, nós estamos prontos, prepara-

dos para dar início a essa renovação do Banco; monitoramento do perfil e desempenho dos ava-

liadores, também não adianta termos um Banco de 10.000 avaliadores nem instrumentos extre-

mamente eficazes, se não tivermos um perfil muito adequado que componha essas comissões;

capacitação de avaliadores a distância, estamos investindo muito na plataforma Moodle, isso é

um avanço hoje, é um recurso que temos da tecnologia que temos que saber aproveitar cada

vez mais para poder dar celeridade a esse processo; relatórios gerenciais, também com esses re-

latórios temos conseguido identificar problemas, resolver situações, estamos trabalhando para

que o sistema cada vez mais possa nos dar esses subsídios; o novo e-MEC, que é uma expectativa

grande, estamos trabalhando, a Daes tem participado, o Inep intensamente, são reuniões todos

os dias, junto com todas as instâncias do MEC para que tenha, o mais rápido possível, o novo sis-

tema eletrônico; a adequação dos novos instrumentos avaliativos, essa é uma responsabilidade

nossa, eu acho que estamos conseguindo dar conta disso, isso é uma grande possibilidade para

que entremos no próximo ano com um novo formato de avaliação.

Adequação dos normativos; estudos qualitativos e quantitativos dos resultados da avalia-

ção in loco. Hoje nós acompanhamos esse processo não é fazendo a leitura dos relatórios

que chegam para nós, repito: nosso relatório de avaliação in loco é um referencial básico

para a Secretaria de Regulação e Supervisão; cabe à avaliação in loco, cabe ao Inep e à

Daes cumprir o que está previsto na lei do SINAES, fazer a avaliação, realizar a avaliação

externa, este é o nosso compromisso. Usar esses resultados já não compete mais ao Inep,

compete à Secretaria de Regulação e Supervisão, então nós não fazemos leitura desses

relatórios para ver a qualidade deles, mas nós fazemos estudos qualitativos e quantitati-

vos para vermos o comportamento dos indicadores, dos critérios de análise, o resultado

das dimensões, esse sim é o nosso papel e temos cumprido e esperamos, com todas essas

possibilidades, cumprir cada vez mais para que possamos, junto com vocês, trabalhar para

que as instituições e os cursos possam conhecer a qualidade com que elas vêm desempe-

nhando o seu papel e, ainda, como um papel muito grande do instrumento, estar sempre

induzindo a melhoria da qualidade. Esse é o papel do Sinaes, esse é o nosso compromisso.

Muito obrigada.

Fala se não é para se orgulhar. É, muito. Os desafios são imensos, há possibilidades, nós sabe-

mos o que nós gostaríamos. Não pensem que nós não estamos atentos às demandas, porque

elas também são nossas. Entretanto, nós temos que ser responsáveis com essas alterações e

temos que nos organizar para atendê-las. Lamentavelmente o mundo não muda à nossa von-

tade e nem à velocidade que nós gostaríamos. Haja vista as próprias instituições.

Mariângela Abrão

97

Quem é o aluno que vocês recebem hoje? É aquele aluno totalmente informatizado, racional, antenado com n tecnologias, e como é a escola que o recebe hoje? Não respondam nem olhem para o coleguinha. Vamos voltar para a palestra. Então quer dizer que a escola está correndo atrás para tentar atender a essa mudança desse tempo em relação à formação. A escola está correndo atrás para aprender a avaliar essa competência desse sujeito que está sendo formado nesse novo mundo e o Inep está tentando se estruturar para se preparar para avaliar também com esse novo olhar. Nós temos também muitas possibilidades, mas vamos falar um pouquinho agora, amarrando os limites e possibilidades enquanto diretoria, enquanto sistema de avaliação. Então, o nosso maior desafio é o tamanho do sistema, o Sinaes é imenso porque o sistema de avaliação federal é imenso. Nós estamos falando de mais de 34.000 cursos, mais de 2.400 insti-tuições, mais de 8 milhões de matrículas, então é um sistema muito grande. A equipe que nós temos é reduzida, e isso não é desculpa. Não é desculpa. Nós temos que dar conta do desafio, missão dada é missão cumprida. Então nós estamos nos estruturando e criando meios para atender esse desafio. O nosso maior problema são os entendimentos equivocados sobre as com-petências da regulação, da avaliação e da supervisão. E não só pelo público externo ao sistema, até pelo público interno do sistema. Existe um entendimento equivocado em relação a isso. Por exemplo: quem tem que calcular indicadores? Quem tem que avaliar?

Cabe ao Inep avaliar, calcular indicadores, propor uma cesta de indicadores, agora, cabe à re-gulação e à supervisão utilizar aquilo que acharem conveniente, cabe à política pública utilizar aquilo que ela se sentir confortável ou achar que atende à sua necessidade, então esse tipo de confusão, de sobreposição acontece tanto internamente quanto externamente. Mais de 50 por cento daquele número enorme das demandas que a professora Sueli anunciou aqui não são demandas da avaliação, e nós atendemos. E nós procuramos respondê-las porque entendemos que a pessoa que está do outro lado não tem necessidade de conhecer a burocracia do sistema, como disse a professora Maria Helena, nem tem necessidade de saber como são divididas as competências internas do sistema MEC, mas metade ou mais dessas demandas não são deman-das da avaliação, são respondidas e atendidas por nós, mas não são demandas da avaliação. A dificuldade em ajustar os tempos técnicos com os tempos políticos, sobre isso eu acho que não preciso nem discorrer.

Quais são as possibilidades? As três coordenações já falaram muitas possibilidades, mas o novo e-MEC vindo aí, isso é maravilhoso para nós, porque nós temos dificuldades técnicas com essa plataforma que dá toda sustentação para a avalição hoje. O trabalho integrado com as secreta-rias do MEC, isso é importantíssimo, se nós realizamos um trabalho que permite dar essa orien-tação a todo o sistema da Educação Superior brasileiro nós precisamos trabalhar de maneira integrada, então essa é uma possibilidade e ela tem sido muito propiciada na atual gestão.

30.10.2018Manhã


98

A estruturação das equipes da DAES, idem. Nós estamos nos organizando e estamos tendo a oportunidade de ter essa estruturação, seja por meio de apoio de equipes externas, seja por meio das secretarias do MEC, mas nós estamos tentando nos organizar para atender a essas de-mandar externas. E a integração entre o trabalho produzido pelas três coordenações com resul-tados consistentes e mais importantes para a sociedade. Nós temos o Enade com o questionário do estudante que me dá todas as percepções desse estudante acerca da sua formação, mas nós temos informações muito semelhantes quando o avaliador in loco vai avaliar aquele curso e ele olha o projeto pedagógico e transmite algumas informações acerca dessa percepção. Nós temos as mesmas informações no questionário do coordenador do curso e nós temos essas informa-ções travestidas às vezes no desempenho do estudante por meio do instrumento da avaliação, ou seja, nós precisamos integrar essas informações e compor uma rede que vá além dessa ava-liação, avaliar por avaliar não serve para nada, é preciso avaliar para promover a melhoria da qualidade, é esse o nosso foco. E, por fim, integrar também os sistemas dentro do próprio Inep, os sistemas da Avaliação, do Cadastro, do Censo e da Educação Básica, nós fizemos um primeiro ensaio com a criação do Sistema Enade, já estamos trabalhando com os indicadores utilizando essas bases, mas nós precisamos fazer com que essas bases efetivamente conversem entre si para que nós tenhamos uma linha histórica de acompanhamento desse estudante e possamos de fato fazer estudos que tragam respostas que a sociedade tanto busca e espera enquanto qua-lidade da Educação Superior brasileira. Muito obrigada e estamos disponíveis para as perguntas.

99

Mesa Redonda 1 - Evolução, benefícios e integração entre avaliação inter-na e externaAlexandre Silvino e Ana Carolina OliveiraDiretoria de Avaliação da Educação Superior/ DAES (Moderadores)

Marion Creutzberg - Avaliadora do BASis

Carlos Almir Monteiro de Holanda - Avaliador do BASis

Carlos Roberto Juliano Longo – Diretor da Associação Brasileira de Educação a Distância/ABED

Dando continuidade à programação científica do Seminário Internacional Avaliação da Educação Superior, houve duas mesas redondas na tarde do primeiro dia de evento, 30 de outubro.

Para serem mediadores dos trabalhos da primeira mesa redonda do dia, foram convidados Alexan-dre Silvino e Ana Carolina Oliveira, ambos da Diretoria de Avaliação da Educação Superior/ DAES.

Como debatedores, foram convidados Marion Creutzberg, Carlos Almir Monteiro de Holanda e Carlos Roberto Juliano Longo.

Ana Carolina Oliveira iniciou os trabalhos se apresentando e anunciando que a mesa iria discutir a avalição institucional, a autoavaliação e a avaliação externa. Alexandre Silvino também se apre-sentou e lembrou que, no presente, há avaliações boas a respeito da relação entre a autoavalia-ção e a avaliação externa e principalmente a influência disso na gestão das instituições, mas que a visão do instrumento de curso é um pouco diferenciada, não está muito bem, está suficiente, e que a visão do olhar institucional pode ser o pano de fundo para os debates da mesa. Os dois mediadores apresentaram os componentes da mesa.

A professora Marion Creutzberg inicia sua fala dizendo que seu olhar é de quem coordena a CTAA (Comissão Técnica de Acompanhamento e de Avaliação), que é por lei a responsável em conduzir os processos de autoavaliação institucional e que o fato de haver transitado pela avalia-ção, estando hoje na CTAA, lhe proporciona ter uma oportunidade ímpar de enxergar a avaliação de vários ângulos. Afirma que o PI está bastante vinculado aos processos de regulação e que talvez haja confusão de papéis entre avaliação, regulação, supervisão acontecendo também no contexto das IES e, por outro lado, uma aproximação bastante grande desses papéis, ou seja, o PI originalmente mais vinculado às questões de regulação, a CTAA responsável pela autoavaliação. Na sua opinião, isso não é algo negativo, pois mostra certamente um avanço na articulação dos papéis, desde que não haja confusão ou substituição dos mesmos. Destacou que vê um cres-

30.10.2018Tarde

Mesa Redonda 1 - 14h30

100

cimento nos relatórios de autoavaliação, mas que não é um crescimento absoluto, já que não acontece em todas as instituições. Há diferenças, dependendo de como a instituição enxerga a autoavaliação. Para ela, isso é determinante nos processos de autoavaliação e a relação desses processos com a avaliação externa na instituição.

Ela afirma que a maior evolução, em temos de instrumento, é o instrumento institucional in-cluindo no Eixo-1 a importância da autoavaliação e da avaliação externa na relação com o plane-jamento. Para ela, o fato de o planejamento precisar de diagnóstico, da gestão precisar de subsí-dios para que se possa de fato avançar no desenvolvimento institucional é antigo, o que é novo é a avaliação como ela é pensada no Sinaes, de efetivamente ser subsídio para o planejamento e a gestão. A professora afirma que é frequente haver instituições com processos de planejamento muito bem estruturados, planejamento estratégico, mas a CTAA está desarticulada da condu-ção do plano estratégico, do plano de desenvolvimento da instituição e conclui afirmando que, para que haja ganhos na instituição, é preciso buscar articulação dos processos de autoavaliação conduzidos pela CTAA com outros processos diagnósticos, com as questões regulatórias, com as questões da avaliação externa.

O professor Carlos Almir Monteiro de Holanda , ao responder à pergunta do mediador Alexan-dre Silvino sobre se ele considera que as IES se apropriam dos resultados das avaliações exter-nas e internas, afirmou que essa é uma pergunta difícil de responder, mas que na sua opinião elas utilizam muito pouco esses resultados e que, embora planejar e avaliar não façam muito parte da nossa cultura, são fundamentos necessários e essenciais para a qualidade da gestão de todo sistema. O Sinaes, para ele, vem para dizer que avaliação é algo contínuo, cíclico, que tanto a autoavaliação, como a avaliação externa, como o Enade fazem parte de um ciclo que se autoalimenta e retroalimenta.

Ele continua sua explanação dizendo que há muitas críticas ao instrumento, de que ele é muito subjetivo, que não avalia o que é preciso ser avaliado, mas que é difícil achar uma métrica num país continental como esse, cheio de assimetrias. Defende que se o instrumento for mudado para algo totalmente objetivo, com métricas definidas, o papel do avaliador vai ser fazer o che-ck-list, e esse, na sua opinião, não deve ser o objetivo, já que o avaliador deve olhar para além do papel, e que é no momento do relatório que ele vai trazer para o sistema as informações necessárias para a melhoria da qualidade.

Ele discorda do posicionamento de que são as Diretrizes Curriculares que induzem a quali-dade. Para ele, o que induz a qualidade é o instrumento de avaliação externa, com todos os instrumentos concatenados.

101

Defende que o banco de avaliadores tem que ser constantemente capacitado, constantemente provocado, e que as ferramentas do Moodle e os Fóruns de discussões ajudam nesse sentido, mas que a participação de cada um dos avaliadores tem que ser feita com mais intensidade, com o objetivo de diminuir os olhares heterogêneos da comissão.

Segue íntegra das falas dos participantes.

Boa tarde a todos e todas, presentes e a distância, estávamos ali comentando que esta hora é ingrata. É a hora em que eu nunca me coloco em palestra de capacitação, depois do almoço, mas esperamos que em vez de dar sono nós tiremos um pouco do sono de vocês, vamos ver se conseguimos fazer esse desafio. Eu e o Alexandre vamos moderar a mesa, vamos apresentar os participantes e vamos também nos apresentar. Meu nome é Ana Carolina, eu sou conhecida como Carol, sou servidora concursada desde 2009 e antes de assumir me foi dito, recomen-dado, que eu não fosse para a DAES, que não escolhesse a DAES porque lá se trabalha muito, mas eu fui pinçada e fui cair na DAES. Confesso que não tenho a menor ideia se as outras diretorias trabalham tanto quanto nós, porque não dá tempo para saber o que as outras dire-torias trabalham, mas tive o privilégio, eu, Rogério, Fabiano e Rodrigo de cairmos na Avaliação Geral de Coordenação de Cursos e Institucional. Desde lá nós vimos trabalhando e, verdade ou não, estamos tomando os nossos feriados e fim de semana, mas é com muito gosto. Eu venho da Educação Infantil, mas foi muito fácil eu ser conquistada pela Educação Superior, por dois motivos: um porque eu sou filha de professores universitários e em segundo lugar porque fui cair em uma mesa bem pertinho da nossa coordenadora atual, a Sueli. Com ela eu aprendi muita coisa, continuo aprendendo, e vimos desenvolvendo esse trabalho de capacitação, de instrumento, tratando todas as questões pedagógicas da coordenação. Atualmente eu estou como coordenadora pedagógica, fiz meu mestrado tanto na Cesgranrio quanto na própria coordenação e meu tema de estudo e minha paixão sempre foi avalição institucional, por isso eu estou aqui, e vamos discutir a avalição institucional, a autoavaliação e a avaliação externa. Eu passo a palavra para o Alexandre, que vai se apresentar também.

Boa tarde a todos e todas, boa tarde às pessoas que nos assistem remotamente. A nossa mesa tem como título Evolução, benefícios e integração entre avaliação interna e externa. Eu recebi com muito bom grado a tarefa que a professora Sueli nos colocou, de conduzir esta mesa, em função do que acreditamos com relação ao Sinaes, do que acreditamos em relação à avaliação da Educação Superior brasileira. Fui, durante praticamente toda a minha vida profissional, pro-fessor e gestor de instituição de Educação Superior, tanto na CPA quanto na gestão da qualidade. Quando passei no concurso para o Inep, em 2015, fui direto para a DAES. Eu já era avaliador institucional, fui inclusive capacitado pela Carol, em 2010 já atuando como avaliador. Então eu


Alexandre Silvino

30.10.2018Tarde


102

fico muito à vontade de estar nesta mesa com as pessoas que ela compõe. Eu gostaria de chamar atenção, antes de fazer a leitura do currículo dos convidados, para uma fala que tem sido recor-rente em alguns locais em que participamos, da ausência que temos de utilizar os dados que produzimos. Essa não é uma verdade, nós nos debruçamos bastante, não nos instrumentos, não só para a sua confecção, em breve vocês terão notícias disso, mas também para a compreensão de como está o instrumento hoje para que possamos produzir um instrumento mais confiável e que realmente meça aquilo que gostaríamos que ele medisse, sempre amparado pela lei do Sinaes. Hoje, os nossos dois instrumentos, o instrumento institucional e o instrumento de curso, nós temos avaliações boas com relação à relação entre a autoavaliação e a avaliação externa e principalmente a influência disso na gestão das instituições. No instrumento institucional, todo o Eixo 1, composto por cinco indicadores, traz que a avaliação institucional, considerando o re-sultado das avaliações, é muito boa; o processo de autoavaliação atende muito bem às necessi-dades e é utilizado como instrumento de gestão; a autoavaliação conta com a participação muito boa de todos os segmentos da comunidade acadêmica e a divulgação dos resultados ocorre muito bem nas IES; os relatórios apresentam análises, reflexões, proposições e subsidiam muito bem planejamento e ações dos gestores institucionais. A visão do instrumento de curso é um pouco diferenciada, ela não está no muito bem, ela está no suficiente. Então existe aí uma visão de curso diferenciada do que é a visão que o olhar institucional nos dá e isso acaba sendo o pano de fundo que os nossos debatedores podem aproveitar nas suas falas.

Eu vou apresentar primeiro o professor Carlos Almir Monteiro de Holanda. O professor Carlos Almir foi coordenador do curso de Engenharia Mecânica em dois mandatos, responsável pela reforma do projeto pedagógico do curso de 2003 a 2006; foi responsável, na sequência, pelo projeto pedagógico que criou o curso de Engenharia Metalúrgica e primeiro coordenador do curso em questão, de 2006 a 2009; foi chefe de departamento de Engenharia Metalúrgica e de Materiais de 2009 a 2011; foi coordenador de extensão de 2011 a 2015; hoje é diretor do Centro de Tecnologia, é presidente do Fórum de Coordenadores da Graduação; diretor-adjunto de ensino; foi pró-reitor adjunto de extensão; membro dos três conselhos superiores da UFC e presidente da Fundação Astef, fundação de apoio à UFC de 2007 a 2014.

O professor Carlos Longo, até brinquei com ele que vai ter alguma coisa aqui em inglês, e eu tive que passar o final de semana tentando ensaiar o currículo dele para não errar na pronúncia, mas o pro-fessor Carlos Longo é Ph.D. em Gestão de Negócios pela Universidade de Newcastle, na Inglaterra; diretor da ABED; professor titular e pró-reitor acadêmico da Universidade Positivo; responsável pela implementação das políticas e estratégicas acadêmicas dos cursos de graduação e pós-graduação nas modalidades presencial, híbrido e a distância; foi diretor nacional de EaD da Lawrence University International no Brasil; vice-presidente sênior de educação a distância da Whitney International Uni-

103

versity System, com sede em Dallas/ USA; foi diretor do FGV Online e sob sua liderança o FGV Online transformou-se em um dos mais prestigiados programas de ensino a distância no Brasil; participa como membro do Comitê de Especialistas do NMC Horizon Projects sobre as tendências tecnológicas no Ensino Superior brasileiro; representa a Abed em comissões do Inep, SERES e CNE para a defini-ção de matrizes do marco regulatório da educação a distância desde 2012; atuou como avaliador do Inep pela extinta CEED como membro de equipe de avalição de qualidade em IES em processo de supervisão; autor de vários artigos em periódicos nacionais e internacionais, coautor em três livros na área de educação a distância, sendo um deles agraciado com o prêmio Jabuti. Em novembro de 2007, o Instituto IPAE, no Rio de Janeiro, agraciou o professor Carlos Longo com o prêmio Destaque em Educação na modalidade de Educação a Distância. Eu vou passar a palavra para a Carol, que vai apresentar a professora Marion e daremos início ao debate.

Bom, eu tenho a honra de apresentar a professora Marion Creutzberg, que possui graduação em Enfermagem pela Unisinos; licenciatura em Enfermagem também na Unisinos; mestrado em Enfermagem pela Universidade Federal do Rio Grande do Sul e doutorado em Gerontologia Bio-médica pela PUC do Rio Grande do Sul. MBA em Gestão de IES pela PUC, com um módulo inter-nacional na Finlândia; é professora-titular da Faculdade de Enfermagem, Nutrição e Fisioterapia da PUC do Rio Grande do Sul; coordenadora da Comissão Própria de Avaliação e procuradora educacional institucional. É membro da Comissão Técnica de Acompanhamento e de Avaliação, todo mês está lá conosco, CTAA; desenvolve estudos em avaliação da Educação Superior, avalia-ção institucional do contexto Sinaes, avaliação e qualificação de formação em saúde, avaliação interna e externa como ferramenta de gestão institucional.

Deixa eu só fazer um complemento de uma parte importante do currículo do professor Carlos Almir, o professor Carlos Almir é avaliador do BASis e também é membro da CTA, então tem uma visão bas-tante privilegiada com relação ao que vamos discutir.

Bom, antes dos Sinaes nós tivemos algumas experiências de avaliação da Educação Superior. Umas mais exitosas do que a outra, mas com certeza o PAIUB foi um marco na experiência de autoavaliação institucional. Foi ele que na realidade trouxe para nosso sistema avaliativo a ques-tão da autoavaliação. Dentro do Sinaes, o tripé está colocado claramente, avaliação institucional, curso e de desempenho do estudante, mas já lá atrás, em 2006, logo depois de ser instituído, documentos afirmam que a autoavaliação seria o ponto de partida, um dos instrumentos cons-tituídos para o processo global de regulação e avaliação. Durante todos esses anos, o que temos escutado é que a CTAA é um gasto de papel e isso é um desafio e a nossa primeira questão desta mesa. Eu peço que a professora Marion comece nos dizendo se isso é realidade e como o Inep tem conduzido essa questão, por favor.



Alexandre Silvino

30.10.2018Tarde


104

Obrigada Carol, quero agradecer muito o convite de estar junto com os colegas desta mesa com toda sua trajetória, experiência e contribuição na Educação Superior na avaliação. O meu olhar aqui é um olhar de quem coordena CTAA, Avaliação Institucional há dez anos e também como vocês viram, transitou do outro lado como avaliadora e agora na CTAA eu diria que é uma oportunidade ímpar de enxergar a avaliação de vários ângulos. Não preciso dizer que como co-ordenadora há dez anos me incomodaria muito alguém me dizer que eu só gastei papel. Mas eu queria antes de comentar isso perguntar quem aqui é coordenador de CTAA? Temos alguns, que bom, temos um grupo. Quem integra a CTAA mesmo não sendo coordenador? Mais alguns. Te-mos talvez umas vinte pessoas que levantaram a mão. Quem aqui é PI? Um número maior, pelo visto aqui, ou pelo menos idêntico. Isso já traz um sintoma daquilo que a Carol traz aqui. A CTAA é por lei a responsável em conduzir os processos de autoavaliação institucional. O PI está bastan-te vinculado aos processos de regulação. Talvez tenhamos, assim como hoje de manhã a Sueli fa-lava, a confusão de papéis entre avaliação, regulação, supervisão acontecendo também no con-texto das IES e, por outro lado, uma aproximação bastante grande desses papéis, quer dizer, o PI originalmente mais vinculado às questões de regulação, a CTAA responsável pela autoavaliação e, no entanto, hoje se percebe muitas vezes, eu sou um exemplo desses, desde agosto sou tam-bém PI, acumular os papéis ou, no mínimo, estar muito próximo na organização da IES. Então eu diria que isso não é algo negativo, pelo contrário, mostra certamente um avanço na articulação dos papéis, desde que nós não os confundamos ou não os substituamos. Na CTAA muitas vezes percebemos um preenchimento de formulário com o olhar mais regulatório e provavelmente de um PI não tão conhecedor dos processos avaliativos que mostra em alguns momentos esse afastamento da CTAA nos processos que envolvem avaliação. Ao conversar com alguns colegas coordenadores de CTAA, antes deste Seminário, houve um pouco essa manifestação, um certo sentimento de que o papel do PI está sendo mais requisitado do que o coordenador ou as CTAAs, seja na interlocução mesmo, direta, com o Inep ou até mesmo em possibilidades de capacitação em contato contínuo e talvez esse também seja o fato dessa aproximação maior de PIs e CTAAs, é uma busca ampla de conhecimento desses processos de avaliação que subsidiam a regulação e que por outro lado se articulam também na instituição. Eu diria que talvez nas instituições em que a CTAA continua isolada dos processos de gestão e dos processos de regulação eventual-mente ela é um papel figurativo, mas onde vemos esses processos articulados, não necessaria-mente juntos no mesmo setor, nós, com certeza, vamos observar que houve avanços, que houve evolução do início do Sinaes até agora. Essa evolução pode ser pequena aos olhos de algumas pessoas, mas é importante nos lembrarmos de que o Sinaes, propriamente dito, tem 13 anos, ou seja, é ainda um adolescente buscando em determinados momentos a sua afirmação.

Entre limites e possibilidades que vimos hoje de manhã trazidos pela Daes, as outras dimensões da avaliação também se encontram nessa tensão permanente entre limites e possibilidades.

Marion Creutzberg

105

O que eu posso dizer, tendo participado em 2009 do primeiro estudo a partir dos relatórios de autoavaliação feitos pelas CTAAs naquele período antes de 2009, e o que vejo hoje de relatórios de autoavaliação quando os analiso em recursos da CTAA, e o que eu percebia nos últimos anos como avaliadora, é que nós tivemos um crescimento, uma evolução substancial nisso, mas eu diria que não é de forma absoluta. Não dá para dizer que isso acontece em todas as instituições, sejam elas públicas, privadas comunitárias, privadas. Nós vamos ter diferenças, dependendo de como a instituição enxerga a autoavaliação, então essa fala de que tudo começa na autoavalia-ção, eu acredito muito nela e ela é que determina o tamanho dos processos de autoavaliação e a relação desses com a avaliação externa na instituição. Se eu efetivamente não acredito na autoavaliação ou na avaliação como tal e só faço para o Inep ver, ela, com certeza, não tem o seu valor, mas se eu acredito e invisto em processos avaliativos internos, articulados com a avaliação externa, certamente eu tenho IES se desenvolvendo a partir da autoavaliação. Nós temos muitas IES, como se falava antes, desde o tempo do PAIUB, muito antes disso, que já tinham órgãos internos semelhantes ao que é hoje a CTAA e que há 30 ou 40 anos experimentam e têm, em seus pressupostos institucionais, a necessidade da autoavaliação contínua e permanente para a qualificação. Eu gosto sempre de lembrar de uma citação de um documento do CRUB - Conselho de Reitores das Universidades Brasileiras - de 2002. Ele começa dizendo assim: “O sucesso de uma instituição está intimamente relacionado com a sua capacidade de autopercepção” e isso é assim, quer dizer, à medida que eu me percebo entre limites e possibilidades da Educação Superior eu assumo ou não buscar a qualificação permanente. Se eu me contento com o que eu oferto, eu fico estagnado, então essa fala de que a CTAA está para gastar papel pode ser real nas instituições que não enxergam a avaliação como aquele processo que mobiliza para a quali-ficação permanente da IES, certamente. Então eu diria que aquilo que se prevê permite avanços importantes na Educação Superior. Eu diria que o maior ganho, a evolução que se vê em termos de instrumentos, por exemplo, é o instrumento institucional incluindo no Eixo-1 a importância da autoavaliação e da avaliação externa na relação com o planejamento. Que o planejamento precisa de diagnóstico, que a gestão precisa de subsídios para que possa de fato avançar no seu desenvolvimento institucional, isso é antigo, não é uma fala nova, mas a avaliação como ela é pensada no Sinaes, efetivamente ser subsídio para planejamento e gestão, isso é algo bem mais novo. Que os gestores enxerguem no papel da CTAA não somente um gasto de papel, investimento, carga horária, tecnologia e sim como ferramenta para fazer a gestão, isso é mais novo. Muitas vezes vemos instituições com processos de planejamento muito bem estruturados, planejamento estratégico, e a CTAA está lá em outro setor, não tem articulação nenhuma com essa condução do plano estratégico, o plano de desenvolvimento da instituição, aí realmente é dinheiro jogado fora, agora, se eu busco articulação dos processos de autoavaliação conduzidos pela CTAA, de outros processos diagnósticos, das questões regulatórias, das questões de avalia-ção externa eu, sem dúvida, terei muitos ganhos na instituição. Então eu vou deixar por aqui

30.10.2018Tarde


106

por enquanto, mas eu diria que é de decisão da instituição se o CTAA vai ser gasto de papel ou se ela vai ser estratégica.

Boa tarde a todos, quero agradecer o convite de um tema tão pulsante e uma plateia tão seleta. Difícil responder. Na realidade eu entendo que ela utiliza, mas muito pouco. A cultura avaliativa, já foi falado aqui, mas alguém também falou em planejar, planejar e avaliar não fazem muito par-te da nossa cultura, eu diria que são fundamentos necessários e essenciais para a qualidade de toda a gestão de todo sistema. Eu acho que o Sinaes vem num momento para dizer que avaliação é algo contínuo, cíclico. Falou-se aqui da avaliação como ponto de partida e eu pergunto: qual seria o ponto de chegada? Não tem, eu acho que é algo contínuo e constante a autoavaliação, a avaliação externa, o ENADE, todo ciclo se autoalimenta e retroalimenta. Eu noto as instituições e vou falar um pouco da experiência da minha gestão como diretoria de uma unidade acadêmica, nós procuramos nos alimentar dos dados tanto da autoavaliação quanto do ENADE e ao olhar para a avaliação externa na realidade entra aquela questão: avaliação, qualidade ou regulação. Vamos abrir a nossa casa para uma pessoa, para uma visita de fora observar nossos processos, observar como nosso curso está situado, os processos internos, como nossa instituição está bem postada, ou não, e essencialmente todas as IES arrumam a casa para receber, é natural, e o olhar do avaliador, e aí copiando minha amiga Marion, quem daqui é avaliador institucional ou de cur-so? Temos poucos. E qual é nosso papel enquanto avaliadores? Nós escutamos muitas reclama-ções sobre o instrumento, o instrumento é um tanto quanto subjetivo, o instrumento não está avaliando o que deve ser avaliado, mas entendam que como avaliar, como achar uma métrica num país continental como esse cheio de assimetrias? Óbvio que quando estou falando que a avaliação é algo constante, o instrumento também é algo mutatis mutandis, não é uma coisa acabada, mas com o que temos certamente conseguimos absorver, entender e transmitir para o sistema geral aquela visão, eu estou falando de avaliação, deixa a regulação andar em paralelo, o nosso objetivo enquanto avaliador é pensar no processo de melhoria. Veja, se mudamos o instrumento e o transformamos em algo totalmente objetivo, com métricas definidas, o papel do avaliador vai ser fazer o check-list e acho que esse não deve ser o objetivo. O avaliador tem que ter um olhar para além do papel, ele tem que entender a IES arrumada, bem preparada para receber a comissão, mas o avaliador tem que ter essa visão para além do que está no papel, eu acho que é nesse momento do relatório que ele vai trazer para o sistema as informações neces-sárias para a melhoria da qualidade.

Eu já comentei em outras mesas, fala-se que as Diretrizes Curriculares são o indutor da quali-dade. Eu discordo, porque eu acho que elas têm um papel fundamental no planejamento dos cursos, dos projetos pedagógicos dos cursos, mas fundamentalmente aquele instrumento que vai buscar e vai induzir a qualidade é o instrumento de avaliação externa, aliás todos os instru-

Carlos Almir Monteiro de

Holanda

107

mentos concatenados. Pela dimensão do nosso país e pela assimetria que existe nos tipos de IES, nos recantos, nas grandes cidades, nas pequenas cidades, esse desafio se torna realmente complexo, mas eu desconheço outra ferramenta com mais poder de atingir os quatro cantos do país quanto o instrumento externo. Mais uma vez a IES, o curso, se prepara para mostrar uma coisa que de repente não é o que se faz no dia a dia, e o avaliador tem que ter essa percepção e esse olhar diferenciado, não como mero preenchedor de lista, então esse papel é fundamental e aí entendo que, eu sinto falta quando houve uma mudança na composição da comissão para IES, que dá aquela heterogeneidade necessária para a comissão, aquele olhar um pouco mais amplo, ter dois avaliadores de regiões diferentes, que são de instituições diferentes, privada, pública, comunitária, enfim, ter um olhar um pouco mais amplo, um pouco mais abrangente, eu acho que isso é importante no papel da avaliação externa. Olhar a comissão chegar sem o preconcei-to do que é o que deve ser cada IES, respeitar as diferenças, respeitar as singularidades, então eu acho que é um desafio que ainda precisa ser tratado. Quanto ao instrumento, ele não pode ser tão objetivo, tem que deixar um pouco da subjetividade, mas ao mesmo tempo o banco de avaliadores tem que ser constantemente capacitado, constantemente provocado, eu acho que eu passei, logo no meu início, eu sou avaliador desde 2006, as minhas primeiras avaliações eram uma briga interna muito grande para tentar entender, para tentar compreender o sistema e ten-tar avaliar da forma mais distante possível da minha realidade, da minha IES, mas não é fácil. Os avaliadores que estão aqui sabem da nossa dificuldade. Então eu acho que com as ferramentas do Moodle nós temos que ser provocados com mais intensidade. Os Fóruns de discussões, eu acho que têm que ser mais provocados, e a participação de cada um dos avaliadores tem que ser feita com mais intensidade, só assim diminuímos esses olhares tão heterogêneos da comis-são. Eu acho que essa provocação eu deixo para o público fazer como a Marion, eu acho que a provocação vai servir para que possamos debater. Eu paro por aqui para termos tempo para conversar depois. Obrigado.

30.10.2018Tarde


108

Seguem os slides das apresentações

109

30.10.2018Tarde


111

30.10.2018Tarde


113

30.10.2018Tarde


114

Mesa Redonda 2 - Participação do Inep em ações internacionais ARCU-SUL; RIACES - Projetos de CooperaçãoRogério Dentello - Diretoria de Avaliação da Educação Superior/DAES (Moderador)

Anna Pérez – Agência Brasileira de Cooperação/Itamaraty

Raúl Aguilera Mendéz – RIACES/ Paraguai

Dando continuidade à programação científica do Seminário Internacional Avaliação da Educação Superior, a segunda mesa teve como mediador dos trabalhos Rogério Dentello, da Diretoria de Avaliação da Educação Superior/DAES. Como debatedores, foram convidados Anna Pérez, da Agência Brasileira de Cooperação/Itamaraty e Raúl Aguilera Mendéz, da RIACES/Paraguai. A con-vidada Marcela Groppo, da CONEAU/Argentina, não pôde comparecer.

Rogério Dentello abriu os trabalhos da mesa apresentando os palestrantes e iniciando com uma pergunta à Anna Pérez: Há quanto tempo a ABC atua, qual a sua principal contribuição com o de-senvolvimento e, dentre os projetos que acompanhou, você poderia falar sobre as ações de que o Inep participou em Cabo Verde e São Tomé e Príncipe?

Anna Pérez inicia se apresentando e dizendo que não é da área de avaliação, e sim de uma agência que trabalha especificamente o tema Cooperação Técnica Internacional, a Agência Brasileira de Co-operação - ABC, que tem como objetivo atuar diretamente para o desenvolvimento de programas e projetos de cooperação técnica internacional, com o foco de colaborar para o desenvolvimento de capacidades para o fortalecimento institucional.

A ABC trabalha em dois aspectos em termos de cooperação: a cooperação que o Brasil recebe e a cooperação que o Brasil presta. É um departamento do Ministério das Relações Exteriores que tem um papel fundamental na questão da política externa do Brasil, já que atende a um prin-cípio da Constituição Federal que diz que as relações internacionais, no Brasil, são regidas pelo princípio da cooperação entre as nações para o progresso da humanidade. A ABC tem parcerias com vários órgãos do governo em muitas áreas, como saúde, educação, etc. Ela atua baseada em alguns princípios da cooperação técnica Sul-Sul, como autonomia, horizontalidade, benefícios mútuos, respeito à soberania.

Quanto à parceria com o Inep, informa que, no momento do Seminário, estava acompanhando dois projetos, um em Cabo Verde e o outro em São Tomé e Príncipe, que são dois países africa-nos que solicitaram ao Brasil que compartilhasse com eles a expertise da avaliação do Educação Superior, já que eles não têm essa experiência, nunca desenvolveram autonomamente um pro-

115

cesso de avaliação. Em Cabo Verde a ABC já desenvolveu, juntamente com o Inep, um projeto de cooperação e São Tomé, vendo o processo em Cabo Verde, também se interessou em ter essa parceria que ainda estava, à época do Seminário, em fase de negociação. Ela fala também sobre os desafios de montar um sistema nacional de avaliação em uma realidade tão diferente da reali-dade do Brasil, em países tão pequenos, e finaliza dizendo que a ABC atua em inúmeros projetos para o desenvolvimento, sendo a educação um dos Objetivos de Desenvolvimento Sustentável, o quarto objetivo, com o qual a ABC contribui, juntamente com o objetivo décimo sétimo, que são as parcerias para o fortalecimento do alcance desses objetivos.

Rogério Dentello, ao dar continuidade ao trabalho, passa para o tema RIACES, que é uma rede da qual o Inep já faz parte, há vários anos, e informa que desde o início de 2017 o doutor Raúl Aguilera Mendéz é o presidente da Rede. Ele solicita ao doutor Raúl que fale um pouco sobre os membros da RIACES, pergunta se a rede é integrada por todos os países da América Latina e, por último, pede que o palestrante fale sobre os objetivos da Rede.

Raúl Aguilera inicia sua exposição em português e continua em guarani, explicando que o motivo é que, nas exposições dos palestrantes do Seminário, a palavra qualidade esteve muito presente e que no Paraguai é impossível falar de qualidade sem levar em conta a língua guarani, que é a língua oficial. Respondendo às questões colocadas pelo mediador, disse que há duas razões políticas da sua presença no Seminário.

A primeira é que o Inep é um dos membros mais ativos da Rede Ibero-americana da Segurança de Qualidade da Educação Superior. A segunda é que a presidência anterior da RIACES pertenceu ao Brasil e o Brasil conduziu a RIACES da melhor forma, mesmo em uma época de turbulências e instabilidades institucionais.

Ele afirma que quando a RIACES nasceu, o objetivo era criar um espaço de cooperação e de in-tercâmbio permanente entre as entidades dedicadas a fazer a avaliação e a acreditação e não era possível ter apenas o setor educativo do Mercosul, que já tinha uma instância orgânica chamada RANA (Rede de Agências Nacionais de Acreditação), os países quiseram sair do contexto do Mer-cosul e ir até a América Central, Caribe e Cuba, chegar ao Norte com o México e inclusive ir até a Europa, com a participação da Espanha, nessa primeira etapa. Informa os países que compõem a RIACES (16 países) são muito heterogêneos, há uns que têm tido muito avanço, como no caso do Brasil, e outros que ainda não têm agência para a acreditação, como é o caso do Uruguai, e que essa heterogeneidade proporciona uma riqueza muito grande que ajuda a RIACES a se constituir como um espaço de cooperação para que as pessoas e as instituições possam crescer juntas e aprender mutuamente com as boas práticas e experiências de todos.

30.10.2018Tarde


116

A seguir, o mediador, Rogério Dentello, informa que vai falar um pouco sobre a RANA, a Rede de Agências Nacionais de Acreditação, já que a professora Marcela Groppo, que iria falar sobre esse tema, não pôde comparecer. Informa que a RANA nasceu dentro do setor educacional do Merco-sul e se desenvolveu difundindo-se nas áreas específicas. Ela faz parte do Comitê para a Educação Superior e todos os seus membros têm voz e decisão.

A RANA gerencia o Sistema ARCU-SUL, que é um sistema de avaliação e acreditação da Educação Superior que envolve todos os países membros, no caso os países do Mercosul, Brasil, Argenti-na, Paraguai e Uruguai, mais os Estados associados, Chile, Bolívia, Equador e Colômbia. Envolve também o Peru, que não tem participado nos últimos anos, mas que, no momento do Seminário, estava na iminência de voltar a participar do ARCU-SUL. Explica que a RANA é um sistema simi-lar ao Sinaes: tem um banco de avaliadores, há capacitação para os avaliadores, instrumentos de avaliação e afere a qualidade dos cursos segundo critérios estabelecidos, construídos com a cola-boração de acadêmicos de todos os países membros, avaliando cursos, não avaliando instituições. Ele afirma que, atualmente, dez áreas são contempladas no ARCU-SUL, e para cada uma dessas áreas há um instrumento específico. Explica como é a construção dos instrumentos e que existem características globais, exigências genéricas do Sistema e existem as particularidades de cada país. Fala sobre a composição da comissão de avaliadores e os benefícios trazidos pelo ARCU-SUL, como a internacionalização das instituições e a mobilidade acadêmica, já que os cursos acreditados pelo ARCU-SUL possibilitam a mobilidade tanto de estudantes como de docentes para outros cursos em outros países. Fala também sobre a RANA, que é uma rede de agências que se reúne com representantes de todos os países, uma vez por semestre, de acordo com o cronograma da presi-dência pro tempore do Mercosul.

A RANA não tem presidência nem tesouraria, mas tem uma única instância, que é a secretaria, que tem o objetivo de organizar, manter atualizados os dados e os documentos e também ajudar os membros a cumprir aquilo que foi estipulado nas reuniões, e que é o Brasil, é o Inep que detém essa secretaria por mais dois anos, até 2019, e que há, no Inep, diversas ações relacionadas à se-cretaria da RANA, inclusive o Banco de Avaliadores, tendo sido construído um módulo eletrônico para o cadastro dos avaliadores no Inep.

Sobre os benefícios da participação do Inep nessa rede, ele cita:

1) há uma troca de experiência muito intensa entre os avaliadores de países diferentes;

2) as visitas que os técnicos fizeram às instituições deram a eles uma visão muito mais ampla dos procedimentos;

117

3) houve benefícios também para os cursos avaliados, porque o sistema do ARCU-SUL tem como base a autoavaliação do próprio curso, então os cursos que participaram do processo tiveram que fazer uma autoavaliação profunda e isso gerou relatórios sobre os pontos positivos e que precisavam de melhoria, o que começou a gerar insumos para a própria gestão da instituição.

Rogério Dentello encerrou os trabalhos da Mesa, agradecendo a presença de todos.

Segue a íntegra das apresentações de todos os convidados para a mesa redonda.

Ok, boa tarde a todos e todas, meu nome é Anna Pérez, trabalho na Agência Brasileira de Coope-ração, vou fazer uma rápida apresentação, porque talvez do público presente eu devo ser a que mais destoa em termos de área, a minha área especificamente não é avaliação, não sou de órgão direto de avaliação, não sou de IES, sou da parte do governo, de uma agência que trabalha especi-ficamente o tema Cooperação Técnica Internacional. A Agência Brasileira de Cooperação atua há uns 30 anos, é de 1987, neste ano nós fizemos um evento dos 30anos da ABC, ela trabalha dire-tamente para o desenvolvimento de programas e projetos de cooperação técnica internacional, entendendo aí cooperação técnica internacional no foco de colaborar para o desenvolvimento de capacidades para o fortalecimento institucional. No caso da Agência Brasileira de Coopera-ção, ela trabalha com o foco principalmente nas instituições de governo, a ABC trabalha em dois aspectos em termos de cooperação, em duas vias, vamos dizer assim, a cooperação que o Brasil recebe e a cooperação que o Brasil presta. A ABC é a agência - apesar de ter o nome de agência ela é um departamento do Ministério das Relações Exteriores que tem um papel fundamental na questão da política externa do Brasil – que atende a um princípio da Constituição Federal que diz que no Brasil as suas relações internacionais são regidas pelo princípio da cooperação entre as nações para o progresso da humanidade. Então há um preceito da Constituição que é atendido e no caso é a ABC que faz a coordenação, que faz a negociação, muitas vezes financia, mas mesmo que seja ela diretamente que financia é ela que coordena, que acompanha, que monitora as ações de cooperação técnica internacional, tanto as que o Brasil recebe quanto as que o Brasil presta. A ABC tem atuado já ao longo de 30 anos, quem tiver mais interesse, tem uma página no Facebook da Agência Brasileira de Cooperação, é só procurar lá a Agência Brasileira de Co-operação, tem um vídeo institucional, que vai ser possível passar aqui, que resume várias das ações que a ABC leva e coordena com diversas instituições brasileiras. Nós temos parcerias com o Ministério da Educação, o Ministério da Saúde, o Ministério do Desenvolvimento Agrário, o Ministério das Cidades, Embrapa, Inep, Banco Central, então é uma diversidade de áreas e temas em que a ABC vai coordenando projetos e que traz, a mim pessoalmente como profissional, um grande aprendizado, porque você acaba tendo uma percepção ao coordenar projetos em dife-rentes áreas, educação, saúde, seja Banco Central, seja fortalecimento de ações de segurança,

Anna Pérez

30.10.2018Tarde


118

justiça, então aí você vai acompanhar algo do Ministério Público, do Ministério da Justiça, da Po-lícia, e acaba tendo uma visão bastante ampla do desenvolvimento de políticas públicas, conhe-ce-se diversos parceiros, os nossos parceiros nacionais são as instituições brasileiras nacionais que realmente executam, a ABC não é uma executora das ações, ela é uma coordenadora, quem executa são as instituições que detêm a expertise para tanto. Resumindo, essas são as ações e esse é o papel da Agência Brasileira de Cooperação, ela atua baseada em alguns princípios da cooperação técnica Sul-Sul, os princípios de autonomia, de horizontalidade, de benefícios mú-tuos, de respeito à soberania, de não imposição de condicionalidades e isso significa respeitar a autonomia do país com o qual estabelecemos a cooperação, a soberania dele nos seus assuntos internos, não impor condições para cooperar com esse país, “Ah, você tem que comprar tal coisa de mim, ou você tem que ter tal princípio para poder cooperar comigo”, não, na ABC o princípio de cooperação é de não imposição de condicionalidades, a valorização do conhecimento local, reconhecendo que o país que demanda, muitas vezes a cooperação do Brasil é com um país que detém conhecimento, não é uma tábula rasa que vem atrás nos procurar, então você tem que também apreender essa realidade, tentar conhecer essa realidade para tentar conhecer em que, dentro dessa realidade, você vai poder colaborar, esse é um princípio, e o desenvolvimento de capacidades. Esse é o nosso principal foco de trabalho e quando temos um parceiro como o Inep, no sentido prático, um país, e aí entrando na segunda pergunta que o Rogério fez, de desen-volvimento de projetos, eu acompanhei com o Inep dois, estou acompanhando, um com Cabo Verde e o outro é com São Tomé e Príncipe. Cabo Verde e São Tomé e Príncipe são dois países africanos, são duas ilhas, na realidade Cabo Verde é um arquipélago de dez ilhas, e São Tomé e Príncipe são duas ilhas. Então são dois países, na costa ocidental africana, um mais para o Norte, outro bem na linha do Equador, São Tomé também é na linha do Equador, no caso esses países viram no Brasil uma experiência interessante em termos de avaliação da Educação Superior e solicitaram ao Brasil que compartilhasse com eles essa expertise, esse conhecimento, e aqui, algo muito interessante e específico é que esses países não têm essa experiência, ou seja, Cabo Verde e São Tomé e Príncipe nunca desenvolveram autonomamente um processo de avaliação, então eles solicitam ao Brasil e isso é muito característico e pontual da cooperação brasileira, que é desenvolver capacidades locais das pessoas serem autônomas, e aí estamos retomando os princípios que eu coloquei, delas terem uma autonomia de saber fazer aquela coisa, não é? Então eles nos procuram, o governo caboverdeano, por meio do seu Ministério da Educação, e também o são-tomense, procurou o governo brasileiro solicitando se o Brasil poderia prestar a eles uma cooperação nessa área para que eles pudessem desenvolver capacidades internas para construir o seu próprio sistema de avaliação. Nós já encerramos um projeto que tínhamos com Cabo Verde, que se iniciou em 2012, se eu não me engano, e esse projeto foi muito inovador para o país, porque até então - não que não houvesse avaliação no país – mas a avaliação era por meio de consultorias contratadas, e essas consultorias em geral são consultores europeus,

119

preferencialmente portugueses, até por causa da questão da língua e pela proximidade que esses países historicamente têm com Portugal, que são ex-colônias portuguesas, e esses países contratam esses consultores que fazem todo o trabalho de avaliação.

Eles têm um trabalho de avaliação, mas eles não desenvolvem a sua capacidade local de saber fazer esse trabalho de avaliação, daí entrou a cooperação brasileira, de desenvolver essas ca-pacidades em Cabo Verde para que eles pudessem autonomamente saber quais os passos que eles tinham que seguir para chegar a montar esse sistema nacional. Nós chegamos em Cabo Verde e conseguimos avançar em vários pontos, não em todos os pontos que estavam proje-tados dentro do projeto, dadas algumas peculiaridades do processo de cooperação internacio-nal. São dois governos, dois países, culturas diferentes, tempos diferentes, trabalhamos sem-pre com servidores, pessoas que têm, no Brasil, no caso nós não contratamos, o Inep é o nosso parceiro, e são as pessoas que têm as suas dedicações, dentro do Inep, que acrescen-tam a esse trabalho outro trabalho, que é o de levar esse conhecimento a Cabo Verde e isso, muitas vezes, cria diferenças e dificuldades de execução de cronograma, dentro do prazo que estipulamos, não apenas do lado do Brasil, mas também do lado de Cabo Verde houve alguns adiamentos e esse transcurso, tendo ficado muito longo o tempo de execução do projeto, houve mudança governamental em Cabo Verde que mudou também as prioridades e ao mu-dar as prioridades o projeto acabou sendo encerrado sem finalizar e completar todo o seu processo. Mas houve um grande avanço, dentro do projeto foram feitas capacitações de ava-liadores, foi construído um banco de avaliadores, coisa que não existia, foram feitos instru-mentos, portarias, diretrizes, 39 avaliadores foram capacitados, foram realizadas avaliações institucionais em duas fases, no caso de Cabo Verde o país tem dez instituições de Ensino Su-perior e nove delas participaram da avaliação. No caso de São Tomé e Príncipe, o processo está começando agora, então São Tomé, inclusive, ao ver a experiência - São Tomé e Príncipe é um país muito pequeno, é um país com 189 mil habitantes, é mais ou menos uma Águas Claras, assim, pequeno, e se reflete, se espelha muito em Cabo Verde, que é um país também peque-no, não tão pequeno quanto São Tomé, mas é uma ilha também, e eles se identificam, são africanos, se identificam em muitas similaridades, e tomam geralmente Cabo Verde como es-pelho para as suas atuações. Aliás, Cabo Verde serve como espelho para outros países africa-nos também porque eles têm algumas características diferenciais de organização bem-sucedi-da em termos de Estado, da funcionalidade do Estado, dos processos democráticos, eles têm bastante destaque nisso, e muitas nações africanas também acabam tomando Cabo Verde como um bom espelho. E São Tomé, vendo o processo em Cabo Verde também se interessou em ter essa parceria do Inep lá. No caso de São Tomé está no processo bem inicial, ainda, de negociação, nós já mandamos uma proposta, já fomos a São Tomé, e quando eu falo fomos é fomos a ABC e o Inep, profissionais do Inep, auxiliou inclusive a experiência que se teve com

30.10.2018Tarde


120

Cabo Verde, deu um conhecimento, um domínio aos profissionais do Inep, uma experiência que eles puderam já, então, aproveitar essa experiência em São Tomé e Príncipe, tendo um conhecimento da experiência com Cabo Verde eles puderam conduzir essa experiência de São Tomé já com outro olhar, com outra visão sabendo, entendendo que é extremamente impor-tante a visita inicial, que é a visita dos primeiros contatos, o diagnóstico, quando você vai identificar qual é a realidade do país, o que constitui essa realidade, qual é o quadro que nós temos aí e no qual nós vamos atuar, então no caso de São Tomé nós temos três instituições de Ensino Superior, para vocês verem as dimensões, bem diferente, em termos de dimensões do Brasil e mais para frente, quando formos discutir, vamos falar um pouco do que isso traz de ganho, de experiência para nós, assim, eu ganho alguma coisa cooperando com São Tomé e Príncipe, um país com 189 mil habitantes e três instituições de Ensino Superior? É uma per-gunta que vamos desenvolver mais para frente, mas, enfim, é uma realidade bem diferente, que traz desafios. Só para vocês pensarem num dos desafios, como conduzir e montar um sistema nacional de avaliação em relações tão próximas, de proximidade? O que quer dizer isso? São 189 mil habitantes, são três instituições de Ensino Superior, a empresa, o governo e a IES atravessando uma rua se encontram, muitos dos que trabalham na IES são parentes dos que trabalham na empresa, que são parentes dos que trabalham no governo. Se vocês já acham um desafio trabalhar com avaliação no Brasil, imaginem um desafio que não é você trabalhar num país assim. Como eu avalio? Eu vou avaliar quem? De repente eu estou avalian-do o meu primo, aliás, a sigla de São Tomé e Príncipe é STP e há uma brincadeira, que eles mesmos fazem, que STP quer dizer somos todos primos, porque as relações são muito próxi-mas, então como desenvolver um sistema, um método, um instrumento de avaliação dentro de um universo desse, esse é um grande desafio, um desafio a ser compartilhado aqui com o Inep, que vai para uma realidade bem diferente, mas não totalmente que não guarde seme-lhanças com os desafios que também se enfrenta dentro do Brasil, um país tão diverso e tão complexo como o nosso Brasil. A experiência de São Tomé está inicial ainda, nós passamos pelo primeiro processo de identificação, de diagnóstico para a construção da proposta, o co-nhecimento entre os atores do Brasil e de São Tomé, eles vieram aqui conhecer a nossa estru-tura, ficaram encantados, nós fomos lá para também ter um conhecimento da estrutura deles, e através disso, desse conhecimento, desse primeiro contato, recíproco e mútuo, construir então uma proposta que possa contemplar algo da expertise que tem o Inep com aquilo que demanda, aquilo que é necessário e importante para São Tomé construir em termos do seu sistema de avaliação. É extremamente importante para São Tomé isso, porque São Tomé pre-cisa, nas próprias palavras do Ministro da Educação de São Tomé e Príncipe, induzir o desen-volvimento do seu país, então há uma preocupação com a questão da economia, claramente, essa eu acho que é uma das vantagens, adiantando um pouquinho, de você trabalhar com um país tão pequeno, que você acaba tendo visibilidade de algo que às vezes no Brasil perdemos

121

a ponta, você já não sabe mais por que você está avaliando, por que uma IES tem que ter qua-lidade, eu contribuo com a qualidade da IES, mas eu não estou só contribuindo com a qualida-de da IES, eu estou contribuindo com a sociedade. Dentro de São Tomé é muito mais fácil, às vezes a dimensão te localiza na percepção da importância disso para o país, para o desenvol-vimento do país, porque aquele profissional ali, que eu falei que atravessando a rua, aquele profissional ali que está naquela instituição, ao ser melhor qualificado é um profissional que pode atender melhor aquela empresa, vamos dizer, em São Tomé hoje nós temos três princi-pais atores internacionais de empresa, Portugal, China e África do Sul é outro importante ator, então nós temos África do Sul, Portugal e China, a África do Sul tem uma empresa aqui, ele precisa de um profissional bem qualificado e ele, de preferência, tem que ter, pelo menos na técnica, tem que ter algum recurso local, não vai trazer todo mundo de fora, ele precisa de recurso local e tem que ter confiança nesse recurso local para que possa realmente desenvol-ver melhor a sua empresa, para que possa prestar um melhor serviço, então você vê o quão importante é o nosso papel dentro do sistema e em São Tomé enxergamos isso muito claro, porque temos uma dimensão menor e acabamos enxergando todos os atores, toda a socieda-de, as instituições de Ensino Superior, o Estado e as empresas nesse circuito e a importância que cada papel aí vai ter para o desenvolvimento sustentável. E apenas para fechar, eu esque-ci de dizer que a ABC atua em inúmeros desses projetos para o desenvolvimento, a sua cola-boração com o desenvolvimento e temos aí os ODS, que são os Objetivos de Desenvolvimento Sustentável e nós estamos como um ator internacional participando, então, desses ODS e a questão da qualidade da educação é um dos ODS, é o quarto objetivo de desenvolvimento, sem contar os outros objetivos que acabamos contribuindo também com o objetivo 17, que são as parcerias para o fortalecimento do alcance desses objetivos.

Boa tarde a todos. Muito obrigado ao Inep pelo convite. (Mudou o idioma em que se expressava, o espanhol, e passou a falar na língua guarani). A essa hora da tarde, imagino que estejam todos bem cansados. (Voltou a se expressar em espanhol). Acabo de falar em nossa doce e amável língua, o guarani. Certamente devo ter usado um curto-circuito nas cabeças dos tradutores, que chegaram a pensar que poderia ser mandarim ou outro idioma. Fiz esta introdução, pois desde a primeira hora desta manhã estive muito atento a absolutamente todas as apresentações e se fizermos uma degravação vamos escutar que a palavra qualidade esteve presente absolutamen-te recorrente em todos os discursos e agora a nossa missão, não como RIACES, mas também como parte da cabeça institucional, porque no Paraguai para nós é impossível falar de qualidade sem levar em conta a nossa língua que é oficial. Um médico que faça a residência e que não fale guarani é um médico que vai ter muitos problemas, porque segundo os últimos dados e pes-quisas, quase 30 por cento da população guarani é monolíngue, falam apenas guarani, ou seja, esse idioma de fato está presente no currículo de todos os planos estudantis e é de fundamental

Raúl Aguilera

30.10.2018Tarde


122

importância para todos. Ouvindo a pergunta do Rogério, primeiro tenho que dizer que há duas razões políticas da minha presença hoje, aqui. A primeira razão é que o Inep é um dos membros mais ativos da Rede Ibero-americana da Segurança de Qualidade da Educação Superior e o Inep foi incorporado à Rede um ano depois da fundação, a Rede completa, em maio do próximo ano, 15 anos e o Inep tem 14 anos de processo de trabalho sustentável dentro dessa organização. O segundo argumento político é que a presidência anterior da RIACES pertenceu ao Brasil e o Brasil conduziu, por meio do Inep, em uma época de turbulências e instabilidades institucionais, da melhor forma e entregou a presidência na última assembleia e eu tenho que render homenagem a algumas pessoas que estiveram nessa condução como o (ininteligível) que nos está vendo por televisão em algum lugar também, essas são as duas razões principais da minha presença hoje aqui nesta mesa redonda, que é uma mesa retangular, na verdade. Às vezes dizemos que vamos dar um tiro no alvo, acertar o alvo e acertamos no ponto negro. Quero falar de duas coisas, quando a RIACES nasceu o objetivo central era criar um espaço de cooperação e de intercâmbio permanente entre as entidades dedicadas a fazer a avaliação, a acreditação e não era possível ter apenas o setor educativo do Mercosul, que já tinha uma instância orgânica chamada RANA, que é a Rede de Agências Nacionais de Acreditação, os países quiseram sair um pouco à frente, sair do contexto do Mercosul e ir até a América Central, Caribe e Cuba, chegar ao Norte com o México e inclusive ir até a Europa, com a participação da Espanha, nessa primeira etapa. Já um segundo elemento-chave, que tem a ver com os antecedentes, tem que ser constituído em um veículo de integração que possa construir conjuntamente para dar respostas aos múltiplos pro-blemas que temos nos nossos respectivos países que têm a ver com a Educação Superior. Hoje, na parte da manhã, escutei a professora Maria Helena falando, e no discurso que ela trouxe tem elementos recorrentes quase em todos os países onde a RIACES tem participação, ou seja, que o nosso problema continua sendo o problema de qualidade, o problema de eficiência e o proble-ma de pertinência. Para onde a RIACES deve ir? Qual é o nosso objetivo? Qual é a nossa direção? Para sermos constituídos em uma instância de trabalho conjunto em busca de qualidade em toda a Ibero-América e pensando assim gostaria de destacar que dentro da rede RIACES temos uma heterogeneidade, temos países que têm tido muito avanço, como vocês aqui, temos países que ainda não têm nem agência para a acreditação, como é o caso do Uruguai, temos países que têm lei, mas não conseguem nem se integrar, como é o caso da Bolívia, a quem nós estamos assessorando, têm países que têm experiência em uma modalidade e já não têm em outra, têm países que somente implementam o sistema do Mercosul e não têm um modelo nacional. Em alguns casos, essa heterogeneidade faz com que tenhamos essa riqueza, e podemos aprender a crescer e principalmente nos constituir como uma instância de cooperação, um espaço de coo-peração com um enfoque assistencialista, do que mais conhece a respeito da cooperação e fazer com que as pessoas consigam crescer e as instituições também consigam crescer e a partir desse estatuto da RIACES a RIACES converte uma atividade de acreditação no segundo nível, ou seja,

123

as agências vão ter a possibilidade de passar por um processo de avaliação e por um processo também de certificação no qual estamos terminando um acordo de instrumentalizar um tipo de avaliação. Temos 25 membros na RIACE, de 16 países e seis organismos dos blocos regionais. A Organização de Estados Ibero-americanos é parte do RIACES, o Instituto Internacional de Educa-ção Superior para a América Latina e o Caribe e a Unesco são parte da RIACES, a CINDA é parte da RIACES, a CCA da América Central é parte da RIACES e estamos nesse intento de crescer todos juntos e aprender mutuamente com as boas práticas e experiências que temos na nossa região.

Bom, antes de falar sobre o benefício direto para o Inep eu gostaria de comentar um benefício que é talvez o benefício ao qual a ABC, como agência de cooperação, acaba sendo mais dire-tamente ligada, que é o benefício em relação à política externa. É o papel do Brasil lá fora, a importância do papel do Brasil, a colaboração que o Brasil presta para o desenvolvimento, então os fóruns dos quais o Brasil faz parte, os fóruns internacionais, ou organismos mais regionais, ou, como por exemplo, a CPLP, o Brasil este ano está presidindo agora neste semestre a CPLP, que é a Comunidade de Países da Língua Portuguesa, da qual tanto Cabo Verde como São Tomé e Príncipe fazem parte e isso tem uma importância muito grande para o governo brasileiro em termos do seu papel internacional, da sua participação. As nossas instituições são o nosso cartão de visita, elas, na prática, é que levam a imagem do Brasil e o papel do Brasil nesses fóruns ou nesses países, então isso tem um benefício grande em termos de política externa para o país. Em termos de benefício para o Inep, aproveitando a sua própria fala, como você falou que vocês vão lá e ampliam a visão ao participarem de um processo desse, você imagina o quanto você não amplia a sua visão ao participar do processo de construção de um sistema nacional em um país! Há um conceito muito pensado na Antropologia e é que você se conhece melhor quando você conhece o outro, não é? Você acaba se conhecendo mais ao conhecer o outro porque é no contraste com o outro que você entende melhor quem você é, que você consegue perceber melhor quem você é.

Então, ao Inep participar de uma processo em que ele constrói todo um sistema, ele reconstrói toda a sua jornada, uma jornada já de anos, mas ao construir isso em outro país, os seus profis-sionais, ao participarem disso, vão reconstruindo e visualizando todo o processo, toda a ponta, desde a importância do instrumento, o Banco, ele tem uma amplitude de visão de onde ele está inserido, porque, às vezes, como eu falei, acabamos perdendo a noção desse todo e enxergando, às vezes, e esquecemos do qual você faz parte, de uma cadeia bem maior, mais ampla e a sua importância dentro dessa cadeia. Então vocês acabam tendo a experiência de se rever, se repen-sar, se reconstruir e também, ao se confrontar com realidades diferentes, conhecemos desafios às vezes que nos fazem pensar em soluções para os nossos desafios, então isso amplia a experi-ência, o conhecimento, a questão da internacionalização, que é superimportante, que na fala de

Anna Pérez

30.10.2018Tarde


124

vocês que o papel do Inep, o papel internacional do Inep, você ganha experiência, nós estamos falando de dois países africanos, de outro continente, o Inep acaba adquirindo uma experiência em África, não é toda a África, a África é diversa, mas são dois países na África, com problemas, realidades umas que vão se aproximar e outras que vão se distanciar, e desafios culturais, e isso tudo, em termos para o avaliador, para alguém que trabalha com avaliação é um ganho imenso de experiência, de conhecimento, de pensar soluções, de enxergar desafios e de olhar toda uma cadeia de construção do que é e do que significa um sistema nacional de avaliação. Então eu re-almente não tenho como não ver os benefícios, eu sei que vocês seriam os melhores a responder quais os benefícios que eu ganho, mas eu como o outro, olhando de fora, vejo muitos benefícios para a instituição brasileira, não é um caminho de mão única, estar só indo lá dar algo, até por-que essa é uma postura que nós já entendemos que não faz sentido, o outro não é um nada, o outro tem uma história, tem uma riqueza, ainda que as dimensões, as situações econômicas e sociais sejam diversas, ele é um ator, ele é alguém, ele tem a sua construção histórica, tem a sua realidade e tem muito a contribuir, não é? Então o benefício, com certeza, é mútuo, é de enriquecimento e é de aprendizado.

Doutor Raúl, eu gostaria de saber se o senhor gostaria de complementar também, nessa mesma discussão e também aproveitando, sobre a RIACES, o que o senhor acha sobre o fato de os países que fazem parte da RANA também são os países que fazem parte da RIACES, ou a maior parte? O que o senhor tem a dizer sobre isso?

Obrigado pela pergunta, mas antes eu gostaria de dizer ao auditório que nós temos dez pergun-tas ainda. Vejam que nessa pergunta do Rogério seria necessário fazer algumas diferenciações. A RANA é apenas uma rede de agentes governamentais, o que se resolve nessa distância para que se converta em mecanismos precisa continuar passando às instâncias orgânicas no percurso educativo e educacional, ou seja, tem que chegar à reunião de ministros da educação, em alguns casos isso chega a uma declaração e em outros casos chega a uma instância superior, que é o Conselho do Mercado Comum, que se converte em uma decisão. A RANA é o administrador do sistema do Mercosul que apenas é de cursos universitários e neste momento a RANA ape-nas tem sete cursos em processo de avaliação: Medicina, Odontologia, Engenharia, Arquitetura, Agronomia, Veterinária e Enfermagem e a partir do próximo ano vamos convocar Farmácia e Economia. São critérios determinados de por que isso está listado dessa forma, porque ao es-tarem RANA e RIACES nós temos oportunidades de ampliar os horizontes, porque conseguimos afinar alguns problemas que vemos, por exemplo, a fadiga das instituições, quando terminam uma avaliação e já têm que entrar em outra e permanentemente isso produz um cansaço para dentro das instituições de Educação Superior, essa superavaliação, especialmente nos lugares onde se tem um modelo nacional e um outro modelo, que nos permite também levantar como

Raúl Aguilera

Rogério Dentello

125

um problema para continuar discutindo qual é o impacto das acreditações. E vamos continuar fazendo avaliação dos cursos de graduação ou vamos pensar em formatos diferentes de ava-liação? Depois de escutar as várias personalidades nesta manhã eu me coloquei a pensar: não será o momento de começar a pensar uma avaliação por clusters? Ou por famílias de cursos? Ou não chegaria o momento de haver dentro da RANA a avaliação institucional? São questões que nos permitem, Rogério, estar mutuamente em ambas as instâncias e ir nos posicionando para não cometer os mesmos erros ou avançar os passos dos nossos processos. E nos permite ver, também, a carga administrativa que a avaliação tem, a avaliação com a finalidade de acreditação também tem uma burocracia enorme, especialmente nos órgãos governamentais, então esses elementos talvez nós tenhamos que anotar nas nossas agendas e continuar discutindo, continu-ar buscando a solução para esses problemas que são comuns aos nossos países.

Ana, você já esteve em trinta missões em São Tomé e Príncipe, é isso mesmo?

É, trinta vezes já.

E com a equipe do Inep você trabalhou quantas vezes?

Em Cabo verde acho que foi uma vez, de monitoramento e no Inep uma vez também? No Enem em São Tomé? Uma vez ou duas? Eu estive com eles uma vez aqui e outra lá. Esse negócio de trinta vezes, o ministro, foi muito engraçado isso, sentada na mesa numa missão de avaliação, o Ministro de Infraestrutura perguntou quantas vezes eu tinha estado em São Tomé e eu falei trinta vezes, não é, era a trigésima. Aí ele virou para mim e falou assim: “Você já esteve mais em São Tomé, já veio mais a São Tomé do que eu, se for contar as vezes que eu entrei no meu país, não deu trinta”.

E como foi o trabalho conjunto com a equipe do Inep nessas ocasiões?

Olha, o trabalho é muito gratificante, a equipe é muito dedicada, damos sorte com os profissionais brasileiros, eles são, em geral, e a minha experiência com o Inep é comprometimento, dedicação, qualidade, sabemos que tem confiança no profissional que você está levando, você sabe que é alguém que sabe o que está fazendo. Você imagina a responsabilidade do que é, quando você vai a São Tomé e Príncipe, quando você vai a Cabo Verde, você não é você, você é o Brasil. Então isso é um peso imenso e quando trabalhamos com uma equipe de qualidade e comprometimento, isso é muito gratificante, porque passa uma imagem muito positiva também do Brasil. Eu mesma já ouvi de pessoas, inclusive de ministros, que quando você pede cooperação com o Brasil, você

Rogério Dentello

Rogério Dentello

Rogério Dentello

Anna Pérez

Anna Pérez

Anna Pérez

30.10.2018Tarde


126

pede cooperação num determinado assunto, você pode confiar que ele vai compartilhar. Ele não vai guardar segredo. Se ele souber, ele vai passar aquilo com você. E o Ministro da Educação de São Tomé também gosta de contar uma historinha para falar do valor dessa cooperação. São Tomé é um país de pescadores, tem muitos pescadores, então ele conta uma historinha de um pescador que vai com uma pessoa dentro de um barco e a pessoa é superentendida nos avanços da tecnolo-gia e começa a falar para o pescador “Você tem um iphone? Você sabe mexer nisso?” e o pescador não sabe nada e fala “Não, eu não conheço isso”, “Ah, mas você nunca usou o Facebook e o what-sapp?” “Não, eu não conheço” e aí lá pelas tantas começa uma tempestade, começa a balançar o barco, aí o pescador vira para a pessoa e diz: “Você sabe nadar?” Por que ele contou essa história para falar do Brasil? Ele falou que quando ele trabalha com o Brasil ele sabe que está trabalhando com alguém que não despreza o conhecimento que ele tem, nem que seja o conhecimento de um pescador. Eu achei isso muito bonito, contado por um ministro, então é isso que se percebe num profissional do Inep e nos profissionais com quem eu tive a oportunidade de conviver, é esse res-peito mútuo, essa qualidade e esse comprometimento com o trabalho.

Muito obrigado. Muito bem, eu gostaria de retomar o tema tendência mundial à internacionali-zação para a melhoria da qualidade. Nesse sentido, professor Raúl, qual a sua opinião sobre esse processo em termos políticos e acadêmicos?

Obrigado pela pergunta. Eu vou fazer o resumo de cinco elementos. Acho que a sociedade em geral não está de acordo com os resultados, ou pelo menos a maioria não está de acordo com os resul-tados de muitas das nossas instituições de Educação Superior e há uma queixa constante nas redes sociais, nos meios de comunicação, e permanentemente podemos ver a sociedade aspirando a uma melhor formação dos jovens que optam por diferentes cursos universitários e nesse sentido talvez o grande desafio que tenhamos em continuar aportando, porque temos que crescer em qualidade, mas é muito fácil crescer se nos vinculamos a outras instituições, e se nos isolamos a tendência é que podemos nos perder nesse processo difícil e então sempre olhamos a experiência com vistas a facili-tar o crescimento institucional. O segundo elemento, como temos avanços em diferentes processos na maioria das instituições, é muito mais fácil encontrar a solução aos nossos problemas olhando aquelas boas experiências de outras entidades irmãs e não voltar a construir um processo do zero. O outro elemento que tem a ver com o que o Rogério comentou tem a ver com uma experiência de sucesso dentro do setor educacional com relação à mobilidade. Temos dados que nos provam que temos dado salto qualitativo e quantitativo com relação à mobilidade estudantil e à mobilidade aca-dêmica e isso nos exige continuar apostando em que as instituições precisam ter os seus órgãos de vinculação dentro das suas estruturas orgânicas, de ir pensando em fortalecer a internacionalização e talvez destacar, também, que a maioria dos nossos países está em diferentes blocos regionais e a ênfase hoje foi sobre o Mercosul educacional e foi falado da RANA, que é a rede de acreditação e falou-se da RIACE também, mas muito próximos a nós, onde estamos participando constantemente,

Rogério Dentello

Raúl Aguilera

127

também existem outros blocos que nos levam a continuar pensando na internacionalização. Eu falo da UNASUR, que dentro do seu plano de ação estratégico, um plano de ação estratégico tem a ver com a educação e com a garantia da qualidade, há programas mais voltados para a qualidade da Edu-cação Fundamental e Média, mas também há espaço para a Educação Superior. Há uma reunião de ministros da Ibero-América que costuma ter esse espaço e porque também o espaço interamericano de outros países que, pelo menos nas sessões de que eu participei, sempre há temas que têm a ver com a qualidade, que têm a ver com a equidade, que têm a ver com a pertinência da oferta da edu-cação, que constantemente é discutida, e nessa linha dizer que a RIACES tem linhas com concretas em seu plano de ação para os próximos cinco anos para crescer em aliança com outras entidades. A RIACES engloba órgãos governamentais e não governamentais em diferentes tipologias, como é o caso do México. O México tem a COPAES, que é uma entidade de segundo nível, e abaixo da COPAES há trinta Ineps. São organizações especializadas nas áreas de Informática, de Arquitetura, de outros tipos de avanços e de soluções e com maneiras diferentes de apontar caminhos, que é um aporte, uma contribuição dessas entidades também.

O que acontece pode ser um facilitador ou não desse processo de cooperação. Eu pergunto isso relaciona-do à realidade da África e desse trabalho diplomático, que é a cooperação internacional.

A cooperação técnica tem um papel extremamente importante dentro das relações internacionais. Para vocês terem uma ideia, muitos dos alunos, o quadro que hoje constitui o governo de Cabo Verde foi formado no Brasil graças a um programa de cooperação que temos, cooperação interna-cional, que se chama PEC-PG, muitos dos quadros que ocupam o governo foram formados no Brasil, e isso acontece em outros países também, e isso acaba criando certa familiaridade, uma confiança desses países em relação ao Brasil e por isso muitas vezes demandam também do Brasil expertise e conhecimento em algumas políticas públicas que estabelecemos. Há um desafio imenso, a questão política é sempre um desafio. Os tempos políticos e as questões políticas complexas de dois países diferentes influi muito no trabalho de cooperação tanto, por exemplo, como em Cabo Verde a nossa cooperação com eles foi muito exitosa até um certo ponto e depois desse ponto, devido às mudan-ças políticas que ocorreram no país e também no Brasil e todas as questões políticas que nos têm envolvido acabaram afetando muito a execução do projeto. Então pode, às vezes, dado ao interesse, facilitar, a questão política então ter o Brasil como referencial positivo, procurar demandar do Brasil determinada cooperação, como também o dificultador, que são as mudanças. E há mudanças políti-cas e há mudanças de prioridade também, e todos nós e as nossas instituições somos afetados por essas mudanças políticas, então às vezes facilita e às vezes dificulta.

Bem, seria uma última questão aos nossos convidados e é relacionada à questão cultural. Eu estive no Paraguai algumas vezes e tive a alegria de encontrar um povo que mantém uma cultura antiga e intacta, até o próprio idioma guarani que eles mantêm é um sinal de um carinho muito grande pela

Rogério Dentello

Anna Pérez

Rogério Dentello

30.10.2018Tarde


128

própria cultura, só que esse aspecto, muitas vezes, traz dificuldade para a globalização, a interna-cionalização, então em relação a esse desafio, quer dizer, as culturas como elas podem interagir, por exemplo, no Paraguai tem essa questão idiomática mas não só, também em relação aos outros países, ao comportamento das pessoas nos outros países e como isso pode deixar de ser uma bar-reira para se tornar um catalizador para avançar no desenvolvimento e na qualidade da educação?

Bom, creio que hoje de manhã foram apresentados vários pontos vinculados a esta pergunta, mas eu acredito que as nossas instituições devem consolidar-se sem perder a sua identidade. Podemos indicar o desenvolvimento nacional, propor a transformação das nossas instituições, mas há elementos co-muns às nossas nações que também são parte da própria região e há elementos emergentes que têm a ver com novos elementos demográficos, inclusive no caso do Paraguai e do Brasil, em que em certos pontos da geografia dos nossos países nós encontramos que os nossos estudantes e os professores entram em um processo trilíngue, não apenas falam o espanhol, não apenas falam o guarani, mas tam-bém falam o português e falam o portunhol em alguns casos também. Então, a cada dia, à medida que as nossas sociedades, os nossos grupos humanos avançam, emergem novos elementos que vão colocar em relevância aspectos culturais, como diz em um princípio, ao falar de qualidade é preciso olhar todos esses elementos. Um debate que não foi há muito tempo, foi realizado com um grupo da educação indígena e eles apresentavam um modelo desde a sua cosmovisão do que eles acreditam ser um mo-delo de qualidade para a educação. Então esse olhar muito acadêmico, que nós, pedagogos temos, para avançar, para poder responder à realidade própria das nossas nações em seus diferentes setores, que são bastante heterogêneos, e que os sistemas educacionais não podem dizer como homogeneizar a cultura, então os sistemas educacionais precisam propor os desafios respeitando o que é próprio de cada povo, sua cultura, os seus sabores, as suas soluções também para os problemas.

O que eu gostaria de falar em relação a isso é que justamente auxilia, e muito, na internaciona-lização, porque você se confrontar com culturas tão diferentes o ensina a saber se comportar numa arena internacional. Você vê um outro que pensa diferente de você, que às vezes aperta a mão diferente de você, come diferente de você e pensa diferente de você. Como você quer se internacionalizar se você não sabe lidar com esse outro que veste diferente, que aperta a mão diferente, então não há como pensarmos numa boa internacionalização se eu não conheço o outro, não aprendo a respeitar o outro, a entender que há outras formas de apertar a mão, de se cumprimentar, de dançar, outras línguas que se fala, outras percepções em relação à própria vida, de enxergar o mundo e a internacionalização, em termos de sobrevivência, é inevitável, então é importante como aprendizado, para a internacionalização.

Muito obrigado, Anna, muito obrigado, Raúl, acho que foi um momento muito especial, para mim particularmente, e acredito que também tenha enriquecido o nosso Seminário com a par-ticipação de vocês, espero que continuemos sempre firmes, colaborando e nos ajudando mutu-amente. Muito obrigado.

Raúl Aguilera

Anna Pérez

Rogério Dentello

129

Medidas de Qualidade no Ensino Superior: Qual o papel de avaliações de estudantes em países da OCDE?

Thomas Weko, que é analista sênior na divisão de Aconselhamento e Implementação de Po-líticas Educativas do Diretório de Educação e Competências da OCDE, iniciou as atividades do segundo dia do Seminário Internacional sobre Avaliação da Educação Superior - INEP 80 anos apresentando uma conferência com o tema Medidas de Qualidade no Ensino Superior: qual o papel de avaliações de estudantes em países da OCDE? Posteriormente houve uma sessão de perguntas, que teve como moderadores Alline Nunes Andrade e Renato Augusto dos Santos, da Diretoria de Avaliação da Educação Superior (DAES). A segunda atividade do dia foi a Mesa Redonda 3, com o tema: Avaliação em larga escala na Educação Superior no Brasil: óticas con-temporâneas e novos caminhos, que teve como moderadores Alline Nunes Andrade e Webster Spiguel Cassiano e como participantes Mauro Luiz Rabelo, da Universidade de Brasília; Claudette M. Medeiros Vendramini, da Universidade São Francisco, de São Paulo; e Dalton Francisco An-drade, da Universidade Federal de Santa Catarina.

O professor Thomas Weko focou sua apresentação na reflexão sobre seis perguntas:

1) Por que é preciso validar a qualidade da Educação Superior?

2) Por que temos que avaliar resultados para isso?

3) Como as pessoas estão usando a avaliação nos seus países?

4) Como a avaliação da Educação Superior é usada nos países da OCDE e por que os governos não a estão usando?

5) Se os países da OCDE estivessem aqui, o que eles perguntariam ao Brasil sobre o uso da ava-liação e a segurança disso e qualidade?

6) Quais experiências eles compartilhariam com vocês, onde estaria a garantia de qualidade e por que é preciso garantir?

Começou explicando que na atualidade é necessário que as instituições de Ensino Superior rela-tem o desempenho das suas instituições e o aprendizado que está se dando dentro delas. Varia muito a forma como isto ocorre, mas a necessidade é universal. Não se pode presumir que ava-liações de acadêmicos garantam confiabilidade e consistência na avaliação do desempenho da aprendizagem. As tendências mundiais em avaliação no nível escolar do aprendizado de alunos criam a ideia de que isso é possível e desejável, inclusive para o Ensino Superior. Weko chegou a sugerir a existência de um exame PISA para a Educação Superior.

31.10.2018Manhã


Conferência 2

130

Ao falar sobre países que usam avaliações de estudantes na garantia da qualidade do Ensino

Superior, parabenizou o Brasil por ser um líder global nesse sentido. Não há nenhum país da

OCDE, com 35 países membros, que esteja usando avaliações públicas externas como parte da

sua avaliação. O Brasil é um inovador global nesse sentido.

Explicou que a avaliação da Educação Superior acaba sendo praticada como uma indústria mul-

timilionária em todos os países da OCDE. As avaliações padronizadas são usadas em muitos

países, mas elas têm um papel diferente do que no Brasil, pois elas não são obrigatórias para

institutos ou alunos e não fazem um julgamento da qualidade do aprendizado. As IES volunta-

riamente monitoram o seu desempenho usando o que se chama de avaliações e, finalmente,

escolas profissionais ou de graduação aplicam exames padronizados externos para determinar

se os estudantes estão prontos para prosseguir com estudos posteriores. Os exames são publi-

camente revelados e usados pelo governo para avaliar a qualidade.

Ressaltou que na comunidade global há muito que pode ser compartilhado em relação aos psi-

cométricos, à ciência de avaliação e à ciência da administração.

Thomas destacou as limtações, tais como o custo e a complexidade demasiadamente altos para

países pequenos e o fato de que em alguns países as autoridades públicas têm autoridade limi-

tada em relação às instituições de Ensino Superior e não possuem autoridade legal para garantir

sua participação em avaliações externas.

Destacou que se os países da OCDE, os 35 deles, estivessem participando do Seminário, fariam

algumas perguntas:

1) como podemos engajar nossas comunidades acadêmicas para criar tais avaliações em tantas

áreas? E como garantir que tais avaliações permaneçam atualizadas, sem inibir a inovação?

2) uma prova tão curta (com um número de perguntas tão limitado) é capaz de gerar uma ava-

liação válida das diferentes áreas da disciplina?

3) uma prova com um número de perguntas tão reduzido pode gerar uma pontuação confiável?

4) como lidar com os desafios em relação à participação e motivação de avaliação de baixo risco

para os alunos?

5) podemos criar um índice de valor agregado sem administrar um pré-exame que mede a mes-

ma área e ter confiança na sua validade?

131

6) como levar em consideração taxas de desistência de alunos para evitar um viés na seleção em nossa avaliação?

7) instituições de Ensino Superior confiam na validade e confiabilidade dos resultados da avalia-ção a ponto de usá-los para reformar e melhorar seus programas?

8) estudantes e suas famílias confiam nos resultados do Enade a ponto de usá-los para guiar suas escolhas?

9) como podemos avaliar competências profissionais que não são facilmente avaliadas em exa-mes padronizados?

Thomas afirmou em sua apresentação que a diversificação é importante para medidas de quali-dade, de duas formas:

1. quando instituições são capazes de gerenciar sua qualidade, uma estrutura de indicadores simples e clara pode ser utilizada para permitir a autorização e a renovação de autocreden-ciamento (modelo australiano).; e

2. uma estrutura de indicadores bem desenvolvida não deve utilizar apenas um tipo de insti-tuição como referência de qualidade. É preciso adaptar medidas de qualidade onde existem instituições de cunho profissional – focando particularmente em competências usadas em âmbito profissional.

Ao falar sobre o que o Brasil poderia aprender da experiência dos países membros da OCDE, citou que informações do mercado de trabalho oferecem uma nova dimensão importante para apoiar a qualidade e a relevância dos programas através de financiamento baseado em desem-penho, alocação de locais de estudo e informações do consumidor. O mercado de trabalho é uma fonte essencial de informação para avaliar a qualidade das instituições com missão de edu-cação para a vida profissional.

A título de conclusão da sua conferência, Thomas Weko afirmou que ao analisar os problemas da avaliação da Educação Superior é necessário ir in loco para descobrir qual é a fonte desse problema e aí está o papel do sistema de avaliação. A avaliação pode se liberar para fazer o que ela faz brilhantemente, que é uma avaliação muito positiva para a comunidade acadêmica. Esta compreensão faz com se consiga a melhora da qualidade e a melhora contínua dos programas, que é uma parte importante de qualquer instituição.

Seguem os registros na íntegra dos pronunciamentos do Professor Thomas Weko, seguidos dos registros do debate que ocorreu na sequência.

31.10.2018Manhã


132

Bom dia e obrigado pelo convite e pela oportunidade de falar para uma audiência que reúne tantas pessoas do sistema da Educação Superior do mundo. Nesta manhã, eu vou falar em in-glês, mas vou mostrar a apresentação em português e algumas coisas que eu vou dizer estão diferentes nos slides, eu peço desculpas por isso. Eu fiz essas mudanças após algumas conversas que tive depois que cheguei ao Brasil. Então, qual é o foco do meu comentário? Eu coloquei seis perguntas que são:

1) Por que é preciso validar a qualidade da Educação Superior? 2) Por que temos que avaliar resultados para isso? 3) Como as pessoas estão usando a avaliação nos seus países? 4) Como a avaliação da Educação Superior é usada nos países da OCDE e por que os governos não a estão usando? 5) Se os países da OCDE estivessem aqui, o que eles perguntariam ao Brasil sobre o uso da avaliação e a segurança disso e qualidade? 6) Quais experiências eles compartilhariam com vocês, onde estaria a garantia de qualidade e por que é preciso garantir?

Na minha vida, que tem sido razoavelmente longa, houve várias instituições de Educação Supe-rior que não tinham que relatar a qualidade do trabalho delas. Hoje em dia, no mundo todo, é necessário, para reitores, presidentes, vice-chanceleres, relatar o desempenho das suas institui-ções e o aprendizado que está sendo feito. Como eles fazem isso mundo afora varia muito, mas a necessidade parece ser universal, então por que isso se tornou compulsório, além das muralhas das universidades? A expansão da Educação Superior significa que ela está numa escala em que as formas antigas de garantir qualidade, de repente vocês defenderam uma dissertação, vocês têm pessoas de fora, num processo de revisão entre os pares, num cara a cara com professores, hoje em dia isso é impossível com oito milhões de estudantes. O custo da Educação Superior é cada vez mais elevado e é mais necessário que se garanta a qualidade por isso. Com a erosão da confiança nas autoridades tradicionais, os professores e pais operam com mais escrutínio e autoridade do que eles fariam há um século atrás. Não vamos voltar a uma era em que não ha-via garantia de qualidade. Então por que avaliar os resultados de aprendizagem como parte de um sistema de garantia de qualidade? Claro, promover aprendizado é o que toda instituição de Educação Superior, desde as de vocação técnica até uma universidade de pesquisa, todas têm em comum a responsabilidade de promover o aprendizado e o crescimento intelectual dos seus alunos. É impossível criticar qualquer performance sem falar da qualidade do aprendizado.

O julgamento de acadêmicos profissionais é evidência suficiente, não é o que se pode presumir.

A tendência no mundo, no nível de escola, de primário e de secundário, de fazer uma avaliação de uma base vasta, levou à expectativa se pode ser feito ao nível escolar, por que não poderia ser feito também no nível de Educação Superior? Como falamos uma vez, por que não o exame

Thomas Weko

133

Pisa para a Educação Superior?

2. Por que avaliar o desempenho dos estudantes como parte da avaliação do Ensino Superior?

3. Quais países usam avaliações de estudantes na garantia da qualidade do Ensino Superior? Pa-rabéns, o Brasil é um líder global nesse sentido. Não há nenhum país da OCDE. Essa é a OCDE, 35 países membros, na América do Norte, Europa e Leste Asiático e três países pedindo a adesão, Costa Rica, Lituânia e Colômbia, aumentando os membros a 38, esses são os países dos quais eu estou falando e com os quais eu trabalho. Esses países não estão usando avaliações públicas externas como parte da sua avaliação. O Brasil é um inovador global nesse sentido. Há outros exemplos como a Colômbia e alguns outros países. Se os governos desses países não estão usan-do a avaliação da sua Educação Superior como parte para garantir a qualidade, se isso não está acontecendo e a resposta é claro que não.

4. Como os países da OCDE usam as avaliações do Ensino Superior?

A avaliação da Educação Superior como uma indústria multimilionária é praticada em to-dos os países da OCDE. As avaliações padronizadas são usadas em muitos países, mas elas têm um papel diferente do que no Brasil, elas não são obrigatórias para institutos ou alunos e não fazem um julgamento da qualidade do aprendizado. As avaliações são feitas de muitas formas no dia a dia nos países da OCDE, os governos usam de uma forma que afeta para programas de treinamento de curto prazo, o treinamento para as pessoas voltarem ao mercado, para adultos adquirirem habilidades básicas e aí usam esses testes padronizados pré e pós para avaliar a qualidade do programa, não para julgar as IES, mas para avaliar aquele programa.

As IES, como a gente viu no segundo ponto, voluntariamente monitoram o seu desempenho usando o que chamamos de avaliações transversais. As IES voluntariamente usam-nas para ava-liar estudantes e habilidades dos estudantes que eles trazem da Educação Secundária para mais apropriadamente encaixar nos cursos que elas oferecem.

Órgãos profissionais estabelecem exames para ver quem é qualificado, como vocês podem ver aqui no meu slide em português, organizações profissionais para determinar quem está apto a entrar, por exemplo, enfermeiras, contadores, etc., indivíduos participam voluntariamente de avaliações psicometricamente aprovadas para ter certificações, pelo menos vocês conhecem alguém que passou por algum desses exames, por exemplo, um engenheiro de Sistemas certi-ficado pela Microsoft. Milhões de pessoas passam por essas avaliações padronizadas e são todas voluntárias.

31.10.2018Manhã


134

E, finalmente, escolas profissionais ou de graduação vão usar exames padronizados externos para determinar que estudantes estão prontos para continuar ou ir para estudos posteriores. Isso é provavelmente difícil de ler, mas é uma tabela que dá exemplos desses testes, como eles são usados, etc. e todas estas tabelas fazem perguntas. Os estudantes têm que participar, os governos têm que participar. Os exames são publicamente revelados, são usados pelo governo para avaliar qualidade e as perguntas (no slide são as respostas), como vocês podem ver, é não.

E nessa comunidade global tem muito que pode ser compartilhado em relação a psicométricos, a ciência de avaliação, a ciência da administração que possam ajudar, mas não tenho experiências para serem compartilhadas de como se coloca isso em um sistema de avaliação da qualidade.

Então a avaliação, o que as pessoas estão aprendendo é tão importante, espero que seja correto em português, então por que os governos não estão fazendo isso na OCDE? Uma das respostas é que muitos países são pequenos, o Brasil é enorme, mas eu estou trabalhando com a Lituânia, que tem 2,9 milhões de pessoas numa área do tamanho da área metropolitana de São Paulo. Tem mui-tos países assim, os estados são pequenos demais para lidar com o trabalho de avaliar e criar uma avaliação. E os países têm tanta confiança nas instituições de Ensino Superior, um país em que estou trabalhando e vou visitar em breve, de novo, é a Finlândia, ela tem 13 universidades públicas servindo 5 milhões de pessoas e tem grande confiança nas suas universidades. Eles deixam que eles garantam a qualidade e o governo faz auditoria para ver se eles seguem certos procedimentos e eles não enten-dem que eles têm uma responsabilidade. Em muitos países anglos os governos não têm autoridade, têm pouca autoridade pública e as autoridades públicas não têm o poder de exigir de estudantes ou instituições que participem de testes e, finalmente, muito do foco dos países da OCDE tem estado em outro foco, mas de construir outros tipos de informações sobre estudantes.

Desculpem, tradutores, eu vou mudar um pouco aqui o foco. Países mundo afora estão cons-truindo sistemas em nível de estudantes, sistemas de censos, que vocês estão desenvolvendo aqui, que dá a eles a habilidade de observar a experiência do aluno, a escola secundária, as notas de entrada, os cursos que eles fazem, como eles progrediram sobre o estudo deles e eles estão construindo um sistema que dá a eles uma imagem muito rica, e uma parte disso é a habilidade de entender a experiência dos alunos depois que eles saem da instituição, como poderia se fazer no Brasil, conectar aquele estudante subsequentemente com as informações de mercado de trabalho ou estudos subsequentes, isso tem sido um foco de atenção e está se tornando um foco de qualidade em muitos países no mundo.

Então se os países da OCDE, os 35 deles, estivessem aqui, eles estão muito interessados no que está acontecendo no Brasil, se você for aos ministérios de todo o mundo estão muito ambiciosos,

135

queriam saber sobre o que está havendo. Então quais perguntas os países da OCDE teriam para

o Brasil e o uso das pesquisas, das avaliações se eles estivessem aqui hoje? Então eu vou per-

guntar por eles. Eu vou fazer dez perguntas, bom vou fazer onze. Acho que a primeira pergunta

seria: o que estão aprendendo com a experiência e o que gostariam de saber nos seus próprios

países? Gostariam de saber como é possível para nós em nosso país entrarmos em contato com

a comunidade acadêmica e desenvolver as avaliações e como fazem isso em tantas disciplinas?

Como você possivelmente pode manter atualizadas as avaliações, assim como mudar o foco

com as novas disciplinas, como você mantém no lugar as avaliações? Como tornar os estudos

acadêmicos flexíveis o suficiente para prover programas diferentes, assim a História pode ser

ensinada de forma diferente em universidades distintas pelo país. Eles certamente querem sa-

ber como as avaliações em pequenos itens, 30 talvez, podem gerar resultados que são válidos e

confiáveis. Uma questão de ontem foi: como você pode garantir os resultados pelo tempo, que

você realmente possa visualizar o progresso ou a falta dele e como pode fazer comparações de

uma disciplina com a outra, talvez gostássemos de saber como estudantes de campi diferentes,

se eles têm desempenhos similares, as dificuldades deles, como isso acontece?

A quarta pergunta: como lidar com um problema sério de todos os países, que é, se não tem ris-

co para os estudantes, como eles são trazidos para participar e são motivados para participar dos

exames? Os países reconhecem que, claro, os ganhos dos estudantes no fim dos cursos depende

da experiência dos estudantes na escola secundária e podemos pensar no valor agregado, mas

eles perguntariam como você vê o valor agregado se você não está medindo a mesma constru-

ção em momentos diferentes do tempo?

5- O que os países da OCDE gostariam de perguntar ao Brasil?

Discussões a respeito de avaliações do Ensino Superior estão ocorrendo em alguns países mem-

bros da OCDE. Ministérios estão interessados e, se eles estivessem presentes, possivelmente fa-

riam as seguintes perguntas: Como podemos engajar nossas comunidades acadêmicas para criar

tais avaliações em tantas áreas? E como garantir que tais avaliações permaneçam atualizadas,

sem inibir a inovação? Uma prova tão curta (com um número de perguntas tão limitado) é capaz

de gerar uma avaliação válida das diferentes áreas da disciplina? Uma prova com um número de

perguntas tão reduzido pode gerar uma pontuação confiável? Como lidar com os desafios em

relação à participação e motivação de avaliação de baixo risco para os alunos? Podemos criar um

índice de valor agregado sem administrar um pré-exame que mede a mesma área e ter confiança

na sua validade? Como levar em consideração taxas de desistência de alunos para evitar um viés

na seleção em nossa avaliação? Instituições de Ensino Superior confiam na validade e confiabili-

dade dos resultados da avaliação a ponto de usá-los para reformar e melhorar seus programas?

31.10.2018Manhã


136

Estudantes e suas famílias confiam nos resultados do Enade a ponto de usá-los para guiar suas escolhas? Como podemos avaliar competências profissionais que não são facilmente avaliadas em exames padronizados?

Uma sexta questão, talvez fosse, em todos os países e eu vi a informação do Brasil, talvez metade dos estudantes em quatro anos não completaram o programa que começaram, podem continu-ar na universidade, mas em outro programa, mas não ficaram nos seus programas iniciais. Então se observarmos os estudantes que sobreviveram no seu programa inicial, talvez isso não esteja representando a realidade daqueles programas. O que você faz com esse problema?

E você pode construir um sistema de avaliação no qual a Educação Superior, as instituições de Educação Superior têm confiança suficiente na confiabilidade, na validade, que os profes-sores mudem seus ensinamentos, suas classes, os materiais, eles mudam seu trabalho com o aprendizado sobre o desempenho dos seus estudantes. “Ah, sim, esses estudantes estão tendo dificuldade nesse tipo de álgebra e precisamos revisar os programas”. Você pode fazer isso acontecer porque os países querem que isso funcione para o benefício das instituições e a melhora dos seus programas, pode construir algo que tem confiança pública, que os re-sultados de um exame como o Enade possam ser usados pelas famílias ou pelos estudantes para tomada de decisões para as universidades. No Mundo, em Nova Iorque por exemplo, onde você tem universidades de pesquisas e de ciências aplicadas ou politécnicas, como você constrói um sistema de avaliação que considera a real diversidade e muitas capacidades que são difíceis de serem acessadas, por exemplo, nos programas de Enfermagem, e finalmente perguntaria: se vamos seguir com isso no nosso país, não deveríamos estar focando nas capa-cidades sociais dos estudantes, deveríamos estar focando na formação geral ou talvez alterna-tivamente, não deveríamos fazer nada disso baseados na nossa experiência? Acho que muitos países gostariam de ter essa discussão. Os 35 países gostariam de ter essa discussão, então qual o conselho? Essas são as perguntas dos países da OCDE.

Eles gostariam de oferecer algum aconselhamento humildemente, então eu dividiria aqui quatro lições. A primeira é que se você não está usando pesquisas padronizadas para medir qualidade nas instituições, você deve usar outras fontes de informação e aí você se fia em, poderia ser sobre processos, programas, os resultados de experiências dos estudantes, mas você está se fiando em coisas que você está querendo medir ensino e aprendizado, coisas que realmente estejam acontecendo, e muitos países têm experiência em fazer isso. O que eles poderiam dizer sobre essa experiência? Acho que a primeira coisa que diria é que toda medi-da é uma hipótese e toda medida é baseada em hipóteses assumidas. Se você está medindo insumos, processos ou saídas você sai com as medidas que você usa, os números que você

137

usa você lembra que embaixo disso você está fazendo todas essas presunções, o que você está ensinando por baixo disso, vamos pegar a terceira coluna aqui nesse gráfico que você não pode ver. Uma das coisas que fiz na minha carreira no governo era olhar as instituições e quanto demorava para os estudantes terminarem os seus programas de estudo e qual então é a minha presunção? A minha hipótese ou o que eu assumo é que o tempo que leva para eles terminarem o programa é uma evidência de que a instituição tem um programa bem adminis-trado, bem estruturado e tem bom aconselhamento para os estudantes, pode identificar suas dificuldades de aprendizado e trazê-los para terminar seus programas num tempo razoável, então o término de programas seria uma medida de sucesso claro.

Algum problema com isso? É baseado em presunções arriscadas, a última coluna aqui bem pró-xima, os graus em que os estudantes progridem no programa são influenciados pelas condições sociais, circunstâncias familiares, educação secundária, então, desenhando sistemas indicado-res, é necessário questionar, não confiar facilmente, duvidar do indicador, das hipóteses e nesse caso pensar sobre aquela realidade, usar indicadores que levam em conta aquelas características dos estudantes. Essa é a primeira geração de estudantes estudando na universidade, a família, qual a característica da sua escola, se não se tornam armas perigosas. A segunda coisa que eu acho da experiência dos países é a simplicidade, seja simples, seja previsível, seja acionável. Se você tem indicadores que permitam antecipar, adaptar, revisar, melhorar, isso é talvez um indicador construtivo e pode ser bem poderoso, mas as instituições precisam da habilidade de antecipar, adaptar e melhorar. Se você constrói indicadores que são complexos, que são compos-tos, é difícil para as instituições anteciparem, entenderem e mudarem seus próprios comporta-mentos, eu vou dar um exemplo disso, um segundo problema surge quando você cria índices de medidas específicas em um certo nível, tendo feito isso eu mesmo, alguém vai te dizer que é arbitrário, que não é base científica para as decisões tomadas, eu já fiz isso, eu já fui acusado de ser arbitrário e no fim do dia nenhuma resposta boa virá disso, porque é uma questão de opção. Eu gostaria de dividir com vocês duas opções do poder da simplicidade em temas diferentes, o primeiro em Portugal, eu estou trabalhando agora com eles e não acho que eles vão se importar em eu dividir isso com vocês.

Lá em Portugal eles introduziram um sistema de programas complexos de garantia de qualida-de, mas como o Alberto Amaral publicou e disse para mim pessoalmente, tinha uma medida simples previsível que era mostrada aqui na esquerda, qual percentagem do staff tinha Ph.D.? Estava trabalhando o tempo inteiro com o contrato permanentemente, se você olha aqui do lado direito, quando este indicador foi posto, o que aconteceu é que em 43 por cento dos programas em Portugal foram descontinuadas as universidades, não pelo Alberto Amaral, foram desconti-nuadas pelas próprias universidades antecipando que elas não tinham recursos para prover o

31.10.2018Manhã


138

ensino daquela forma. Eu estava envolvido nos Estados Unidos no desenvolvimento de outro in-dicador simples e previsível que tinha um grande impacto no nosso sistema, que era o de ganho para programas de estudo de ocupações reconhecidas, uma regulação foi estabelecida, é um programa ocasional para gerar emprego e a regra que foi estabelecida era que se o pagamento do empréstimo três anos depois que completassem o programa excedesse oito por cento dos seus ganhos, isso feito por um número consecutivo de anos, esse programa não ficaria mais no programa federal de auxílio ao estudante, 95 por cento dos estudantes procurando instituições lucrativas seria o final do programa.

Alguém podia dizer do indicador que era altamente previsível, tinha a fase de cinco anos, era baseado não em um, mas em três anos consecutivos, então a instituição tinha uma chance boa de média, porque realmente queríamos ser justos, então dissemos: qualquer programa com menos de 30 estudantes, tinha poucos estudantes, tinha um risco estatístico de não retratar a performance do programa, então não seriam expostos, era factível porque nós demos a infor-mação que eles precisavam, eles podiam abaixar o seu preço, poderiam dar mais ajuda aos es-tudantes, ajudá-los a achar melhores empregos. Mudar aquilo pelas suas próprias ações com o tempo, melhorar, e era diferenciado também, porque se aplicou a nove mil dos 70 mil programas oferecidos no sistema de Educação Superior. Foi dito que iam prover aos estudantes arranjar melhores empregos, então isso é provavelmente algo na garantia de qualidade.

Uma terceira lição é a diversificação e isso é o segundo ponto. Primeiro, um quadro bem dese-nhado deveria reconhecer a diferenciação, uma instituição politécnica está tentando fazer algo bem diferente do que uma universidade de pesquisa, tem que ser uma base comum de quais instituições são avaliadas, os seus papéis tem que ser diferenciados, sem isso vocês têm risco de perder a diversidade das provisões que querem ter, especialmente deveriam pensar para programas politécnicos, ciências aplicadas, habilidade dos estudantes para encontrar trabalho nos campos que escolheram. É um segundo tipo de diferenciação, que é uma maior, e isso tem a ver com o papel dado às instituições garantindo a qualidade, então esse é o primeiro ponto. Em muitos países está acontecendo, eu vou usar como exemplo Portugal e Austrália, mas há uma direção nos países da OCDE, instituições estão sendo olhadas com cuidado, com informações variadas e algumas estão sendo julgadas para ser autoacreditadas e serem responsáveis por si próprias, e de poucos em poucos anos com informação dos censos de informações o país vai olhar e dizer: você ainda pode exercer responsabilidade de qualidade?

Nós precisamos de prova, mas se for o caso você pode ser responsável pelo seu próprio programa, sua organização. Na Austrália tem cinco tipos de indicadores que os governos usam e seguindo isso

traz uma determinação sobre o risco de as instituições serem responsáveis por qualidade, ou não, e

139

isso está acontecendo em outros países também. Finalmente, não termina com as pesquisas sobre as capacidades, mas imagine você, com seu aluno de Psicologia, você não gostaria de saber, depois que o estudante sai do programa, onde ele está trabalhando? Como está o mercado de trabalho? Ele está continuando a estudar? Como professor eu nunca soube o que aconteceu com os meus alunos, eles simplesmente desapareceram, mas seria de muita ajuda entender essas coisas no gerenciamento dos cursos da minha instituição para desenhar essas coisas propriamente. A informação do mercado de trabalho é algo que muitos países da OCDE estão usando mais e mais para desenvolver informações sobre estudantes depois que deixam seus programas. É algo essencial para programas vocacionais preparar para o trabalho, História, Psicologia, é bom saber para onde meus alunos vão, que tipo de experiência eles estão tendo na sua vida laborativa, como estão sendo colocados na vida profissional.

O que o Brasil pode aprender da experiência dos países membros da OCDE?

Informações do mercado de trabalho oferecem uma nova dimensão importante para apoiar a qualidade e a relevância dos programas através de financiamento baseado em desempenho, alocação de locais de estudo, informações do consumidor. Menos frequentemente (mas com crescente frequência) de uso em sistemas de controle de qualidade.

O mercado de trabalho é uma fonte essencial de informação para avaliar a qualidade das insti-tuições com missão de educação profissional para a vida profissional.

Informações provenientes do mercado de trabalho são um complemento importante para a in-formação existente para todas as IES – fornecendo informações sobre experiências de pós-gra-duação que podem ajudar as IES. Mas como pensamento conclusivo, como esses resultados, um pode ver, por exemplo, em um certo nível de uma triagem em que algumas instituições ba-seadas em grandes informações, de censos de governo, estão julgadas aptas a medir sua própria qualidade, outras instituições têm menos confiança e há um constante monitoramento, remo-tamente que seja, de muitas e muitas partes de informação de como está sendo o desempenho da instituição e onde você vê nas suas contas, auditorias, quantos alunos desistem e o ritmo de progresso, muitos desses quando se descobrir o problema, você vai perguntar: “O que está cau-sando esse problema? Bom, deixa eu mandar alguém in loco para descobrir qual é a fonte desse problema” e aí tem o sistema, então qual o papel da avaliação nisso? A avaliação pode se liberar para fazer o que ela faz brilhantemente, que é uma avaliação bem boa para a comunidade aca-dêmica, para a compreensão de como se está conseguindo a melhora da qualidade e a melhora contínua dos programas, que é uma parte importante de qualquer instituição.

Muito obrigado!

31.10.2018Manhã


140

Debates

Bom dia a todos, muito obrigada, professor Thomas. Antes de receber as perguntas, eu gostaria de externar o sentimento de satisfação com esta apresentação. Afinal de contas, o professor Thomas traz para nós provocações extremamente importantes para pensar a nossa atividade de avaliação da Educação Superior. É impactante assistir a apresentação e compreender que os países, no mundo inteiro, têm questionamentos centrais à nossa proposta de avaliação. Muitos destes questionamen-tos nós já fazemos há algum tempo internamente e também com os nossos pares e eu acredito que essas provocações atingem o nosso objetivo com relação a este Seminário, que é justamente abrir espaço para o debate, para ouvir novas considerações, para olhar para as nossas práticas, as práticas que já estão estruturadas há bastante tempo e outras que despontam como possibilidades.

Em relação ao Enade, o que eu poderia trazer como uma contribuição importante é o fato que não dá para pensar o Enade de forma isolada, não dá para pensar o Enade alijado do Sinaes e o Sinaes traz a avaliação na perspectiva de indução da qualidade, mas em um processo correspon-sável, não dá para pensar a avaliação empreendida pelo Sinaes descolada da participação dos atores maiores interessados na Educação Superior e na sua qualidade. Ontem, por exemplo, nós tivemos uma mesa, sobre a qual nós conversamos mais cedo, que traz justamente a dimensão da avaliação interna, da avaliação externa, qual é o papel da instituição na avaliação, tanto interna quanto externa, qual o papel de uma CPA, pensando que uma CPA envolve o corpo docente, técnico-administrativo, os estudantes, a comunidade na qual a instituição está inserida e para a qual a instituição apresenta suas propostas de formação superior e aí eu trago essa observação porque quando nós pensamos no Enade, na avaliação do desempenho do estudante, conside-rando um recorte desta formação, que de algum modo tenta se traduzir em um instrumento, não dá para pensar o Enade sem considerar que o estudante é também o corresponsável no processo de sua formação. Então, a meu ver, como coordenadora, hoje coordenadora geral do ENADE e também como professora da Educação Superior, estive como professora antes de as-sumir essa atividade, não dá para pensar o processo avaliativo sem considerar que o estudante cujo perfil, no Brasil, é o perfil de um estudante que trabalha ao longo do dia e à noite vai para sua formação, paga pela sua faculdade, tem também linhas de financiamento de bolsas para conseguir essa formação, não dá para pensar esse estudante não responsável pela qualidade da educação na qual ele está envolvido, ele não é apenas um receptor, ele é também um agente ativo e as instituições têm um grande desafio de envolver os seus estudantes nesse processo de avaliação institucional interna e externa no sentido de melhoria institucional e quando nós pensamos também a avaliação do estudante nós precisamos pensar essa avaliação como uma extrema e estrita contribuição da comunidade acadêmica e parece até uma fala superficial quan-do eu coloco isso: a participação da comunidade acadêmica como se fosse um dado da realidade ou um senso comum, mas não é bem assim que funciona.


141

Quando nós nomeamos as comissões assessoras, fazemos um estudo muito profundo sobre os indicadores de qualidade das instituições que aderem, que participam de cada ciclo do Enade e a partir daí nós identificamos aquelas instituições que apresentam uma boa experiência em par-ticipação no Enade e essas instituições contribuem conosco encaminhando coordenadores de cursos que poderão participar das comissões assessoras de área e nessas comissões assessoras de áreas esses professores analisam os documentos que estruturam os seus currículos, analisam as Diretrizes Curriculares Nacionais, analisam os instrumentos anteriores para então desenhar um instrumento que possa abarcar os conhecimentos e as competências que seriam passíveis de avaliação por um grupo de estudantes.

Então, quando eu trago esses exemplos do envolvimento da comunidade acadêmica, o envol-vimento estrito, complexo e contínuo, eu trago a parte da comunidade acadêmica que é res-ponsável pelo processo avaliativo, não cabe somente ao Inep pensar a avaliação. O Inep pensa a avaliação nesse intercâmbio. É claro que existem várias limitações, vários limites que já foram até anunciados na minha fala ontem e que são incômodos, são questões que temos pensado no sentido de aperfeiçoar o Enade e as suas perguntas, as suas contribuições trazem novos elemen-tos para pensarmos, porém o que eu gostaria de destacar no processo Enade é que ele não é alijado do Sinaes. O Sinaes traz uma responsabilidade compartilhada com relação à qualidade da Educação Superior, o Inep não decide sozinho sobre como a avaliação vai acontecer, essa decisão é uma decisão corresponsável e não daria para pensar o Enade, não daria para pensar a partici-pação do estudante sem trazer para todos os envolvidos essas corresponsabilidades. Então nós temos também algumas questões. Nós estamos também com o Renato na mesa porque ele é o moço dos indicadores, tem uma pergunta aqui que eu gostaria que você já iniciasse. Enquanto o Renato dá sequência, em vou analisar estas questões.

Primeiramente eu queria agradecer a fala do professor de hoje. É bom saber que apesar de todas as dificuldades de operacionalização de um sistema de avaliação, ainda assim fazemos muita coisa que não existe fora do país, não serve de consolo, mas reanima um pouquinho.

A primeira questão que é apresentada é: Existem indicadores globais de avaliação da qualidade da Educação Superior? Se sim, como compará-los? Se não, como construí-los?

Esta é uma pergunta simples, provavelmente. O problema é que, em algum nível, desenvolver indicadores é uma forma de consenso social. Você tem uma narrativa compartilhada do sistema de educação, quais são os problemas etc. e quais são as áreas que precisam melhorar, então isso procede ao desenvolvimento do sistema de indicadores. A primeira coisa que você vai ter que fazer é ter uma discussão pública sobre para onde você quer ir como sistema de Educação

Thomas Weko

Renato Augusto Santos

31.10.2018Manhã


142

Superior, esse é o fundamento para desenvolver indicadores, e é daí que vai ter que começar,

sim, definitivamente pode achar que toda instituição de Educação Superior, no nível mais funda-

mental, se as pessoas não estão completando o programa de estudos isso é algo que importa,

porque foram recursos públicos gastos nisso, então há indicadores básicos, a maior parte da

questão de desenvolver indicadores é de você, como uma comunidade de Educação Superior

e uma comunidade mais geral, entrar em acordo sobre quais são os níveis de qualidade que se

pode esperar e como isso deve ser medido.

Professor, tem umas perguntas aqui, a professora Ana Luiza pergunta: Em meio a tantas

hipóteses, qual é a alternativa? Existe ferramenta para medir a qualidade? Como garantir

a accountability?

Outra pergunta simples. Países estão tentando fazer muitas coisas para lidar com a qualidade

da educação e no risco de ser indelicado você pode ter qualidade sem garantia de qualidade.

Você pode ter qualidade, há várias formas para se alcançar isso em diferentes países, tem a ver

com a forma como se lida com as carreiras acadêmicas, como se gerencia as instituições, como

o governo dá fundos às instituições, se tem a ver com o desempenho. Os institutos de pesquisa

e os governos estão buscando usar várias ferramentas, e uma delas é assegurar qualidade. A

maioria dos países está tendo financiamento baseado em desempenho, isso é o que a maioria

dos países está fazendo, e algumas estruturas de accountability e como eu sugeri, como se cria

esse quadro de accountability com a diversidade de instituições que se tem nessas e nas dife-

rentes comissões, mas é possível construir isso e a parte difícil não é desenvolver os indicadores

ou coletar os dados, é acordar entre vocês pelo que as instituições devem ser responsáveis, por

qual tipo de desempenho.

A outra questão é: Quais são as principais estratégias que os países da OCDE têm utilizado para

a avaliação dos egressos já inseridos no mercado de trabalho?

Países têm formas muito comuns de pensar sobre o que acontece quando os alunos saem do

sistema educacional, e uma das coisas em que eles prestam atenção é quanto tempo demora

para as pessoas encontrarem emprego, qual a ocupação em que eles entraram, a regularidade

do emprego, os salários que recebem, o crescimento desses salários ao longo do tempo. Essas

são formas comuns, eu diria. Acho que tem cinco ou seis formas comuns em que as pessoas

olham essa experiência em termos de mercado de trabalho e usam isso para entender o que as

instituições fizeram. Se você treina professores e cinco anos depois você vê que só 20 por cento

dos alunos se tornaram professores, isso é algo importante para você aprender.


Thomas Weko

Thomas Weko


143

Com uma participação remota, o Oscar Hipólito, de São Paulo, mandou uma pergunta para o pro-fessor Thomas. Nos países da OCDE, as instituições avaliam também a equipe de gestão acadêmica?

Às vezes tem sistema de assegurar a qualidade que avalia as instituições, a liderança e o geren-ciamento daquelas instituições, sim, em termos de capacidade de gerenciamento financeiro, habilidade de engajar os professores com partes interessadas externas, essa parte de gerenciar bem uma instituição em alguns sistemas de garantia de qualidade há uma visão do governo so-bre a habilidade e a liderança da instituição, sim. Isso seria parte do sistema de dar às instituições a responsabilidade para gerenciar os seus programas, e aqueles especialmente que têm o perfil de autoacreditação, você tem que ter, tanto estratégico como financeiramente.

O que são indicadores simples e claros? Acredito que isso já tenha aparecido na apresentação, mas explorar um pouco mais, talvez, a questão.

Essa era uma questão sobre indicadores claros e simples, eu não estava propondo nenhum indica-dor particular, só que os indicadores satisfizessem algumas características básicas, porque se você quer ter um indicador que é poderoso, que mude o comportamento das instituições, esperamos de maneiras boas, mas também podem mudar de maneiras ruins, temos que levar isso em conta, porque eles podem produzir consequências não desejadas. Se você quer ajudar as instituições a não terem estudantes que saiam dos cursos, eles podem se comportar de maneira ruim, eu certamente colocaria os perfis de escolas secundárias dos estudantes, mas bons indicadores, como eu disse, de-veriam ser claros, previsíveis e acionáveis para você dar às instituições uma oportunidade de mudar, melhorar seus programas e isso no fim é o que você quer ter como efetividade, então os indicadores deveriam ter essas propriedades, deveriam ser compreensíveis para que as instituições pudessem dizer - quando introduzimos a regulação de empregos nos Estados Unidos as pessoas da universida-de me disseram: “Ah! Nós vimos aqui os graduandos e nós pensamos que não os estamos servindo bem”, então nós vamos expandir outros programas da instituição, vamos ter resultados melhores, os estudantes estão melhorando e as instituições providenciando resultados melhores.

São muitas perguntas, porém já são dez e trinta, precisamos dar sequência à programação. São per-guntas variadas, algumas tangem a questão da diversidade regional e cultural do nosso país e como isso impacta a avaliação. Tem outras questões também relacionadas à contribuição da OCDE com o país, mas eu vou tomar a liberdade de lhe passar as questões para responder em outro momento, pode ser, professor? Nós temos o e-mail seminá[email protected] e outras perguntas podem ser direcionadas para esse e-mail e eu gostaria de em outro momento poder conversar com o senhor so-bre as perguntas e colher informações para dar as respostas aos interessados, pode ser? Bom, muito obrigada, obrigada pela audiência de todos e vamos dar sequência à programação.



Thomas Weko

Thomas Weko


31.10.2018Manhã


144

Avaliação em larga escala na Educação Superior no Brasil: óticas contempo-râneas e novos caminhos

Ao dar início à Mesa Redonda, o moderador, Webster Spiguel Cassiano, informou que haveria

três apresentações muito interessantes na composição da mesa, com uma interligação com o

que foi tratado no dia anterior e também com o mesmo dia pela manhã, com algumas perguntas

que o professor fez acerca do que a OCDE gostaria que fossem respondidas. Em seguida, passou

a palavra para o professor Mauro Luiz Rabelo.

O professor Mauro Luiz Rabelo anuncia que vai falar um pouco da história do Enade do pon-

to de vista pedagógico e começa contextualizando a avaliação da Educação Superior brasi-

leira, apresentando dados do Enade desde quando foi criado, em 2004, até os dias de hoje,

considerando o número de instituições de ensino superior, tanto públicas como privadas, o

número de cursos e de alunos. Ele mostra, com sua análise, o tamanho e a diversidade do

sistema, que, segundo ele, é gigante, o que leva à necessidade de investigar a qualidade da

educação. Continuando sua apresentação, o professor fala sobre os três pilares do Sinaes: a

avaliação institucional, de cursos e a avaliação de desempenho dos estudantes, que se inter

-relacionam. O foco de sua fala foi dado ao Enade, que é a avaliação de estudantes e que é

uma avaliação de larga escala, com ciclos de três anos. O professor passa a fazer um históri-

co que se inicia com a criação do Enade, em 2004, quando ele era diretor acadêmico de um

órgão da Universidade de Brasília e foi indicado para acompanhar a aplicação do Enade, que

na época era aplicado para ingressantes e concluintes. Fala sobre as mudanças que houve

no segundo ciclo, em 2007, quando foram criados os indicadores: CPC, IDD e IGC, além de

outra mudança importante, que foi a inclusão dos cursos superiores de Tecnologia. Houve

outra mudança importante em 2009, quando o Enade deixou de ser amostral e passou a ser

censitário. O professor relata que antigamente o Inep contratava empresas para elaborar

as provas, mas que devido a alguns problemas no ano de 2009, o Inep decidiu criar uma

metodologia de contratação de especialistas para cuidar das provas, que a partir daí seriam

feitas dentro do ambiente do próprio Inep. Criou-se o Banco de Itens do Enade, que mudou

a concepção de modelo de prova para a concepção de banco de itens, foi uma mudança do

macro para o micro. O professor finaliza sua apresentação fazendo uma síntese de como é o

processo do Enade hoje e fazendo também uma apresentação sobre o trabalho de capacita-

ção das Comissões Assessoras de Áreas, que é feito pela equipe do Inep, com a contratação

de consultores. Encerra dizendo que há questionamentos sobre as limitações da prova e que

ainda há muita coisa que precisa ser pensada e discutida, mas que isso é o que move todos

os dias os professores na área docente.

Mesa Redonda 3

145

O moderador Webster Spiguel Cassiano passa a palavra à professora Claudette Vendramini, que inicia sua apresentação dizendo que vai mostrar a complexidade que é avaliar a Educação Su-perior, principalmente num país como o nosso, e o quanto essa complexidade dificulta a busca da confiabilidade e da validade do Enade e dos outros indicadores que estão associados a essa avaliação educacional. Ela afirma que a sociedade tem passado por muitas transformações e que é um desafio acompanhar a velocidade dessas modificações. Ela aponta para a diversidade do sistema de Educação Superior brasileiro, com seus diferentes tipos de instituições, de currículos, diferentes perfis de estudantes, e que essa variedade torna complexo encontrar um indicador para avaliar a educação, sendo então necessário pensar em toda a estrutura que está por trás para atender o objetivo de cada um dos indicadores e o quanto esses indicadores contribuirão com o geral. O primeiro passo para avaliar, segundo ela, é entender o que cada um dos índices mede. Ela mostra que é necessário, quando se avalia, que o objetivo geral do desempenho do estudante esteja atrelado aos conteúdos das Diretrizes Curriculares de cada curso, às habilida-des e competências acadêmicas, e que precisa haver uma atualização permanente dos conhe-cimentos sobre a realidade. A professora fala sobre as competências e habilidades que devem ser medidas numa prova, que têm estar relacionadas à Matriz de Referência. Ela fala também sobre os métodos de interpretação dos resultados, não só da prova, mas também do contexto da avaliação educacional. Discorre sobre a questão da avaliabilidade e da confiabilidade, no caso da prova do Enade, e da necessidade de pensar no ciclo de três anos, ou seja, pensar sobre o que abarcar em cada um dos anos, quais cursos realmente incluir. A professora conclui sua exposição trazendo algumas propostas metodológicas no geral, já que não é possível, dada a complexidade do assunto, fazer propostas muito fechadas.

Finalmente, para concluir as apresentações da mesa redonda, o moderador Webster Spiguel Cassiano passa a palavra ao professor Dalton Francisco Andrade.

O professor Dalton Francisco de Andrade, ao proferir palestra sobre Avaliação em Larga Escala da Educação Superior no Brasil, informou que ia continuar o assunto da fala da professora Claudette e do professor Mauro, que falaram sobre a TRI, modelo multimídia e modelo hierárquico, que iria ex-plicar o que são esses modelos e como essas teorias matemático-estatísticas são bem relacionadas com a Psicometria, que podem ser bastante úteis para a avaliação da Educação Superior e também sobre como utilizá-las. Explicou que o interesse é na avaliação em larga e em medir o desempenho, que chamou de proficiência, sobre como medir proficiência e como entender como a medida de proficiência foi desenvolvida. Definiu traço latente como características que não observamos dire-tamente, como qualidade de vida e satisfação, e é utilizado para fazer a medição de forma indireta, sendo necessário construir uma régua para representar essa medida quantitativamente, que essa medida é inventada e, uma vez estabelecida, todos os itens ficam posicionados nela. Concluiu

31.10.2018Manhã


146

explicando que utiliza a TRI para medir proficiência, Teoria da Resposta ao Item, um conjunto de modelos matemático-estatísticos que permitem a criação de uma régua onde você representa os respondentes e os itens na mesma escala e com isso você pode mostrar que escolas que têm um determinado comportamento têm um desempenho maior.

Seguem os registros na íntegra dos pronunciamentos dos Professores Mauro Luiz Rabelo, Clau-dette Vendramini e Francisco de Andrade.

Bom dia a todos e a todas, quero dizer que é um prazer imenso estar aqui, agradecer à Daes, em nome da Mariângela, nossa diretora, e à Alline, da Coordenação Geral do Enade, o convite de estar nesta mis-são nobre neste evento, Seminário Internacional, e de contar um pouco da história do Enade do ponto de vista pedagógico. Eu separei a minha fala em alguns trechos: a contextualização da avaliação da Edu-cação Superior brasileira, o histórico do Enade, vou falar um pouco sobre o processo de capacitação das comissões assessoras de área, da construção do BNI e algumas considerações finais. Claro que é uma passagem meteórica por esses temas, para ser feito em 20 minutos. Só para contextualizar, só para não ir direto para o Enade, já com aqueles dados do Censo, nós temos aí o gigantismo da Educação Superior brasileira, se compararmos 1990, 2003 e 2016, só para dar alguns marcos, por que eu coloquei 2003? Porque o Enade foi criado em 2004. Então, para compararmos, de 2003 a 2016.

Nós tínhamos 1.859 IES em 2003 e hoje são 2.407, são dados do último Censo, 2.407 das quais 296 são públicas e 2.111 são instituições privadas. Em relação aos cursos, nós saltamos de 17.380 em 2003 para 34.366, então como no Sinaes nós avaliamos os cursos, se quiséssemos avaliar to-dos os cursos ofertados em todos os anos, estaríamos fazendo algo em torno de 34.000 cursos. Se para cada um fizermos um relatório pedagógico, nós estamos falando de 34.000 relatórios a serem feitos. Como são de três em três anos, vai dar uma média aí de 11.000, nem todos são avaliados, por causa do tamanho, tem algumas regras, então já temos uma ideia da dimensão do nosso universo de avaliação e de análise. Em termos de estudantes, em 2003 nós tínhamos 4.000.000, hoje, no último Censo, 8.052.000 e esse é o gigantismo da nossa Educação Superior.

Nesse slide aí, só para nós olharmos, com dados de ingresso, aqui eu não tenho um apontador, mas temos ali na primeira coluna, Total Geral, 2.985.000 estudantes ingressantes e 1.169 concluintes, dados de 2016. Se vocês lembrarem, no início o Enade avaliava concluintes e ingressantes, se qui-séssemos fazer a avaliação de todos, todos os anos, estaríamos falando da ordem de grandeza de 4.000.000 de estudantes, então não faz sentido, tanto é que no início o evento era feito de modo amostral, tínhamos uma amostra de ingressantes, uma amostra de concluintes, e depois de certa data passou a ser universal e depois universal só nos concluintes. Então esse é o gigantismo do nos-so sistema, tamanho e diversidade, o professor Thomas colocou exatamente um dos pressupostos

Mauro Luiz Rabelo

147

lá na avaliação, tamanho e diversidade levam à necessidade de investigar a qualidade da educação. Nós temos isso como premissa e para isso criamos um sistema de avaliação e estamos aqui falando de um sistema criado a partir de 2004. Não vou falar dos sistemas anteriores.

O Sinaes tem três pilares: avaliação institucional, de cursos e avaliação de desempenho dos estu-dantes, que se inter-relacionam. O foco aqui é o Enade, que é a avaliação de estudantes. É uma avaliação de larga escala, os ciclos são de três anos, se fazem um determinado curso, numa deter-minada área, os estudantes fazem o Enade no ano 1, no ano 2 se geram os indicadores e no ano 3, a avaliação in loco. Claro que isso pode mudar um pouquinho, mas essa é a regra geral do ciclo avaliativo do Sinaes. Então um curso que faz a prova agora vai voltar a fazer daqui a três anos.

Eu vou contar um pouco de história. Era uma vez, então, em 2004, eu sou professor da Universi-dade de Brasília, atualmente estou ocupando uma função no Ministério da Educação, na Secre-taria de Educação Superior, cuidando das nossas 63 universidades federais, nos 328 campi, outra missão nada fácil, mas enquanto professor da Universidade de Brasília, trabalhava num órgão da Universidade de Brasília, cuidava das seleções, concursos, etc., eu era o diretor acadêmico e o Inep, com a criação do Enade, na nova lei do Sinaes, convidou três instituições brasileiras para cuidar da aplicação do Enade em 2004, do novo modelo de avaliação. Eu, como diretor acadêmico, fui indicado para acompanhar esse trabalho, então eu tive o privilégio de coorde-nar o processo de elaboração das provas do Enade sob as quais a minha instituição assumiu a responsabilidade. O Enade era aplicado para ingressantes e concluintes, de acordo com o que estava estabelecido no Sinaes, ele era amostral, e como era o trabalho de elaboração da prova?

O Inep montava as comissões assessoras de área, que já existiam, as instituições encarregadas de elaborar as provas do Enade contratavam as bancas elaboradoras, escolhiam um presidente para cada uma dessas bancas, e esse presidente era o interlocutor da instituição com o Inep. Esse presidente conversava com as comissões assessoras, que davam as diretrizes da prova, passavam para esse presidente, que levava para a banca, aí eu coordenava todas as bancas nas áreas sobre as quais tínhamos responsabilidade, as bancas elaboravam o que chamávamos de questões-modelo, que eram submetidas pelo presidente da banca à comissão assessora, então tinha uma reunião e ia lá levar para aquela comissão: “Esse é o tipo de questão que vocês estão esperando? É essa a perspectiva? Esse é o foco de avaliação?” Se é, tudo bem, pode continuar o trabalho e elaborar a prova; se não, voltavam e elaboravam outras questões-modelo e levavam para a comissão. Nenhuma questão-modelo poderia entrar na prova, então as bancas faziam um esforço tremendo de fazer uma obra-prima, questões que eram consideradas excelentes, saben-do que aquelas questões iriam ser descartadas, porque a lógica era: a comissão assessora já co-nhece, então alguém externo já conhece, quebrou o sigilo, então a questão não entra na prova.

31.10.2018Manhã


148

Então às vezes havia questões maravilhosas que depois eram descartadas. Esse era o processo de elaboração: as instituições contratavam as bancas e se elaborava uma prova, essa prova era aplicada e depois tinha a discussão, depois da aplicação, sobre o gabarito. Também se elabo-ravam modelos de questões discursivas que não entrariam, mostravam para a banca: “É desse jeito mesmo?” “É”, volta, joga aquela fora, elabora outra, e quando a prova era aplicada se mon-tava uma estrutura de correção de questões discursivas, se corrigia uma amostra, se estabelecia padrões de respostas, aí era eleito um presidente da comissão de correção que ia dialogar com a comissão assessora, verificar e aprovar aquele padrão de resposta, aí via o desempenho, etc. “Está bem, pode continuar a correção assim” e aí se fazia a correção. Esse é o modelo imple-mentado em 2004, o Inep contratava instituições que cuidavam disso e posso dizer que foi um momento de muito aprendizado. Eu, por exemplo, ficava imerso, durante algum tempo, com essas comissões. Então, às vezes, era melhor a banca se reunir em São Paulo por comodidade das pessoas de locomoção, então íamos para um lugar em São Paulo, reservávamos um hotel e ficávamos lá uma semana, com a banca trabalhando, eles faziam a questão e eu revisava, eles faziam e eu revisava, eu tinha uma experiência grande já de elaboração e de revisão, então o trabalho era sempre feito desse jeito.

Uma coisa que eu queria comentar é que já em 2004 nós instituímos e testamos um modelo que estávamos começando a implementar que era de correção de digitalização das questões discursivas, em vez de corrigir no papel já corrigia no computador, então já tinha um sistema que estávamos testando, um sistema que deu origem depois ao sistema de correção on-line das provas do Enem, esse modelo foi testado lá no Enade em 2004. Então você tem esse primeiro ciclo do Enade e aí as coisas se comportaram mais ou menos do mesmo jeito. Eu não vou falar sobre as áreas, cada ciclo tem as áreas, acho que a Alline falou sobre isso ontem, mas como os slides vão ficar disponíveis, essa informação fica completa.

Agora vamos para o segundo ciclo. O que mudou do primeiro ciclo para o segundo? Em termos de elaboração da prova, do mesmo jeito, mas aí foram criados os indicadores. Dentro da lei do Sinaes já havia a proposta de se fazer a comparabilidade, o valor agregado, etc., então o Inep fez uma discussão sobre isso e aí foram criados o CPC, o IDD e o IGC. Não me compete aqui discutir os indicadores, tem discussão específica sobre isso, então em 2007 há duas grandes mudanças: a criação dos indicadores e a inclusão dos cursos superiores de Tecnologia. Essa é uma mudança importante da história do Enade, breve.

Em 2008 fica igual a 2007, e em 2009 o Enade deixa de ser amostral e passa a ser censitário. As instituições tinham uma dificuldade muito grande de entender que numa turma de 100 alunos aptos para fazer prova, 80 eram escolhidos, tinham obrigatoriedade, e 20, não tinham. E às vezes

149

elas tinham o mesmo curso oferecido em outro campus com 100 alunos e naquele a amostra ge-rava 50 obrigatórios e 50 não, então eles tinham dificuldade muito grande de entender e acabou que nesse movimento o Inep decidiu fazer o Enade censitário.

Em 2009 as provas discursivas tinham muita liberdade, não tinha o número de questões discur-sivas, não estava padronizado, nem o formato, e também para facilitar em termos de logística, o Inep padronizou: duas questões discursivas na formação geral e três no componente específico. Aí tem as áreas e foram inseridos os cursos de Tecnologia. Um ano que não foi muito interessan-te foi 2009, o Inep teve alguns problemas, as empresas eram contratadas em licitação e em 2009 a empresa que ganhou foi uma empresa que nunca tinha aplicado o Enade. Houve alguns pro-blemas de aplicação e aí o Inep decidiu que tinha que mudar esse modelo, porque na realidade era melhor ele trazer para si a responsabilidade de elaboração das provas e não terceirizar isso, então a equipe do Enade, que era grande no Inep, tinha, parece, umas cinco ou sete pessoas, passou a ter uma grande responsabilidade: criar uma metodologia de contratação de especialis-tas para cuidar dessas provas e essas provas seriam feitas dentro do ambiente do próprio Inep.

Eu digo que foi uma mudança grande, porque quando era nas empresas, se trabalhava com a concepção de uma prova, uma prova fechada, 10 questões de formação geral, 30 de específicas, umas de especificidades, mas aqui na metodologia foi dado início à construção do Banco de Itens do Enade, o que chamamos de BNI Enade, então é uma mudança grande, da concepção de modelo de prova para a concepção de banco de itens. É do macro para o micro. Quando eu faço a concepção de prova, a banca inteira, elaborador e revisor estavam juntos na mesma sala, olhando a prova inteira, opinando e fechando aquela prova e entregando aquele instrumento pronto, fechado. Agora não, agora eu vou contratar um especialista para fazer um item especí-fico, um item nesse banco de questão, uma questão, porque ele não vai ver o resto, ele não vai ver como é que aquele item vai se integrar com outros da prova, então eu tenho um problema quando eu começo a trabalhar com o banco de itens: eu preciso ter algum instrumento que vai me possibilitar ligar a produção dos especialistas, a produção individualizada de uma certa quantidade de itens de pessoas diferentes e colocar isso e dar, vamos dizer assim, uma cara pedagógica para esse instrumento, para essa prova. Então esse trabalho só podia ser feito a partir da elaboração de um instrumento muito importante, que é a Matriz de Referência, que chamávamos de Matriz de Prova para poder balizar, para ela poder servir de fundamento teóri-co-metodológico para esse processo.

Então, o processo, em linhas gerais como funciona hoje, é: a primeira coisa que se faz é a com-posição das Comissões Assessoras de Área e a Comissão de Formação Geral, então todo ano o Inep faz essa escolha, tem os indicadores para chegar ao convite aos especialistas; seleciona-se a

31.10.2018Manhã


150

equipe de elaboradores e revisores, que é feita por chamada pública, porque o Tribunal de Con-tas, os órgãos de controle começam a questionar por que é o indivíduo a que é chamado e não o indivíduo b? Então o Inep se vê na obrigação de criar a chamada pública para contratar pessoas para poder elaborar a prova. Aí vem a capacitação das comissões assessoras e a capacitação das equipes de elaboradores e revisores, então que modelo é o mais adequado à capacitação? Depois eu vou falar um pouquinho sobre ele. As Comissões Assessoras têm duas missões iniciais importantes: elaborar a portaria que vai dar orientações sobre o Enade daquele ano e elaborar a Matriz de Referência ou a Matriz de Prova que vai ser a baliza para fazer a encomenda dos itens. Então são feitas capacitações ou oficinas para esses elaboradores e revisores.

Nas comissões assessoras, se elabora a matriz e depois os itens são inseridos no sistema do Inep e aí tem revisões. O Inep criou uma Comissão de Assessoramento Técnico, com especialistas em elaboração de itens de avaliação de larga escala, que dão esse tratamento, recebem a pedra bruta e vão lapidando essa pedra, o item como ideia bruta, como primeira ideia do elaborador e vai fazer umas revisões, ele vai se lapidando até chegar à sua versão final. E aí, tem as revisões técnicas de forma, de língua portuguesa, tem uma revisão importantíssima que é de sensibili-dade, a revisão sensível, porque às vezes o elaborador escolhe uma figura que pode ter algum problema, algum tipo de viés, um texto em que algum grupo pode se sentir desconfortável em relação àquela proposta, tem um grupo que faz uma leitura só para ver se tem algo que pode causar algum tipo de constrangimento, ou está muito ideológico, e aí aquele item não deveria entrar na prova. Aí monta a prova, aplica, corrige a discursiva, faz a análise e elaboração dos questionários e a divulgação.

E aí o que aconteceu com essa mudança no Inep? No terceiro ciclo mudou-se muito, porque agora a concepção era o início da construção do BNI Enade com o trabalho hercúleo da Coor-denação Geral do Enade. A equipe de especialistas foi se qualificando ao longo dos anos, a pro-fessora Claisy e eu trabalhamos bastante com a equipe num trabalho de capacitação em termos conceituais da proposta de avaliação, etc. e hoje a turma está aí fazendo trabalhos belíssimos e cuidando sozinha desse gigante que é o Enade, por exemplo. Este ano é o ano em que a quanti-dade de provas é a maior.

E esse processo foi sofrendo mudanças, ao longo dos anos. Por exemplo, no Enade em 2011 os ingressantes saíram e aí passaram a ter como participantes apenas os concluintes. Isso muda até a perspectiva de elaboração, porque quando tinha ingressantes e concluintes, tínhamos uma recomendação de que alguns itens eram elaborados pensando num aluno concluinte de final primeiro ano, agora não precisávamos mais nos preocupar. Essa mudança reflete no pedagógico, na prova e nos tipos de questão. As capacitações começaram sendo presencialmente, então,

151

por exemplo, a primeira capacitação foi feita na Academia de Tênis, quem conhece a Academia de Tênis aqui em Brasília, num grande auditório, 700 professores lá, talvez até algum aqui tenha participado, e aí fizemos isso naquele grande grupo, fazendo a capacitação para a elaboração de item, a equipe do Enade falando da proposta, etc., e depois esse grupo era dividido e ia para as salas que tinham computadores e eles elaboravam presencialmente os itens.

Em 2010 e 2011 os itens eram elaborados aqui mesmo. Em 2012 o sistema já foi aperfeiçoado e a elaboração já passou a ser a distância. E em 2013 a capacitação também passou a ser a dis-tância, então primeiro trazia a elaboração num grande grupo, depois a capacitação foi feita em pequenos grupos e depois ela passou a ser a distância, só não abrimos mão do trabalho com a Comissão Assessora de Área, que tem um papel extremamente importante, e se até 2009 a questão não podia entrar na prova, hoje a Comissão Assessora de Área é responsável pela esco-lha dos itens que vão compor a prova. A Comissão Assessora de Área é capacitada em termos da elaboração da Matriz de Referência, desenha a encomenda, como os itens vão compor e depois faz a escolha dos itens que vão compor a prova. Então a responsabilidade é imensa. A grande mudança foi em 2013, em que a capacitação de elaboradores e revisores passou a ser na moda-lidade EaD, usando o ambiente Moodle. A segurança do sistema foi aumentada e as elaborações passam a ser feitas dentro de um sistema com controle rigoroso de acesso. Daí para frente o Enade, até 2017, até este ano, tem essa configuração e o processo segue aquela linha que eu tracei naquele slide no momento da mudança.

Eu queria pontuar brevemente o trabalho de capacitação das Comissões Assessoras de Áreas, que é feito pela equipe do Inep, com a contratação de consultores. A equipe do Inep faz a ca-pacitação em termos dos fundamentos, da questão legal, da questão inclusive operacional e nós fazemos a fundamentação teórico-conceitual trazendo para as comissões qual deve ser, do ponto de vista conceitual, o foco da avaliação do Enade. O foco, como nós estamos falando de Educação Superior, é o perfil profissional desejado de formação. Então fazemos uma discussão profunda, detalhada, inclusive com oficinas a respeito de perfil profissional, de onde eles vão buscar esse perfil dos profissionais, do conceito de competência, qual a diferença do conceito de competência do conceito de habilidade, como construímos um instrumento para a avaliação e desenvolvimento de competências e atingimento de perfil profissional?

Obviamente, quando fazemos a discussão acerca do perfil, voltamos às Diretrizes Curriculares Nacionais e nos catálogos dos cursos de CST, superior de Tecnologia, e fazemos um estudo sobre as DCN e os catálogos e mostramos para eles que tipo de perfil é esperado, de modo geral, na formação dos nossos estudantes de Educação Superior, depois trabalhamos o conceito de com-petência, buscamos referências nas DCN sobre as competências e desenvolvemos com eles uma

31.10.2018Manhã


152

metodologia de construção de uma Matriz de Referência, que seria uma matriz que poderia ser utilizada como suporte no curso superior, naquele curso e na área que eles estão representando. Depois dessa matriz fazemos um recorte a que chamamos Matriz de Prova. O trabalho é numa perspectiva macro e com isso eles constroem um instrumento que dá uma visão global do curso em que eles atuam utilizando referenciais conceituais bem estabelecidos.

Primeiro eles trabalham com o foco no perfil, qual o perfil geral a ser alcançado, quais são as ca-racterísticas que compõem esse perfil, depois vamos para as competências, quais competências serão avaliadas, quais contribuem para o alcance das características do perfil, e aí descemos para o nível dos objetos de conhecimento, então quais são os objetos de conhecimento que darão supor-te à avaliação do desenvolvimento dessas competências. E aí vão para os exemplos de atividades avaliativas, que são os itens: como avaliar itens que avaliam o desenvolvimento de competências que contribuem com determinado alcance de um perfil profissional. Então este é o trabalho que fazemos, daí todas as áreas constroem uma matriz mais ou menos nesse estilo, na primeira coluna colocamos as características de perfil, na segunda linha são as competências, fazemos a discussão sobre competências técnicas e transversais, se tem alguma competência transversal que é passível de avaliação ou não, aí eles é que vão fazer as escolhas e os AC são os objetos de conhecimento. É uma matriz tridimensional: perfil, competências e objetos de conhecimento.

E essa matriz é ali em cada cruzamento, uma característica de perfil com um recurso, no cruza-mento dessas células é que vão ser elaboradas as questões, então, por exemplo, naquele cru-zamento de característica de perfil 2, competência 5, eles vão encomendar uma questão que avalia o desenvolvimento da competência 5, que contribui para o alcance da característica de perfil 2 utilizando como objeto de conhecimento os objetos 2 e 3 que vão estar listados numa matriz. Então essa é a metodologia, e aí vem o trabalho de construção de itens, grande desafio. De fato, construir instrumentos para avaliar processos de desenvolvimento de competências em diferentes trajetórias de formação acadêmica e profissional em diversos contextos é um desafio enorme, então não é fácil e quando se trazia uns elaboradores e revisores para a capacitação presencial já era difícil, fazer isso na modalidade EaD introduziu mais uma dificuldade, mas te-mos conseguido. Podemos dizer que as provas têm melhorado ano a ano. Por exemplo, as provas têm uma qualidade inclusive visual muito bonita, essa é naquela época do Avatar, a questão lá na Fonoaudiologia utilizando filme, etc., então pedimos à turma para pôr a criatividade em ação, no processo de elaboração. Então, resumindo, como é que é o processo?

Elaboração, então dentro do sistema tem um bate-bola entre elaborador e revisor, quando isso se finaliza, esse item vai para a revisão técnico-pedagógica de especialistas da área. Passou essa revisão e tem a comissão, que lê os itens, faz uma revisão e faz uma escolha, depois em uma

153

revisão linguística, todo processo desse tem que ter uma revisão linguística. Aí tem a revisão da Comissão de Assessoramento Técnico. É mais ou menos estruturado assim, às vezes funciona assim, às vezes uma coisa acontece antes da outra, principalmente num ano como esse, que é muito grande. E aí tem essa Comissão de Assessoramento Técnico e a revisão final do Inep, sob a responsabilidade da Coordenação-Geral do Enade e aí pronto, o item passou por todas essas fases, está aprovado, é inserido no banco e pode, então, fazer parte da prova daquele ano ou de outros anos para a frente, por isso que é um banco.

A capacitação das Comissões Assessoras é fundamental para a consolidação e efetivação dos pressupostos do Exame, temos visto que não dá para abrir mão dessa etapa, que é fundamen-tal, até porque há rotatividade dos membros, há necessidade de alinhamento de conceitos e procedimentos, as coisas vão evoluindo e vão mudando, e o processo de avaliação de perfil é complexo, às vezes dizemos: água mole em pedra dura, tanto bate até que acaba a água, mas vemos que, de fato, às vezes uma pessoa já participou da capacitação, participa três anos depois da mesma capacitação e diz para nós: “Olha, como eu aprendi dessa vez, mais do que da outra vez, dessa vez muito mais coisas foram acrescidas ao meu processo de aprendizagem sobre ava-liação de itens do que da outra”. Agora, nós temos questionamentos sobre a Prova, todos temos, ainda bem, é isso que nos move todo dia na área docente, todo dia temos desafios diferentes, as limitações trazidas pelo modelo de prova, o Enade digital seria uma boa alternativa? Nós já começamos em 2015 e 2016 e o Inep já discutiu um pouco, já trabalhamos um pouco, numa dis-cussão sobre fazer um teste e a ideia era pegar duas áreas, Música e Fisioterapia, eram as duas áreas que pegamos para fazer o primeiro teste de uma aplicação do Enade no computador, seria o e-Enade, o e2-Enade, o que isso irá introduzir de novas propostas de elementos de avaliação? As limitações trazidas pela metodologia usada para análise, usamos só a Teoria Clássica, porque o modelo é construído da forma em que a TRI não está adequada para ser utilizada, então o uso da TRI poderia contribuir com o Enade? Certamente, se nós começássemos a usar blocos incompletos, poderíamos abranger mais a matriz, então precisamos discutir isso. É viável? Nós estamos falando de Educação Superior, são mais de 100 áreas avaliadas, é quantidade de alunos muito diferentes de uma área para a outra, etc., pode ser que uma área seja viável e a outra não. A formação geral tem cumprido bem o seu papel?

A formação geral está colocada lá dentro da própria lei do Sinaes, tem objetivos específicos. Será que depois que passamos a utilizar a nota do Enem, tirou o ingressante, será que não po-deríamos pegar essas dez questões e jogar para o conhecimento específico e dar um pouco mais de abrangência à Prova? É muita coisa que precisamos discutir. E os múltiplos usos dos indicadores, sabemos que o CPC, por exemplo, foi criado com uma finalidade, até para reduzir a quantidade de avaliações in loco e hoje ele tem múltiplos usos, até para a regulação. Os rela-

31.10.2018Manhã


154

tórios são riquíssimos, eu atuei como pró-reitor de graduação na UnB durante quatro anos, de 2013 a 2016, e nós, de fato, fazíamos bom uso desses relatórios, fazíamos reunião com as áreas, tanto os relatórios da avaliação in loco como os relatórios do Enade, tem relatórios fantásticos produzidos e as instituições que de fato querem se apropriar dessas informações para poderem fazer redirecionamentos, aquelas que querem, fazem, de fato. Estamos em momento de outra mudança. Qual será?

Eu gostaria, em primeiro lugar, de agradecer o convite feito pela professora Mariângela, diretora da Daes, pela professora Alline, pelo Webster, que também é da Daes, e colocar que eu tenho muita satisfação e muito orgulho de compartilhar a mesa com o professor Mauro e com o professor Dal-ton. A minha apresentação é mais no sentido de mostrar a complexidade que é avaliar a Educação Superior e, principalmente, num país como o nosso. E o quanto essa avaliação e essa complexida-de que está por trás dificultam, inclusive, a busca da confiabilidade e da validade do Enade e dos outros indicadores que estão associados a essa avaliação educacional. O meu nome, professora Claudette Vendramini, eu sou da Universidade de São Francisco, tenho trabalhado há muito tempo em programas de avaliação e principalmente no programa de avaliação discente, da universidade, construindo provas equalizadas, a prova do Enade, já participei como multiplicadora dos avaliado-res aqui do Inep, faço parte da Comissão Técnica de Acompanhamento da Avaliação da Educação Superior e é um trabalho muito prazeroso, fazemos com muito gosto, com muito amor, com muita vontade de ajudar a melhorar a qualidade da Educação Superior no Brasil.

Vou começar exatamente com essa provocação. Então os meus slides, a condução que eu dei, até para poder extrair de toda essa complexidade o que temos que focar para poder buscar construir indicadores, com cada um deles um objetivo diferente, indicadores que realmente meçam a qualidade dos sistemas, das instituições e dos programas de Educação Superior. Então são complexas as transformações todas na sociedade, do aluno, das instituições, e são muito rápidas, então a dificuldade, principalmente num processo de avaliação como o nosso, é acompanhar a velocidade com que todas essas modificações têm ocorrido hoje, é um desa-fio muito grande. Essas mudanças, anteriormente, não eram tão rápidas como são hoje, isso também dificulta e temos esse desafio que é acompanhar realmente essas mudanças tanto no mundo do trabalho e dos saberes que ocorrem tanto nas instituições quanto nos estudantes e eu coloco aqui, não contrastando um lado com o outro, mas os diferentes tipos que nós te-mos de instituições. Nós temos hoje tanto as pequenas instituições de Ensino Superior, locais, quanto as grandes universidades, inclusive com filiais no estrangeiro, com um número grande de unidades que são envolvidas. Há currículos que ainda são voltados para profissionais mais tradicionais e há currículos voltados a essas demandas específicas dos novos profissionais e que também têm tido mudança rápida e são muito flexíveis. Instituições privadas, tanto

Claudette M. Medeiros

Vendramini

155

pequenas quanto grandes e instituições públicas, cada uma com suas características de uni-dades, de estudantes, de professores e pensando nos estudantes, nós temos aí, eu até trouxe este diagrama de gerações, estudantes das gerações anteriores, tanto a x, a y e a z, o perfil do nosso estudante tem mudado, e também eu tenho que pensar na forma de chegar até esse estudante, até essa universidade para poder avaliar corretamente. Então eu tenho aí um con-junto de variáveis envolvidas em todo o processo, o que realmente torna essa avaliação uma tarefa difícil e complexa, e muitas vezes as pessoas pedem um indicador para avaliar a educa-ção. Um! É muito difícil. Nós temos que pensar em todas as variáveis que estão envolvidas e cada um dos indicadores tem um propósito diferente, então o conjunto de indicadores vai me ajudar a entender o perfil geral, mas eu não posso pensar em criticar um, ou outro, cada um tem um objetivo, um conjunto de variáveis e uma meta que eu tenho que alcançar, aí sim, eu tenho que pensar em toda a estrutura que está por trás para atender o objetivo de cada um dos indicadores e o quanto esses indicadores contribuirão com o geral.

Então são necessárias – é lógico que uma avaliação em larga escala num país como o nosso e diante de toda a situação há essa necessidade – e aí eu tenho realmente essas políticas públicas educacionais, e em todo esse cenário elas têm que ir sendo ajustadas, então não é nada estranho que fique preso no tempo, eu tenho que ir sempre, é um processo, é um processo que vai sem-pre ter que ir evoluindo. Então essas políticas, que desde o propósito inicial é melhorar a quali-dade da Educação Superior, orientar a expansão de ofertas de vagas com qualidade, aumentar a eficácia das instituições, aumentar a qualidade do ensino e chegar lá no estudante, para que o estudante realmente aproveite e atenda às necessidades do nosso mercado. Então vejam que eu coloquei o mesmo gráfico que o professor Mauro colocou, mas pensando que toda evolução que tem na educação, a avaliação institucional, a avalição educacional como um todo tem que acompanhar. Voltando, até para fazer o link com tudo que estamos falando, e pensando no Ena-de, então lá em 2004, quando o Sinaes foi instituído, nós temos aí os três polos que o professor Mauro já colocou, os três elementos que eu preciso considerar: avaliar a instituição, avaliar os cursos e avaliar o desempenho dos estudantes. A instituição tem as variáveis e as características que eu quero avaliar, mas pensando nessa complexidade que é o Brasil, inclusive nas diferenças regionais, que cada uma tem as suas características, mas há um programa de avaliação que ava-lia o todo, então como analisar e representar tudo isso em cada um dos indicadores?

Os cursos de graduação dentro dessas instituições, também cada um dos cursos, com as suas especificidades, e que também estão distribuídos e atendem às demandas e às necessidades de cada uma das regiões e aí os estudantes, que estão dentro desses cursos e dessas instituições, em quem eu tenho que chegar. O conjunto de variáveis em cada uma das instâncias - e aí o pro-fessor Dalton, na apresentação dele, vai falar um pouquinho sobre um dos métodos que podem

31.10.2018Manhã


156

ser utilizados - é exatamente pensando, o que a instituição, o curso, a região, quais são as variá-veis que implicam o desempenho do estudante. O que está ali envolvido e eu preciso considerar no indicador a, no indicador b, no indicador c para poder atingir esse objetivo.

Eu estou trazendo aqui alguns PowerPoint, algumas telas, que são inclusive de alguns professo-res que na minha instituição trabalham a questão da avaliação pensando em melhorar a quali-dade de ensino na sala de aula, aproveitando esses relatórios, inclusive as capacitações que o Inep e a Daes têm feito. Nessas capacitações há professores da minha instituição, assim como há professores de muitas instituições aqui presentes, que estão no Banco de professores que elaboram itens, e eles estão participando de todo o processo, então é importante, para avaliar, que é o primeiro ponto, entender o que cada um dos índices mede. O que e qual é a proposta de cada um dos índices para avaliar a qualidade como um todo?

Neste gráfico aqui eu quis apenas mostrar que eu tenho o Índice Geral de Curso e aqui eu en-volvo dados de graduação, dados de pós-graduação, tem outro que é o conceito preliminar que está associado com os outros indicadores, eu tenho o cálculo através de parâmetros que estão envolvidos com os estudantes, que estão envolvidos com a instituição, tem o Enade, o Conceito Enade, que é o desempenho do aluno, no Enade, no Enem, então veja a complexidade, o con-junto de indicadores e todos para medir a qualidade da educação e o quanto essa instituição está contribuindo na sala de aula. Pensando nesses indicadores e falando no Enade, na própria Portaria de 2007 eu coloquei: se eu vou avaliar o que está na sala de aula, então eu tenho que pensar – e aí o professor Mauro também colocou – no que está no objetivo geral do desempe-nho do estudante que está atrelado aos conteúdos das Diretrizes Curriculares de cada curso, às habilidades e competências acadêmicas, e que precisa de uma atualização permanente, aos conhecimentos sobre a realidade, ao conhecimento específico; está na Portaria agora: construir a Prova, quando eu falo em conteúdos programáticos das Diretrizes Curriculares, o professor Mauro também colocou a complexidade que é construir uma Matriz de Referência para poder orientar a construção da Prova. Não é fácil, e é um trabalho baseado nas Diretrizes que eu vou chegar lá no meu processo de avaliação. Competências e habilidades. Então para responder uma questão de uma prova ou para a competência profissional para o profissional, eu não preciso de uma habilidade, eu tenho um conjunto de habilidades que se pretende desenvolver e ele tem que estar competente para realizar várias tarefas da área dele, e que são diferentes competên-cias, então fazer uma matriz fechada, numa prova, pensando em avaliar esse todo não é fácil.

Aqui eu coloco também mais alguns, pensando no perfil, pensando no Enade e no perfil do es-tudante. Quando eu vou traçar o perfil do estudante pelas Diretrizes Curriculares e pensar na prova do Enade, eu também tenho que pensar no mercado de trabalho, então o que o mercado

157

de trabalho, o que a sociedade, o que aquela área está exigindo? Aqui eu tenho um perfil que tem que ser pensado em todo esse conjunto. Aqui também é construído pelos coordenadores de curso, pelos diretores de unidade, lá da São Francisco, que trabalham isso em sala de aula pensando junto com as Diretrizes Curriculares e como ele vai chegar à sala de aula, por meio das disciplinas, para poder trabalhar essas necessidades que não são só necessidades das Diretrizes, mas que estão atendendo aos Conselhos de Classe, aos concursos, ao perfil do mercado de tra-balho. Se não, a instituição morre. Ela tem que ter a qualidade para trabalhar com tudo isso para que ela possa formar o profissional bem-sucedido.

Essas Diretrizes que são trabalhadas pelas comissões, eu tenho que trabalhar com essas com-petências, esses conhecimentos e esses saberes, têm que ser expressas numa prova que tem quarenta questões. Então é lógico que o número é pequeno para avaliar toda essa complexi-dade e tudo que está envolvido, mas essa medida avalia alguma coisa. O mais importante é extrair o que cada prova está medindo e associada a outros indicadores e outras medidas, tem essa avaliação mais geral. Dificilmente nós vamos conseguir um indicador para medir tudo no mesmo indicador. Pensando estatisticamente, eu sou da área da Estatística, pensando em cada indicador o quanto ele está contribuindo para uma variável final, que seria a qualidade geral, mas cada um dos indicadores tem uma contribuição e uma parcela no todo. Então é nesse sentido que eu tenho que olhar.

A competência ou a habilidade, e eu coloquei mais a competência pensando na competência profissional, e que está lá nas Diretrizes Curriculares, eu não observo diretamente, então tam-bém eu preciso inferir, mas numa prova o quanto eu consigo inferir sobre as competências dos profissionais? Isso é um desafio grande quando se faz a prova. Então fica até difícil você sugerir um indicador ou alguma coisa muito pontual porque envolve um trabalho muito minucioso de profissionais de cada área, com cada conhecimento e é um trabalho em equipe. Não é um tra-balho individual e que, a meu ver, tem sido um trabalho muito bem-feito pelo Inep e pela Daes nessa construção de cada vez melhorar mais os indicadores, acrescentar, como o Eduardo disse ontem, uma cesta de indicadores, para que possa cada vez mais contribuir nessa formação geral.

Então eu trouxe aqui, mais para mostrar um pouquinho dessa complexidade, que estou colocan-do em termos de elaboração de prova, por exemplo, no caso da Formação Geral são dez itens e eu quero, na Formação Geral, verificar as competências para: fazer escolhas, ler, interpretar, produzir, compreender; além disso, analisar, sintetizar, criticar, deduzir, olha quantas competên-cias devem ou deveriam ser analisadas numa prova. Formação Geral? Dez itens. Então eu não vou conseguir avaliar tudo, mas eu consigo várias aí, e a importância das matrizes e buscar as matrizes mais básicas e aquilo que deve estar por trás do bom profissional mais geral, o que da

31.10.2018Manhã


158

formação geral é mais importante, que eu consiga medir em dez? Se não, eu vou ter que fazer uma prova com vinte, mas se eu quero dez eu tenho que selecionar e sintetizar muito objetiva-mente e claramente o que aquelas dez questões estão avaliando.

Porque se eu tenho isso muito claro e explícito, o método que eu vou usar estatístico, e depois para analisar, fica mais fácil, porque a Estatística é riquíssima em termos de métodos, ela tem que estar associada a uma avaliação qualitativa, ela não pode ser só quantitativa, ela tem que trabalhar junto com a qualitativa. Há várias limitações de tamanho, financeiras, de diversidade, mas eu tenho que, de alguma forma, se eu quero medir em dez questões, o que é possível medir nas dez questões? O que disso eu consigo de mais importante que tem que estar no profissional de hoje e que eu quero expressar ali? E aí, em cada item, eu vou ter que ir à matriz, fazer o link com o objeto do conhecimento, esta mede isso que está aqui, e esta mede isso que está aqui, então com essas dez questões eu medi isto, com essa prova eu consegui medir isto. Então tem que ser objetiva sim, a objetividade e a clareza são, na explicitação do que aqueles dez itens vão medir, no que o IDD vai medir, no que cada um dos indicadores vai medir.

Muito bem, então eu fui trazendo e aí eu trouxe também um pouquinho aqui do componente es-pecífico pensando até nas engenharias, porque as engenharias têm as 30 questões que ainda são divididas na parte geral do engenheiro e depois da parte geral do engenheiro tem um componente específico que ainda são especificidades de uma Engenharia, por exemplo, Civil, que está dentro de um grupo, então tudo isso também eu vou ter que pensar da mesma forma. O que o engenheiro precisa que seja medido em 30 questões, o conhecimento e alguns desses itens que estão aí. Na verdade, quais as competências? Projetar, conduzir, conceber, o que cada uma dessas variáveis ca-racterísticas eu consigo medir no item? E isso tem que estar dentro da Matriz de Referência. Além de tudo isso, tem os conteúdos básicos que vão ser avaliados dentro de cada área como referencial.

Aí vêm os métodos de interpretação. Quando eu falo em elaborar uma prova, já pensando que para mim está claro o que esse indicador vai medir. No caso do Enade, o que a prova do Enade vai medir. Eu posso fazer as várias interpretações, não só da prova, mas do contexto avaliação edu-cacional. Eu coloquei aí a Psicologia, a Psicometria tem muito a contribuir, tanto com as teorias de inteligência, que estão por trás de todo o processo, quanto na Psicometria, tudo o que tem para orientar a construção de provas psicométricas que possam expressar, ou que eu esteja me referenciando à norma, ao critério, ao conteúdo, então vejam, quando eu coloco uma referência à norma, que é no caso aí o que é utilizado, eu estou comparando o resultado de um indivíduo com um grupo de referência, então, como já foi falado aqui, é relativo àquele grupo, mas eu posso também, pensando na referência ao conteúdo, eu sei que o meu conjunto de problemas e de situações tem que ser uma amostra representativa daquilo que eu quero medir, daquele

159

domínio que eu quero medir, então por isso eu tenho batido que o objetivo de cada uma das medidas, de cada uma das questões, dos itens, dos grupos de questões, tem que estar muito claro e definido para que depois eu possa fazer as análises dos resultados.

Quanto à avaliabilidade e à confiabilidade no caso da prova do Enade, ela só vai ser válida quando ela mede aquilo que pretende medir, está aí outra vez. O que eu pretendo medir? Tudo não dá para medir, mas eu tenho que focar o que cada uma das provas vai medir de geral, de conhecimento específico de cada uma das áreas. A validade só tem sentido em relação a esse objetivo que está definido, então se eu não tenho um objetivo bem definido, eu não vou ter validade, provavelmen-te, do meu instrumento, porque ele pode ser válido inclusive para medir outra coisa e não aquilo que eu pretendia, então eu preciso ver se ele é válido para medir o que eu pretendo medir. E aí a importância de estar bem claro o que ela vai medir. E ela é confiável quando os próprios resultados, se eles merecem criatividade, não só na elaboração para atingir um objetivo, mas também depois na própria correção, e aí vem todo o trabalho, no caso das discursivas, inclusive, de avaliação.

Quando eu penso ou em um método ou em outro nessa construção de prova com essa configura-ção, que é um sistema referenciado à norma, que é utilizado, pensando que eu tenho uma média como representante do desempenho, já foi falado ontem, no caso da distribuição normal, que tem toda a metodologia ali, e que é uma medida de progresso médio do estudante, que lá no Sinaes em 2004 era proposta, de verificar o valor agregado, hoje não conseguimos mais medir isso.

Da maneira como ele está instituído, não é mais possível verificar o que foi agregado ao conheci-mento do aluno pela instituição, porque os meus ingressantes não são os mesmos? Ou, o que o Enem mede, que é uma nota associada ao ingressante, ela está medindo não a mesma coisa que o Enade mede, ela mede outra coisa, então eu não consigo pensar aqui no valor agregado, eu tenho que pensar em outras saídas e eu vou colocar algumas propostas lá no final, pensando em alimentar os estudos futuros. Então para essas comparações, veja aqui a diversidade, eu tenho o perfil do estudante ao entrar na instituição que eu quero comparar ao perfil do estudante que saiu, como é que ele transitou de lá para cá, e dependendo da área também existe uma diver-sidade muito grande, em algumas áreas o próprio aluno já entra com algum conhecimento, às vezes até muito mais conhecimento e a própria instituição não agrega tanto. Mas isso é ruim? Não, depende de como ele entrou, mas ela precisa agregar, então não necessariamente aquela que agrega mais é a mais importante, depende do nível do aluno, mas eu tenho que chegar num patamar de um profissional competente, com determinadas características, e aí eu tenho que chegar, que é o que chamamos de pontos de corte, do que não é possível e de onde eu quero chegar. Algumas instituições vão agregar muito mais, outras muito menos, dependendo das pró-prias características.

31.10.2018Manhã


160

O nível socioeconômico pesa muito nesse sistema; o conhecimento que o estudante tinha no início do curso, que eu acabei de falar, no final do curso; as habilidades e competências que ele já tem, iniciais, e as habilidades e competências que foram desenvolvidas, as competências que foram adquiridas no percurso dele, acadêmico. Entra todo um processo de ensino/aprendizagem para poder sair de lá, e aí vem a qualidade realmente daquilo que eu quero medir para poder agregar e chegar num profissional com boas qualidades. O número reduzido de itens é uma das limitações, mas eu posso pensar e a sugestão é delimitar o que aquele número de itens vai medir e se ele atende ao propósito daquilo que eu quero medir, senão, incluir outros indicadores que possam complementar para chegar naquilo que eu quero medir. O delineamento que aí está transversal, eu estou pensando no tempo, no desempenho do aluno naquele tempo. Eu preciso pensar nesse estudante pensando numa evolução, numa coorte, e não no momento só transversal.

O exame que avalia os ingressantes hoje, Enem, não é o mesmo que avalia os concluintes, porque os propósitos são diferentes. O Enem está mais voltado às habilidades e o Enade mais aos conheci-mentos específicos, mede as habilidades também? Algumas, porque quando ele vai trabalhar com o conhecimento específico, vai ler a questão, vai resolver a questão, também ele precisa se utilizar das habilidades que ele tem. E tudo isso vai num processo multivariado e multidimensional, não é mais no univariado, no transversal, no momentâneo, é mais complexo e aí a estatística e os méto-dos de análise já têm que pensar em englobar esses métodos, métodos multivariados e métodos multidimensionais para poder englobar tudo no indicador final que se deseja. Não é fácil.

O ciclo, que já foi comentado aqui, e até porque hoje, na própria evolução, nós temos não só os cursos de graduação, que são de quatro anos, cursos com cinco anos, cursos com menos de cinco anos, os tecnólogos, que são dois anos, então se eu quero pensar nessa evolução, o tecnólogo, por blocos, talvez tenha que ser medido quase que todo ano, porque se eu penso no ingressante e no concluinte, eu acho que não tem que eliminar o Enem, o Enem é uma variável importante, é um indicador importante, mas o papel dele é diferente do ingressante da maneira que era avaliado pelo Enade, mas cada uma dessas medidas tem a sua importância dentro do total, então é isso que tem que realmente ver dentro da possibilidade e no Sinaes, que foi instituído em 2004, como agora atender às necessidades, que é importante e têm que ser atendidas, eu não posso simplesmente esquecê-las, então há uma necessidade agora de pensar nesse ciclo de três anos, como vai ser, se dentro desse ciclo de três anos o que abarcar em cada um dos anos, quais cursos realmente incluir.

Então, aqui eu fiz uma figurinha complexa, para mostrar essa complexidade mesmo da avalia-ção, porque eu tenho uma régua e esta régua também foi, pelo grupo nosso, uma professora, que na verdade foi a nossa pró-reitora que pensou em expressar a questão da TRI, pensando na habilidade que o indivíduo tem, acertando o mesmo número de questões, mas se ele tem habi-

161

lidades diferentes, o número de questões que ele analisa, ele poder ser menos hábil em analisar cinco questões, ser mais hábil em acertar as mesmas cinco questões, tirou cinco na prova, só que a habilidade dele é diferente, e eu preciso disso também, eu não quero avaliar apenas o resultado que ele teve em acerto e erro na prova, mas é uma medida, então vejam que aqui eu estou comparando porque é uma probabilidade que ele tem em acertar, dado que ele tem um nível de habilidade conhecido. Além dessa complexidade toda, a questão do ingressante e do concluinte, o que tem não está atendendo, porque essa mais três, do jeito que nós fazemos hoje não é possível, então aí há um desafio também de como mudar essa sequência em função das características de cada grupo de cursos para poder atender aquilo que a medida propõe.

Ali eu coloquei numa figura o conhecimento, pensando em todos os mecanismos dentro de cada indivíduo que é diferente e vai reagir de forma diferente ao processo de ensino/aprendizagem e essa complexidade eu construí aqui uma prova, que é uma prova de múltipla escolha, com poucos itens, então fica difícil você dar uma proposta fechada, mas sim esse incentivo de se trabalhar em cima dessas necessidades para poder construir pontes que possam cada vez mais medir com um número menor de erros, e isso a Estatística me ensinou muito. A Estatística tra-balha com todas as áreas, mas eu preciso primeiro saber o que eu quero, quais as variáveis que caracterizam aquilo que eu quero e quando eu tenho essas variáveis, qual é o método correto de medir ou cada uma ou um conjunto delas, e aí usar o método adequado. Se eu não faço um processo de planejamento bem adequado, não tem análise final que dê conta. Uma coleta bem feita, um planejamento bem feito, uma clareza quanto àquilo que você quer, não tem método estatístico nem relatório que dê jeito, porque pode induzir, inclusive, a erros.

Então, numa figura pequena, a complexidade de como medir, eu coloquei a régua como quanti-tativo, mas eu tenho também que trabalhar as variáveis qualitativas, a metodologia qualitativa para entender um pouquinho algumas especificidades. Eu penso a especificidade qualitativa ali, cada instituição pode trabalhar com as características que foram detectadas numa avaliação em larga escala, no relatório geral, e trazer para a dela e aí pensar qualitativamente o que está por trás e o que poderia contribuir para melhorar a qualidade daquele aluno dentro daquela instituição particular, é isso que é importante. Eu trago algumas propostas metodológicas no geral, porque realmente eu não quis trazer nada muito fechado porque envolve trabalho em equipe, de especialista, de cada uma das áreas, envolve pessoas, eu digo sempre na educação, além de conhecimento, de técnica de cada um, tem que ter paixão. Na educação, se você não está pensando na qualidade e não quiser fazer isso com vontade e com paixão, com amor àquilo que você está fazendo, não leva a lugar nenhum, porque temos que ter garra, e muita garra. E aí eu coloquei ali modelos unidimensionais, talvez em algumas situações particulares, hoje eu trabalharia mais com modelos multidimensionais da TRI.

31.10.2018Manhã


162

Quanto às provas equalizadas, em alguns momentos eu acredito que poderíamos, sim, tra-balhar na equalização de provas para poder fazer comparações entre grupos. O estabeleci-mento de níveis de corte, que chamamos lá na TRI de Standards Settings, então eu tenho de ter algum estabelecimento, porque também, quando nós falamos em absoluto e relativo, eu não posso dizer que eu tenho o padrão de comparação e isso se eu estou em um nível muito baixo, eu tenho aqui um ponto, o meu ponto de corte não pode estar lá embaixo, ele tem que estar lá em cima, então tem técnicas para fazer tudo isso. Os modelos multidimen-sionais da TRI, considerando inclusive essas várias habilidades que são exigidas, na solução de um problema, e as várias competências que se quer medir, pelas situações-problema, um modelo hierárquico multinível, que é uma análise em que eu incluo as variáveis preditoras de desempenho e aí, mesmo na dos indicadores eu posso pensar tanto nos indicadores que entram, mas quando eu penso num modelo hierárquico, o que da instituição realmente, quais variáveis eu vou medir e que indicadores eu vou medir? Dentro da instituição tem os cursos. Quais? Dentro dos cursos tem os estudantes, e aí? Quais dessas variáveis realmente contribuem para o desempenho do estudante?

No modelo hierárquico conseguimos chegar, e eu acho que é isso que o Dalton vai colocar um pouquinho, vou deixar ele falar, que é exatamente essa contribuição que realmente contribui para o desempenho do aluno e para a qualidade. E por último, que na minha opinião é muito importante e deveria ser feito, são os estudos com coorte de estudantes, tomar um determi-nado conjunto para se escolher amostras que sejam representativas daquilo que se quer, mas acompanhar esses estudantes no tempo. Anualmente, bianualmente, mas realmente ter uma coorte por área, por região, teria que pensar quais formas seriam possíveis, porque muitos dos problemas que foram colocados tanto na fala de hoje de manhã, do professor Thomas, acho que trabalhando com as coortes, pensando nos diferentes indicadores, é possível. Possível é, mas en-volve um trabalho muito pesado, muito complexo e de grupo, nacionais, internacionais, técnicos de várias áreas, o professor da sala de aula, o especialista daquela área, que já tem sido feito, e muito bem feito, no meu ponto de vista, hoje pelo Inep e pela Daes em todos os trabalhos que são feitos, é esse envolvimento até chegar lá na instituição. Então agradeço muito e espero ter contribuído pelo menos com mais algumas indagações para podermos buscar a qualidade, a confiabilidade e a validade dos instrumentos que são construídos. Obrigada.

Bom dia, boa tarde pelo horário. Na realidade vou continuar a conversa da Claudette porque no último slide dela, parece até que tinha até sido combinado, não combinei com ela mas, real-mente, foi muito interessante; vou mudar bem a conversa da minha formação bem quantitativa, matemática e estatística. Aquilo que a professora Claudete falou e também o professor Mauro comentou sobre essa TRI.

Dalton Francisco de Andrade

163

Eles falaram também da questão de modelo multinível, modelo hierárquico. Vou tomar a liber-dade de mostrar um pouquinho para vocês, pelo menos a introdução, do que são esses modelos, essas teorias matemático-estatísticas bem relacionadas com a Psicometria, que elas podem ser bastante úteis para a avaliação da Educação Superior e levanto o problema, procuro dar a ideia dessas teorias, depois ficamos à vontade para discutir como que elas podem, devem ser utilizadas.

Então, veja bem, estou partindo do princípio então que nosso interesse é avaliação em larga escala e nós estamos interessados aqui em medir o desempenho. Vou chamar tudo de proficiên-cia, esse termo vai ser bastante amplo, vocês vão ver um pouco à frente. Então vou fazer duas coisas, uma coisa é medir isso que nós estamos chamando aqui de proficiência e depois enten-der ou explicar essa medida de proficiência que conseguimos desenvolver.

Então essa é que é a brincadeira. Vou fazer uma introdução rápida e depois discutir um pouco a medi-da, entendendo, explicando e aí abrindo para discutirmos. Veja bem, como então medir proficiência?

Eu tenho alguma coisa que é o que chamamos de traço latente que é uma característica que não consigo observar diretamente, então, é algo que para medir, se eu quiser medir, por exemplo, ter a ideia da altura da pessoa, a pessoa sendo alta eu já tenho uma boa ideia olhando, não vou dizer exatamente qual, mas eu sei, tenho ideia da altura da pessoa, já quando essa mesma pes-soa que eu tenho ideia da altura se eu olhar e quiser medir a proficiência dessa pessoa em Ma-temática não vou ter a mínima condição, para isso vou, isso que chamamos de traço latente que são características que não observamos diretamente, fazer a medição de forma indireta, como?

Preciso de um instrumento para medir se é proficiência. Monto uma prova como o Enade, Enem, ou posso querer também pensar em traço latente como qualidade de vida, satisfação, outras coisas que depois podemos discutir um pouco; então aplico um questionário, um teste e preciso de uma escala, ou seja, essa minha medida precisa representar isso quantitativamente, numeri-camente, ou seja, vou precisar construir uma régua para representar essa medida. Gosto sempre de fazer uma brincadeira que tem funcionado bastante, desculpa aí quem já viu a brincadeira, mas ela me foi sugerida por um professor holandês há muito tempo para quando for falar da questão de medida e do traço latente, que é fazer uma brincadeira com a altura. Imaginando a altura como esse traço latente, ou seja, quero medir a altura de uma pessoa, mas não estou vendo essa pessoa, é como se fosse medir uma proficiência, elaborei então um questionário, uma prova, pedindo para a pessoa responder sim ou não e se ela consegue ou não realizar a tal da tarefa que está ali. Gosto muito do item nove que está aí: “Você consegue guardar a bagagem no porta-malas do avião?” Tem uns que colocam a mala mas depois não pegam e têm que pedir para um mais alto pegar, certo? Então fica uma brincadeira, eu já não consigo andar mais de avião porque fico olhando todo mundo e me lembro dessa pergunta.

31.10.2018Manhã


164

Mas aí é interessante, e gosto desse exemplo porque como sabemos que existe o metro e se já exis-te altura então podemos usar essa brincadeira porque tem um padrão ouro, ver se a medida que eu gero com isso fica próxima, vem referenciada com esse padrão ouro que é a verdadeira medida da pessoa, se eu pedir depois posso medir a altura da pessoa. Qual é a ideia aqui ? Selecionei cinco dessas perguntas ou itens, o dois: frequentemente desço a escada de dois em dois degraus. Qual é a ideia? A ideia é que a pessoa é alta, ela tem as pernas compridas então quando vai descer a esca-da, para ela é muito mais fácil, se sente mais à vontade indo de dois em dois degraus do que de um em um. Estamos levando em conta os apressadinhos que estão sempre correndo, mas então veja, até uma coisa que a professora Claudette falou que é muito uma coisa de probabilidade, não estou imaginando que todo mundo que tiver a mesma altura vai dar a mesma resposta para todos os itens.

A mesma coisa quando meço proficiência, não espero que todo mundo que tenha a mesma pro-ficiência vá apresentar as mesmas respostas para as questões, porque outros fatores, outras di-mensões, não é, professora Claudette, podem estar envolvidos e aí ela já veio com a história do multidimensional, que também é interessante. Então dá para complicar bastante, veja bem qual a ideia. Tem o metro, vamos voltar a essa medida antiga de altura porque agora vamos criar uma nova. Veja bem, se eu não tenho o metro, posso imaginar que essas cinco perguntas, cada pergun-ta dessas tem uma altura e aí posicionei esses cinco itens nessa régua, isso aí foi coisa minha, da minha cabeça. Estou imaginando o seguinte: o que é a altura de um item? Estou imaginando como sendo a altura mínima que uma pessoa tem que ter para realizar aquela tarefa. Então uma pessoa de 1,70 m, a partir de um 1,60 m já consegue realizar essa tarefa sem grandes problemas. Claro que se ela tiver 1,70 m, mais ainda se ela tiver 1,80 m, está claro? É sempre isso quando eu meço proficiência, tem item mais fácil e item mais difícil, é esse o conceito. Estou imaginando que para pegar um objeto no alto de um armário a pessoa só precisa ser mais alta, um 1,70 m, está clara a ideia? Então tem item mais alto e item mais baixo, ou seja, qual é a ideia de medir proficiência?

É eu conseguir criar uma régua na qual consiga representar os respondentes e as questões, os itens, porque quando consigo fazer isso não só gero a medida da proficiência, mas consigo também dar uma interpretação pedagógica da medida. Estou dizendo o seguinte: se eu fosse responder a esses cinco itens eu diria sim para o nove e para o sete, e não para os outros três. E o Israel, que é um amigo meu, ele é um pouco mais alto, e ele, quando vai tirar foto com outras pessoas, de três filas, costuma ser colocado mais para trás, já não acontece isso comigo, está claro?

Então o Israel vai ganhar como altura 1,79 m e o Dalton vai ganhar como altura um 1,72 m, mas eu não só estou dando altura ao Dalton, mas estou dizendo: o Dalton tem 1,72 m porque o Dal-ton consegue guardar a bagagem no porta-malas do avião e ele pega objetos no alto do armário, mas o Dalton como policial não impressionaria, está claro? Se fossem itens de Matemática eu

165

daria a nota do Dalton e diria o que o Dalton domina e o que que ele não domina, o que ele con-segue fazer e o que não consegue, então é essa ideia, de quando for medir proficiência conseguir representar isso numa régua, num processo desse e aqui tem um pouco já do que a professora Claudette falou. Na realidade, por que eu botei ali o Dalton 1,72 m? Eu botei porque eu conheço o Dalton e ele tem 1,72 m, mas só com esses itens eu conseguir dizer que o Dalton tem 1,72 m? Não, o Dalton deve estar entre um 1,71 m e 1,77 m, eu não teria uma precisão grande para o Dalton, eu precisaria de mais itens.

Agora, e se não existisse o metro? Tudo bem, o Dalton vai ficar com 0,4 m de altura, tá bom? Ficou mais baixo? Ele tinha 1,72 m e agora ele tem 0,4 unidade de altura, porque aquilo ali não é mais metro. Mudou alguma coisa? O Dalton continua fazendo o que fazia ou não fazendo o que fazia? Ou seja: posso criar a medida de altura que quiser, não preciso fazer em metro. Qual a importância? A importância é conseguir dar uma medida da altura do Dalton e do Israel e dizer o que eles conseguem fazer ou não fazer. Esse número que nós usamos para representar é sub-jetivo, invento na hora que crio a régua.

Alguém em 2009 inventou uma régua chamada 500-100 que está dando a nota do Enem. Em 1997, sei lá quando, inventaram uma régua para dar nota do Saeb de 250-50, em 2000, sei lá, inventaram uma régua do PISA que a média é 500-5. É uma invenção, você cria e, uma vez esta-belecida, com a interpretação toda dos itens posicionados nela, ela fica. Quer fazer o Dalton ficar mais alto, olha, o Dalton agora passou a ter 110 unidades de altura, mas o coitado só faz aquelas duas coisas por quê? Porque quando eu aumento a altura do Dalton eu aumento a altura dos itens, então fica tudo garantido.

Quando falamos em medir proficiência sempre imagino usar alguma coisa que permita construir uma régua desse tipo. E aí essa coisa é chamada de TRI, que os professores que me antecederam já falaram que é a Teoria da Resposta ao Item. A Teoria da Resposta ao Item é um conjunto de modelos, matemático-estatísticos, que permitem a criação dessa escala, dessa métrica, ou seja, ela permite que você represente os respondentes e os itens na mesma escala. Ela é uma teoria que veio adicionar essa propriedade que a teoria clássica dos (ininteligível), que é mais comum de ser usada, não permi-te a construção dessa régua. Por exemplo, apliquei essa teoria e pedi para 211 pessoas responderem e botei nessa escala maluca aí, 0-1 e os itens ficaram dessa forma nessa régua que criei.

O item mais baixo é o nove: quem consegue guardar a bagagem no porta-malas do avião, e o item mais alto é o oito: você abaixa quando vai passar por uma porta, com isso, para qualquer um de vocês que respondesse essas 14 perguntas, eu poderia dar a altura de cada um de vocês nessa régua.

31.10.2018Manhã


166

Então essa aí é que é a questão de medir, agora é muito mais comum você reposicionar os itens de modo dar uma interpretação mais interessante. O que é costume é estabelecer alguns níveis dessa escala que muita gente gosta de chamar de nível âncora e então fazer a interpretação. A pessoa, por exemplo, que tiver uma altura de 0,3 m é uma pessoa que faz (o item) sete e (o item) nove e não faz as outras, e assim por diante. Isso foi feito para o Saeb, então você tem a escala do Saeb, onde temos os níveis de 25 em 25 unidades de proficiência e lá temos a intepretação em cada nível desses, o que é proficiência e o que a pessoa consegue realizar dependendo da área que está sendo avaliada, essa é a brincadeira de medir.

Agora, muito bem, meço a proficiência dos meus alunos ou da minha instituição ou meço a proficiência do sistema como um todo: Saeb nono ano do Ensino Fundamental, ou no Enade, em todo o curso que eu meço e o que acontece? Acontece que as pessoas têm mania de ter proficiência diferente. Não dá o mesmo resultado para todo mundo, por quê? Bem, porque as pessoas são diferentes, mas diferentes em quê? Ou seja: o que efetivamente está relacionado com a proficiência da pessoa.

Então aí é o outro lado, quero agora entender, explicar por que as pessoas têm proficiência diferente. Temos que usar um pouquinho só de Matemática e Estatística que é medir assim: existe uma medida que representa o quão diferentes as pessoas são. Chama-se de medida de variabilidade. Alguém aí que fez curso de Estatística básica, variância, desvio padrão, essas coisas todas. Então tenho uma medida global que é o quão diferente as pessoas são. Se todo mundo tivesse a mesma proficiência, essa medida seria zero. Quanto mais diferentes as pessoas forem, maior essa medida. Aí eu vou tentar entender o porquê disso. Olha só o que eu posso fazer: todo mundo está em um grupo só e tenho uma coisa chamada variabilidade total, mas posso imaginar que essas pessoas estão agrupadas em escolas ou em cursos, então agora posso olhar como é a variabilidade das pessoas em cada escola, em cada curso. Posso ter uma variabilidade global bastante grande, mas posso ter em uma determinada escola um curso em que todo mundo tem a mesma proficiência e a variabilidade ser zero, ser muito pequena.

Então nesse processo, que a professora Claudette chamou de modelo hierárquico ou multinível, estou vendo que existe uma hierarquia natural com agrupamentos naturais dos alunos e poderia imaginar ainda, inclusive, em escola e, dentro da escola, a turma. Então na hora em que começo a olhar a diferença que os alunos têm na mesma turma, começo a ver que mesmo o aluno es-tando na mesma escola, estando na mesma turma, tendo os mesmos professores e tudo, mas mesmo assim ele ainda tem diferença. Então devem ser diferenças relacionadas do aluno, não é de turma, não é de escola. Então eu estou começando a conseguir, quando faço essa separação, começo a procurar identificar a culpa de quem é e a que está associada. Vou me desculpar, mas

167

vou botar só um modelinho matemático porque acho que ele ajuda a entender o próximo passo, que é encontrar quais os atores que estariam influindo em cada nível desses.

Então veja bem, faço o modelinho assim: eu tenho as proficiências e usei duas letrinhas, o e i, eu estou indicando o aluno e o j é o curso dele, vamos chamar de escola. Estou imaginando assim, olha: estou pegando o aluno dentro da sua escola, então estou imaginando assim: tenho a profi-ciência média dos alunos da escola que estou chamando aquela letra beta zero. Eu estou dizendo que isso aqui é a proficiência média da escola, estou relacionando assim: cada aluno, a proficiência dele é a proficiência média da escola dele mais um componente que é o que diferencia ele da mé-dia, que é a outra letrinha que está lá, um componente diferenciador. Então os alunos que estão acima da média, aquilo é positivo, e os alunos que estão abaixo da média, aquilo é negativo.

Agora separei, não tenho mais uma média global, tenho a média por escola e olho o aluno em re-lação à média da escola dele. Agora vou em outro nível, que agora é o nível da escola e vejo como que as médias entre as escolas variam, as escolas têm mania de ter médias diferentes também, então os alunos dentro da mesma escola são diferentes, as escolas são diferentes entre si. Estou tentado caracterizar o que está relacionado com o aluno e o que está relacionado com a escola, estou separando esses componentes, esses dois níveis. Então, veja bem, as escolas que tiveram um desempenho médio maior vão ter aquele componente b lá positivo e negativo, é a mesma história que foi para o aluno só que agora é a escola, a média da escola de uma média global.

Muito bem, fiz disso uma brincadeirinha, peguei dados do Saeb só para brincar e fiz o seguinte, isso aí se não me engano é Língua Portuguesa nono ano, alguma coisa assim: esse é o único nú-mero que vou mostrar para vocês. Eu vi o seguinte: a variabilidade global, isso que chamei aqui de variabilidade global, a diferença entre os alunos era da ordem de 10.000 e tanto, quando fiz essa decomposição aqui vi que a variabilidade de aluno dentro da escola era 6.000 e a variabili-dade entre escolas era 3.000 e pouco, ou seja, o que consigo fazer só com esse simples exercí-cio? Eu consigo mostrar que daquela variabilidade toda que tem nas proficiências dos alunos, 33 por cento está relacionada com coisas de escola e 67 por cento é coisa do aluno, então consigo decompor o agente, cada um desse. Se eu tivesse outro nível de turma, conseguiria ver o que era de turma dentro da escola.

Com essa identificação, só para vocês terem uma ideia, no Pisa quando você faz uma análise dessas e vê isso aí no Pisa Noruega, por exemplo, relativo à escola não dá oito por cento por-que lá basicamente todas as escolas são as mesmas. Então com isso vemos a questão da escola. Agora o que nós precisamos é tentar explicar esses 33 por cento usando informação de escola. O que está fazendo uma escola ser diferente da outra? E olhando o outro componente, 67 por

31.10.2018Manhã


168

cento, o que está fazendo alunos de uma mesma escola serem diferentes entre si em relação à proficiência? Aí você faz, por exemplo, uma coisa que é comum, tem um problema que é o seguinte: se tenho uma escola, por exemplo que é do Ensino Médio ela recebe alunos, ela pode estar recebendo alunos com defasagem e sabemos que a defasagem é um componente que está altamente relacionado com proficiência, defasagem escolar.

Se faço um estudo desse aqui eu coloco o componente do aluno que é a defasagem, o que estou querendo fazer como isso? Eu estou querendo agora criar uma média de escola, agora, supondo que os alunos não tivessem defasagem e aí vou para o nível escola e quero saber: ainda tem di-ferença entre escolas? Porque a escola não tem culpa de receber aluno com defasagem, é uma coisa que não é dever da escola, já vem para ela quando os alunos se matriculam, mas preciso controlar para ver, ou seja, no fundo tem coisas de aluno que preciso controlar para conseguir depois medir efetivamente o que chamamos de efeito escola, que características daquela escola estão sendo relevantes para ela ter um desempenho, por exemplo, superior às demais? Muito bem, poderia ter feito a mesma coisa que já foi citado aqui que o Enade faz, eu usar, por exem-plo, eu tenho diferenças entre cursos, o meu curso recebe alunos com desempenho no Enem mais baixo, o outro recebe (ininteligível) inclusive há uma medida que tem no próprio Enade que é usar a nota do Enem para controlar, então quando faço isso agora estou vendo o desem-penho médio no Enade dos alunos como se eles todos tivessem entrado com o mesmo Enem.

Agora o que acho mais importante é o seguinte: quando colocamos aqui, por exemplo, na escola defasagem, posso no nível da escola colocar um componente para ver ser o efeito de defasem é tratado diferente por escola, isso também é possível quando você faz esse modelo, a mesma coisa para o Enem. Por exemplo, quero explicar e controlei pela nota do Enem, mas ainda as escolas são diferentes, então agora vou começar a usar a informação das escolas ou dos cursos, por exemplo, se a escola tem um projeto pedagógico diferenciado, então quero ver qual é a influência desse projeto pedagógico no desempenho da escola. Escola que tem, escola que não tem envolvimento do corpo docente – como a professora colocou aqui, olha : envolvimento do corpo docente, uma das medidas que são feitas ou você tem no Enade questionário de aluno, questionário de coordenador de como é a gestão da escola, com isso você pode mostrar que escolas que têm um determinado comportamento têm um desempenho maior. Pronto. Falei.

É, muito bem. A organização está dizendo que nós estamos com o tempo extrapolado, mas não havia como parar três brilhantes apresentações. No próximo Seminário isso será corrigido. Como eu disse, é uma riqueza muito grande de informações. Tem um físico americano de que eu gos-to muito, chama-se Neil deGrasse Tyson. Eu acompanho, sempre que posso, as palestras dele. Então, ele disse que é muito importante na vida dos cientistas e dos pesquisadores ter sempre

Webster Spiguel Cassiano

169

muitas perguntas, porque na hora que não tem mais o que responder, a ciência morre, então você tem sempre que ter muitas perguntas. Eu acho que aqui, hoje, na palestra da manhã e nes-ta mesa, nós temos muita reflexão para fazer. Vou tentar fazer um resumo em apenas uma hora e meia eu termino isso aqui, rapidinho, eu não tenho slides, não hoje. Normalmente eu tenho eu grupo pequeno de slides, 139, mais ou menos.

Veja, o professor Mauro trouxe um histórico do Enade focando depois na construção do Banco Nacional de Itens, que é um instrumento importantíssimo para gestão dos itens, do instrumento de avaliação, na construção. Ao longo da apresentação do professor Mauro vocês podem ter visto que foram várias mudanças que foram feitas, então tem vários acontecimentos e isso é só a ponta do iceberg. Nós trabalhamos na gestão e isso é uma coisa que eu quero colocar aqui rapidamente para a reflexão de todos, inclusive nós, do Inep. Isso é só a ponta do iceberg e o iceberg, para quem não sabe, fica só 11 por cento para fora, os outros 89... então, quando tem ali uma mudança, por exemplo, a saída do ingressante e eu estou tentando colocar aqui coisas que a professora Claudette brilhantemente colocou para nós, que é a complexidade da avaliação, construir um indicador com que olhar, o que você quer fazer com aquilo?

Então uma prova com dez questões de informação geral, se você olhar o artigo 5º da lei e olhar o que vai fazer, realmente é um negócio impressionante. Tento brincar que tem 152 verbos, 400, é muita coisa, a ideia é interessante, mas talvez, quando se vai construir o instrumento para atingir aquele objetivo que está na legislação, a coisa complica bastante. Eu estou colocando isso tam-bém porque na fala da professora Claudette, e isso tem a ver com a fala do professor Mauro, é a dinâmica na área da educação. Vemos que uma portaria, uma lei, ela precisa ser revista porque, como se dizia lá no interior de São Paulo, as coisas caducam, perdem o seu tempo, então de tem-pos em tempos temos que olhar para todo o arcabouço legal para ver o que está funcionando e o que não, e isso vale também para os instrumentos de avaliação.

Estou pensando aqui basicamente no caso da prova do Enade, que foi onde eu trabalhei mais de perto, com a prova, no entanto, a prova, a aplicação daquela prova, você vê lá as páginas, as folhas, todo gasto de inteligência acadêmica, de competências para construir uma matriz, para elaborar um item para ver se a autopoiese é uma química, se afirma como para si, não humano, subjetivação, derivada, se aquilo está correto, se as respostam vão funcionar, isso tudo, por trás disso, desse instrumento de avaliação, nós temos uma questão importante, porque estamos na gestão de um órgão público com várias outras regras que nem imaginamos, mas que têm impacto às vezes na melhor técnica estatística ou psicométrica, então nos sentamos com os es-pecialistas e às vezes a melhor técnica estatística, a melhor técnica psicométrica, digamos assim, não conseguimos colocar para a sociedade, às vezes não conseguimos, por isso que eu disse que

31.10.2018Manhã


170

é dinâmico, as coisas vão mudando, porque você tem restrições às vezes orçamentárias, às vezes de equipe, vou dar o exemplo do ingressante : a prova tinha um ingressante, como esse embate da governança, da gestão do exame, a questão administrativa, burocrática, eu não estou falando aqui do ponto de vista ruim da coisa, estou falando de como ela tem imbricações aqui.

O ingressante e o concluinte, a ideia era medir o valor agregado e tal, enfim, mas qual é o problema que foi surgindo? O primeiro ano dos estudantes na universidade é o ano que tem muita mudança de curso, eles variam muito, o índice em algumas universidades de mudança de curso é de 50 por cento, então o aluno que fez a prova como ingressante em um determinado ano, não fazia mais no outro, então o grupo era diferente, mas não era só esse o problema, uma questão importante que surgiu é que esse grupo que não ia fazer a prova, veja, vou pegar só esse caso, ele entra em janeiro em um curso e a prova é em novembro, no meio daquele ano ele mudou de curso - eu quando fiz meu curso eu pensei em mudar várias vezes - então quando ele chegava ao final do ano ele não estava mais lá, então ele não ia fazer a prova e isso gerava uma coisa que não estava prevista, que é o aluno irregular, o aluno que não estava presente, ele se tornava o aluno irregular, qual é a solução para isso? Se ele estava irregular ele não podia, pela legislação, em algum momento se formar, quem aqui é coordenador de curso, perguntaram aqui ontem, muitos são coordenadores de cursos, pesquisadores institucionais, isso era um problema, aí o que acontecia?

Você estava gerando uma massa de alunos irregulares que na questão do Exame você tinha que fazer uma prova para ele no ano seguinte para ele entrar lá, assinar e se tornar regular perante a legislação. Agora olha só, a prova, ele não podia mais fazer a prova dele porque se ele era um aluno de Engenharia desse ano, ano que vem não tem Engenharia, porque o ciclo já passou, e aí você pegava só a parte de formação geral e aplicava para o estudante, na verdade ele só ia lá e assinava, o que você faria com aquilo? O último ano teve 200 mil alunos irregulares, irregulares no sentido de que eles não foram fazer a prova e você gerava 200 mil provas de formação geral e 20 por cento iam lá fazer isso, então o custo da prova começou a ter implicações graves, e nesse meio período o Enem também começou a ter uma participação grande e aí tomou-se a decisão de retirar o ingressante e trocar a forma de calcular esses indicadores para tentar valor agregado. Nós estamos vendo aqui que há muito o que se pensar e estudar.

A outra colocação, como o professor Dalton falou aqui, uma opção, que já foi colocada também em outros momentos, é da possibilidade de sairmos desse modelo hoje, que não tem comparabilida-de de três anos atrás para agora, porque nós usamos a Teoria de Resposta ao Item, mas a questão da Teoria de Resposta ao Item implica também que a gente faça, não sei, e é uma pergunta para ser feita depois, fazer pré-teste, nós temos muitos cursos com poucos alunos, boa parte dos cur-sos, você tirando Direito ou outro curso, são 2.000 alunos concluintes, 3.000 mil alunos, então mais

171

um motivo para refletirmos se é melhor, vamos usar a TRI em todos os cursos, ou alguns, onde é in-teressante fazer esse tipo de coisa, então mais um embate entre a governança, a gestão do exame, você como coordenador geral, não a questão acadêmica com o que a melhor técnica psicométrica estatística promove. Eu acho que consegui falar algumas coisas aqui rapidamente. As questões serão respondidas por e-mail porque nós estamos com pouco tempo aqui. Eu me lembrei de uma outra coisa importante. Pela manhã foi colocado pelo professor Thomas uma questão importante para nós no Enade, veja, o Enade foi em 2004, mais uma vez vem a importância que todos estão colocando aqui, de reavaliarmos isso em vários domínios, mas uma das coisas que é recorrente nas discussões do Enade é a questão da motivação, então o que eu quero dizer com isso?

Nós temos uma nota geral que é dada por um curso a partir de notas individuais e vemos sempre, desde que a lei foi promulgada, que há dois espaços de altercações de debates. Um deles coloca que a nota do estudante, aí eu estou indo ao estudante e aí eu estou indo em outro problema que é o problema além disso, problemas políticos, que vão envolver as comunidades acadêmicas. Um grupo acha importante que a nota do estudante seja colocada no histórico, o outro grupo - e aqui realmente é uma decisão complicada - o outro grupo entende que não é isso, porque o Enade não é para dar uma nota para o estudante. Nós temos também o problema do tempo, a prova demora um tempo para corrigir, então esses também são detalhes, quando você toma uma decisão às ve-zes legal, de gabinete, digamos assim, precisa ser bastante discutida com a comunidade.

Esse debate vem vindo há muito tempo. Nesse sentido o Seminário aqui é muito importante, porque resgata muitas questões que nós, na equipe, vimos debatendo há muito tempo. A pró-pria questão da mudança, você tem cursos de um a cinco. No limite superior, como diz um amigo meu, suponha que você atinge a qualidade de todos os cursos e nesse modelo que tem hoje, se a gente não conseguir avançar para um modelo que tenha comparabilidade, como a régua pro-posta pelo professor Danton aqui, você vai ter no futuro todos os cursos muito bem, todo mundo atingiu 80 por cento na prova, só que com esse modelo que tem hoje vai ter sempre um grupo um, um grupo cinco, então esse modelo uma hora pode se esgotar, enfim fiz aqui uma salada de coisas para dizer que é muito rico porque saíram muitas questões daqui para debatermos no futuro dentro da universidade, dentro da comunidade acadêmica e na comunidade, inclusive, internacional, porque estamos em um intercâmbio de ideias. Muito obrigado a todos.

A discussão foi rica. Estamos até agora ouvindo esse debate, infelizmente não teremos sessão de perguntas, porém eu solicito encarecidamente que enviem seus questionamentos para o seminá[email protected] porque as contribuições de vocês vão ser apreendidas pela nossa equipe e nossos momentos de reflexão, debate e planejamento. Muito obrigada, obrigada à mesa, obrigado ao Webster pela moderação.


31.10.2018Manhã


172

Mesa Redonda 3

173

31.10.2018Manhã


175

31.10.2018Manhã


177

31.10.2018Manhã


179

31.10.2018Manhã


181

31.10.2018Manhã


183

31.10.2018Manhã


185

31.10.2018Manhã


187

31.10.2018Manhã


189

Mesa Redonda 3

31.10.2018Manhã


191

31.10.2018Manhã


193

31.10.2018Manhã


195

31.10.2018Manhã


197

31.10.2018Manhã


199

31.10.2018Manhã


201

31.10.2018Manhã


202

O papel do Enade e dos Indicadores na Indução da Qualidade na Educação Superior

Dando continuidade à programação científica do Seminário Internacional Avaliação da Educação Superior, houve duas mesas redondas na tarde do segundo dia de evento, 31 de outubro.

Para ser mediadora dos trabalhos da primeira mesa redonda do dia 31, foi convidada Mariân-gela Abrão, Diretora de Avaliação da Educação Superior. Como debatedores, foram convidados os professores Antônio Carbonari Netto, do CNE; Paulo Barone, da SESU; Henrique Sartori de Almeida Prado, da SERES; José Janguiê B. Diniz, da ABMES e Fábio do Prado, do CRUB.

A professora Mariângela Abrão iniciou os trabalhos da mesa fazendo uma síntese do que foi ex-posto na parte da manhã, apresentando os debatedores e anunciando que o objetivo da mesa era propiciar um olhar multifacetado para a questão da indução da qualidade. Passou, em segui-da, a palavra ao professor Antônio Carbonari Netto.

O professor Antônio Carbonari inicia sua fala lembrando que o Enade é um processo que avalia resultados e não processos e que o processo de avaliação tem que ser visto como um todo. Ele defende que o resultado do Enade tem que estar no histórico escolar do aluno e que um indica-dor que serve para levar a um patamar, a um objetivo não pode estar previamente formatado. Defende também que o Enade tem que buscar a qualidade, que até hoje não se respeita a au-toavaliação no Brasil, que ela é muito importante porque, entre outras características, responde aos anseios e interesses dos usuários, dos alunos. Mostra que para haver qualidade é preciso ter verba pública, pois política pública requer verba pública.

Explica que as universidades têm que ter autonomia na avaliação. Informa que eles estão tra-balhando, na Câmara da Educação Superior, as Diretrizes Curriculares novas, as que estão sen-do renovadas, com o conceito de carga horária referencial, porque a carga horária dos cursos, fechada, é uma camisa de força.

O professor Carbonari defende que o Enade é fundamental, os instrumentos de medida de ava-liação são fundamentais, porém, com o advento da Educação a Distância, é preciso esquecer o conceito do que é aula, do que é sala de aula, de que é professor que dá aula na sala de aula, esses três problemas morreram, sala de aula hoje é o jardim, a praça, é o street learning, o professor está morrendo, é o tutor que está nascendo, o orientador, e o processo de ensino/aprendizagem pode ocorrer em qualquer lugar, com qualquer instrumento.

Mesa Redonda 4

203

31.10.2018Tarde


Já existe, hoje, segundo ele, a possibilidade de haver, nos cursos presenciais, 20 por cento de horas a distância, até 20 por cento com estágio ou atividades complementares e dez por cento em atividade de extensão, o que totaliza 50 por cento da carga horária fora da sala de aula. Ele lembra que as DCNs estão saindo mais flexíveis, não são currículos mínimos, são orientações, são vetores e elas vão mexer com muitos conceitos rígidos que nós ainda temos. Lembra também que o Brasil é um país muito mal educado, que não leva dois terços dos estudantes às universidades e que por isso deve haver uma política pública menos restritiva para que a juventude brasileira possa ascender ao Ensino Superior. Segundo ele, o mundo inteiro já se liberou dessas amarras e o Brasil está caminhando nesse sentido.

A seguir, a mediadora passa a palavra ao professor Paulo Barone, da SESu.

O professor Paulo Barone inicia sua apresentação fazendo uma reflexão sobre a importância do Brasil no cenário internacional, já que em um Seminário internacional como este é preciso olhar para o Brasil numa perspectiva mais ampla. Diz que a experiência em Educação Superior no nosso país é singular e que precisa ser bem entendida, bem monitorada e transformada numa experi-ência de alta qualidade. Discorre sobre as dificuldades em relação ao tamanho do país, da po-pulação, do sistema de ensino e que cabe à União legislar sobre a Educação Superior, tanto das instituições públicas quanto das privadas. Defende que é preciso ter uma perspectiva mais ampla, com metas de longo prazo, com o atendimento a demandas sociais mais amplas e, portanto, com um propósito muito mais complexo no sistema público do que aquilo que tem sido considerado.

Lembra que a Constituição Brasileira permite a livre iniciativa na Educação Superior, garan-tindo certos condicionantes, e que o Sinaes garante que a avaliação é o referencial básico da regulação e que o Brasil estabeleceu um condicionante importante no cumprimento do mandato constitucional, que é: a avaliação condiciona a decisão regulatória. Segundo ele, decorre desse condicionante um conceito muito importante, que é: a avaliação é o fundamento primário e é daí que todos os demais fundamentos devem ser extraídos e, portanto, é preciso dar o correto relevo à avaliação. Ele afirma que tem insistido muito na seguinte questão: nós fomos capazes de expandir o nosso sistema até ultrapassar os limites da Educação Superior de elite, estamos adentrando os limites da Educação Superior de massa, mas não fomos capazes de perceber que os modelos que se aplicam à Educação Superior de elite não se aplicam à Educação Superior de massa e que como o conceito de qualidade, na sua opinião, não é um conceito abstrato, é preciso ajustar o conceito de qualidade a cada objetivo social, não é possível alcançar os objetivos sem interpretar os interesses legítimos da sociedade, que são diversificados.

O segundo ponto destacado por ele é que como a avaliação no Brasil tem uma experiência his-tórica importante, ela tem acumulado experiências num modelo cada vez mais robusto, o que

204

é raro de acontecer com políticas públicas no Brasil. Ele faz um rápido resumo da avaliação do Ensino Superior desde 1990. Mostra que ainda não há, no nosso país, nenhum levantamento sistemático sobre a alocação profissional dos egressos das universidades, mas que a Secretaria de Educação Superior, junto ao CGEE, o Centro de Gestão e Estudos Estratégicos, está conectando os dados do Censo da Educação Superior, que são levantados aqui, de forma sistemática, pelo Inep, e com o CPF desde 2010, com os dados de Relação Anual de Informações Sociais, a RAIS, e eventualmente até com o cadastro das atividades da Previdência Social, que estão tentando pleitear junto ao Ministério da Fazenda, de maneira que seja possível seguir, sistematicamente, o estudante, desde a graduação até a sua alocação no mercado de trabalho.

O professor afirma que o sistema é complexo, sofisticado, pesado, dispendioso, mas os resultados ainda estão aquém do que deveriam estar. Um exemplo disso, segundo ele, é que as instituições de alta performance não têm nada a ver com o nosso sistema de avaliação de instituição e de curso superior, já que elas vivem à margem desse sistema e uma das razões para isso é que de fato as instituições de alta performance estão ligadas a certos aspectos da atividade da Educação Superior, por exemplo, a produção de conhecimentos, que não tem medida alguma no nosso sistema de ava-liação. Uma consequência disso é que nós não conseguimos alcançar essas instituições porque não sabemos diferenciar a avaliação regulatória mínima da avaliação de alta performance. E, por último, ele cita outro problema relevante que é o fato de que nós não conseguimos alcançar, ainda, uma melhora generalizada da performance dos cursos e das instituições e que um fator que influencia isso é a nossa incapacidade de envolver os estudantes, porque eles não têm nenhuma consequência na sua participação no Enade. Ele finaliza dizendo que nós precisamos desenvolver novos indicadores para o monitoramento dos sistemas, precisamos ultrapassar a capacidade limitada do Enade e vamos precisar entender melhor como funciona a Educação Superior tendo em vista a Demografia, a Geografia, a Economia, a oferta existente e uma série de outros fatores relevantes.

Dando continuidade aos trabalhos da Mesa, a professora Mariângela Abrão passa a palavra ao professor Henrique Sartori.

Henrique Sartori inicia sua exposição dizendo que este Seminário é um evento bastante forte, sim-bólico em relação aos passos da regulação e da avaliação da Educação Superior e que iria fazer um breve relato dos últimos acontecimentos em relação à avaliação, à supervisão e à regulação como um todo. Agradece ao Inep pela parceria com a SERES e fala sobre a autoavaliação, que segundo ele ainda precisa ser melhor utilizada no ambiente regulatório, que é um pilares do Sinaes, e que tem havido um foco excessivo nos resultados do Enade, que não é uma a avaliação de processo, já que não descreve todo o processo pelo qual a instituição ou curso tenha tenham passado, e sim um resultado que reflete nos indicadores, que compõe parte desses indicadores.

205

Em seguida, ele discorre sobre os indicadores preliminares que se tornaram permanentes, que foi uma crítica feita no Seminário por muitos. O problema, segundo ele, é que os indicadores preliminares, CPC, IGC e IDD, que serviam para a Secretaria, em relação a uma ação específica, e sobretudo o IGC, ajudaram em relação à dispensa de visitas in loco, já que havia um grande nú-mero de processos na Secretaria, mas seu uso foi desvirtuado ao ser utilizado para fazer medidas descritivas, “cautelares”, para as IES, com base nos seus resultados, o que é contraditório, já que as medidas que serviam para liberar acabaram se tornando medidas restritivas.

Outro ponto colocado por ele para reflexão é em relação ao CPC, que só pode ser usado para cursos participantes do Enade, mas há vários cursos que não possuem CPC, então o cadastro também não reflete a atualidade, o que está sendo praticado pelas instituições. Essa reflexão, segundo ele, tam-bém deve ser feita em relação à Educação a Distância, já que foi afastada, para efeitos da criação de polos, a questão que envolvia anteriormente o IGC. O IGC estava presente, mas foi entendido que ele não era suficiente para aferir a condição da instituição de ter mais ou menos polos.

Ele conclui dizendo que precisamos de indicadores diversificados e específicos para as nos-sas decisões, mas que avaliação deve ser o referencial básico para a regulação. Ele afirma que uma pergunta que é sempre feita na SERES é: se precisamos de indicadores diversifica-dos, quais são esses indicadores? E a que ponto é possível tanto diversificar como especificar questões particulares próprias, regionais? Para finalizar sua exposição, o professor Henrique informa que foram apresentados novos normativos em relação ao decreto da Educação a Distância, o decreto da regulamentação da Educação Superior que está na Casa Civil, os novos instrumentos de avaliação que visam, sobretudo, à valorização das iniciativas inovadoras e respeito às diversidades institucionais e de cursos, o conceito de bônus regulatório para conferir racionalidade e celeridade nos processos.

Ele termina sua exposição contando um pouco da sua vida como estudante universitário e diz que, na sua opinião, a nota do Enade também poderia se refletir no final da formação dos alu-nos, porque isso traria uma série de compromissos que os alunos poderiam ter com a sua forma-ção, e ao mesmo tempo as instituições estariam também trabalhando para isso.

Em seguida, a moderadora convida o professor José Janguiê para proceder à sua fala.

O professor José Janguiê explica, no início da sua exposição, que ao ser convidado para este Seminário pensou em indicar outra pessoa por não ser especialista em avaliação, mas que a professora Mariângela lhe pediu que participasse para dar uma visão do Ensino Superior privado acerca do sistema avaliativo.

31.10.2018Tarde


206

Ao se debruçar sobre o assunto para preparar sua apresentação, ele extraiu pontos positivos e pontos negativos, e que iria fazer sugestões de aprimoramento para o sistema avaliativo e em especial para o Enade. Ele afirma que o setor privado não nega a importância do Sinaes, mas que ele precisa ser aprimorado. Segundo ele, o Sinaes foi criado com o objetivo de melhorar a quali-dade da Educação Superior brasileira, mas também de orientar a expansão da oferta e servir de ferramenta de gestão e que a avaliação tem que ser considerada um instrumento de formação e transformação, jamais de controle ou de punição.

Ele faz a seguinte crítica: o setor privado, que responde hoje por 87 por cento do número de instituições no Brasil, por 72 por cento do número das matrículas presenciais no Brasil, por 90 por cento das matrículas de Ensino a Distância no Brasil e totaliza mais de seis milhões de estu-dantes, está sendo prejudicado pela aplicação e divulgação isolada dos indicadores de qualida-de, em especial o Enade e o CPC, que estão sendo protagonistas na regulação e na supervisão da Educação Superior, definindo inclusive o destino das IES e dos cursos de graduação, diferen-temente do que defende a lei do Sinaes.

Ele afirma que o setor privado que ele representa, como presidente da BMS e do Fórum das Associações de Ensino Superior não rejeita e nem tem medo de ser avaliado, apesar de avaliado com muito mais rigor do que as instituições públicas. Ele preza a lei do Sinaes, pois considera que avaliar é fundamental para induzir a qualidade e afirma também que é preciso, em primeiro lugar, que nos processos e procedimentos avaliativos sejam assegurados os princípios e as diretrizes do Sinaes, em especial três: o reconhecimento da diversidade, o respeito à identidade e o respeito à regionalidade, além dos demais. Em segundo lugar, que a avaliação somente seja publicizada em seu conjunto, como está preconizado na lei do Sinaes, pois indicadores isolados não retratam as condições concretas dos processos formativos e estruturais da IES, expressam valores relativos e não absolutos, não são comparáveis entre suas edições e não substituem a avaliação in loco, mas que infelizmente o que se vê é a prevalência dos indicadores isolados sobre o conjunto das modalidades avaliativas, com a valorização excessiva do Enade e isso tem prejudicado sobremaneira as instituições de Ensino Superior privadas.

O professor conclui dizendo que é preciso que haja um aperfeiçoamento do Enade, e que espera que o Inep analise e acate as sugestões apresentadas pelo documento da BMS, principalmente nesse momento de mudança legislativa em relação à EaD, com a publicação do novo decreto que regulamentou a EAD e com a mudança legislativa que está por vir, que essa reformulação seja um processo coletivo e que conte com a ajuda do setor particular do Ensino Superior.

Dando continuidade a esta Mesa Redonda, a professora Mariângela convida o professor Fábio do Prado para fazer sua apresentação.

207

O professor Fábio do Prado inicia sua fala agradecendo ao convite para participar do Seminá-rio representando o Conselho de Reitores das Universidades Brasileiras. Lembra que o Inep nasceu como Instituto Nacional de Estudos Pedagógicos, que tinha um papel identificador e saneador de problemas de ensino para hoje se tornar um Instituto que traz a vertente do estudo e da pesquisa educacional bastante abrangente, sendo um instrumento de assessoria na política pública de Educação Superior e no desenvolvimento de um Sistema Nacional de Educação Superior. Afirma que vai fazer um extrato objetivo das discussões que são realizadas nos fóruns do Conselho de Reitores das Universidades e de outros fóruns de Avaliação da Educação Superior de que tem participado.

Em primeiro lugar, ele defende a ideia de que como temos um sistema de ensino praticamente con-tinental, é fundamental termos uma política pública de Estado brasileiro que tenha referenciais mínimos de qualidade nesse universo tão amplo, complexo e desafiador. Em segundo lugar, defende que é preciso valorizar a diversificação desse Sistema. Em terceiro, que a abrangência e a abordagem devem ser sistêmicas, ou seja, o processo não pode estar restrito a poucos ou a pontuais indicadores, mas tem que permitir que todo o sistema, de começo, meio e fim, tenha avaliadores de qualidade muito claros que lhe permitam ter uma visão sistêmica. O quarto aspecto importante, na sua opinião, é a questão da atualização e da modernização dos instrumentos e que o sistema nunca deve inibir processos inovadores. Segundo ele, as Diretrizes Curriculares há décadas propõem inovações nos processos pedagógicos e ainda não conseguimos identificar e valorizar, nas nossas instituições, ações inovadoras, já que uma avaliação baseada em alguns modelos únicos não consegue individualizar a vocação, a especificidade e as características locais, regionais e de vocação propriamente dita das instituições que estão sendo avaliadas.

Concluindo sua exposição, o professor Fábio traz quatro indicações bastante objetivas de me-lhorias e ajustes em todo o processo, em todos os indicadores, que são: 1) o peso dos con-teúdos de disciplinas e matérias em todos os instrumentos e no processo de avaliação como um todo é excessivo. A prova do Enade é muito conteudista e precisa ter mais sistêmica do processo de qualidade; 2) faltam indicadores de acompanhamento e de medidas da produção dos egressos, é preciso atender às novas demandas e ao novo perfil em termos de qualidade e de competências dos profissionais demandados para novas relações e o novo mercado de tra-balho; 3) os estudantes estão muito à margem do processo, e a corresponsabilidade é muito importante para a eficiência do processo; 4) o indicador IDD é um dos pontos mais criticados e comentados nas reuniões e nos estudos do Conselho de Reitores das Universidades Brasi-leiras, no sentido de questionar se ele realmente mede agregação de valor entre ingresso e egresso das instituições de Ensino Superior. A sugestão é que se aproprie desse instrumento dentro da caminhada institucional.

31.10.2018Tarde


208

O professor finaliza dizendo que reconhece que o Brasil é o único país do mundo a ter um dos maiores bancos de dados da Educação Superior, mas que não podemos nos esquecer de uma dimensão extremamente importante do processo de avaliação e do processo de qualidade, que são as pesquisas que podem direcionar, gerar documentos de referência de gestão para as nossas instituições.

Seguem os registros na íntegra dos pronunciamentos dos professores Antônio Carbonari Netto; Paulo Barone; Henrique Sartori de Almeida Prado; José Janguiê B. Diniz e Fábio do Prado.

Eu não sei se eu deveria ser o primeiro, em todo caso, boa tarde a todos, espero que ninguém tenha sono após o almoço, então vamos a algumas provocações. A questão do Enade, ele é um processo que avalia resultados, está claro para todo mundo isso, não é? Ele não avalia processo, é como se você fizesse uma lata de salsicha e no final o produto não saiu bom, o que eu faço com a salsicha? Então o processo de avaliação tem que ser visto como um todo e para isso há muito tempo tem se desenvolvido - e eu sou um daqueles que luta para que nós tenhamos indicadores de qualidade – uma vez definida uma grande matriz de indicadores, desenvolvidos, as instituições conseguem ir galgando, tempo a tempo, a aproximação com esses indicadores. Sobre aqueles que discordam que o Enade deve estar no histórico escolar do aluno, o Enade é um componente curricular e portanto, como tal, tem que estar no histórico escolar do aluno.

É uma questão política, eu sei, até de braço de ferro e força, mas precisa. E quando se fala em indicadores, aqui tem um trabalho um pouco antigo, e eu sou um daqueles que briguei muito e continuo brigando, o indicador serve para quê? Para levar você a um patamar, a um objetivo. Se você faz um indicador e o objetivo já estiver previamente formatado, pela cabeça de alguns, pode ser a minha, esses indicadores não são sérios. Eu digo assim: para ter qualidade, tem que ter muito doutor, muitas pessoas em tempo integral, a biblioteca cheia de livro velho, aí faça um indicador, você. Não, eu quero abrir aquela caixa, essa formatação é que tem que ser discutida com a sociedade, o que nós entendemos de qualidade? Qualidade é da Administração, e estão aqui dois ex-grandes presidentes da área da Administração. Qualidade sempre se definiu como um conjunto de características que um produto ou um serviço tem em função do atendimento e de satisfação e de interesse do usuário, não meu, eu não faço qualidade, eu produzo naquilo que ele quer, então a pergunta que vem aqui é a seguinte: na área da Educação, nós estamos entendendo o que é o conceito de qualidade ou eu estou formatando a minha caixa assim: mais doutores, mais mestres, mais tempo integral, mais bibliotecas, mais custo MEC.

Desculpe chamar assim, porque quando eu estava do lado de lá eu falava assim e estou fa-lando agora também. Cria-se uma série de escadas que no fundo, no fundo, cai nas costas do

Antônio Carbonari Netto

209

aluno, esse é o problema. O Enade precisa ser pensado com qual objetivo eu estou avaliando? Ah, o de qualidade, quem tem maior nota, tem maior qualidade. Aí o aluno faz um questio-nário com duas questões e destrói a faculdade dele. Está errado isso aí, as medidas não estão boas, os caminhos não são bons. Por que até hoje não se respeita a autoavaliação, praticamente obrigatória em todas as instituições? Eu faço a autoavaliação de seis meses em seis meses, de quatro em quatro anos, aí sai a nota lá, cadê a minha autoavaliação? Que é aquela que responde aos anseios e interesses dos usuários, dos alunos. E, por fim, como é que eu faço uma indução com a política pública de qualidade? Eu quero aqui levar a minha ideia que eu aprendi lá com o professor (ininteligível) no Maranhão, quando eu era conselheiro no Maranhão. Ele dizia sempre o seguinte: política pública tem que ter verba pública. Não me venham exigir doutores, carteiras novas, sofá, biblioteca, ultracomputadores, por indução de uma política pública se ela não vai pagar. Então, a escola particular, a instituição, com ou sem fins lucrativos, fundacional ou não, tem limites orçamentários e às vezes se cria uma série de indicadores que aumenta o custo Brasil para eles lá. Então é preciso tomar muito cuidado quando se fala em indução da qualidade e eu ouvi muito isso de alguns ministros anteriores: “Não, isso aqui é obrigatório por-que nós estamos induzindo a qualidade”.

Mentira! Não sabe o que é qualidade, como vai induzir a qualidade? Então tem que ter essa clareza, o Enade, gente, é um ponto na nossa galáxia, tem mais, tem avaliação, tem autoava-liação, processos, núcleos internos na instituição que devem opinar, núcleo estruturante, tem uma série de coisas que aos poucos nós temos que reconhecer que as instituições têm que ter autonomia em avaliação. Todo mundo trabalhou nisso, os pedagogos, filósofos e econometristas que trabalham em educação e avaliação sabem disso, avaliação não é só medida, medida é um instrumento e o instrumento tem que existir. Agora eu vou dar um parecer aqui para vocês, vou contar até um segredinho, vocês não contem para ninguém. Nós estamos trabalhando, na Câ-mara da Educação Superior, as Diretrizes Curriculares novas, as que estão sendo renovadas, com o conceito de carga horária referencial. Esse curso deve ter mais ou menos 3.000 horas, mais ou menos. É referência, depois nós vamos ver quanto é a referência, 20 por cento, 30, não dá, no tempo de hoje, para falar quatro 4.000 horas secas, 3.000 horas secas, é como oito semestres, não, vai ter que ter quatro anos, que camisa de força é essa?

A escola tem gente para fazer três anos, três e meio, quatro, quatro vírgula dois, depende do cur-rículo, do projeto pedagógico, então nós temos agora números referenciais, saiu esses dias o da Farmácia, vai sair o de Engenharia agora no próximo mês, então referencial é 3.600 (inaudível), é referencial sem, claro, a Maria Inês até vai brigar comigo, mas eu vou ajudar, não é? Como é que eu faço um instrumento de medida se aquilo ali não é fixo, o alvo não é fixo. Então vai ver, pode ser 4.000 aulas, 3.800, 4.100, como é que eu vou avaliar isso através do nosso instrumento? Há a

31.10.2018Tarde


210

questão do desvio-padrão, da margem, para não fechar o sistema, há cursos de 3.000 horas muito melhores do que de 4.000, há licenciatura de 2.400 muito melhor do que de 3.000 e o advento da educação a distância, então, vocês sabem que vai mudar o mundo. E eu vou dizer uma coisa para vocês, eu tenho dito em alguns seminários assim, o Enade é fundamental, os instrumentos de medida de avaliação são fundamentais, porém esqueçam o conceito do que é aula, do que é sala de aula e de que é professor que dá aula na sala de aula, esses três problemas morreram, sala de aula hoje é o jardim, a praça, é o street learning, o professor está morrendo, é o tutor que está nascendo, o orientador, que foi o sonho de todos os pedagogos da minha geração e o processo de ensino/aprendizagem, de qualquer lugar, qualquer instrumento, e vejam bem, hoje nós estamos autorizados a praticar 20 por cento de horas de ensino EaD nos cursos presenciais.

A legislação também diz o seguinte: até 20 por cento eu posso trabalhar com estágio ou atividades complementares, então como um mero matemático do interior, 20 mais 20, para mim, dá 40. Eu posso trabalhar 40 por cento da minha carga horária fora da sala de aula, vocês já fizeram isso? Eu sempre fiz. Agora, o Plano Nacional de Educação diz que eu tenho que dar dez por cento em atividade de extensão, portanto é fora de sala, ou seja, vocês já entenderam que a lei atual diz que eu posso sair da sala de aula 50 por cento da minha carga, então falar em carga horária hoje, falar em 50 minutos, 60 minutos, são conceitos que tinham certa base nos paradigmas anteriores, nos novos não têm mais. Agora, o que deve falar mais alto é o projeto pedagógico, acho até que uma área de estudos do Enade deveria ser incorporada à graduação, preparar o aluno para isso, ver que tipo de avanço na qualidade ele está tendo, acho que é uma matéria interessante. Mas eu insisto no seguinte: as DCNs estão saindo mais flexíveis, não são currículos mínimos, não são palavras de ordem, são orientações, são vetores e elas vão mexer com muitos conceitos rígidos que nós temos, agora, como é que se avalia um alvo móvel?

O instrumento tem que ser bastante abrangente para que isso se faça. Insisto muito na autoa-valiação, acho até que ela tem um peso bastante grande em avaliação de processo, que nunca foi levada em conta, mas precisa ser levada em conta, e a indução à política pública, ou tem dinheiro público ou eu não aceito o quadradinho onde eles querem chegar. Eu quero discutir o formato do quadradinho final, aí sim, discutir indicadores. Porque se eu vou fazer indicadores para aquilo que você já até pensou, que é a sua ideia, eu estou criando escada para chegar ao seu muro e não é isso que eu quero, eu quero escada para que o aluno cresça, que a sociedade cresça. Estamos falando do país Brasil, muito mal educado, 17 por cento de alunos de 18 a 24 anos, o nosso Ensino Médio não está levando dois terços da população à universidade, então como é que alguém pode querer falar em qualidade, em Ensino Superior de elite, se a grande maioria do Brasil não chega a ela? Então tem que ter uma política pública. Qual é a política boa? Extinguir o vestibular? Deixar entrar todo mundo? Dar melhor Ensino Médio? Para poder fazer o

211

quê? A juventude brasileira ascender ao Ensino Superior. Isso é política pública, agora, enquanto eu fizer restrição, não, só pode isso, vaga só pode 50, eu só posso usar tanto por cento disso. Enquanto a educação nossa for econométrica, nós vamos ter um problema e o Brasil não terá um futuro seguro com relação à concorrência das nações.

O mundo todo se liberou, já passou por essas dificuldades que nós passamos, então nós precisamos abrir um pouco a cabeça e eu acredito nessa abertura que está acontecendo, principalmente neste governo, com vontade de acertar, eu vejo o trabalho dos conselheiros, o trabalho do professor Henrique, por exemplo, que é magistral, na SERE, Paulo Baroni, na SESu, a Maria Inês, do Inep, é uma cabeça nova eu está surgindo aí, são pessoas que querem ver a educação aberta, ainda sujeita aos entraves que nós temos no processo. Temos que entender que muita coisa que nós fazemos hoje o on-line faz. Eu sou daqueles, eu tenho discutido com a Maria Inês, com o Barone, eu acho nós não devíamos mandar comissão para verificar, para credenciamento, a primeira comissão. Aprovou o PBI pode começar o curso, agora antes do cre-denciamento nós vamos lá. Isso aí já dividiria por dois o número de comissões que vão viajar no Brasil para autorizar cursos. Isso é uma coisa do século passado, no exterior é diferente, você faz o projeto, aprova, começa, e aí, quando você estiver andando, cria-se a palavra monitoramento, aí sim, eu acho que o Inep pode monitorar, ou outro órgão, monitoramento, acompanhamento, mas não a supervisão direta, quem está lá é gente, tem professores, tem doutores, tem gente boa, então é uma questão de acreditar mais.

Eu fui da fase também de quando o Inep levava uma comissão, em outros governos anterio-res, tirava três, a SESu mandava voltar, fazer um relatório para abaixar a nota! Como é que um órgão que não esteve lá abaixa a nota de quem esteve lá? Sabe, é uma visão de educação extremamente fechada, que eu acho que não leva o Brasil a lugar nenhum. Eu sou um libertário por definição, sou contra as amarras, mas respeito o sistema. O sistema existe, tem que ter o controle, mas o controle que leve você não àquela caixinha que eu falei para você que alguém adquiriu, a novas caixinhas, que o mundo merece. Acho que é isso. Obrigado.

Muito boa tarde a todos, eu fico mais à vontade por ver todos vocês mais de perto, porque ali tem uma luz batendo no rosto e não conseguimos nos enxergar direito. Eu queria primeiro cum-primentar a presidente do Inep, professora Maria Inês Fini, agradecer a ela e a toda a sua equipe pelo convite para esse Seminário, dizer que é com muita honra que é a segunda, a terceira, a quarta, não sei, a enésima vez que participo de seminários internacionais em torno do tema avaliação, no Inep, o que me honra muito e me dá a oportunidade de debater, agora, na posição de Secretário de Educação Superior, essa problemática de uma maneira um pouco mais ampla.

Paulo Barone

31.10.2018Tarde


212

Em primeiro lugar eu queria pedir licença a todos para fazer uma reflexão à altura da importância do país no cenário internacional. Em um Seminário internacional precisamos olhar o Brasil numa perspectiva mais ampla, e nessa perspectiva o Brasil é um país absolutamente relevante e que tem uma experiência em Educação Superior singular, que precisa ser bem entendida, bem acom-panhada, bem monitorada e transformada numa experiência de alta qualidade.

A questão é que nós temos uma população enorme, temos um sistema diversificado, de um tamanho compatível com alguns dos maiores sistemas do país e uma forma de geri-lo que é muito distinta da forma de geri-lo de um país próximo do nosso, em termos de uma série de aspectos colocados nos Estados Unidos, que tem de fato um comportamento federativo e, portanto, regras muito mais liberais, de modo geral, mas muito mais associadas ao poder político dos estados. No caso do Brasil, a Federação é um enunciado teórico, mas a verdade é que a União legisla e regula uma série de fatores. É assim que vivemos no caso da Educação Superior porque pela legislação em vigor cabe à União legislar e regular o sistema de Educação Superior federal, aquele que está vinculado às instituições privadas e também às próprias instituições mantidas pela União.

No caso das instituições públicas, eu queria dizer, inclusive na qualidade de gestor desse conjunto de universidades públicas, que é muito importante considerar que esse é um investimento do poder público brasileiro, portanto, do contribuinte brasileiro e devo dizer, de maneira muito clara, na formação de recursos humanos, na produção de conhecimentos, no repasse de conhecimentos e uma série de serviços à sociedade que deve estar acompanhado de um propósito mais amplo de política pública do que aquele que está contido num ambiente de avaliação que nós estamos discutindo aqui, que é um ambiente de avaliação quase que estritamente local, quer dizer, ligado aos cursos e às instituições. Isso é importante, mas aí queria dizer, a perspectiva mais ampla é outra, isso não é tudo, é muito mais importante para o gestor das universidades públicas perceber se o investimento público, quer dizer, o recurso alocado em instituições públicas de Educação Superior pelo contribuinte e por meio do Estado é dirigido às prioridades da Nação. Isso é muito mais importante, mas não prescinde da qualidade dos cursos, é evidente, mas a qualidade dos cursos não é só a qualidade intrínseca, que nós podemos avaliar, temos instrumentos clássicos à disposição, que temos usado, mas acontece que não é essa a tradição brasileira e é preciso encarar essa tradição com metas de longo prazo, com o atendimento a demandas sociais mais amplas e, portanto, com um propósito muito mais complexo no sistema público do que aquilo que temos considerado.

Não é possível comparar, e eu quero agradecer ao colega Rubens Martins, o chefe de gabinete do nosso secretário Henrique Sartori de Almeida Prado, que me alertou para essa questão de outra forma há alguns anos, mas se ele pensava na questão da regulação dos cursos da Educação Superior pública, por outro lado ele fez nos fez pensar nesses outros aspectos mais amplos e, portanto, precisamos considerar esses outros pontos de vista.

213

Do outro lado, não devemos esquecer que a Constituição Brasileira permite a livre iniciativa na Educação Superior, aliás, na educação de um modo geral, mas eu estou me referindo aqui em particular à Educação Superior, garantindo certos condicionantes, quais sejam: a observância das leis gerais, e as normas gerais são essencialmente aquelas previstas na LDB, e há os proces-sos de autorização, que são a regulação e avaliação de qualidade pelo poder público.

Daí se vê, combinando com a lei do Sinaes, que garante que a avaliação é o referencial bá-sico da regulação, que o Brasil estabeleceu um condicionante importante no cumprimento do mandato constitucional. O condicionante é: a avaliação condiciona a decisão regulatória. Ela não é o único condicionante, mas é um condicionante básico da decisão regulatória e isso é ótimo, porque o Brasil não está sujeito, portanto, à decisão arbitrária, que possa exorbitar as funções do poder público, mas àquela que deva seguir a avaliação dos pa-drões de qualidade. Mas emerge disso um conceito mais importante: que a avaliação é o fundamento primário e é daí que todos os demais fundamentos devem ser extraídos e, portanto, é preciso dar o correto relevo à avaliação. Mas eu preciso dizer mais, a avaliação de qualidade, o que vem a ser qualidade? Eu tenho dito em outras ocasiões, muitas outras vezes, que qualidade não pode ser um conceito abstrato, ou melhor, a visão de mundo abstrata que cada um de nós tem, mas tem sido isso.

E mais do que isso, tem sido isso no que se refere a uma visão do sistema de Educação Superior de elite. Nós fomos capazes de expandir o nosso sistema até ultrapassar os limites da Educação Superior de elite, estamos adentrando os limites da Educação Superior de massa, mas não fomos capazes de perceber que os figurinos, os modelos que se aplicam à Educação Superior de elite não se aplicam à Educação Superior de massa.

Eu tenho insistido muito nessa questão para dizer que a extensão de um modelo univer-sitário de formação, de um modelo unitário de formação, embora seja um discurso de al-guns grupos políticos, não se presta, com certeza, à expansão da Educação Superior num país com grande população, especialmente num país como o Brasil, que tem mais de 200 milhões de habitantes e que tem que alcançar diferentes segmentos sociais muito desiguais com distintos interesses legítimos, e aí eu queria defender aqui que o conceito de qualidade é ajustável a cada objetivo social. O conceito de qualidade não é unitário. Ele deve ser próprio para cada finalidade a ser cumprida, e um sistema como esse precisa de diversidade na sua formatação. Não é possível alcançar todos os objetivos que a sociedade brasileira tem com a formação superior, e aí não nos esqueçamos que nós somos meios, e não fins, não é possível alcançar os objetivos sem interpretar os interesses legítimos da sociedade, que são diversificados.

31.10.2018Tarde


214

E eu vou dizer mais ainda, que recentemente o Martin Carnoy e o grupo de pesquisadores as-sociados estudou a expansão da Educação Superior nos BRICS e publicou, no Brasil, com os auspícios da Capes, publicou um livro sobre essa questão, levando em consideração se isso é um exemplo de sucesso ou não, nos diferentes países, que têm dimensões próximas, e que têm condições diversificadas. Uma das condições mais importantes do Brasil é que o Brasil tem uma população maior do que a soma de todos os vizinhos, na verdade a população do Brasil é maior que o dobro da população dos dois maiores vizinhos próximos e, além de tudo, o sistema é desproporcionalmente maior, vejam o caso da Colômbia, que é a segunda população da América Sul, que tem cerca de 45, 48 milhões de habitantes, lá o número de estudantes em doutorado, para termos uma ideia, é na faixa de dois mil, enquanto o Brasil titula 18 mil por ano.

Portanto, tem quatro vezes isso de estudantes de doutorado. Então nós temos uma desproporção enorme entre o país e os seus vizinhos, mas, por outro lado, temos uma relação tal que a influência econômica e a influência política do Brasil sobre esses países é muito grande, então nós temos que entender que, além de tudo, sendo um sistema tardio de desenvolvimento apenas ao longo do século XX, alcançamos uma posição em que em qualquer ranking inter-nacional metade das melhores instituições do continente estão no Brasil, então nós temos aí um fenômeno de crescimento rápido da qualidade, em todos os aspectos, inclusive naqueles que são internacionalmente visíveis, mas nós não temos a capacidade de perceber que o desenvolvimento num país como o nosso não pode ser homogêneo, e veja, num país como a Colômbia, que eu visitei inclusive junto com o Carbonari, fizemos uma excelente viagem até lá há uns dez anos atrás, não é isso, Carbonari? e num país como a Colômbia há diferentes categorias de Educação Superior que atendem a esses diferentes interesses sociais, isso é absolutamente fundamental.

O segundo ponto que eu queria enfatizar é o fato de que a avaliação no Brasil tem uma ex-periência histórica importante e tem acumulado, ao longo do tempo, as experiências prévias num modelo que se torna cada vez mais robusto, isso é superimportante, porque o que foi vivido no passado é considerado no momento seguinte. É raro, embora devesse ser regra, é raro acontecer isso em políticas públicas no Brasil. Nós temos um exemplo, só para dar uma ideia, de que nos anos 1990 surgiu aquele modelo de avaliação que se chamava Programa de Avaliação Institucional das Universidades Brasileiras, que era um programa de avaliação institucional, essa é que é a verdade, promovido pelo Ministério da Educação por adesão, que gerou as primeiras iniciativas de avaliação institucional.

Depois nós tivemos a avaliação dos egressos, pelo Provão, depois a avaliação das Comissões de Oferta, que eu vou chamar de Comissões de Ensino, e progressivamente o conjunto das coisas

215

foi se constituindo no conjunto das atividades de avaliação. Ainda assim, essas são atividades es-sencialmente dirigidas para o interior do sistema. Só para pontuar, eu queria mencionar um fator superimportante das instituições americanas que é exatamente a alocação profissional dos seus egressos. Naturalmente no Brasil não há nenhum levantamento sistemático sobre isso ainda, e lá nos Estados Unidos, por exemplo, em que cada instituição pode dizer: “Os meus egressos têm um salário de tantos dólares no seu primeiro ano de atividade profissional” como indicador de qualidade do seu produto, aqui nós não podemos dizer isso porque nós não conseguimos seguir os nossos egressos e eu queria mencionar que uma das atividades que estamos desenvolvendo na Secretaria de Educação Superior é junto ao CGEE, o Centro de Gestão e Estudos Estratégicos, conectar os dados do Censo da Educação Superior, que são levantados aqui, de forma sistemática, pelo Inep, e com o CPF desde 2010, com os dados de Relação Anual de Informações Sociais, a RAIS, e eventualmente até com o cadastro das atividades da Previdência Social, que nós esta-mos tentando pleitear junto ao Ministério da Fazenda, de tal maneira que seja possível verificar ou o vínculo empregatício formal ou o vínculo de um egresso da Educação Superior com uma empresa que tenha o CNPJ definido, de tal maneira que possamos seguir, de maneira sistemáti-ca, o estudante, desde a graduação até a sua locação no mercado de trabalho como vinculado trabalhista ou como empresário de diferentes níveis de atividade empresarial.

E isso poderá ser uma ferramenta importante de que o Brasil ainda não dispõe e que poderá prover uma informação do tipo indicador de Educação Superior, de qualidade da Educação Superior, diferente daquele que nós temos, porque a verdade é que os nossos indicadores são essencialmente indicadores do tipo insumos do processo, essa é que é a nossa realidade.

Num Seminário anterior, promovido também pelo Inep nesse mesmo ano, eu tive a chance de fazer comparação da avaliação da Capes com a avaliação do Inep e eu reitero aqui, apenas para rememorar rapidamente. A avaliação da Capes é essencialmente uma avaliação da produção intelectual do corpo docente, portanto é uma avaliação que pode ser caracterizada como uma avaliação de resultado. Tem um pouquinho de insumo, mas basicamente é esse o indicador. E do outro lado, a avaliação do Inep é a avaliação da graduação, a avaliação das instituições, que é operacionalizada pelo Inep e a avaliação dos egressos também é operacionalizada pelo Inep, pela forma do Enade, todas são avaliações, o Bob vai se lembrar disso, nós estivemos discutindo numa mesma mesa, há alguns anos atrás, essa é uma avaliação essencialmente de insumos, isto é, de alguma maneira se observa como os insumos teriam poder explicativo sobre o resultado. É essa a concepção que eu poderia expressar aqui, e ao visualizar a trajetória dos estudantes no mundo do trabalho, posteriormente à graduação, eventualmente se poderia alcançar uma visão de um indicador distinto, isto é, um indicador sobre o desempenho no mundo do trabalho, o desempenho do nosso graduado, quer dizer, um indicador de resultado.

31.10.2018Tarde


216

E eu quero dizer que nos Estados Unidos quem faz esse tipo de coisa são empresas de pesquisa sistemática com capacidade de estudo por amostras estratificadas, portanto com técnicas pró-prias de amostragem de dados e coisa do gênero, e essas empresas estão transitando para um modelo em que se estuda determinados indicadores intangíveis, como a pesquisa conhecida de alguns de vocês, tenho certeza de que o Guilherme Marback, que está aqui conhece bem, que é uma pesquisa do Instituto Gallup com a empresa Ilumno, que trata de desempenho no mundo do trabalho e, portanto, do desempenho qualitativo dos egressos no que diz respeito à sua qua-lidade de vida, o que significa muito mais do que nós vamos ser capazes de fazer aqui e do que eles mesmos têm feito até então.

Eu ia dizer que outra coisa importante decorre do nosso sistema, que é relativamente complexo, sofisticado, pesado, dispendioso, mas os resultados ainda são aquém do que deveriam ser. Dois exemplos de que posso fazer essa estimativa sem medo de errar. O primeiro exemplo: as insti-tuições de alta performance não têm nada a ver com o nosso sistema de avaliação de instituição e de curso superior, elas, de fato, vivem completamente à margem desse sistema e uma das razões para isso é que de fato as instituições de alta performance estão ligadas a certos aspectos da atividade da Educação Superior, por exemplo, a produção de conhecimentos, que não tem medida alguma no sistema de avaliação.

Eu queria dizer com isso que não interessa qual seja a produção acadêmica, aquela que é vista nos rankings internacionais, por exemplo, de uma certa instituição, de qualquer maneira qual-quer que seja essa produção os nossos indicadores não a percebem e, portanto, não haveria sensibilidade dessa instituição de alta performance ao nosso sistema de avaliação. Uma conse-quência importante disso é que nós não conseguimos alcançar devidamente essas instituições, e eu diria, porque nós não sabemos diferenciar a avaliação regulatória mínima da avaliação de alta performance. Se nós não formos capazes de fazer isso, não seremos capazes de induzir o crescimento de instituições que tenham performance de classe mundial.

O segundo problema importante, que aí eu queria dizer e colocar para todos como um pro-blema, de fato, absolutamente relevante, é o fato de que embora o sistema seja custoso, seja dispendioso, seja pesado, nós não conseguimos alcançar, com esse sistema de avaliação, ain-da uma melhora generalizada da performance dos cursos e das instituições. Nós conseguimos corrigir a banda de menor desempenho, mais ou menos, mas não conseguimos alcançar ainda uma evolução da média das instituições e dos cursos para níveis mais elevados, e isso deve ser um fator preocupante, deve nos chamar atenção e eu queria dizer, com certeza, um fator que influencia isso é a nossa incapacidade de envolver os estudantes porque eles não têm nenhuma consequência na sua participação no Enade. No final das contas, nós vamos precisar desenvolver

217

novos indicadores para o monitoramento dos sistemas, precisamos ultrapassar a capacidade limitada do Enade e nós vamos precisar entender melhor como funciona a Educação Superior tendo em vista a Demografia, a Geografia, a Economia, a oferta existente e uma série de outros fatores relevantes. Muito obrigado.

Boa tarde a todas as pessoas. Boa tarde, muito obrigado pela oportunidade de falar com todos e ao mesmo tempo estar aqui neste dia tão importante, celebrando não somente as discussões que foram travadas e apresentadas até aqui desde o dia de ontem, mas também é um momento bastante forte, simbólico em relação aos passos da regulação e da avaliação da Educação Superior e, quebrando o protocolo um pouquinho, eu queria fazer um breve relato dos últimos acontecimentos em relação à avaliação, à supervisão e à regulação como um todo. E obviamente eu faço aqui uma menção ao trabalho que o Inep tem desenvolvido dentro dessa ótica, dessa construção do novo momento, e quebrando o protocolo gosta-ria de pedir uma salva de palmas para a professora Maria Inês e a toda a sua equipe, que apresentaram não somente esta proposta deste Seminário, mas também novos potenciais e novas apresentações em relação aos instrumentos de avaliação e as portarias que virão agora em relação ao novo momento da Educação Superior como um todo, na avaliação e na regulação, supervisão e por aí vai.

Então fica o registro da SERES, o agradecimento pela parceria, que desde o mês de março, quando nós assumimos a Secretaria, e obviamente vindo de um trabalho já realizado anteriormente, conversamos muito, dialogamos bastante e chega ao nosso conhecimento, evidentemente, que essa sinergia nunca havia sido antes travada e trabalhada entre a SERES e o Inep e por isso fica aqui o meu agradecimento e em nome da nossa equipe, que ali está também, fica o registro do meu agradecimento à DIREG, à DISUP e à DPR, aos nossos três diretores aqui presentes, como forma de prestígio e de reconhecimento dessa parceria. Bom, tocando então o bonde para frente, eu não falarei com a propriedade de um Carbonari ou de um Barone, que me precederam, mas apresento uma perspectiva de trabalho que estamos travando à frente da Secretaria e, obviamente, como professor e como entusiasta desse trabalho que nos foi confiado desde a época e desde o momento em que o Conselho Nacional de Educação, pelo qual eu tenho muito orgulho de ter passado, brevemente, mas passado e ter contribuído, nós também estamos contribuindo na SERES para o aperfeiçoamento da Secretaria e consequentemente olhando, como o Barone disse aqui, e como o Carbonari, que me antecedeu, não somente a política de refletir um referencial básico que a avaliação nos mostra, mas também daquilo que ela nos apresenta e que às vezes nós não conseguimos ler ou que a leitura não estava de acordo ou em sintonia com aquelas expectativas e necessidades que a Secretaria precisa e as instituições que estão inseridas no mundo da avaliação assim esperam.

Henrique Sartori

31.10.2018Tarde


218

Então basicamente eu vou apresentar, talvez seja um pouco redundante, porque já foi falado

anteriormente. O Carbonari citou a questão da autoavaliação e nós entendemos que a

autoavaliação ainda precisa ser melhor utilizada no nosso ambiente regulatório, que é um pilares

do Sinaes, que porventura está ali constando, nas três grandes vertentes do Sistema Nacional

de Avaliação, que é avaliação das instituições, avaliação externa e autoavaliação, avaliação dos

cursos, o desempenho dos estudantes no Enade e como tem havido um foco excessivo nos

resultados do Enade, que não é uma avaliação de processo, como já foi falado anteriormente

e nós temos esse entendimento, mas é um resultado que reflete nos indicadores, que compõe

parte desses indicadores, mas que não descreve todo o processo do qual a instituição ou aquele

curso tenha sido assim apresentado como um todo.

Em relação aos indicadores preliminares que se tornaram permanentes, que é uma crítica

aqui feita por todos, em relação à política da prática ou a prática da política, na Ciência

Política discutimos muito isso, se é a política da prática ou a prática que constrói a políti-

ca, então nós percebemos que todos esses indicadores preliminares, CPC, IGC e IDD, que

serviam para a Secretaria, em relação a uma prática específica, ou uma ação específica,

melhor falando. E o CPC e o IGC, sobretudo o IGC, nos ajudaram em relação à dispensa

de visitas in loco, devido ao grande número de processos que nós tínhamos na Secretaria,

que sempre teve e que nos dava um quantitativo enorme de processos em relação não

somente ao fluxo, mas também ao estoque. E foi trabalhada essa possibilidade de usar

esses indicadores para uma ação da Secretaria, uma ação prática, propriamente dita, de

reduzir esse número de visitas ou, pelo menos, reduzir os fluxos processuais travados

nesse ambiente especificamente desse ponto regulatório. Mas seu uso foi desvirtuado

ao se utilizar para fazer medidas restritivas, “cautelares”, para as IES com base nos seus

resultados, então fica ali uma indagação, se porventura nós utilizamos ou por algum

tempo assim pensávamos na Secretaria, que as medidas serviam para liberar o fluxo ou

ao passo de trazer também medidas restritivas.

Lembrando sempre que dentro da nossa perspectiva de atuação no ambiente da regulação nós

partimos hoje do pressuposto de que confiamos no sistema e se confiamos no sistema nós

queremos crer que aquilo que nós avaliamos, aquilo que o nosso técnico despacha e aquilo que a

Secretaria publica tem qualidade, senão nós teríamos que rever a todo momento todo o sistema

e partir da estaca zero. Esse é o ambiente, agora, se há algo para ser corrigido, corrigiremos. Se

há algo para monitorar, monitoraremos. Então nós partimos do pressuposto de que nós temos

que confiar no sistema que o próprio Ministério da Educação preconiza, apresenta e exige que

as instituições públicas ou privadas assim o sigam.

219

Em relação ainda a esses indicadores, nós colocamos ali, eu não estou falando nenhuma novi-dade, em relação à composição do Enade no CPC, em relação que o CPC só pode ser usado para cursos participantes do Enade, há vários cursos que não possuem CPC, então o nosso cadastro também não reflete, digamos assim, a atualidade ou aquilo que está sendo praticado pelas instituições, porque uma vez as instituições podem ter tido ali, os alunos podem ter praticado o exame do Enade em determinado ano e no outro ano rever a sua prática, a sua postura, passar por um momento regulatório outro que será refletido anos depois, assim como renovar o seu momento de exame. E o IGC é uma média ponderada do CPC dos demais cursos, sendo que, em grande parte, esses cursos não refletiam esse índice, obviamente que ele é publicado, é coloca-do na sua temporalidade, mas muitas das instituições de ensino, mesmo que tenham consegui-do melhorias acadêmicas e de gestão não refletiam anualmente esse ponto ou essa nota e assim por consequente. Isso é uma reflexão que nós fizemos em relação também ao novo mundo da Educação a Distância que se apresenta no ambiente da regulação, em que nós afastamos, por exemplo, para efeitos da criação de polos, a questão que envolvia anteriormente o IGC. O IGC estava presente, mas nós entendemos que esse indicador não era suficiente para aferir a condição da instituição de ter mais ou menos polos.

Então sobre a ótica da regulação, nós cremos que precisamos de indicadores diversificados e específicos para as nossas decisões, de modo a cumprir um dispositivo do Sinaes, contudo entendemos que a avaliação deve ser o referencial básico para a regulação, assim como foi mencionado há pouco. Entendemos que é o referencial básico, que outros pontos assim a com-põem, mas aí reside uma crítica ou uma pergunta que a gente faz corriqueiramente na SERES: se nós precisamos de indicadores diversificados, quais são esses indicadores diversificados? Re-gionalmente, por estrutura, por organização acadêmica, é um questionamento que nós fazemos periodicamente, dentro do nosso poder ou dentro da nossa ótica de decisão. Nós queremos sempre, e o desafio que a SERES pensa sobre isso é apresentar esses indicadores diversificados, é apoiar e orientar, e também receber orientação do Inep nesse sentido de construirmos algo para ser aplicado em política pública de forma conjunta, mas a provocação está na Secretaria, está no sentido de identificar quais seriam esses indicadores diversificados e a que ponto nós poderíamos tanto diversificar como especificar questões particulares próprias, regionais, ou até mesmo, como eu disse, determinadas organizações acadêmicas.

Ainda sob a ótica da regulação, novos indicadores que venham subsidiar políticas de regulação e de reforçar a política de supervisão. Na supervisão, a exemplo dessas questões, nós temos gatilhos automáticos em relação a quando uma avaliação não tem a suficiência ou não tem a sua nota três, reflete-se isso de imediato, e também nós temos por obrigação fortalecer a nossa política de monitoramento. Então, é um desafio que nós temos, é um desafio que está à

31.10.2018Tarde


220

mesa, e que está sendo adaptado e trabalhado para que nós consigamos ter cada vez mais no sistema que nós regulamos a parceria que nós exigimos das instituições e as instituições tenham conosco a parceria que assim esperam da SERES.

Em relação a esses desafios, para finalizar, nós apresentamos novos normativos em relação ao decreto da Educação a Distância, o decreto da regulamentação da Educação Superior que está na Casa Civil, os novos instrumentos de avaliação que visam, sobretudo, à valorização das iniciativas inovadoras e respeito às diversidades institucionais e de cursos, como trabalhado em várias mãos e falado no momento da minha abertura aqui, o conceito de bônus regu-latório para conferir racionalidade e celeridade nos processos, então se nós entendemos, lá atrás, que o IGC poderia ser elemento de dispensa de visita, agora nós entendemos também que esses bônus regulatórios caracterizam esse suporte e ao mesmo tempo têm obrigação de trazer a segurança regulatória para as instituições e para os nossos processos. E, por final, a tramitação também passa por isso porque nós temos trabalhado cotidianamente em processos simplificados, prorrogação dos prazos de validade e dispensas de visitas refletidas não somente nas análises que esses indicadores trabalham, mas para o papel que o Enade apresenta. Falando um pouquinho da minha percepção de mundo e da minha visão. Eu fui um aluno do Provão, assim, quando eu me formei eu fiz o Provão e a minha turma era uma turma nota C no Provão e isso não foi determinante para eu entrar numa especialização, para fazer o mestrado, o doutorado, cair no mundo do trabalho, mas foi determinante para que nós refletíssemos, ou pelo menos que a nossa turma pudesse fazer a reflexão e uma articulação com a sua instituição e nós saímos dali com essa publicação da nossa nota e a minha turma, como foi uma turma inicial de uma universidade em criação, se sentia também orgulhosa disso. Eu falo isso porque também vejo, e essa é uma visão particular, que a nota do Enade também poderia se refletir no final da formação dos alunos, eu acho que isso também traria uma série de compromissos que os alunos poderiam ter com a sua formação e ao mesmo tempo as instituições estariam ali também trabalhando para isso. Eu acho que algumas ideias foram colocadas, esse é um ponto de vista isolado, temos a responsabilidade de falar em nome de uma estrutrura, mas as provocações sempre são bem-vindas para que nós possamos sair das nossas caixinhas sempre. Então, muito obrigado, agradeço a atenção, tentei cumprir o tempo, e fico à disposição para o debate. Obrigado.

Boa tarde. Quero cumprimentar a professora Maria Inês, presidente do Inep, os participantes da mesa, professora Mariângela Abrão, Henrique Sartori e o Paulo Barone que acabou de sair, nosso grande amigo Antônio Carbonari, o Renato Santos e o Fábio do Prado, representando o grupo de reitores. Quero cumprimentar os colegas aqui presentes, principalmente os avalia-dores, os mantenedores, um abraço especial para todos vocês, o meu pessoal que está aqui

José Janguiê B. Diniz

221

presente também, do grupo educacional BMS e registrar a satisfação de estar aqui, professora Inês, agradecer pelo convite honroso para participar deste evento sobre avaliação, esse Semi-nário Internacional sobre avaliação.

Quero começar dizendo que quando a professora Mariângela me ligou me convidando, eu disse: “Professora Mariângela, eu não sou especialista em avaliação e prefiro indicar uma pessoa que seja especialista em avaliação” e ia indicar inclusive a professora Iara, que faz parte da BMS e eu acho que é uma das maiores especialistas em avaliação de Ensino Superior no Brasil, mas ela disse: “Não, Janguiê, quero que você vá participar e que dê uma visão do Ensino Superior privado acerca do sistema avaliativo”. Ela me deu a tarefa, me debrucei sobre o assunto e fiz o estudo sobre a importância do Enade no sistema avaliativo de onde podemos extrair muitos pontos positivos, mas muitos pontos negativos, dez pontos negativos, e eu faço aqui 15 sugestões de aprimoramento para o sistema avaliativo e em especial para este indicador que é o Enade. Eu não vou ler para vocês porque são quase 20 páginas, mas fiz questão de protocolar hoje para o Ministro e para a professora Maria Inês. Trouxe em mão para a SESU, para a SERES e para o Conselho Nacional de Educação. É uma colaboração para o setor, uma colaboração da BMS para o aprimoramento e o aperfeiçoamento do Sistema Nacional de Avaliação, e em especial do Enade, mas eu fiz um extrato para poder passar para vocês e dar minha contribuição a este debate.

Eu quero começar minha fala afirmando que o Sistema Nacional de Avaliação da Educação Su-perior, criado pela lei 10.861, de abril de 2004, lei do Sinaes, há 13 anos, portanto é uma criança ainda, 13 anos, está na fase da adolescência e precisa muito ser aprimorado, toda criança precisa evoluir, precisa crescer e assim como o Sistema Nacional de Avaliação, que só tem 13 anos, precisa ser aperfeiçoado e aprimorado, pois é uma criança ainda, por isso trazemos várias su-gestões de aprimoramento.

Eu digo que o Sistema Nacional de Avaliação, criado por essa lei, que é o Sinaes, foi um ganho extraordinário para a Educação Superior brasileira, isso não podemos negar e o setor privado não nega, o setor privado, que é avaliado com mais rigor, não nega a importância da lei do Sinaes e o Sistema Nacional de Avaliação. É que antes o que havia eram apenas algumas experiências isoladas de avaliação, uma vez que o Sistema Nacional de Avaliação aplicado pelo MEC de forma universal não existia ou seja, não existia um sistema que abrangesse todas as instituições públi-cas e privadas do Sistema Federal de Ensino.

Também não podemos negar, meus senhores, que o Sinaes foi criado com o objetivo principal de melhorar a qualidade da Educação Superior brasileira, mas além disso, também de orientar a

31.10.2018Tarde


222

expansão da oferta e servir de ferramenta de gestão. Agora, a sua instrumentalização nos termos da lei do Sinaes - e sobre lei eu entendo um pouco, já que sou advogado, fui juiz, procurador, mestre e doutor em Direito - nos termos da lei a instrumentalização deve ser resultado de um conjunto de modalidades avaliativas, nunca e jamais resultados isolados e as três modalidades são as modalidades que já foram expostas aqui e todos nós conhecemos que é a avaliação institucional interna e externa, a avaliação de cursos e avaliação do aluno através desse instrumento, desse indica-dor que é de extrema importância para o Brasil, apesar de ser muito novo, apenas ter apenas cinco ciclos avaliativos, que é o Enade, porque a avaliação nunca pode ser considerada um instrumento de controle, na nossa ótica, nem de punição, ela tem que ser considerada um instrumento de formação e transformação, jamais de controle ou de punição. Durante esta trajetória de 13 anos, muito novo, o Sistema Nacional de Avaliação, outros indicadores foram criados através de diversas portarias, como foi dito pelo professor Sartori, o CPC e o IGC, que na nossa ótica vieram para complementar o Sistema Nacional de Avaliação, visando sempre à melhoria da qualidade da Educação Superior brasileira.

Entretanto, o setor privado, que responde hoje por 87 por cento do número de instituições no Brasil, que responde por 72 por cento do número das matrículas presenciais no Brasil, que res-ponde por 90 por cento das matrículas de Ensino a Distância no Brasil e totaliza mais de seis mi-lhões de estudantes matriculados no Ensino Superior do Brasil, é particularmente triste consignar que está sendo prejudicado pela aplicação e divulgação isolada dos indicadores de qualidade, em especial o Enade e o CPC, haja vista que esses indicadores estão sendo protagonistas na regulação e na supervisão da Educação Superior, definindo inclusive o destino das IES e dos cursos de graduação diferentemente do que vaticina a lei do Sinaes. É importante registrar que o setor privado que represento, na qualidade de presidente da BMS e presidente do Fórum das Associações de Ensino Superior não combate, nem rejeita e nem tem medo de ser avaliado, apesar de o setor privado ter sido avaliado com muito mais rigor que as instituições públicas. Ele preza e valoriza sobremaneira a avaliação, viu, professor Sartori e professora Maria Inês, preza e valoriza sobremaneira a avaliação, e em especial a lei do Sinaes, pois nós consideramos que avaliar é fundamental para induzir a qualidade.

É preciso, em primeiro lugar, que nos processos e procedimentos avaliativos sejam assegurados os princípios e as diretrizes do Sinaes, em especial três: o reconhecimento da diversidade, o respeito à identidade e o respeito à regionalidade, mas também sem descuidar de outros princípios e diretrizes como a missão e a identidade, a missão e a história da instituição, a globalidade, a continuidade, o compromisso formativo, a publicidade a e participação, que se observados pelo poder público evitam aquilo que nós chamamos de trágica padronização, o que é antagônico com a concepção de qualidade no século XXI que tem como base a tríade: criativi-dade, inovação e diversidade.

223

Em segundo lugar, que a avaliação somente seja publicizada em seu conjunto, como está pre-conizado na lei do Sinaes, pois indicadores isolados não retratam as condições concretas dos processos formativos e estruturais da IES, expressam valores relativos e não absolutos, não são comparáveis entre suas edições e não substituem a avaliação in loco, logo, meus caros amigos aqui presentes, o que o setor privado almeja, anseia e reclama, o que o setor privado solicita do MEC, do CNE e do Inep é que seja dado um tratamento equânime e igualitário às modalidades avaliativas, que é a avaliação institucional interna e externa, a avaliação de cursos e a avaliação dos alunos via Enade, mas infelizmente é particularmente triste registrar para vocês que não é isso que estamos vivendo. O que estamos vendo é a prevalência dos indicadores isolados sobre o conjunto das modalidades avaliativas com a valorização excessiva do Enade e isso tem prejudicado sobremaneira as instituições de Ensino Superior privadas, principalmente, na medida em que ranqueiam as instituições de Ensino Superior que são expostas pela imprensa e condenadas pela sociedade sem o devido processo legal, sem o contraditório e sem a ampla defesa, o que afronta a própria Constituição Federal brasileira.

Não estamos dizendo aqui que o Enade não é útil e não é importante para a melhoria da Educação Superior brasileira, longe disso. O Enade é muito importante e tem muitos pontos positivos, mas do jeito que está sendo aplicado, utilizado e publicizado tem muitos pontos negativos e jamais deve ser utilizado isoladamente. Tanto o Enade como os demais indicadores, como instrumentos de avaliação, devem sempre considerar o conjunto das modalidades avaliativas e, além disso, considerar também a realidade social, econômica e política brasileira, os baixos índices educacionais nas cinco regiões brasileiras, a necessidade urgente de crescimento e desenvolvimento nessas regiões, as demandas do século XXI que preconizam a universalização da educação de qualidade com a garantia da incorporação das inovações científicas e tecnológicas sem barreiras de classe, gênero e etnia.

E os compromissos educacionais nacionais e internacionais assumidos pelo Brasil, principalmente pelo Plano Nacional de Educação, consagrado através da Lei 13.005, de junho de 2014. Para encerrar, eu queria agradecer mais uma vez aos senhores e dizer que por ser muito novo o Sistema Nacional de Avaliação, por ter muitas virtudes, mas também muitos defeitos, o Enade, a avaliação do estu-dante, é mister que haja uma formulação, um aperfeiçoamento desse Sistema, o aperfeiçoamento do Enade, então gostaria que a professora Inês, que a Sesu, que a SERES pudessem analisar e aca-tar essas sugestões apresentadas pelo nosso documento, pelo documento da BMS, principalmente nesse momento de mudança legislativa, professor Sartori, e mudança legislativa em relação à EaD, com a publicação do novo decreto que regulamentou a EAD e com a mudança legislativa que está por vir, a consolidação da legislação educacional superior brasileira com a reforma do Decreto 5.773 e pleiteamos que essa mudança, que essa reformulação seja um processo coletivo e que não pode prescindir da ajuda, modéstia à parte, do setor particular do Ensino Superior. Muito obrigado.

31.10.2018Tarde


224

Muito boa tarde a todos a todas. Eu queria agradecer o convite feito ao Conselho de Reitores das Universidades Brasileiras e queria complementar que aqui represento o Conselho, que agrega rei-tores de todos os segmentos das instituições públicas federais, estatais, municipais, instituições privadas e instituições comunitárias, e em nome do grupo agradecer o convite à presidente, à professora Maria Inês, à professora Mariângela, diante da sua diretoria e mediadora desta mesa, e dizer que é um orgulho muito grande a participação do grupo aqui em mais este Seminário Internacional e mais este evento comemorativo aos 80 anos do Inep e que não podemos fazer um exercício de memória de olhar essas oito décadas olhando a inauguração e a premissa do Instituto que nasce como o Instituto Nacional de Estudos Pedagógicos e para hoje uma nova realidade e que traz a vertente do estudo e da pesquisa educacional bastante abrangente. Nós saímos de um aspecto de identificador, de saneador de problemas de ensino com a visão muito mais estratégica de desenvolver pesquisa, de desenvolver estudos não só de promover estatísticas da Educação Superior ou mesmo de realizar e elaborar instrumentos de avaliação da Educação Superior, mas sobretudo de ser um instrumento, um elemento de assessoria na política pública de Educação Superior e no desenvolvimento de um Sistema Nacional de Educação Superior. Isso nos dá bastante satisfação e alegria de estar aqui nesta mesa.

Como eu sou o último a falar, eu tenho realmente duas questões, a primeira é que podemos com isso direcionar melhor a nossa contribuição, torná-la mais objetiva, mas por outro lado corremos o risco de sermos redundantes. Independentemente dessas duas posições, vou tentar fazer um extrato muito objetivo das discussões que são realizadas nos fóruns do Conselho Reitores das Universidades e de outros fóruns de Avaliação da Educação Superior de que temos participado.

Mantendo a pauta do que nos foi proposto aqui neste painel, qual a importância e o papel? Me alinho muito às palavras do professor Thomas, desta manhã, de que a importância do Enade e dos indicadores é justamente em buscar responder de forma abrangente algumas questões muito claras, senão esse processo é inútil na sua essência. E quais são de fato essas quatro dimensões que devem ser respondidas, devem estar sendo perseguidas e devemos obviamente ter como resultado? Primeiramente, nós vivemos num volume, numa quantidade, num sistema praticamente continental e, portanto, é fundamental e estratégica uma política pública de Estado brasileiro na qual nós temos referenciais mínimos de qualidade nesse universo tão am-plo, tão complexo, tão desafiador. E é claro que nós estamos falando aqui no desafio de avaliar em três anos quase 30 mil cursos e num universo de cinco anos praticamente mais de 2.500 instituições. Se nós não tivermos referenciais muito claros, corremos o risco do que foi muito bem falado pelo Barone no sentido de que a qualidade passa a ser balizada pelos interesses e pelas visões particulares de cada membro desse sistema.

Fábio do Prado

225

O segundo aspecto é que nós devemos responder claramente ao respeito à diversificação, não só o respeito mas a valorização da diversificação desse Sistema. É inconcebível que qualquer que seja esse sistema de avaliação ou esses referenciais de qualidade fundamentados em um modelo único de referência, isso empobreceria e deixaria de enriquecer violentamente esse sistema tão rico justamente por sua diversidade.

O terceiro é a resposta que qualquer processo avaliacional tem que respeitar: abrangência e abordagem sistêmicas. O processo não pode estar restrito a poucos ou a pontuais indicadores, mas ele tem que permitir que todo o sistema, de começo, meio e fim, tenha avaliadores de qualidade muito claros que lhe permitam ter uma visão sistêmica, completa e holística de toda a variedade e a diversificação que o sistema o qual se propõe avaliar.

O quarto grande aspecto que não podemos deixar de tratar aqui é a questão da atualização e da modernização desses instrumentos e aqui, eu faço, talvez, a maior crítica que nós discutimos é que o sistema jamais pode impedir dentro de um preço de garantir o mínimo de qualidade, esta é a grande tensão que nós vivemos, inibir processor inovadores. Hoje nós trabalhamos com a flexibilidade de Diretrizes Curriculares que há décadas já nos propõem e nos induzem a inovações nos nossos processos pedagógicos e ainda nós não conseguimos, às vezes por falta de iniciativas das nossas instituições, mas às vezes é na forma de regular, de supervisionar o processo avaliativo no qual temos, às vezes, uma vertente extremamente conteudista baseada em conteúdos de nossas disciplinas e de nossas matérias de forma que não conseguimos não só induzir, mas não conseguimos identificar e valorizar, nas nossas instituições, ações inovadoras que já são preconizadas por projetos de algumas décadas. Digo aqui que às vezes não há respeito aos projetos de desenvolvimento institucionais, não respeito é uma palavra bastante forte até, mas às vezes uma avaliação vista de uma forma baseada em alguns modelos únicos não consegue individualizar a vocação, a especificidade e as características locais, regionais e de vocação propriamente dita das instituições que estão sendo avaliadas. Estou falando de missão, estou falando de vocação, estou falando de projeto institucional e de plano de desenvolvimento institucional. É claro que no momento de reavaliação, falando de 80 anos e fazendo um balanço de toda essa história, não só do Inep, mas da avaliação da Educação Superior no país, é o momento em que identificamos potencialidades, avanços, mas também é o momento em que temos que propor ajustes no processo de melhoria e esse é exatamente o conceito de um Seminário Internacional como esse. Se ainda pudéssemos ainda trazer aqui as colaborações do Conselho eu também ficaria em quatro indicações bastante objetivas de melhorias a ajustes em todo o processo, em todos os indicadores.

Primeiramente, falo aqui e reitero o excesso dos pesos dos conteúdos de disciplinas e maté-rias em todos os instrumentos e no processo de avaliação como um todo. Nós ainda falamos

31.10.2018Tarde


226

que depende fortemente do peso muito grande do Enade em uma prova conteudista, eu acho que ele falha ao fazer uma visão mais sistêmica do processo de qualidade. A outra questão, que é o elemento fundamental nesse processo de avaliação, é a omissão de indicadores de acompanhamento e de medidas da produção dos nossos egressos.

Os nossos projetos indicam a entrega, indicam o recurso humano que nós queremos, qual é o perfil desse egresso, qual é a qualificação que esse egresso e o impacto que esse egresso vai ter na sociedade e nós não conseguimos fazer essa medida nos nossos instrumentos, essa para mim é uma falha bastante grave do processo, se nós não conseguimos atender às novas demandas e ao novo perfil em termos de qualidade e de competências dos profissionais demandados para novas relações e o novo mercado de trabalho. A corresponsabilidade dos estudantes, para mim, é o terceiro item, eles estão muito à margem de todo esse processo, portanto é fundamental, como foi dito aqui, não só em registros, mas que o Enade e, que, portanto, os registros históricos acadêmicos e outras instâncias que esses egressos e esses estudantes venham a atuar que essa nota do Enade pode acompanhar e pode dar valoração.

Essa corresponsabilidade é muito importante para a eficiência do processo. E por último, é o indicador IDD, que é um dos pontos mais criticados, não digo apenas criticado, mas comentados nas nossas reuniões e nos nossos estudos no sentido que ainda se questiona muito se esse indicador, de fato, como foi falado esta manhã, é ainda nas condições atuais como são praticados se ele ainda realmente mede agregação de valor entre ingresso e egresso das nossas instituições. Como também o professor Thomas falou da importância, da simplicidade e da objetividade des-ses instrumentos para que tenhamos essa percepção e se aproprie deste instrumento dentro da nossa caminhada institucional, entendo que isto é bastante importante, é algo muito defendido e questionado dentro dos fóruns do clube do Conselho de Reitores das Universidades Brasileiras. Terminaria por aqui para não configurar redundância e apenas trago o último aspecto que não vi, ontem não tive oportunidade de participar, participei somente no dia de hoje, mas da mesma forma que a política, que o Sistema de Avaliação do nosso país é referência, a ponto de ser sempre questionado, induzido, que se questiona, como o Thomas colocou hoje pela manhã, nós não podemos negar que no mundo o Brasil é o único a ter um dos maiores bancos de dados da Educação Superior em qualquer país do mundo e ainda sinto que dentro da correria da opera-ção, da instrumentalização do nosso sistema nós esquecemos de uma dimensão extremamente importante e que para mim é fundamental como uma das dimensões do processo de avaliação e com o processo de qualidade que são as pesquisas que podem direcionar, podem gerar docu-mentos de referência de gestão para as nossas instituições e que algum representante do clube e como reitor de uma instituição comunitária do nosso país sinto falta como elemento de baliza para a qualidade da nossa educação. Muito obrigado.

227

A seguir, a transcrição na íntegra dos debates que seguiram as apresentações.

Obrigada, reitor. Eu passo a palavra para o Renato Santos, Coordenador da Qualidade do Inep.

Boa tarde a todos, cumprimento a todos da mesa e agradeço as observações e as ideia trazi-das. Eu só gostaria de fazer algumas pontuações em relação ao conjunto das falas. Quando o professor representante da Sisu nos disse sobre a questão da qualidade que não pode ser um modelo abstrato, individual ou pessoal. Nessa direção acho que hoje o Inep está na direção de estabelecer o que é qualidade independente de política de governo, mas com um referencial de acompanhamento de Estado. Acho que isso vai ao encontro do que estamos pensando no Inep, as nossas equipes técnicas estão cada vez mais capacitando, discutindo a frente da gestão na DAES, somos todos servidores de carreira do Inep, então mostra claramente a nossa preo-cupação enquanto sustentabilidade do processo avaliativo independentemente da situação de orientação política de qualquer governo.

No tocante à fala da SERES, eu gostaria de dizer o seguinte: eu fico feliz que hoje a SERES tenha clareza de limites e das possibilidades que os nossos indicadores têm, que é algo de que vínha-mos falando há algum tempo e que claramente veio na fala do professor Sartori, inclusive é algo que tínhamos já dito nos últimos eventos em que temos estado e claramente dito ontem. Mas também vale destacar que cabe ao Inep o processo de avaliar e, portanto, definir como deve ocorrer essa avaliação, o planejamento, obviamente ouvindo todos os interessados pelos resultados, pensando esse processo na participação com a comunidade, mas cabe ao Inep orientar e conduzir esse trabalho sob a coordenação da Conaes, como previsto na lei, mas a operacionalização desse processo cabe ao Inep.

O processo de avaliação deve, por força de lei, inclusive, subsidiar o processo de regulação, mas a lei não revê a reversibilidade. É claro que para planejar algo para subsidiar a regulação nós temos de ouvir a regulação, nós temos que perguntar quais são os indicadores que favorecem, mas nós não podemos produzir somente indicadores e ter instrumentos que atendem ao fim da regulação. Afinal, a avaliação é maior, ela é mais que simplesmente subsidiar a regulação, a avaliação transcende essa finalidade, pelo menos na perspectiva que nós temos hoje.

No tocante à fala do professor Janguiê, professor, realmente os limites que você apontou sobre os indicadores, todos eles foram citados ontem por mim mesmo. Nós temos clareza daquilo que produzimos e temos clareza dos limites de operacionalização de algo diferente no momento e que nós estamos, sim, internamente trabalhando e pensando em como superar esses limites porque ontem claramente eu disse que nós temos limites x, y e z, os mesmos que o senhor colocou

Mariângela Abrão

Renato Santos

31.10.2018Tarde


228

hoje. Inclusive o esforço na próxima mesa que teremos no Seminário é justamente de como é que fazemos diferente, porque saber que não está bom e saber que devemos fazer diferente é o que nós ouvimos constantemente, externamente ao Inep, mas também pensamos isso internamente, nós já sabemos, a questão é como vamos superar isso e não é algo fácil. Confesso para o senhor, estou desde 2014 na mesma equipe e isso não é fácil. É para isso que o evento foi proposto, realmente para repensarmos e conseguirmos avançar numa direção diferente.

A professora Mariângela disse: “Janguiê, traga algo concreto”. Eu falei: “Eu não sou especialista, mas vou trazer sugestões concretas”.

E são muito bem-vindas, com certeza. Hoje duas professoras me procuraram antes do almoço e disseram sobre estarem produzindo indicadores e que elas querem discutir e apresentar o trabalho que elas têm e, claro, é essa a ideia, é abrir interlocução com a sociedade para produzir algo que faça sentido para a sociedade como um todo, mas que nós estamos preocupados, sim, e que isso não é só uma preocupação da BMS, isso eu vou deixar muito claro e que nós estamos dispostos a ouvir, estamos dispostos a receber as propostas e analisá-las, claro, vamos ter que pensar pois não é um processo que vai se dar em 30 dias, 60 dias, nós precisamos pensar com calma porque a responsabilidade em última instância de responder por aquilo que está sendo feito no âmbito da avaliação vai recair sobre o Inep.

Não é fácil conduzir uma mesa como esta. A professora Fini, quando apresentei a proposta de programação, a primeira pergunta que ela me fez foi: “Você está doida? Você já pensou o que vai acontecer nessa mesa?” E eu falei: Eu não só pensei, como a minha fala de abertura do evento vai mostrar qual é a nossa postura e a nossa fala de abertura do evento foi: “Nós estamos no momento em que estamos prontos para refletir sobre a nossa prática, nós estamos nos preparando para implementar todas as mudanças que nós também enxergamos como necessárias e nós estamos nos estruturando para isso, haja vista os caminhos que já percorremos na avaliação in loco recentemen-te. A avaliação in loco deu um salto qualitativo imenso sob esta gestão, realizamos trabalhos mara-vilhosos nos últimos meses, sem finais de semana, sem horários de saída e nós temos feito isso em todos os setores da Daes, antecipamos as entregas dos indicadores, esses mesmos que nós também criticamos. Professor Sartori, realmente, infelizmente eu sei que ontem o seu dia estava bastante corrido, mas a nossa fala de apresentação da Daes foi exatamente de que infelizmente o uso que é feito no processo regulatório dos indicadores é a nossa maior crítica há muito tempo e olha que estou no Inep desde 2008, o Renato está desde 2014, então já falo de um tempo um pouco anterior a ele.

Vamos retomar um pouquinho aqui das demais falas, eu gostaria de dizer com relação ao profes-sor Carbonari, o porquê da sua presença na mesa. Porque a avaliação que o Inep realiza, ele não

José Janguiê B. Diniz

Renato Santos

Mariângela Abrão

229

inventa de onde criar o que avaliar, o Enade avalia a partir das Diretrizes Curriculares. Se a avalia-ção é boa ou ruim, ela se espelha naquilo que nós dispomos para o ponto de partida e o nosso ponto de partida nasce dentro daquilo que é pensado no CNE. O mundo está mudando? Está. Foi minha fala ontem de abertura, o mundo está mudando e mudando muito mais rapidamente do que nós gostaríamos e do que nós, Estado, estamos conseguindo acompanhar. Com certeza.

Os estudantes estão mudando, estão exigindo de nós posturas diferenciadas? Sim, senão nós não conseguiremos mantê-los dentro dos espaços acadêmicos que estamos proporcionando a eles, mas nós não podemos ser irresponsáveis com a forma de olhar para esse sistema. Eu gostaria de ter processos avaliativos que me permitissem olhar para o sistema de maneira diferenciada, contemplar cada instituição com a sua especificidade, com seu processo inovador, com a sua maneira diferenciada de conduzir o estudante pela mão no processo formativo individualizado, garantindo uma qualidade que lhe desse a excelência, eu gostaria, como professora, como educadora, como estudiosa da educação que sou. Gostaria muito de garantir um processo avaliativo que pudesse proporcionar esse resultado para a sociedade, infelizmente eu tenho um sistema, como disse o professor Fábio, com mais de 34 mil cursos, com mais de oito milhões de matrículas, com mais de 2.500 instituições, com mais de seis mil avaliações in loco para realizar, sim, porque a legislação está aí, ela não foi revogada, eu tenho que cumprir a lei, com outras avaliações a realizar dentro do Inep, sim, porque a legislação existe, então por mais que eu queira inovar no olhar, nos objetivos, na missão, nos processos, há coisas que precisam ser realizadas por força de lei. Então o que nós precisamos fazer é buscar modernizar dentro do possível, dentro daquilo que a nossa vontade e a nossa coragem permitem. Infelizmente eu vou usar uma frase que eu disse ontem: Os tempos políticos nem sempre acompanham os tempos técnicos, lamentavelmente.

Com relação à fala do professor Barone, eu gostaria só de desconstruir um pouco essa questão do registro no certificado, no histórico do estudante, à guisa da responsabilização acerca do Enade. Nós temos que pensar nisso com muita responsabilidade, eu vou usar a própria fala do exemplo dele, ele falou assim: “Eu sou um aluno provão de um curso C”. Não foi isso? Descul-pe, professor Sartori, desculpe. “Eu sou um aluno provão de um curso C e ninguém nunca me perguntou isso”. Então de que adiantaria pôr a nota do Enade no certificado? Mas vamos supor que alguém perguntasse. Nós somos um Estado que não consegue avaliar todos os estudantes concluintes todos os anos, todas as áreas e aí eu teria concluinte com nota no certificado e concluinte sem nota no certificado. Que mensagem eu estaria dando para um empregador no mundo do trabalho que porventura solicitasse esse registro e fizesse essa leitura? Como é que ele entenderia essa diferença de registro, como é que ele entenderia “Não, eu estava no momento em que meu curso foi avaliado ou estava no momento em que meu curso foi dispensado de avaliação?” Então, quer dizer, há muitas questões a serem pensadas antes da responsabilização.

31.10.2018Tarde


230

Outra questão que nós gostaríamos de colocar também acerca das sugestões do professor Janguiê é que, de fato, professor, nós estamos aqui para receber contribuições e elas são sempre bem-vindas. Do setor público, privado, dos pesquisadores, dos estudiosos, dos estudantes, dos docentes, dos acadêmicos e é por isso que nós estamos aqui neste momento. Eu agradeço profundamente à gestão que nos proporcionou este momento, agradeço à minha equipe que propiciou, trabalhou comigo arduamente para que esse Seminário acontecesse e agradeço a esta mesa que teve coragem de estar aqui junto comigo expondo todas as deficiências que o nosso sistema possui e o quanto nós estamos dispostos a crescer com elas. Obrigada.

Mesa Redonda 5 – Perspectivas sobre os indicadores de qualidade na Educação Superior brasileira

Dando início aos trabalhos da Mesa Redonda 5, cujo título é Perspectivas sobre os Indicadores de Qualidade da Educação Superior Brasileira, o moderador, Renato Augusto dos Santos, infor-mou que a ideia mesa não é discutir os indicadores existentes, mas quais são as possibilidades ou o que é necessário para a construção de novos indicadores e para a revisão dos existentes. Apresentou os temas a serem abordados na mesa e afirmou que o objetivo deste trabalho é obter subsídios para o processo de reflexão que está em andamento dentro do Inep, ouvindo as perspectivas, encaminhando as soluções e tentando encontrar caminhos para avançar em relação aos limites na direção das possibilidades. Anunciou que a primeira apresentação seria do professor Paulo Antônio Gomes Cardim, que iria falar sobre os indicadores de qualidade, meta-avaliação e o uso de resultados. Em seguida, falaria a professora Girlene Ribeiro de Jesus, que explanaria sobre a questão da validação dos instrumentos e resultados para fins de indi-cadores e, finalmente, o professor Robert Evan Verhine, que falaria sobre os indicadores de desempenho de estudantes.

O professor Paulo Antônio Gomes Cardim anuncia que vai fazer um retorno no tempo. Ele recor-da que o Sinaes tem 13 anos e que aa avaliação do ensino de livre iniciativa e público no Brasil é ainda anterior ao Sinaes, tem um pouco mais de 20 anos; o Provão, que antecedeu o Sinaes, já tem aproximadamente sete anos; e antes ainda havia o PAIUB, que foi a origem da nossa avalia-ção. Afirmou também que o governo e a equipe administrativa do MEC, à época do Seminário, tinham aproximadamente um ano e cinco meses. Sintetizando, afirmou que a avaliação tem 20 anos no país, ele tem 53 anos de Ensino Superior particular, convivendo com o Conselho Fede-ral de Educação e o atual Conselho Nacional de Educação e, segundo ele, jamais assistiu a um Seminário com essa dignidade e essa transparência. Continuando a retrospectiva no tempo, ele diz que quando o Provão foi criado guilhotinaram a avaliação. E que não foram só os alunos, mas também a comunidade e a própria sociedade.

231

Na sua opinião, todos foram induzidos por imposição de uma mídia mal informada ou proposi-talmente mal conduzida. Assim, segundo ele, a avaliação nasceu com uma pecha ideológica des-necessária, mas alguns anos depois o próprio governo, que era contra o Provão, criou o Sinaes. O professor Cardim afirma que fala pela Conaes – Comissão Nacional de Avaliação do Ensino Su-perior – criada com a lei do Sinaes e faz uma sugestão ao Inep, que é vincular a responsabilidade do aluno no seu histórico. Ele pergunta: O que nos dá uma perspectiva de mudança? De novos horizontes? E responde: a discussão aberta, o contraditório aberto, o contraditório de todos os atores presentes. Isso será fundamental para a nossa avaliação.

Após a exposição do professor Cardim, o moderador solicita à professora Girlene que apresente sua exposição sobre a questão da validação.

Ao iniciar sua apresentação, a professora Girlene Ribeiro de Jesus informa que vai falar sobre a questão da validade dos indicadores e das medidas educacionais. Ela é professora da faculdade de Educação da Universidade de Brasília e também é psicometrista, atuando em uma comissão do Inep de Psicometria. Ela cita duas situações das quais participou, a primeira com coordena-dores de um curso de Educação Superior, discutindo sobre o Sinaes e sobre o CPC, e a outra com professores da Educação Básica, em que foram feitas perguntas sobre a questão da validade.

Ela cita também o professor Thomas, que em palestra na manhã do mesmo dia fez algumas perguntas que, segundo ela, chamaram sua atenção, e que são perguntas que a OCDE faz para nós, do Brasil: Será que uma prova tão curta tem capacidade de fornecer escores válidos? Será que é confiável? Será que é válida para a regulação da Educação Superior?

Ela defende que as medidas quantitativas desempenham um papel fundamental no desenvol-vimento e implementação de políticas públicas, porque elas servem como sinalizadores, mas que a despeito do potencial das medidas quantitativas ou dos indicadores para moldar a política pública, os analistas políticos e os tomadores de decisão, na área de educação no Brasil, não têm entrado em acordo sobre o método sistemático para assegurar que os indicadores que eles utilizam são válidos e apropriados para as tarefas que eles desenvolvem.

Segundo ela, a noção de validade, apesar de ser uma questão fundamental, porque se uma medida não for válida, todo o resto é questionável, é muito pouco compreendida por aqueles que utilizam os indicadores educacionais e sociais. A partir daí ela define validade e indicador válido. O indicador válido é definido por ela como aquele que mede o que se propõe a medir, e a validade como o grau com que a evidência e a teoria apoiam as interpretações dos escores para determinado uso do teste. Sendo assim, segundo ela, a propriedade e a validade estão relacionadas aos escores e

31.10.2018Tarde


232

não mais ao teste, ou seja, um teste válido não é mais aquele que mede o que se propõe a medir, e

sim aquele que seus escores são válidos para tomar as decisões com base nele, que era o propósito

daquela medida. Ela conceitua indicador como um conjunto de procedimentos para colecionar e

combinar dados para defender um conceito e compreender a validade de um indicador significa

compreender os conceitos e seus contextos, bem como o próprio indicador.

Ela mostra que o primeiro passo para usar um indicador é definir o que você quer que o indica-

dor indique, e que ele precisa estar ligado a uma teoria, já que nenhuma quantidade de dados

empíricos pode preencher uma lacuna teórica. Segundo ela, existe uma vasta literatura sobre o

assunto e que os Standards são o exemplo de como isso pode ser feito.

Ela explica que há, para testagem, em Educação e Psicologia, os Standards de 2014, com cinco

fontes de evidências, cinco passos de validade para tornar uma medida válida:

1) evidências de validade com base no conteúdo;

2) evidências de validade com base no processo de resposta;

3) evidências de validade com base na estrutura interna;

4) evidências de validade com base nas relações com outras variáveis;

5) evidências de validade com base nas consequências da testagem.

Ele faz algumas recomendações para quem elabora indicadores:

1) testar os movimentos do indicador com outros indicadores do mesmo fenômeno ou de fenô-

meno cujo movimento tem uma relação preditiva com o indicador em estudo;

2) fornecer ao usuário do indicador, por exemplo, quem faz a política pública, quem a planeja ou

quem a acompanha, alguma ideia de como esse indicador pode ser testado ao longo do tempo,

com o que pode ser comparado e que expectativas ter para o seu comportamento;

3) deixar claro, para quem faz a política pública e para o público em geral, se esse indicador é

válido ou não, ou se ele passou por testes de validade.

Ela conta que ela e outros profissionais fizeram uma análise da prova do curso de Psicologia do

último Enade e que ficaram muito impressionados com a distância que há entre a matriz e a

prova, e explica por que isso aconteceu: foram analisados os itens discursivos, e foi encontrada

233

uma convergência grande entre as questões e a prova, mas elas só são três, no componente específico. Quando foram analisadas as 27 questões objetivas, a matriz ia em um sentido e a prova ia em outro sentido, ou seja, a matriz foi elaborada com base em habilidades, então a demanda cognitiva da matriz é altíssima, é analisar, prever, elaborar, etc. mas, quando foram analisadas as questões cognitivas, de múltipla escolha, não havia essa demanda cognitiva alta, ao contrário, nessa prova de Psicologia a demanda cognitiva foi muito baixa. Ela explica onde estava o problema: no processo de construção, evidência de validade com base no conteúdo.

A professora Girlene termina sua exposição com a seguinte orientação de Borsboom: “Isso não significa que as técnicas metodológicas e psicométricas são irrelevantes, elas não são irrelevantes para a pesquisa de validação, mas a fonte primária para compreender como uma medida funciona deve ser substantiva, e não metodológica”.

O professor Renato Augusto dos Santos agradece a fala da professora Girlene e, antes de passar a palavra ao professor Robert Evan Verhine, faz as seguintes considerações: “Antes de passar para o professor Bob, vou me permitir replicar uma fala sua que eu ouvi lá na ABED. A professora Girlene disse o seguinte: ‘Eu olhava só para os resultados, então esperava saírem os resultados publicados, trabalhava os resultados, esmiuçava os resultados, fazia testes, virava de cabeça para baixo, para tudo quanto era lado, mas eu nunca me preocupei em saber como é que essa coleta acontecia, eu nunca me preocupei em olhar para o instrumento para falar sobre esses resultados’.

Quando ela disse isso, eu que estou na equipe de indicadores desde 2014, falei: ‘Ah, é, é?’ Porque era algo com que nós também não nos preocupávamos. Nós temos equipes distintas, uma que cuida de instrumento e outra que cuida do resultado, e para nós, dos indicadores, não saber do processo de coleta, não saber do processo de construção do instrumento é um problema. Então naquele mo-mento se abriu para mim um horizonte novo do que temos para olhar, ou seja, aumentou a nossa responsabilidade e aumentou a quantidade de trabalho para fazer. Muito obrigado por me dar mais trabalho. Agora eu passo a palavra ao professor Bob. Aqui na mesa temos, então, o presidente atual da Conaes, temos o professor Bob, que é um pesquisador na área de avaliação, mas que também já foi presidente da Conaes, então, de certa maneira, temos o passado e o presente sendo representa-dos nesta mesa. Professor, muito obrigado pela sua participação e presença.”

Robert Evan Verhine começou sua exposição afirmando sua afinidade e respeito pelo trabalho que o Inep vem desenvolvendo nos últimos 20 anos. Afirmou que sua fala, cujo título é Desempenho estudantil como indicador e implicações da experiência internacional para o aperfeiçoamento do Enade, complementaria a visão internacional bastante aprofundada que o Thomas Weko forneceu, de manhã, mas de uma forma diferente, já que a pergunta do Thomas foi: O que o Brasil pode en-

31.10.2018Tarde


234

sinar para outros países? e ele iria perguntar: O que outros países podem ensinar para nós? Disse que iria oferecer algumas sugestões para aperfeiçoar os indicadores que o Enade gera, sugestões baseadas na experiência internacional, com exemplos concretos que estão sendo implementados e que, apesar das diferenças, são viáveis também para o contexto brasileiro.

Ele escolheu quatro exemplos de experiências pelo fato de que elas são muito destacadas na literatura sobre o assunto e são experiências bem conceituadas em termos de validade e confia-bilidade. Para ele, uma das questões fundamentais que o Enade tem que enfrentar é sua compa-rabilidade entre aplicações, no decorrer do tempo, entre áreas de conhecimento e no contexto internacional e que essa comparabilidade no contexto internacional é uma meta bastante im-portante para seguir no futuro. Continuou sua fala afirmando que primeira distinção a ser feita é a diferença entre desempenho e aprendizagem, que é preciso entender primeiro o desempenho como indicador de aprendizagem, pois a aprendizagem é o elemento central do que estamos buscando na Educação Superior.

Salientou que a palavra aprendizagem recebe muito pouca atenção no contexto brasileiro entre os avaliadores, que constatou que a palavra aprendizagem aparece apenas dez vezes nas 189 páginas do livro que fala sobre a concepção do Sinaes. Disse que falamos muito em aspectos que têm a ver com funcionamento, políticas, insumos e não falamos suficientemente sobre aprendi-zagem nem quando falamos sobre desempenho, que a aprendizagem acontece no decorrer do tempo e que é a mudança de comportamento a partir da interação com o ambiente. O ambiente que nos interessa, segundo ele, é o ambiente da Educação Superior e para captar a mudança temos que tomar os desempenhos em pelo menos dois momentos, melhor seria em diversos momentos, ou ainda através de técnicas de valor agregado em que estamos calculando um valor estimado e comparando com o valor observado.

Disse também que o desempenho é um retrato de demonstração de um conjunto de aprendi-zagem em um momento do tempo e é importante entender essa distinção entre desempenho e aprendizagem. Ele afirma que a literatura sobre indicadores indiretos é grande, que o CPC é um indicador indireto, com o qual já trabalhamos, mas há outros indicadores que são muito enfatizados pela literatura, como o engajamento do aluno, o comprometimento do aluno, a utilização de recursos da instituição pelo aluno, e que há uma série de indicadores bastante sofisticados de avaliações indiretas que, muitas vezes, têm uma confiabilidade que é maior do que essas avaliações diretas que utilizam provas com todas as suas limitações de validade e confiabilidade. Ele afirma que a literatura internacional tem uma tendência em distinguir provas que tentam captar conhecimento e provas que tentam captar a competência para aplicar o conhecimento.

235

Nós falamos sobre a diferença entre conhecimento e performance, performance sendo a ha-

bilidade de aplicar o conhecimento adquirido e essa ênfase em performance é uma tendência

internacional, os exemplos mais válidos e mais interessantes são exemplos que focalizam em

performance, que focalizam na aplicação de conhecimento e quando nós estamos falando so-

bre aplicação de conhecimento nós estamos falando sobre as competências do século XXI, ou

seja, de pensamento crítico, de raciocínio analítico, de soluções de problemas, de comunicação

e aparentemente cada uma dessas competências do século XXI têm desdobramentos, mas a

importância é que essas competências são vistas como fundamentais para lidar com o futuro,

independentemente da área de conhecimento ou área de foco dos estudos do aluno.

Ele volta a falar sobre o Enade, cujo grande desafio é, por um lado, sua qualidade e por

outro lado, sua comparabilidade, a possibilidade de produzir indicadores que são compa-

ráveis, e nosso problema é que utilizamos a curva normal no Enade e podemos comparar

instituições no momento do tempo, mas não conseguimos comparar no decorrer do tem-

po, não conseguimos comparar os nossos resultados com resultados de outros países, ou

seja, se queremos criar indicadores a partir do Enade que permitam análises no decorrer

do tempo e que permitam comparações internacionais, vamos precisar fazer algumas mu-

danças no Enade.

Ele cita quatro exemplos como uma possível lição para o aperfeiçoamento do Enade, para utilizar o

Enade como um indicador que permite a comparabilidade no decorrer do tempo e diz que precisa-

mos, acima de tudo, de matrizes estáveis e de um processo de pré-testagem. Ele faz a crítica de que

nós não usamos a Análise de Resposta ao Item, e se torna difícil argumentar que temos um bom

Banco de Dados se não temos matrizes estáveis, não temos pré-testagem, não estamos usando a TRI.

Ele continua argumentando no sentido de que precisamos repensar a parte geral, temos que

embutir as questões gerais dentro das perguntas específicas, dez perguntas é muito pouco. Se-

gundo ele, devemos pensar sobre o número de itens, como em outros países em que o número

de itens é determinado pela Matriz de Referência e não por uma determinação que se aplica

unicamente para todas as áreas. Ele continua sua apresentação afirmando que precisamos:

tornar o Enem obrigatório pelo menos para quem entra na Educação Superior para ter uma

base, realmente para calcular o valor agregado;

1) pensar sobre um programa nacional de pesquisa a partir desses dados que estão examinando

os determinantes de desempenho e formulando políticas apropriadas a partir dos resultados; e

31.10.2018Tarde


236

2) buscar colaboração internacional. Ele finaliza dizendo que precisamos construir instrumentos não apenas melhores para o Brasil, mas melhores no sentido de servir como base de compara-ção com outros países.

3) O moderador Renato Augusto dos Santos apresenta algumas considerações sobre a apresen-tação do professor Robert Evan Verhine e encerra os trabalhos da Mesa Redonda.

A seguir são apresentadas as íntegras das transcrições de todos os participantes.

Boa tarde a todos, minha prezada presidente do Inep, professora Maria Inês Fini, professora Mariângela, responsável pela Daes, Renato, que coordena esta mesa. Quem me antecedeu disse que foi o último a falar e tinha pouco a falar e se ele tem pouco a falar eu quase diria, nada a falar. Mas, pelo contrário, muito a falar. Eu estou na educação há 52 anos, eu vivo da educação de livre iniciativa há 52 anos, e como diz o caipira, há uns “par de anos”, eu tenho noivado e namorado com o Sinaes e com o Enade. Quem conhece e quem já leu os meus blogs sabe esse envolvimento que há sobre esse tema.

E sobre esses dois temas, que é a Base, ou parte desse Seminário e a importância desse Semi-nário, eu não vou quebrar protocolo nenhum, eu vou fazer uma afirmação de dar a César o que é de César. Seminário Internacional Avaliação da Educação Superior, características e perspecti-vas. Eu paro por aqui para fazer no horizonte temporal um retorno. Já se disse muito aqui, nesta mesa, hoje e ontem, que o Sinaes tem 13 anos. Mais do que os 13 anos, a avaliação do ensino de livre iniciativa e público no Brasil tem um pouco mais de 20 anos; nós temos, se não me falha a memória, já sete anos de Provão, que antecedeu o Sinaes, e nós temos um pouco antes o PAIUB, a origem, a certidão de nascimento da nossa avaliação. O que eu quero destacar? Eu virei do horizonte temporal para cá. Esse governo, a presidência, o senhor ministro e essa equipe admi-nistrativa do MEC também, se não me falha a memória, tem um ano e cinco meses.

A avaliação tem 20 anos no país, eu tenho 53 anos de ensino superior particular, convivendo com o Conselho Federal de Educação e o atual Conselho Nacional de Educação. Eu jamais assisti a um Seminário e a uma reunião dessa dignidade e dessa transparência que eu estou assis-tindo nesses dois dias e vou dizer o porquê, sem abrir mão da minha análise técnica, isso eu garanto. Quando o Provão foi criado, ou melhor, eu vou voltar um pouco mais atrás. Quando eu comecei a trabalhar nas Belas Artes, a legislação previa o professor catedrático, dono da cadeira. Ele só deixava aquela cátedra, depois de matéria, hoje disciplina e hoje não mais disciplina, se ele morresse. Se ele não morresse, era insubstituível, a cátedra. Tanto na universidade pública quanto na particular. Ai de quem, naquela época – eu tenho 70 anos, estamos falando de 50 anos

Paulo Antônio Gomes Cardim

237

atrás, um pouquinho mais - falasse numa avaliação de um determinado professor, catedrático. Ai de quem, naquela época, dissesse de uma avaliação de um curso, de uma escola. Ai de quem pensasse em vincular uma avaliação de um aluno ao seu histórico escolar. Seria guilhotinado, absolutamente guilhotinado. Pois bem, quando o Provão foi criado, guilhotinaram a avaliação. Só os alunos? Não, a comunidade e a própria sociedade. Foram levados, induzidos, induzidos por imposição de uma mídia mal informada ou propositalmente mal conduzida. O que ocorreu com a nossa avaliação na implantação no Brasil?

O PAIUB foi uma parte inicial de criação, seu criador, seu mentor maior já fez várias críticas na época da implantação, mas o Ministro Paulo Renato teve a coragem de implantar o Provão. Mas, dois momentos, o momento político, que lamentavelmente, no nosso Brasil nós temos dois momentos que são ininteligíveis, imprevisíveis e, lamentavelmente, prejudicam o país por uma defesa de uma ideologia, uma postura ideológica. Então a avaliação nasceu com uma pecha ideológica que era desnecessária, primeiro, para aqueles alunos que seriam avaliados no Brasil, estou falando só de 20 anos atrás, 20 anos para a educação não é nada, absolutamente nada. Então nós tivemos um governo, um presidente da República e um ministro da educação e sua equipe técnica com muita coragem para implantar – eu não falei impor o Provão – implantar, submetido ao Congresso – não havia avaliação de aluno, era chamado de Sinapes, depois se transformou, pela medida provisória, em Sinaes. Ora, os alunos foram envolvidos, por todos os seus órgãos e direção, pelos seus professores, que estão todos os dias com eles em sala, pela própria família e pela própria comunidade a não apoiar a avaliação. E nós tivemos o estigma do nascimento da avaliação, porque várias universidades fizeram boicote. Conseguir implantar a avaliação, se conseguiu, foram sete anos.

Aquele governo, aquela política contrária ao Provão assumiu e criou o Sinaes, depois de sete anos, só que em um momento político totalmente diversificado e nesses 20 anos – e não estou falando para constar ou deixar de constar no histórico escolar – nós matamos o processo cultural da avaliação. Nós matamos o comprometimento moral - não precisa estar no histórico – o envolvimen-to do aluno porque ele presta uma prova e tem um desempenho auferido, então, por uma razão absolutamente política, de uma oposição de um país, aquilo que seria a coisa mais normal, avaliar as instituições que vivem de uma avaliação, uma escola é permanentemente uma avaliadora, nós tivemos sete anos de uma luta ostensiva, permanente, contra essa avaliação chamada Provão.

Mas – e agora eu venho um pouquinho mais para frente – há dois anos atrás, um momento po-lítico, agora eu vou falar de política de Estado, de governo, há dois anos atrás o nosso governo, anterior a esse que está há um ano e cinco meses, depois de todas as críticas aos 13 anos que ele recebeu, que ele implantou o Sinaes, sucessor do Provão, ele quer tentar criar um Insaes,

31.10.2018Tarde


238

momento de Estado e de competência e de condições financeiras, porque ele chegou à conclu-são que o Inep, a Sisu, a Secretaria Executiva, todos esses órgãos que hoje organizam o Conselho Nacional de Educação, e aí vem a segunda coragem absoluta do que está sendo realizado hoje, eu não vi nesses 20 anos uma reunião igual a esta, com críticas abertas, na véspera de algo que já foi assumido anteriormente, há um ano e cinco meses, nós temos que buscar sequências, temos que ser críticos, consequentes, mas temos que olhar o momento, o tempo político, o horizonte temporal que se demora numa instituição pública e a diferença disso público, ou melhor, numa instituição particular, me perdoe.

Eu aqui falo pela Conaes – Comissão Nacional de Avaliação do Ensino Superior – criada com a lei do Sinaes. Senhores, abram o organograma do MEC, o organograma do MEC da Comis-são Nacional de Avaliação do Ensino Superior criada por lei, porque tudo o que foi feito nesses 13 anos, foram dois decretos, portaria, republicação, e nos últimos dias (ininteligível) e nunca levada em consideração a existência da Conaes. E mais, nunca assisti, nos 20 anos, uma trans-parência da regulação que está sendo discutida efetivamente com a avaliação, com os seus principais responsáveis juntos, porque o que se viu anteriormente: tudo será dito? Não. Tudo será ouvido, nada será atendido. Foi o que aconteceu numa pseudodemocracia que nós tivemos. Uma opinião minha, particular? Agora não é nem do presidente da Conaes. Simplesmente por uma dependência absoluta com os órgãos de representação dos alunos no nível federal, UNE, em nível estadual, UBES, em nível municipal UNIBES. Esse não envolvimento, é difícil envolver? É. Imagine depois de sete anos de crítica e de corresponsabilidade. Então aqui fica a minha primeira sugestão ao Renato, à professora Maria Inês, à professora Mariângela. O que vocês conseguiram fazer nesse um ano e cinco meses - e eu na Conaes sou um crítico, mas sempre digo, como sempre disse nas Belas Artes, se você não traz uma solução, faz parte do problema – a minha primeira proposta efetiva é que nós ouvimos aqui, ontem e hoje, vamos vincular a responsabilidade do aluno no seu histórico.

Eu vou tentar fazer a minha primeira sugestão como membro da Conaes agora, já que nós não temos esse momento político, nesse instante, o Brasil vai chegar, mas não há ainda e nem financeiro, porque não precisaria se criar a Insaes, toda aquela verba que estava prevista para o Insaes bastaria deslocar e dar para os órgãos que estão nesta mesa. Bastaria. Nós cansamos de ouvir aqui, a minha equipe tem 10, a minha equipe tem 11, a minha equipe tem 15 e consegue fazer o que vocês fizeram, desculpe, é extraordinário. É fácil nós chegarmos e apontarmos para fazer isso, aquilo e etc., mas foi feito! No final de hoje nós temos uma parte do processo resolvido.

O que era para melhorar a avaliação, nós tínhamos que eliminar, eliminar dois decretos, que descumpriram uma lei, a lei do Sinaes, dois decretos, simplesmente existe uma lei do Sinaes, a

239

Conaes não precisa existir, não consta em nenhum organograma do MEC. Não existe a Conaes, Comissão Nacional de Avaliação do Ensino Superior, e não existiu, e eu digo isso porque eu lutei muito para chegar à Conaes, cheguei como representante e hoje sou seu presidente.

E posso dizer, com a maior tranquilidade, e a maior sinceridade, que hoje começamos – hoje, quando, há um ano e cinco meses - a pensar, modificar e aperfeiçoar o processo de avaliação do Ensino Superior, não, da educação brasileira, com as mudanças de mentalidades. Nós temos no encerramento uma previsão de parte da necessidade, vou repetir, da prorrogação de dois decre-tos, uma Portaria 40, que foi republicada com a desculpa de complementação, mas era para a não aplicação da lei do Sinaes, que nós deveríamos ter, salvo algum engano, seis portarias no lu-gar da Portaria 40, quando teremos avaliação, regulação e supervisão, definidas nos seus eixos, mas interligadas, e todas as entidades que estavam nesta mesa, todas, sem exceção, inclusive a Conaes, e eu, enquanto responsável pela Conaes e seu presidente, participamos da discussão longamente, pela primeira vez, com todos os órgãos do MEC que aqui estão hoje, na revogação do 5773. Professor Paulo Cardim, resolveu-se? Tudo foi resolvido. Claro que não!

O tempo político, mas se teve a coragem de começar a mexer no procedimento. Então eu vou fa-zer uma proposta. A minha fala não foi, absolutamente, desrespeitosa com os objetivos que me deram e eu vou tentar passar um pouquinho mais sobre o principal de tudo, que estava incluído e é a meta-avaliação. Ora, eu vou cobrar uma meta-avaliação de algo que não foi praticado na íntegra, mas é isso que nós estamos vivendo. E nós chegamos onde chegamos por não existir a meta-avaliação, porque se tivesse ocorrido meta-avaliação no PAIUB, se tivesse ocorrido a meta-avaliação no Provão, se nós tivéssemos tido oportunidade de fazer meta-avaliação, seu estado, a presidência, o presidente da República, o ministro de Estado, a sua equipe técnica tivesse vontade política de fazer o que está fazendo hoje, com a proposta já a ser publicada hoje ou por algum problema daqui a alguns dias, nós teríamos já começado a discussão das siglas e resolvido, porque o que nós não tivemos – e eu estou falando da Conaes, se a Comissão Nacional de Avaliação do Ensino Superior não participou, desculpe, e isso eu já disse na presença de todos os seus ex-presidentes, porque não é política de Estado, não adianta ser uma política do presidente da Conaes, outros eventos tiveram.

Existia a Conaes? Não, existia o (ininteligível), que substituía a Conaes, é mais fácil. Quando nós to-mamos posse como presidente da Conaes, eu pedi uma audiência específica e exclusiva à nossa secretária executiva, à nossa presidente do Inep, ao secretário da SERES, que aqui esteve, professor Sartori e ao professor Barone, secretário da SESu e fiz, olhando nos olhos dos quatro, uma pergunta: “Eu assumi a presidência da Conaes. O governo e o que o professor Mendonça, ministro, assume, tem interesse em mudar esse entulho que está colocado sobre a avaliação? É de interesse a revogação? A

31.10.2018Tarde


240

Conaes é para valer? Ou não é para valer? Eu ouvi dos quatro: “É para valer”.

E aqui estou eu hoje dando o testemunho, aos senhores, daquilo que pela primeira vez, em 20 anos de avaliação, eu posso dizer: “É para valer”. Ora, quando eu percebo que as ações correspondem às afirmações e às falas, eu lamento, mas eu deixarei à disposição as 14 folhinhas para os senhores terem o contato todo porque eu achei que seria muito importante fazer esse tipo de afirmação, até porque parte do que eu já disse consta com algumas modificações e eu tenho um segundo pedido a fazer à nossa presidente, agora diretamente, também difícil. Na primeira redação do Enem, um engraçadinho chegou lá e foi fazer a redação do Enem, professora Maria Inês, e ele escreveu lá: “O Palmeiras ganhou de dois a zero”. No dia seguinte, o que ocorreu? Enem.

Futebolisticamente falando, quem ganhou naquela ocasião, eu sou são-paulino e vou dizer outra coisa, guardadas as proporções, eu chegar para a equipe da Daes, eu sou técnico do São Paulo, eu sou são-paulino de coração, eu entrava no vestiário, os jogadores sentados e eu dizia: “Se-nhores, eu espero que os senhores ganhem esse jogo, o próximo e o seguinte, e mais, eu quero ver o meu time na Libertadores da América. Eu sou um louco, eu não dei estrutura para eles, eu como presidente do São Paulo tenho que chegar para os meus jogadores e dizer assim: “Pelo amor de Deus, não me deixa ir para o rebaixamento, eu não dou estrutura a vocês para que vocês possam fugir do rebaixamento”. Nós demos, aqui, e assistimos todo dia, no tempo MEC, a falta de estrutura, então o que nos dá uma perspectiva de mudança? De novos horizontes? A discussão aberta, o contraditório aberto, o contraditório com bate e rebate, e possibilitado de todos os atores presentes, e isso será fundamental para a nossa avaliação. E aqui eu encerro a minha fala com a certeza absoluta de que nós avançamos muito, nesse hoje dia 31, que é o Dia das Bruxas, e que nós vamos ter pela frente, em termos de avaliação, mais gostosuras do que travessuras. Muito obrigado.

241

Mesa Redonda 5 - Projeções apresentadas por Paulo Cardim

31.10.2018Tarde


243

31.10.2018Tarde


245

31.10.2018Tarde


247

31.10.2018Tarde


249

31.10.2018Tarde


251

31.10.2018Tarde


253

31.10.2018Tarde


255

31.10.2018Tarde


256

Girlene Ribeiro de Jesus – Boa tarde a todos, inicialmente eu gostaria de agradecer ao hon-roso convite para fazer parte deste Seminário e desta mesa redonda, à professora Maria Inês, presidente do Inep, à professora Mariângela e também ao Renato. Eu vou falar um pouco sobre a questão da validade dos indicadores e das medidas educacionais. Como professora da área da Educação e psicometrista ao mesmo tempo, eu tento conciliar as duas coisas dentro de uma faculdade de Educação. A questão da medida, especialmente da medida quantitativa em Educação, então eu vou começar situando sobre a questão da validade, conceituando, a importância, recomendações e considerações. Eu considero muito importante, quando o Renato me convidou para compor esta mesa ele já conhecia um pouco desse discurso sobre validade, nós estivemos lá na Abave, na última reunião da Abave, e eu já estive no Inep falando sobre este tema, e faço parte de uma comissão do Inep de Psicometria, também tratando sobre validade e outros temas correlatos, então eu vejo também, assim como na fala de outros colegas que me antecederam, essa grande oportunidade do Inep de estar revendo, reconstruindo e vendo maneiras de aprimorar os seus processos, então eu vejo como um momento de crescimento e de crescermos juntos, então eu, como instituição federal de Educação Superior, instituição pública, também faço parte desse grande desafio de melhorar nossas medidas, então o discurso todo aqui a ser feito não é o da crítica pela crítica, mas da crítica para melhorar, para termos melhores medidas educacionais para o nosso país.

Eu começo falando de uma experiência que eu tive neste ano, no mês de abril eu estava em São Paulo, com os coordenadores de curso de Educação Superior, discutindo sobre o Sinaes e sobre o CPC e um dos coordenadores era de Engenharia Civil, o último relatório disponível de avaliação havia sido feito em 2014 e ele falou assim: “Professora, em 2014, das 27 questões objetivas no componente específico, das 27, nove foram anuladas. Você acha que essa prova ainda continua boa?” Vocês sabem sobre o que ele estava me questionando? Sobre validade, não é? Ele não sabia que ele estava me perguntando sobre a validade da prova, mas ele estava me questionando sobre a validade. Num outro contexto com professores da Educação Básica, eles haviam feito uma prova da Secretaria de Educação e algumas questões não estavam convergentes com o que estava contido lá na Matriz de Conteúdo, e eles falaram que havia questões que não tinham nada a ver com os conteúdos expostos lá, que seriam os supostamente cobrados na prova. “Você acha que essa prova continua avaliando o que ela se propõe? Você acha que essa prova é boa? Você acha que essa prova presta?” O que eles estavam questionando? A validade, não é?

Hoje pela manhã o professor Thomas fez algumas perguntas e me chamaram atenção duas per-guntas específicas e uma delas é – algumas perguntas que a OCDE tem para nós como brasi-leiros: Será que uma prova tão curta tem capacidade de fornecer escores válidos? Será que tem validade essa prova? Será que uma prova tão curta é confiável? As pessoas confiam nessa

257

prova? Nós temos aí 30 questões no componente específico e dez questões de componente de formação geral, sendo que das 30 do componente específico três são subjetivas e 27 objetivas, né? Será que essas questões, será que essa prova é capaz ter o peso, o valor que ela possui para a avaliação e consequentemente também a regulação da Educação Superior? Será que ela é válida o suficiente? Quais relatórios de validade dessas provas nós temos? Que evidências de validade nós temos sobre essas provas? Então eu vou tentar tratar um pouco sobre esses temas aqui ao longo desses 15 minutos, vou tentar cumprir direitinho aqui.

Então, as medidas quantitativas desempenham um papel fundamental no desenvolvimento e implementação de políticas públicas, porque elas servem para o político, servem para aqueles que implementam, que monitoram as políticas públicas, servem como sinalizadores. E elas se tornaram a personificação dos objetivos e a linguagem do discurso político também, então a despeito do potencial das medidas quantitativas ou dos indicadores para moldar essa política, os analistas políticos e os tomadores de decisão não têm entrado em acordo sobre o método sistemático para assegurar que os indicadores que eles utilizam são válidos e apropriados para as tarefas que eles desenvolvem. Não existe uma sistemática, não existe um padrão, um guia que deve ser seguido para dizer assim: essa medida aqui é válida. Não existe aqui no Brasil, não é?, especificamente para a área de educação. Então a noção de validade é muito pouco compreendida por aqueles que utilizam os indicadores educacionais e sociais, apesar de ser uma questão central na escolha ou no delineamento de uma medida. Na verdade ela é uma questão fundamental, porque se uma medida não for válida, todo o resto é questionável.

Conceituando então o que é validade e o que é um indicador válido. Bom, um indicador válido é aquele que mede o que se propõe a medir, então ele é válido se ele faz isso. Essa é uma definição que a própria Psicometria adotava para as medidas psicológicas e depois vocês vão ver também, para as medidas educacionais. E aí, ao longo das décadas, uma nova visão de validade, um novo conceito de validade para as medidas foi estabelecido, foi definido e consta nos Standards né? E a validade foi definida como o grau com que a evidência e a teoria apoiam as interpretações dos escores para determinado uso do teste. Então a propriedade e a validade estão relacionadas aos escores e não mais ao teste, ou seja, um teste válido não é mais aquele que mede o que se propõe a medir, um teste válido é aquele que seus escores são válidos para tomar as decisões com base nele, que era o propósito daquela medida. E essa visão aí está nos Standards para a testagem tanto em Psicologia quanto em educação, a versão mais nova desses Standards é de 2014 e a primeira versão foi feita em 1954. Para vocês terem uma noção, os Standards norteiam todo o processo de elaboração de qualquer medida educacional nos Estados Unidos, e as gran-des instituições, como por exemplo o (ininteligível), utilizam os Standards como padrão para a elaboração de todos os seus testes, de todas as suas provas. E também para vocês terem uma

31.10.2018Tarde


258

ideia, os Standards são um acordo de diversas associações, por exemplo, a Associação America-

na de Psicologia, a Associação Americana de Pesquisa em Educação e o Conselho Americano de

Mensuração em Educação, juntamente com diversas outras instituições.

E o indicador, então o que é um indicador? É um conjunto de procedimentos para colecionar e

combinar dados para defender um conceito. E outra definição para indicador é uma estatística

individual ou composta que se relaciona com um construto básico em educação e útil em um

contexto político e compreender a validade de um indicador significa compreender os conceitos

e seus contextos, bem como o próprio indicador. Então a importância da mensuração com a

teoria. Então o indicador, a primeira coisa, a semana passada até me chamaram para discutir o

indicador. “Ah, eu coloco isso no indicador, eu coloco aquilo”, eu falei: “Gente, para. A primeira

coisa: qual é o propósito desse indicador? O que vocês querem que ele indique? Essa é a primeira

pergunta, né? O que você quer que ele indique? Está certo, eu quero que indique o quê? A

qualidade da educação. Certo. Qualidade da educação. O que é qualidade da educação? Com

o é definida constitucionalmente e operacionalmente a qualidade da educação? Que estudos

existem sobre isso? Qual é a conceituação disso? Depois que eu tenho toda a informação sobre

isso eu sou capaz de pensar um indicador para indicar aquilo, está certo? Então eu não posso

pensar em construir um indicador para construir uma coisa que eu não sei o que é”. Então essa

autora vai exatamente nesse caminho e diz o seguinte: que o grau de validade de uma medida é

dependente do quanto ela é construída sobre, ou pode ser incorporada à teoria. Ou seja, quanto

mais o meu indicador é ligado à teoria, mais eu vou ter certeza sobre a sua validade. E mais,

nenhuma quantidade de dados empíricos pode preencher uma lacuna teórica. Esses autores

que falam sobre o conceito de validade dizem assim: vocês podem ter milhões de alunos, vocês

podem ter milhares de perguntas, mas se elas não foram construídas e planejadas para medir

algo que foi planejado, vocês podem ter a quantidade de dados que vocês quiserem, mas

nenhuma quantidade de dados é capaz de suprir uma lacuna teórica.

Existe uma literatura extensiva sobre como e por que a mensuração com a teoria é importan-

te, e também de como isso pode ser feito, os Standards são o grande exemplo de como isso

pode ser feito. A mensuração com a teoria ajudam a manter a consciência da lacuna entre

o conceito e a medida, óbvio, eu sei o que é, se eu sei o que é e eu sei que a lacuna existe,

entre o que eu tenho e o que é, está certo? Agora, se eu não sei o que é, se eu não sei a de-

finição constitutiva, se eu não sei a definição operacional, se eu não conheço as dimensões,

eu construo um indicador e se o indicador tem falha eu nem sei o porquê, eu nem tenho uma

teoria que embasou, enfim, e aí como é que eu vou contrastar o indicador com a teoria se eu

não o construí com base numa teoria?

259

Os indicadores teóricos também podem ser validados observando o seu movimento em relação a indicadores de outras variáveis, quando se presume uma inter-relação entre eles. E aí, aqui, nós temos para testagem, em Educação e Psicologia, nos Standards de 2014, cinco fontes de evidências de validade, então de acordo com essa nova visão sobre o que é validade, não mais focada no teste, mas focada especialmente na validade consequencial dos escores, temos aí as cinco fontes de evidências que seriam assim: o que fazer para tornar a minha medida válida. Então, entre o que fazer eu tenho cinco passos.

O primeiro passo: evidências de validade com base no conteúdo. O que são evidências de validade com base no conteúdo? Isso serve – algumas pessoas acham que não, porque desconhecem – mas isso serve para questionário também, eu não posso construir questionário vazio teoricamente, porque eu vou perguntar, eu vou fazer 150 questões que eu não sei o que estão medindo, ou que cada uma está medindo uma coisa completamente diferente. Aí no final eu não medi nem um construto, eu não medi nada relevante, eu perguntei diversas coisas e eu não tenho nada conceitualmente consistente que eu possa utilizar, por exemplo, num estudo de fatores associados. Então as evidências de validade com base de conteúdo são a fonte primária de evidência, ou seja, essa aqui não pode faltar. Se eu construir qualquer medida, a primeira coisa que eu tenho que fazer é saber o que é aquilo que eu estou medindo.

Nós temos um vazio conceitual enorme, em praticamente – eu não estou dizendo todos – mas em praticamente quase todos os nossos documentos que relatam a criação de um indicador. Se você olha esses documentos, conceitualmente eles são vazios. Metodologicamente eles são fartos, estatisticamente eles são vastos, mas teoricamente eles são vazios. Por que eu digo teoricamente vazios? Porque, por exemplo, esse documento aqui vai falar sobre a criação de um indicador x. E esse indicador é um construto e aí esse documento oficial pode falar assim: “Ah, esse construto, esse conceito é isso”. Não existe qualquer referência para aquilo que ele está dando a conceituação e estamos escrevendo a nossa técnica, ou está escrevendo aquele documento específico. E aí, em seguida, vem uma série de procedimentos metodológicos e uma série de estatísticas muito bem construídas, muito bem elaboradas e consistentes para fazer a análise daquele indicador, mas conceitualmente vazias. Então eu não sei qual a definição constitutiva, qual a definição operacional, eu não sei se aquele construto tem dimensões e, por exemplo, no caso dos indicadores, se ele é composto por cinco, seis, sete, oito medidas de qualidade, por exemplo, o CPC e cada uma das medidas de qualidade que tem no indicador tem um peso diferente. Certamente isso não foi retirado do acaso, tem um embasamento teórico, mas qual é? Está publicizado nos documentos oficiais? Qual é a base para eu atribuir 20 por cento para determinado componente, 35 por cento para um e dois e meio para outro? Que estudo me deu base para eu atribuir esses pesos? Eu tenho uma referência? E outra coisa: qual

31.10.2018Tarde


260

a conceituação desse indicador, conceitualmente o que ele é, o que ele quer dizer? Se eu sei o que ele é e o que ele quer dizer, e eu sei quais variáveis eu coloquei ali para medir, eu sei qual é a lacuna teórica que eu tenho e que eu não consegui cobrir, certo?

Agora se eu não sei, se eu não tenho o conceito e se eu não tenho teóricos me segurando na-quele indicador, pode dar a impressão de que ele foi feito ou de forma arbitrária, que certamen-te não foi, ou então sem embasamento teórico, que certamente não foi. Mas os documentos oficiais, os documentos em que medidas são publicizadas, essas informações precisam estar lá explicitadas e claras. Eu preciso saber quais são as dimensões da qualidade. E eu preciso saber de onde vieram esses pesos. E eu preciso saber os estudos de monitoramento desses indicado-res. Existem estudos de monitoramento desse indicador? Ele permanece estável? Ele precisa ser atualizado? Precisa. Ele precisa ser contextualizado? Precisa também, é isso que diz a teoria. Então as evidências de qualidade com base no conteúdo são a fonte primária de evidência, que não pode faltar, então teoria, nenhum indicador, nenhuma medida educacional pode ser teori-camente vazia, ela sempre tem que estar calçada, sempre tem que estar embasada.

A segunda é evidência com base de validade no processo de resposta - isso é muito utilizado em testes educacionais e testes psicológicos também - é levantar dados sobre os processos mentais, a forma como as pessoas, o processo mental que as pessoas levaram para responder aquelas opções, eu sei que o Pisa já utilizou muito no seu laboratório de cognição esse tipo de iniciativa. Evidências de validade com base na estrutura interna, essa é a que nós mais fazemos, que é rodar a análise fatorial, fidedignidade, teoria de resposta ao item e aí tem uma série de procedimentos estatísticos para evidenciar a validade com base na estrutura interna, mas vejam, ela é somente uma fonte de evidência de validade e uma só fonte não pode segurar uma medida que deveria ter pelo menos três fontes de evidência de validade.

A quarta, evidências com base nas relações com outras variáveis, levantar dados sobre os pa-drões de correlação entre os escores na medida e outras variáveis que se espera que aquela medida esteja correlacionada e evidências com base nas consequências da testagem, que é exa-minar as consequências sociais e isso os indicadores das medidas educacionais têm um peso muito grande socialmente e não intencionais no uso da medida para verificar se a utilização dela está surtindo os efeitos desejados de acordo com o propósito para o qual foi criado, ou seja, a validade consequencial tem sido muito discutida especialmente no âmbito das medidas educacionais, das medidas sociais.

Como recomendações. Quem elabora indicadores deve: testar os movimentos do indicador com outros indicadores do mesmo fenômeno ou de fenômeno cujo movimento tem uma relação

261

preditiva com o indicador em estudo; fornecer ao usuário do indicador, por exemplo, quem faz a política pública ou quem a planeja ou quem a acompanha, alguma ideia de como esse indicador pode ser testado ao longo do tempo, com o que pode ser comparado e quais expectativas se pode ter para o seu comportamento e também se esse indicador é válido ou não, que é outro vazio muito grande aqui no nosso país. Não sei se algum de vocês já conseguiu encontrar algum relatório de validade das nossas medidas educacionais. Eu não consegui ainda. O que eu consegui encontrar são relatórios que falam sobre a estrutura interna, mas a estrutura interna é uma só das fontes de evidência de validade, mas se eu não cuidei da primeira fonte que é evidência de validade com base no conteúdo, então eu posso ter aí nove questões sendo eliminadas de 27 questões e eu posso continuar dizendo que essa medida é válida? E deixar claro, para quem faz a política pública e para o público em geral, se esse indicador é válido ou não ou se ele passou por testes de validade ou indicador e qualquer medida educacional.

Eu finalizo com essas duas frases desses autores que eu gosto muito, o artigo deles é sobre o conceito de validade, eles falam só sobre isso no artigo e eles dizem que uma grande parte da validade de uma medida deve ser colocada dentro do processo de construção e não depois que ela está construída e aplicada. Então, depois que eu fiz a prova e apliquei e voltaram ali os dados e eu li e vou fazer agora as evidências de validade com base na estrutura interna, eu já não tenho muito o que fazer, porque a medida já foi feita, se tiver item para perder, perdeu, eu posso repor? Não posso, perdi. E se eu perdi, não tenho mais nada que fazer, então é por isso que eles dizem que uma grande parte da validade está dentro do processo de construção. Existem documentos para fazer isso? Existem, por exemplo a tabela Blueprint, ela é muito útil para a evidência de validade com base no conteúdo das medidas especialmente de provas, de testes educacionais. E esse processo de construção é um estágio do processo de testagem que tem recebido pequena atenção, nós olhamos só para os resultados e não consideramos como estas medidas foram feitas, foram construídas, se elas têm evidência de validade com base no conteúdo ou não. Nós pegamos uma prova, fizemos até um artigo, submetemos, nós analisamos a prova da Psicologia do último Enade e nós ficamos muito impressionados com a distância que há entre a matriz e a prova. Quando nós analisamos os itens discursivos, nós conseguimos encontrar uma convergência bem grande entre as questões e a prova, mas elas só são três , no componente específico.

Quando nós analisamos as 27 questões objetivas, a matriz ia em um sentido e a prova ia em outro sentido. Eu vi uma fala aqui hoje dizendo que a prova era muito conteudista, alguém falou aqui que a prova é muito conteudista. Por quê? Se vocês pegam a prova e vão analisar, a matriz é elaborada com base em um perfil, com base em habilidades, então a demanda cognitiva da ma-triz é muito alta, é analisar, é prever, é elaborar, então a demanda cognitiva é altíssima. Se você

31.10.2018Tarde


262

pega as questões cognitivas, de múltipla escolha, você não consegue encontrar essa demanda cognitiva alta e na Psicologia nós encontramos uma demanda cognitiva muito baixa.

Se fôssemos pegar, por exemplo, a taxonomia de Bloom, ficaria ali nos níveis iniciais de lembrar, recordar, compreender e se pegasse a taxonomia revisada não ia mudar muita coisa, se fosse pegar a nova taxonomia também não ia mudar muita coisa, ou seja, a demanda cognitiva era muito baixa. Onde é que está o problema? No processo de construção, evidência de validade com base no conteúdo. E se eu tenho, por exemplo, 27 questões e eu jogo nove fora, eu continuo tendo validade?

E aquelas habilidades ou aqueles objetos do conhecimento, já que algumas questões não conseguem chegar às habilidades e aí a matriz se torna mais uma carta de intenções muito bonita, do que na verdade um documento que guia o processo de elaboração da prova? Aí as evidências de validade com base no conteúdo, onde ficam? Esquecidas. E aí eu termino com essa frase do Borsboom que diz o seguinte: “Isso não significa que as técnicas metodológicas e psicométricas são irrelevantes, elas não são irrelevantes para a pesquisa de validação, mas a fonte primária para compreender como uma medida funciona deve ser substantiva, e não metodológica”, ou seja, metodologia é importante, e na Psicometria a estatística é importante? É, mas elas são ferramentas, está certo? Se eu não tenho a evidência de validade com base no conteúdo a minha medida precisa de aprimoramentos. Obrigada.

263

Mesa Redonda 5 - Girlene

31.10.2018Tarde


265

31.10.2018Tarde


267

31.10.2018Tarde


269

31.10.2018Tarde


271

Obrigado também, Renato, é um prazer enorme estar aqui. Eu agradeço o convite de Maria Inês e equipe, eu sinto muita afinidade com o Inep, uma agência de avaliação que tem se destacado durante os últimos 20 anos, mais que 20 anos e eu tenho muito respeito pelo trabalho que o Inep desenvolve. Eu queria aproveitar essa possibilidade que o Renato me deu no sentido de mencionar o fato de que nós temos pelo menos mais dois ex-presiden-tes de Conaes aqui, temos a Nadja Viana e também Guilherme Marback, dois presidentes do passado e eu, Guilherme e Nadja, nós três, temos uma coisa em comum: todos nós somos baianos. Então, como foi colocado, eu quero cumprimentar a mesa e parabéns pela presidência da Conaes.

O Renato me deu um foco sobre desempenho, indicador. Eu recebi duas notícias boas hoje, pri-meiro eu tenho mais tempo do que eu pensei, porque oficialmente eram 15 minutos e ampliou para 25 minutos, agradeço muito esse tempo adicional e a segunda boa notícia é o fato que quase tudo que eu tinha para falar, que eu tenho para falar já foi falado, então basicamente eu vou recolocar, talvez enfatizando algumas coisas, talvez abrindo novas perspectivas, mas em geral tudo que eu queria colocar sobre o Enade e sobre desempenho com indicador já foi muito bem colocado durante o decorrer deste encontro.

Robert Evan Verhine

31.10.2018Tarde


272

Dando um título para minha fala, baseado em conversas que eu tive com o Renato antes de vir para cá, eu estou chamando essa fala de Desempenho estudantil como indicador e implicações da experiência internacional para o aperfeiçoamento do Enade. De certa forma é uma fala que complementa muito o que o Thomas colocou para nós hoje, pela manhã, porque também ele ofereceu uma visão internacional sobre a questão, uma visão bastante aprofundada, mas eu acho que minha fala tem uma coisa diferente, de certa forma está abordando a questão de uma forma contrária, enquanto o Thomas estava perguntando o que o Brasil pode ensinar para ou-tros países, eu estou perguntado o que outros países podem ensinar para nós?

Então é a partir de minha fala que eu gostaria de oferecer algumas sugestões para o aperfeiçoamento do Enade, para aperfeiçoar os indicadores que o Enade gera e essas sugestões são sugestões que já ouvimos, mas o que tem diferente é que todas essas sugestões que eu vou colocar são baseadas na experiência internacional, em outras palavras, existem exemplos concretos dessas sugestões sendo implementadas e implica que pelo menos são sugestões viáveis. No contexto internacional nós temos limitações de lei, de burocracia e outras limitações, mas essas sugestões são sugestões que outros países têm adotado e também são viáveis aqui no contexto brasileiro.

Então vou começar falando sobre alguns conceitos e definições que não precisamos gastar muito tempo com isso, eu vou falar sobre quatro experiências, têm muitas experiências, o Tho-mas mencionou que têm experiências no nível internacional, nacional, também no nível sub-nacional mas eu escolhi quatro para focalizar pelas lições que estas experiências têm, pelo fato que elas são muito destacadas na literatura sobre o assunto e geralmente são experiências bem conceituadas em termos de validade e confiabilidade. Eu vou fazer essas recomendações, como mencionei, eu vou mencionar alguma coisa sobre possíveis possibilidades de colaboração inter-nacional. Eu acho que uma das questões fundamentais que o Enade tem que enfrentar é sua comparabilidade. Nós temos problemas de comparabilidade entre aplicações, no decorrer do tempo, nós temos problema de comparabilidade entre áreas de conhecimento, e temos proble-mas de comparabilidade no contexto internacional e essa comparabilidade no contexto interna-cional me parece uma meta bastante importante para seguir no futuro.

Eu vou pedir desculpas pelo fato que estou percebendo que eu sou a única pessoa que não utilizou o Powerpoint padrão que o evento forneceu para nós. Eu tenho que confessar, para ser honesto com vocês, é que eu como pessoa velha que não tem o domínio dessas técnicas eu pego meus velhos Powerpoints, eu mudo as palavras, mudo as frases, mas para eu recomeçar com outro Powerpoint que eu nunca vi antes, era além de minhas competências e é por isso que eu não utilizei o Powerpoint que é um Powerpoint muito bonito que o Inep forneceu.

273

Então, a primeira distinção para enfatizar é essa diferença entre desempenho e aprendizagem. Nós temos que entender primeiro o desempenho como indicador de aprendizagem, nós sabemos que a aprendizagem é o elemento central do que estamos buscando com nossa Educação Superior. Eu acho que até a palavra aprendizagem recebe muito pouca atenção no contexto brasileiro entre dois avaliadores, se você tem aquele livro que fala sobre a concepção do Sinaes, 189 páginas, você vai ver que a palavra aprendizagem aparece dez vezes em 189 páginas. Não aparece nas dimensões que devem ser avaliadas na avaliação institucional, não aparece na lei do Sinaes. Nós falamos muito em aspectos que têm a ver com funcionamento, po-líticas, insumos e não falamos suficientemente sobre aprendizagem nem quando falamos sobre desempenho, temos uma tendência de não entender claramente que estamos buscando acima de tudo alguma medida de aprendizagem, agora aprendizagem acontece no decorrer do tempo, aprendizagem é mudança no decorrer do tempo, de comportamento, a partir de interação com o ambiente e evidentemente o ambiente que nos interessa é o ambiente da Educação Superior. Para captar mudança nós temos que pegar desempenhos em pelo menos dois momentos, e é melhor ainda pegar em diversos momentos, ou ainda nós podemos pegar através de técnicas de valor agregado em que estamos calculando um valor estimado e comparando isso com o valor observado, mas o que estamos buscando é uma dinâmica que acontece no decorrer do tempo.

O desempenho é um retrato de demonstração de um conjunto de aprendizagem em um momento do tempo e é importante entender essa distinção entre desempenho e aprendizagem. Falamos muito sobre medidas diretas e indiretas e temos uma tendência de entender a última lição de provas, de exames, como forma direta de abordar desempenho e implicitamente abordar a questão de aprendizagem. É claro que esse indicador direto não é tão direto assim, porque nós temos todo um processo de mediação a partir da qualidade da prova, da forma que ela está aplicada, da for-ma que as janelas de resultados são feitas, então é uma medida direta relativa, mas é mais direta do que outros indicadores que nós podemos usar em larga escala; o grande problema é que não estamos lidando com larga escala e é por isso que nós temos tendência de buscar o mais direto utilizando provas e reconhecendo as limitações na aplicação e utilizando essas provas.

E devo dizer também que a literatura é muito grande, muito maior do que talvez as pessoas imagi-nem sobre indicadores indiretos e evidentemente nós trabalhamos com alguns indicadores indi-retos, nós trabalhamos no caso do CPC, nós estamos trabalhando com qualificação do professor, nós estamos falando sobre o projeto pedagógico, etc., são indicadores indiretos. Mas tem outros indicadores que a literatura enfatiza muito, como por exemplo engajamento do aluno, como por exemplo comprometimento do aluno, por exemplo a utilização de recursos da instituição pelo aluno, tem uma série de indicadores bastante sofisticados de avaliações indiretas e muitas vezes essas avaliações indiretas têm uma confiabilidade que é maior do que essas avaliações diretas utilizando provas com todas as suas limitações de validade e confiabilidade.

31.10.2018Tarde


274

Quando nós estamos falando sobre provas, nós temos uma tendência ou a literatura internacional tem uma grande tendência em distinguir provas que tentam captar conhecimento e provas que tentam captar a competência para aplicar o conhecimento. Nós falamos sobre a diferença entre conhecimento e performance, performance sendo a habilidade de aplicar o conhecimento adquirido e essa ênfase em performance é uma grande tendência internacional, em todos os países os exemplos que são os mais válidos e mais interessantes são exemplos que focalizam em performance, que focalizam na aplicação de conhecimento e quando nós estamos falando sobre aplicação de conhecimento nós estamos falando sobre as competências do século XXI e acho que todo mundo conhece essas competências, estamos falando de pensamento críti-co, de raciocínio analítico, de soluções de problemas, de comunicação e aparentemente cada uma dessas competências do século XXI tem desdobramentos, mas a importância é que essas competências são vistas como fundamentais para lidar com o futuro independentemente da área de conhecimento ou área de foco dos estudos do aluno. E finalmente eu coloco o Enade, eu estava sem saber se eu deveria explicar para a plateia o que é o Enade e estou vendo que isso não vai ser necessário, mas como eu falei, o grande desafio do Enade é, por um lado, sua qualidade e por outro lado, sua comparabilidade.

A possibilidade de produzir indicadores que são comparáveis e nosso problema é que nós utilizamos a curva normal no Enade; quando nós usamos a curva normal nós podemos comparar instituições no momento do tempo, mas não conseguimos comparar no decorrer do tempo, não conseguimos comparar os nossos resultados com resultados de outros países, em outras palavras, se queremos criar indicadores a partir do Enade que permitam análises no decorrer do tempo e que permitam comparações internacionais, vamos precisar fazer algumas mudanças no Enade. Então vou falar um pouquinho sobre esses exemplos. Eu peguei quatro exemplos, existem outros exemplos, a literatura é uma literatura mais vasta do que eu imaginei, evidentemente tem uma literatura maior ainda sobre Educação Básica, sobre Educação Superior é menor, mas ainda é grande. Eu devo dizer também que o Thomas, que está aqui, eu sei que ele está ouvindo, há duas coisas que ele não enfatizou, ele estava dando as razões pelas quais os países do OCDE não estão utilizando provas como o Brasil está utilizando e ele deu uma série de explicações e razões, mas há duas razões que ele não falou: primeiro uma grande parte da literatura argumenta que esse tipo de procedimento de tentar captar aprendizagem através de captar desempenho através de utilização de provas não é uma forma adequada de captar a realidade de Educação Superior.

A Educação Superior, segundo esses argumentos, exige uma aprendizagem que é complexa de-mais, que é multidimensional demais e prova não é a forma melhor. Quando eu estava nos Estados Unidos no ano passado estudando avaliação educacional e Educação Superior tanto

275

nos Estados Unidos como em outros países, quando eu conversava com professores, o que eles mais falaram foi isso: isso não é possível. Então essa é uma das razões por que muitos países não estão utilizando o procedimento que nós utilizamos, e a segunda razão que muitos países não estão utilizando, que nós não temos este problema, é a própria resistência por parte das instituições de Educação Superior e exatamente as instituições de maior qualidade, os países que têm instituições de maior qualidade são os lugares mais resistentes no sentido de usar pro-cedimentos como o Brasil está utilizando. Mas pegando nossos exemplos concretos, eu tenho quatro exemplos ali, eu gosto de abordar rapidamente cada um e a ideia aqui é destacar aquilo que eu acho que é uma possível lição para o aperfeiçoamento do nosso Enade com essa ideia de utilizar o Enade como indicador que permite a comparabilidade no decorrer do tempo ideal-mente também em termos de outras realidades nacionais.

Primeiro, o caso da Colômbia, nós estamos dizendo que nós somos os únicos, algumas pessoas colocaram, nós não somos os únicos, a Colômbia também faz exatamente o que nós fazemos, aplica provas para os alunos no final do ano obrigatoriamente, outros países têm provas disponíveis para aplicar, mas a participação é voluntária, mas no caso da Colômbia nós podemos dizer que nós éramos pioneiros, pois a Colômbia começa em 2007, depois que começamos, mas a Colômbia fez alguns avanços que nós não temos feito, por exemplo, a Colômbia tem uma prova de base que seria nosso Enem, que 97 por cento das pessoas avaliadas no final da Educação Superior, 97 por cento fizeram essa prova que acontece no fim do Ensino Médio. Nosso caso do Eem está em torno de 50 por cento e isso prejudica muito nossas análises de valor agregado; quando apenas 50 por cento das pessoas que fazem a prova final do Enade fizeram o Enem, o que acontece é que essas pessoas que não fizeram o Enem não são necessariamente comparáv-eis com as pessoas que fizeram o Enem. Nós temos que pensar sobre isso, 50 por cento, como é que podemos aumentar isto? Eles também usam uma aplicação informatizada, já foi discutida aqui a possibilidade, acontece que todos os exemplos utilizam aplicações informatizadas, nós somos um pouco assim aquém da tendência no sentido de que não temos esse tipo de aplicação.

Eles dão mais ênfase na sua prova, em termos de número de itens, nos itens de conhecimento geral do que nos itens que tratam de competências específicas de área. Eles também utilizam referenciamento pelo critério, eles têm um CAT Score e eles usam a TRI - Teoria de Respostas ao Item, eles até têm lá algumas fórmulas interessantes para calcular valor agregado, eles usam a técnica do vizinho mais próximo, em outras palavras, seu valor agregado é comparado com insti-tuições que são mais parecidas com sua instituição, utilizando a Análise de Cluster para identificar essas instituições, então a Colômbia tem alguns avanços que acho que são significativos para nós. Eu teria tanta coisa para colocar pra vocês, mas eu apenas vou ler rapidamente nos três minutos que estão faltando.

31.10.2018Tarde


276

A Item é uma prova desenvolvida nos Estados Unidos pela ETS. Item é interação que focaliza apenas nas competências gerais, mas focaliza de uma forma bastante aprofundada, mostra quanto nossos dez itens não dão conta disso porque eles estão utilizando 218 itens até captar a questão de competência do século XXI, também utiliza a TRI, utiliza valor agregado e é modular, eles pegam cinco grandes áreas de competências gerais e dentro dessas cinco áreas eles têm uma modalidade que você pode ou não precisa fazer e é desenvolvida tanto para o indivíduo quanto para a instituição.

O College Learning Assessment, CLA, é muito utilizado nos Estados Unidos e também tem aplicações internacionais e é interessante porque a primeira versão só tinha três perguntas e três perguntas abertas exigem análises, desenvolvimento de argumento, crítica de argumento, solução de problemas e o que é mais interessante é que essas perguntas abertas, exigindo um ensaio, são avaliadas através de computador, através de um algoritmo desenvolvido pelo computador que permite uma aplicação em larga escala. Tem uma versão mais avançada que utiliza perguntas abertas e perguntas fechadas, por que perguntas fechadas? Porque eles determinaram que as perguntas fechadas são mais apropriadas para comparações internacio-nais e também permitem uma aplicação não apenas no nível de instituição, mas também no nível do aluno, do estudante. E finalmente o (ininteligível), essa ideia de aplicar em termos de nível superior o que eles já aplicaram em termos do Pisa, ela não existe, mas houve um grande estudo-piloto em que nós aprendemos muito sobre as possibilidades e as limitações de uma avaliação internacional de Educação Superior a partir da aplicação de provas. Há três relatórios enormes que vale a pena ler e um dos achados que eu achei interessante a partir do trabalho-piloto era o valor de embutir as perguntas mais genéricas e as competências mais genéricas dentro das perguntas específicas, em vez de tentar separar essas perguntas.

Então apenas fazendo uma leitura, tudo isto já discutimos, podemos discutir mais, mas precisamos, acima de tudo, eu acho, de matrizes estáveis, a ideia de criar novas matrizes durante cada aplicação está de certa forma criando muito problema, no sentido do desenvolvimento de um banco de itens que tem as janelas dos itens que você precisa, também nos falta um processo de pré-testagem, nós não usamos a Análise de Resposta ao Item, embora utilizemos isso em outras provas, em outros países estão utilizando isso para a Educação Superior. É difícil argumentar que nós temos um bom banco se não temos matrizes estáveis, não temos pré-testagem, não estamos usando a TRI, eu questiono o argumento que foi feito anteriormente de que nós temos o melhor banco de dados para a Educação Superior no mundo, eu questiono isso. Também acho que nós temos que repensar a parte geral, eu acho que devemos pensar sobre embutir essas questões gerais dentro das perguntas específicas, dez perguntas não dão conta. Nós devemos pensar sobre o número de itens e, como em outros lugares, outros países, o número de itens é determinado pela Matriz

277

de Referência e não por uma determinação que se aplica unicamente para todas as áreas. Nós devemos pensar outros modelos de cálculos do IDD, o trabalho final do (ininteligível) tem um capítulo maravilhoso sobre as possibilidades e limitações do IDD, o IDD sendo valor agregado. Nós devemos pensar em formas de fazer o Enem obrigatório pelo menos para quem entra na Educação Superior para ter uma base, realmente para calcular o valor agregado.

Nós devemos incentivar, já foi colocada a questão da participação, nós devemos pensar sobre um programa nacional de pesquisa a partir desses dados que estão examinando os determi-nantes de desempenho e formulando políticas apropriadas a partir dos resultados. Nós temos muitas pesquisas, mas são pesquisas fragmentadas e não são unificadas em um esforço nacional e nós devemos buscar colaboração internacional e buscando essa colaboração internacional temos duas possibilidades que valem a pena investigar. A primeira possibilidade é o CLA mais internacional que é uma aplicação, é um grupo que está trabalhando internacionalmente com diversos países com a ideia de aplicar as pesquisas comparáveis, instrumentos comparáveis, uma construção coletiva; e o segundo exemplo é o iPAL, que também é uma tentativa internacional de construir coletivamente instrumentos que são comparáveis. No caso do iPAL nós teremos mais autonomia de utilizar nossos próprios itens do que no caso do CLA, mas dizem que os itens que são desenvolvidos não pertencem ao país, pertencem à própria organização que está responsável, mas acho que essas duas forças internacionais valem a pena porque é dessa forma que podemos construir instrumentos não apenas melhores para o Brasil, mas melhores no sentido de servir como base de comparação com outros países. Muito obrigado.

31.10.2018Tarde


278

Mesa Redonda 5 - Robert

279

31.10.2018Tarde


281

31.10.2018Tarde


283

31.10.2018Tarde


285

Obrigado, professor Robert, pelas reflexões. Dado o adiantado da hora eu vou fazer duas ponde-rações bem rápidas e vamos seguindo adiante. Primeira questão. Quando foi apontada a impor-tância de utilizarmos indicadores mais claros e objetivos, essa é a ideia da cesta de indicadores, que ela seja uma cesta com vários indicadores e não uma cesta com indicadores compostos, então a ideia é simplificar isso.

Em relação ao monitoramento dos indicadores e compreender melhor o contexto da Educação Superior para podermos avançar na proposição de novos indicadores, nós estamos pensando em como operacionalizar pesquisas de interesse do Inep para monitoramento, então são alguns desafios que temos de vencer porque tecnicamente no âmbito do Inep nós não conseguimos fazer o tanto de pesquisa que seria necessário para acompanhar o desenvolvimento, o monitoramento efetivamente dos indicadores, então existem alguns desafios de operacionalização daquilo que é necessário para garantir a qualidade desses indicadores e o momento correto da revisão, subsídios para a proposição de novos indicadores, mas nós estamos pensando em como superar isso utilizando a rede de pesquisa que nós temos no país, mas é algo que precisamos estruturar a proposta e avançar nessa direção.

Então eu gostaria novamente de agradecer a participação dos membros da mesa. Sei do desafio com esse enorme tempo que eu disponibilizei a todos e que é difícil preparar tanta coisa para esse tempo enorme, mas esse espaço é para mostrarmos algumas luzes e sobretudo para nós, do Inep, começarmos a olhar e discutir até com estes pesquisadores o que é necessário ser feito, o que é possível ser feito na direção de um trabalho técnico de melhor qualidade do que temos feito. Eu agradeço a todos e muito obrigado.

Renato

31.10.2018Tarde


Encerramento 31.10 às 18h10.

286

MINISTÉRIO DA EDUCAÇÃO

GOVERNOFEDERAL

anais seminário...

Documents