congreso internacional de calidad educativaeventos.uanl.mx/cice/pdf/rafaelsantiagovidal.pdf · 30....
TRANSCRIPT
Congreso Internacional
de Calidad Educativa
Panel: Certificación de profesiones y
competencias profesionales
Rafael Vidal
Ceneval
Universidad Autónoma de Nuevo León
13 al 15 de noviembre de 2013
Evaluación de egresados de programas de licenciatura
1. Medición de la calidad de la educación
2. Creación del Ceneval, los EGEL y los EXDIAL
3. Características generales de los EGEL y los EXDIAL
4. Ocho maneras en las que los EGEL y los EXDIAL pueden
ayudar a las IES a mejorar los programas de licenciatura
5. Exámenes para la Certificación del Ejercicio Profesional
6. Conclusiones
Índice
2
3
1. Medición de la calidad de la educación
• Nunca ha sido fácil conocer la calidad de la educación
• No parece existir un rasero o estándar generalmente aceptado para
medir el progreso de la educación
• Por ejemplo, en el caso de la educación básica, durante mucho
tiempo no se contó con elementos para medir el progreso educativo
y la calidad de la educación
• Sin embargo, a partir de los años 60' se comenzaron a medir los
resultados agregados de los estudiantes en pruebas de gran escala
• Las pruebas internacionales PISA y TIMSS y la prueba mexicana
EXCALE son buenos instrumentos para esos propósitos
Medición de la calidad de la educación
4
• En general, en la educación superior (ES) no se ha contado con
buenos instrumentos que permitan medir cómo están los programas
de educación superior.
• Lo que se ha hecho en la ES ha sido confiar en las famas públicas,
en los prestigios y en la mercadotecnia de las instituciones y en los
rankings (ordenamientos) de diversas agencias nacionales o
internacionales
• Los rankings están basados fundamentalmente en los insumos y en
los procesos educativos (no en los resultados)
Cómo se suele medir la calidad de la
educación superior (1)
5
• A partir de la década de los años 90', las instituciones de educación superior
(IES) mexicanas optaron por la evaluación de los procesos educativos con
el apoyo de pares académicos
• En 1991 surgieron los Comités Interinstitucionales para la Evaluación de la
Educación Superior (CIESS) y, a partir de 1994, los organismos
acreditadores de programas de educación superior (28 hasta hoy) regulados
por COPAES
• Las evaluaciones de pares académicos suelen evaluar cosas como: la
composición del personal académico, los índices de reprobación, deserción,
eficiencia terminal, etc., de los estudiantes, el plan de estudios, los servicios
de apoyo al aprendizaje, la infraestructura, el financiamiento, etc
• Estas acciones de evaluación basadas en los procesos han rendido en lo
general muy buenos frutos y es innegable que, a partir de su instauración en
el sistema educativo nacional de ES, son notorias las mejoras en este nivel
educativo 6
Cómo se suele medir la calidad de la
educación superior (2)
• Sin embargo, a pesar de que las evaluaciones de los procesos han
rendido muy buenos frutos, en general se carece de una medición real
de los resultados de las IES
• Desde hace ya algún tiempo ha vuelto a renacer la idea de conocer y
medir cómo es que egresan los estudiantes de las IES
• Por ejemplo, en el año 2011 la Universidad Humboldt de Berlín y la
Universidad Johannes Gutenberg de Mainz (Alemania) organizaron la
conferencia “Modeling and measurement of competencies in higher
education”, con expertos de muchas agencias de evaluación para ver
qué se podía hacer para medir a los egresados de la ES.
Ausencia de una medición de los resultados de las IES
7
2. Creación del Ceneval, los EGEL y los EXDIAL
8
• El problema de conocer cómo es que egresan los estudiantes de la
educación superior fue algo que se plantearon los rectores y directivos de
las IES de México desde principios de los años 90'
• En una Asamblea General de la Asociación Nacional de Universidades e
Instituciones de Educación Superior (ANUIES) celebrada en 1993 las IES
asociadas a este organismo tomaron el acuerdo de crear una institución y
un programa específico para evaluar a los estudiantes que están por
terminar una carrera universitaria
• Derivado de ese acuerdo fue como en 1994 nació el Centro Nacional de
Evaluación para la Educación Superior (Ceneval) y con él, los Exámenes
Generales para el Egreso de la Licenciatura (EGEL) y, posteriormente, los
Exámenes diagnóstico de licenciatura (EXDIAL)
Creación del Ceneval
9
• Los EGEL son los Exámenes Generales para el Egreso de la
Licenciatura. Son un conjunto de instrumentos de evaluación diseñados
para conocer si los estudiantes que están por egresar de los estudios de
licenciatura poseen los conocimientos más básicos y fundamentales de
la disciplina o programa que estudiaron.
• Los EGEL no son evaluaciones a fondo de lo que un egresado debe
saber, esa evaluación a profundidad le corresponde a la IES donde cada
estudiante ha cursado su carrera.
• Los EGEL son más bien evaluaciones para saber si el egresado tiene en
su repertorio de conocimientos los mínimos indispensables para
comenzar el ejercicio de la profesión.
Qué son los EGEL
10
Instrumentos EGEL en operación
1. Biología
2. Ciencias Agrícolas
3. Enfermería
4. Medicina General
5. Medicina Veterinaria y
Zootecnia
6. Nutrición
7. Odontología
8. Psicología
9. Química
10. Química Clínica
11. Químico Farmacéutico Biólogo
12. Administración
13. Administración Pública
14. Ciencias de la Comunicación
15. Comercio y Negocios Internacionales
16. Contaduría
17. Criminología
18. Derecho
19. Economía
20. Gastronomía
21. Mercadotecnia
22. Pedagogía
23. Relaciones Internacionales
24. Trabajo Social
25. Turismo
26. Arquitectura
27. Ciencias Computacionales
28. Diseño Gráfico
29. Informática
30. Ingeniería Civil
31. Ingeniería Computacional
32. Ingeniería de Software
33. Ingeniería Eléctrica
34. Ingeniería Electrónica
35. Ingeniería en Alimentos
36. Ingeniería Industrial
37. Ingeniería Mecánica
38. Ingeniería Mecánica-Eléctrica
39. Ingeniería Mecatrónica
40. Ingeniería Química
Área de las
Ciencias de la Vida y la Conducta
Área de las
Ciencias Sociales y las Humanidades Área de Ingeniería,
diseño y Arquitectura
11
Los EXDIAL son los Exámenes diagnóstico de licenciatura. Son
instrumentos para conocer el rendimiento de estudiantes en
disciplinas o competencias que no son específicas de una profesión
sino habilidades genéricas para varias carreras o para cualquier
carrera.
Qué son los EXDIAL
12
Instrumento Propósito Población
Examen Intermedio de
Licenciatura / Ingeniería
EXIL Ingeniería
Evaluar los conocimientos básicos
de las carreras de ingeniería
Todos los estudiantes de
ingeniería
Examen transversal de
Estadística
EXTRAES
Evaluar los conocimientos
estadísticos de nivel universitario
Todos los estudiantes de
licenciatura que hayan tomado al
menos un curso de estadística
Examen de competencia
comunicativa
ECCyPEC
Evaluar la comprensión de lectura
y el pensamiento crítico Estudiantes de todas las carreras
Examen de expresión escrita
EXPRESE
Evaluar la competencia para
redactar y comunicar por escrito Estudiantes de todas las carreras
Nuevo instrumento (2014)
Examen Intermedio de
Licenciatura en carreras de
negocios
EXIL Negocios
Evaluar los conocimientos básicos
(no específicos) de las carreras
relacionadas con negocios
Todos los estudiantes de
carreras las carreras de negocios
Instrumentos EXDIAL en operación
13
3. Características generales de los EGEL y los EXDIAL
14
• Instrumentos de opción múltiple
• No están ligados a un currículo o plan de estudios particular pero
representan válidamente lo que grupos de expertos consideran
importante como conocimientos, habilidades o competencias para un
recién egresado
• No son instrumentos que tengan un carácter obligatorio por ley o por un
ordenamiento de la autoridad educativa
• Se renuevan permanentemente
• Mantienen niveles de dificultad equivalentes a lo largo del tiempo; por lo
tanto, permiten llevar a cabo comparaciones longitudinales
• Son instrumentos de aplicación masiva (miles de sustentantes
simultáneamente)
Rasgos más importantes de los EGEL y los EXDIAL (1)
15
• Son instrumentos relativamente económicos
• Incorporan cuestionarios de contexto que permiten hacer numerosos
estudios de las poblaciones evaluadas
• Son instrumentos criteriales; esto es, exigen que el sustentante supere
un estándar o criterio establecido por un cuerpo de expertos (Consejo
Técnico). Los resultados se expresan en tres categorías:
Sobresaliente
Satisfactorio
Aún no satisfactorio
16
Rasgos más importantes de los EGEL y los EXDIAL (2)
4. Ocho maneras en las que los EGEL y los
EXDIAL pueden ayudar a mejorar los
programas de educación superior
17
Como ya se dijo, el propósito fundamental de los EGEL y los
EXDIAL es ayudar a mejorar las IES con base en la
información sobre el rendimiento de los estudiantes que están
estudiando o están por egresar de la educación superior.
18
1/8
Reporte de resultados estudiante por estudiante
No. Nombre del sustentante Número
de folio
Desempeño en cada área del examen
Administración
organizacional y
gestión de la Calidad
Administración de las
finanzas
Administración de la
mercadotecnia
Administración de
recursos humanos
Testimonio de
desempeño
NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE
1 ARIAS PEDRO YESENIA 518284730 DSS 1207 DSS 1211 DSS 1158 DSS 1219 Sobresaliente
2 CRUZ GUZMAN ELENA 518287837 DSS 1533 DS 1027 DS 1036 DSS 1184 Sobresaliente
3 ARIAS LORENZO FRANCISCO 518352134 DS 1069 DS 1007 ANS 978 DS 1113 Satisfactorio
4 CRUZ GAETA JOSE 513851830 ANS 996 DS 1007 DS 1017 DS 1017 Satisfactorio
5 GUZMAN VASQUEZ
CLEMENTE 518343036 DS 1048 DS 1131 ANS 997 DS 1113 Satisfactorio
6 ARIAS HERNANDEZ
ELIZABETH 106183613 ANS 924 ANS 948 ANS 940 ANS 910 Sin testimonio
19
La información de los reportes institucionales revela qué porcentajes de
estudiantes de un programa obtienen resultados (testimonio)
sobresalientes y satisfactorios y en qué proporción los estudiantes de
esa IES NO logran los mínimos establecidos por el CT (sin testimonio).
Los directivos de una IES saben que los resultados en el EGEL, son
únicamente indicadores del desempeño académico de un programa de
estudios. Se trata de indicadores y no de mediciones de alta precisión.
Los directivos de la IES saben que una de las mejores comparaciones
que se puede hacer es la comparación consigo misma ya que de esta
forma mide su progreso/retroceso respecto de aplicaciones anteriores.
2/8
Información sobre el porcentaje de sustentantes
que logra rendimientos sobresaliente,
satisfactorio o aún no satisfactorio
20
Desempeño en el
examen
Distribución de sustentantes por tipo de testimonio otorgado
Sin testimonio
(ST)
Testimonio de
Desempeño Satisfactorio
(TDS)
Testimonio de Desempeño
Sobresaliente
(TDSS)
43.3% 42.6% 14.0%
21
Otra forma en la que las IES pueden aprovechar los resultados
de los EGEL es observar el rendimiento de los estudiantes en
función de algunas de las variables del Cuestionario de
Contexto.
3/8
Información de resultados por sexo, edad,
escuela de procedencia o cualquier otra
variable del cuestionario de contexto
22
Distribución de la población en testimonios de desempeño por
situación laboral del sustentante al momento de presentar el EGEL
(¿Trabaja actualmente?)
23
Esta información es particularmente útil porque puede mostrar que en
una institución existe algún punto de debilidad que es necesario
revisar. Después de revisar esta información la IES puede tomar
medidas y comentar con los docentes los resultados en los EGEL y los
EXDIAL.
4/8
Información sobre áreas problemáticas en algún
programa de licenciatura. Por ejemplo, los sustentantes
no superan alguna o algunas de las áreas del examen
24
Áreas del examen
Distribución de sustentantes por nivel de
desempeño en cada área
Aún no
satisfactorio Satisfactorio Sobresaliente
Administración organizacional y gestión de calidad 48.6% 32.0% 19.3%
Administración de las finanzas 30.0% 53.3% 16.6%
Administración de mercadotecnia 24.6% 57.3% 18.0%
Administración de los recursos humanos 28.0% 46.6% 25.3%
25
5/8
Comparación de los resultados de una IES con los desempeños
de otras instituciones que imparten el mismo programa
68.1
52.8
49.3
48.9
47.2
46.8
44.8
42.9
38.8
38.7
38.2
35.3
33.3
32.6
32.3
31.2
30.6
28.6
24.1
23.6
22.9
22.5
22.4
21.0
18.9
15.6
15.4
15.0
11.8
9.5
9.1
7.0
3.4
31.9
35.4
46.4
44.4
47.2
44.2
52.2
47.5
50.7
51.6
58.8
61.8
56.7
44.2
57.0
54.1
63.3
65.7
62.5
70.9
68.8
60.0
57.6
67.7
67.9
54.4
76.0
68.6
37.3
41.1
72.7
39.5
46.6
11.8
4.3
6.7
5.7
9.1
3.0
9.6
10.4
9.7
2.9
2.9
10.0
23.3
10.8
14.7
6.1
5.7
13.4
5.5
8.3
17.5
20.0
11.3
13.2
30.0
8.7
16.4
51.0
49.5
18.2
53.5
50.0
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
IES 1213 (47)
IES 1295 (127)
IES 1152 (69)
IES 942 (45)
IES 1236 (53)
IES 1286 (77)
IES 1284 (67)
IES 1292 (198)
IES 1239 (67)
IES 1264 (31)
IES 123 (34)
IES 1192 (34)
IES 1571 (30)
IES 2101 (43)
IES 1225 (186)
NACIONAL (3,164)
IES 1400 (49)
IES 1191 (35)
IES 2192 (112)
IES 2432 (55)
IES 1053 (109)
IES 1577 (40)
IES 1185 (85)
IES 1018 (62)
IES 1194 (53)
IES 917 (90)
IES 1021 (104)
IES 1090 (220)
IES 908 (51)
IES 905 (95)
IES 1016 (33)
IES 921 (43)
IES 899 (58)
11.8 37.3 51.0 IES 908
(51)
SIN TESTIMONIO SATISFACTORIO SOBRESALIENTE
44.8 52.2 3.0
SIN TESTIMONIO SATISFACTORIO SOBRESALIENTE
26
6/8
Incorporación de un programa al indicador Padrón
de Programas de Licenciatura de Alto Rendimiento
27
7/8
Incorporación de los resultados de los EGEL como parte de
la información para las acreditaciones de CIEES y COPAES
Reprobación
Deserción
Eficiencia Terminal
Resultados del EGEL-CENEVAL
Titulación
28
8/8
Premio Ceneval al desempeño de excelencia EGEL
29
5. Exámenes para la
Certificación del Ejercicio
Profesional
30
8 exámenes para Contadores
6 exámenes para el área de la salud (2 de enfermería,
2 de odontología, Químico Clínico y Psicología)
11 exámenes para Actuarios
• Son instrumentos de evaluación que el Ceneval desarrolla a solicitud de los
Colegios o Asociaciones de Profesionales que cuentan con el registro de
idoneidad por parte de la SEP para operar como organismos certificadores del
ejercicio profesional.
• Se trata de pruebas de competencia profesional, estandarizadas, de alcance
nacional y especializadas por área de ejercicio profesional.
• Su propósito, en términos generales, consiste en identificar la medida en que
los profesionales en ejercicio cuentan con los conocimientos y habilidades para
ejercer eficaz, eficiente, segura y responsablemente una determinada
profesión.
Exámenes para la Certificación del
Ejercicio Profesional, EUC (25)
31
5. Conclusiones
32
Prácticamente toda está información está contenida en los
informes por programa que cada año produce el Ceneval. Se
elaboran 40 informes (uno por cada instrumento) y se envían a
177 IES. El informe de cada instrumento puede contener
centenares de páginas de información.
1
33
2
Claro está que NO. La información que rinden los EGEL y los
EXDIAL son solo un conjunto de indicadores que pueden ayudar a
los directores de programa y a los docentes a tomar acciones para
mejorar. Los directivos de las IES saben que los resultados del EGEL
y de los EXDIAL son únicamente indicadores del desempeño
académico de un programa de estudios. Se trata de indicadores y no
de mediciones de alta precisión.
¿Es esta información integral, completa o exhaustiva?
34
3 Cada año, más de 125,000 estudiantes de educación superior (de más de 500
IES públicas y privadas) presentan un examen EGEL o un EXDIAL.
Estos 45 instrumentos son sencillos pero a la vez poderosos por su enorme
potencial para proporcionar información confiable, válida y relativamente
económica de lo que un estudiante sabe y de lo que un programa de
educación superior rinde.
Si bien los EGEL no son evaluaciones a profundidad y ni siquiera pueden
medir válidamente todas las capacidades, conocimientos y competencias de
un estudiante (el hecho de que sea un examen de opción múltiple limita la
medición a niveles cognitivos relativamente bajos), los EGEL sí arrojan
información extraordinariamente útil sobre los conocimientos más básicos que
todo egresado debe poseer.
35
4
En última instancia, los EGEL sirven al propósito fundamental de ayudar a
mejorar la educación superior. De hecho, toda la información derivada de
los EGEL y los EXDIAL que se produce y entrega a las IES, tiene como fin
último dar información para apoyar el mejoramiento de los programas de
educación superior. Desde luego, estos 45 instrumentos no son para
señalar o exhibir instituciones, ni para producir rankings u ordenamientos,
ni para ayudar a la mercadotecnia de las IES.
¿Cuál es el propósito último de los EGEL y los EXDIAL?
36
5
En síntesis, los EGEL y los EXDIAL son un gran esfuerzo colectivo
de miles de personas para producir una imagen aproximada de
cómo egresan los estudiantes de la educación superior con
independencia de las IES y de las famas, prestigios y trayectorias
que éstas pudieran tener.
37
Thank you
Muchas
gracias!
Evaluar….
Una buena medida para educar mejor.