Congreso Internacional

de Calidad Educativa

Panel: Certificación de profesiones y

competencias profesionales

Rafael Vidal

Ceneval

Universidad Autónoma de Nuevo León

13 al 15 de noviembre de 2013

Evaluación de egresados de programas de licenciatura

1. Medición de la calidad de la educación

2. Creación del Ceneval, los EGEL y los EXDIAL

3. Características generales de los EGEL y los EXDIAL

4. Ocho maneras en las que los EGEL y los EXDIAL pueden

ayudar a las IES a mejorar los programas de licenciatura

5. Exámenes para la Certificación del Ejercicio Profesional

6. Conclusiones

Índice

2

3

1. Medición de la calidad de la educación

• Nunca ha sido fácil conocer la calidad de la educación

• No parece existir un rasero o estándar generalmente aceptado para

medir el progreso de la educación

• Por ejemplo, en el caso de la educación básica, durante mucho

tiempo no se contó con elementos para medir el progreso educativo

y la calidad de la educación

• Sin embargo, a partir de los años 60' se comenzaron a medir los

resultados agregados de los estudiantes en pruebas de gran escala

• Las pruebas internacionales PISA y TIMSS y la prueba mexicana

EXCALE son buenos instrumentos para esos propósitos

Medición de la calidad de la educación

4

• En general, en la educación superior (ES) no se ha contado con

buenos instrumentos que permitan medir cómo están los programas

de educación superior.

• Lo que se ha hecho en la ES ha sido confiar en las famas públicas,

en los prestigios y en la mercadotecnia de las instituciones y en los

rankings (ordenamientos) de diversas agencias nacionales o

internacionales

• Los rankings están basados fundamentalmente en los insumos y en

los procesos educativos (no en los resultados)

Cómo se suele medir la calidad de la

educación superior (1)

5

• A partir de la década de los años 90', las instituciones de educación superior

(IES) mexicanas optaron por la evaluación de los procesos educativos con

el apoyo de pares académicos

• En 1991 surgieron los Comités Interinstitucionales para la Evaluación de la

Educación Superior (CIESS) y, a partir de 1994, los organismos

acreditadores de programas de educación superior (28 hasta hoy) regulados

por COPAES

• Las evaluaciones de pares académicos suelen evaluar cosas como: la

composición del personal académico, los índices de reprobación, deserción,

eficiencia terminal, etc., de los estudiantes, el plan de estudios, los servicios

de apoyo al aprendizaje, la infraestructura, el financiamiento, etc

• Estas acciones de evaluación basadas en los procesos han rendido en lo

general muy buenos frutos y es innegable que, a partir de su instauración en

el sistema educativo nacional de ES, son notorias las mejoras en este nivel

educativo 6

Cómo se suele medir la calidad de la

educación superior (2)

• Sin embargo, a pesar de que las evaluaciones de los procesos han

rendido muy buenos frutos, en general se carece de una medición real

de los resultados de las IES

• Desde hace ya algún tiempo ha vuelto a renacer la idea de conocer y

medir cómo es que egresan los estudiantes de las IES

• Por ejemplo, en el año 2011 la Universidad Humboldt de Berlín y la

Universidad Johannes Gutenberg de Mainz (Alemania) organizaron la

conferencia “Modeling and measurement of competencies in higher

education”, con expertos de muchas agencias de evaluación para ver

qué se podía hacer para medir a los egresados de la ES.

Ausencia de una medición de los resultados de las IES

7

2. Creación del Ceneval, los EGEL y los EXDIAL

8

• El problema de conocer cómo es que egresan los estudiantes de la

educación superior fue algo que se plantearon los rectores y directivos de

las IES de México desde principios de los años 90'

• En una Asamblea General de la Asociación Nacional de Universidades e

Instituciones de Educación Superior (ANUIES) celebrada en 1993 las IES

asociadas a este organismo tomaron el acuerdo de crear una institución y

un programa específico para evaluar a los estudiantes que están por

terminar una carrera universitaria

• Derivado de ese acuerdo fue como en 1994 nació el Centro Nacional de

Evaluación para la Educación Superior (Ceneval) y con él, los Exámenes

Generales para el Egreso de la Licenciatura (EGEL) y, posteriormente, los

Exámenes diagnóstico de licenciatura (EXDIAL)

Creación del Ceneval

9

• Los EGEL son los Exámenes Generales para el Egreso de la

Licenciatura. Son un conjunto de instrumentos de evaluación diseñados

para conocer si los estudiantes que están por egresar de los estudios de

licenciatura poseen los conocimientos más básicos y fundamentales de

la disciplina o programa que estudiaron.

• Los EGEL no son evaluaciones a fondo de lo que un egresado debe

saber, esa evaluación a profundidad le corresponde a la IES donde cada

estudiante ha cursado su carrera.

• Los EGEL son más bien evaluaciones para saber si el egresado tiene en

su repertorio de conocimientos los mínimos indispensables para

comenzar el ejercicio de la profesión.

Qué son los EGEL

10

Instrumentos EGEL en operación

1. Biología

2. Ciencias Agrícolas

3. Enfermería

4. Medicina General

5. Medicina Veterinaria y

Zootecnia

6. Nutrición

7. Odontología

8. Psicología

9. Química

10. Química Clínica

11. Químico Farmacéutico Biólogo

12. Administración

13. Administración Pública

14. Ciencias de la Comunicación

15. Comercio y Negocios Internacionales

16. Contaduría

17. Criminología

18. Derecho

19. Economía

20. Gastronomía

21. Mercadotecnia

22. Pedagogía

23. Relaciones Internacionales

24. Trabajo Social

25. Turismo

26. Arquitectura

27. Ciencias Computacionales

28. Diseño Gráfico

29. Informática

30. Ingeniería Civil

31. Ingeniería Computacional

32. Ingeniería de Software

33. Ingeniería Eléctrica

34. Ingeniería Electrónica

35. Ingeniería en Alimentos

36. Ingeniería Industrial

37. Ingeniería Mecánica

38. Ingeniería Mecánica-Eléctrica

39. Ingeniería Mecatrónica

40. Ingeniería Química

Área de las

Ciencias de la Vida y la Conducta

Área de las

Ciencias Sociales y las Humanidades Área de Ingeniería,

diseño y Arquitectura

11

Los EXDIAL son los Exámenes diagnóstico de licenciatura. Son

instrumentos para conocer el rendimiento de estudiantes en

disciplinas o competencias que no son específicas de una profesión

sino habilidades genéricas para varias carreras o para cualquier

carrera.

Qué son los EXDIAL

12

Instrumento Propósito Población

Examen Intermedio de

Licenciatura / Ingeniería

EXIL Ingeniería

Evaluar los conocimientos básicos

de las carreras de ingeniería

Todos los estudiantes de

ingeniería

Examen transversal de

Estadística

EXTRAES

Evaluar los conocimientos

estadísticos de nivel universitario

Todos los estudiantes de

licenciatura que hayan tomado al

menos un curso de estadística

Examen de competencia

comunicativa

ECCyPEC

Evaluar la comprensión de lectura

y el pensamiento crítico Estudiantes de todas las carreras

Examen de expresión escrita

EXPRESE

Evaluar la competencia para

redactar y comunicar por escrito Estudiantes de todas las carreras

Nuevo instrumento (2014)

Examen Intermedio de

Licenciatura en carreras de

negocios

EXIL Negocios

Evaluar los conocimientos básicos

(no específicos) de las carreras

relacionadas con negocios

Todos los estudiantes de

carreras las carreras de negocios

Instrumentos EXDIAL en operación

13

3. Características generales de los EGEL y los EXDIAL

14

• Instrumentos de opción múltiple

• No están ligados a un currículo o plan de estudios particular pero

representan válidamente lo que grupos de expertos consideran

importante como conocimientos, habilidades o competencias para un

recién egresado

• No son instrumentos que tengan un carácter obligatorio por ley o por un

ordenamiento de la autoridad educativa

• Se renuevan permanentemente

• Mantienen niveles de dificultad equivalentes a lo largo del tiempo; por lo

tanto, permiten llevar a cabo comparaciones longitudinales

• Son instrumentos de aplicación masiva (miles de sustentantes

simultáneamente)

Rasgos más importantes de los EGEL y los EXDIAL (1)

15

• Son instrumentos relativamente económicos

• Incorporan cuestionarios de contexto que permiten hacer numerosos

estudios de las poblaciones evaluadas

• Son instrumentos criteriales; esto es, exigen que el sustentante supere

un estándar o criterio establecido por un cuerpo de expertos (Consejo

Técnico). Los resultados se expresan en tres categorías:

Sobresaliente

Satisfactorio

Aún no satisfactorio

16

Rasgos más importantes de los EGEL y los EXDIAL (2)

4. Ocho maneras en las que los EGEL y los

EXDIAL pueden ayudar a mejorar los

programas de educación superior

17

Como ya se dijo, el propósito fundamental de los EGEL y los

EXDIAL es ayudar a mejorar las IES con base en la

información sobre el rendimiento de los estudiantes que están

estudiando o están por egresar de la educación superior.

18

1/8

Reporte de resultados estudiante por estudiante

No. Nombre del sustentante Número

de folio

Desempeño en cada área del examen

Administración

organizacional y

gestión de la Calidad

Administración de las

finanzas

Administración de la

mercadotecnia

Administración de

recursos humanos

Testimonio de

desempeño

NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE NIVEL/PUNTAJE

1 ARIAS PEDRO YESENIA 518284730 DSS 1207 DSS 1211 DSS 1158 DSS 1219 Sobresaliente

2 CRUZ GUZMAN ELENA 518287837 DSS 1533 DS 1027 DS 1036 DSS 1184 Sobresaliente

3 ARIAS LORENZO FRANCISCO 518352134 DS 1069 DS 1007 ANS 978 DS 1113 Satisfactorio

4 CRUZ GAETA JOSE 513851830 ANS 996 DS 1007 DS 1017 DS 1017 Satisfactorio

5 GUZMAN VASQUEZ

CLEMENTE 518343036 DS 1048 DS 1131 ANS 997 DS 1113 Satisfactorio

6 ARIAS HERNANDEZ

ELIZABETH 106183613 ANS 924 ANS 948 ANS 940 ANS 910 Sin testimonio

19

La información de los reportes institucionales revela qué porcentajes de

estudiantes de un programa obtienen resultados (testimonio)

sobresalientes y satisfactorios y en qué proporción los estudiantes de

esa IES NO logran los mínimos establecidos por el CT (sin testimonio).

Los directivos de una IES saben que los resultados en el EGEL, son

únicamente indicadores del desempeño académico de un programa de

estudios. Se trata de indicadores y no de mediciones de alta precisión.

Los directivos de la IES saben que una de las mejores comparaciones

que se puede hacer es la comparación consigo misma ya que de esta

forma mide su progreso/retroceso respecto de aplicaciones anteriores.

2/8

Información sobre el porcentaje de sustentantes

que logra rendimientos sobresaliente,

satisfactorio o aún no satisfactorio

20

Desempeño en el

examen

Distribución de sustentantes por tipo de testimonio otorgado

Sin testimonio

(ST)

Testimonio de

Desempeño Satisfactorio

(TDS)

Testimonio de Desempeño

Sobresaliente

(TDSS)

43.3% 42.6% 14.0%

21

Otra forma en la que las IES pueden aprovechar los resultados

de los EGEL es observar el rendimiento de los estudiantes en

función de algunas de las variables del Cuestionario de

Contexto.

3/8

Información de resultados por sexo, edad,

escuela de procedencia o cualquier otra

variable del cuestionario de contexto

22

Distribución de la población en testimonios de desempeño por

situación laboral del sustentante al momento de presentar el EGEL

(¿Trabaja actualmente?)

23

Esta información es particularmente útil porque puede mostrar que en

una institución existe algún punto de debilidad que es necesario

revisar. Después de revisar esta información la IES puede tomar

medidas y comentar con los docentes los resultados en los EGEL y los

EXDIAL.

4/8

Información sobre áreas problemáticas en algún

programa de licenciatura. Por ejemplo, los sustentantes

no superan alguna o algunas de las áreas del examen

24

Áreas del examen

Distribución de sustentantes por nivel de

desempeño en cada área

Aún no

satisfactorio Satisfactorio Sobresaliente

Administración organizacional y gestión de calidad 48.6% 32.0% 19.3%

Administración de las finanzas 30.0% 53.3% 16.6%

Administración de mercadotecnia 24.6% 57.3% 18.0%

Administración de los recursos humanos 28.0% 46.6% 25.3%

25

5/8

Comparación de los resultados de una IES con los desempeños

de otras instituciones que imparten el mismo programa

68.1

52.8

49.3

48.9

47.2

46.8

44.8

42.9

38.8

38.7

38.2

35.3

33.3

32.6

32.3

31.2

30.6

28.6

24.1

23.6

22.9

22.5

22.4

21.0

18.9

15.6

15.4

15.0

11.8

9.5

9.1

7.0

3.4

31.9

35.4

46.4

44.4

47.2

44.2

52.2

47.5

50.7

51.6

58.8

61.8

56.7

44.2

57.0

54.1

63.3

65.7

62.5

70.9

68.8

60.0

57.6

67.7

67.9

54.4

76.0

68.6

37.3

41.1

72.7

39.5

46.6

11.8

4.3

6.7

5.7

9.1

3.0

9.6

10.4

9.7

2.9

2.9

10.0

23.3

10.8

14.7

6.1

5.7

13.4

5.5

8.3

17.5

20.0

11.3

13.2

30.0

8.7

16.4

51.0

49.5

18.2

53.5

50.0

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

IES 1213 (47)

IES 1295 (127)

IES 1152 (69)

IES 942 (45)

IES 1236 (53)

IES 1286 (77)

IES 1284 (67)

IES 1292 (198)

IES 1239 (67)

IES 1264 (31)

IES 123 (34)

IES 1192 (34)

IES 1571 (30)

IES 2101 (43)

IES 1225 (186)

NACIONAL (3,164)

IES 1400 (49)

IES 1191 (35)

IES 2192 (112)

IES 2432 (55)

IES 1053 (109)

IES 1577 (40)

IES 1185 (85)

IES 1018 (62)

IES 1194 (53)

IES 917 (90)

IES 1021 (104)

IES 1090 (220)

IES 908 (51)

IES 905 (95)

IES 1016 (33)

IES 921 (43)

IES 899 (58)

11.8 37.3 51.0 IES 908

(51)

SIN TESTIMONIO SATISFACTORIO SOBRESALIENTE

44.8 52.2 3.0

SIN TESTIMONIO SATISFACTORIO SOBRESALIENTE

26

6/8

Incorporación de un programa al indicador Padrón

de Programas de Licenciatura de Alto Rendimiento

27

7/8

Incorporación de los resultados de los EGEL como parte de

la información para las acreditaciones de CIEES y COPAES

Reprobación

Deserción

Eficiencia Terminal

Resultados del EGEL-CENEVAL

Titulación

28

8/8

Premio Ceneval al desempeño de excelencia EGEL

29

5. Exámenes para la

Certificación del Ejercicio

Profesional

30

8 exámenes para Contadores

6 exámenes para el área de la salud (2 de enfermería,

2 de odontología, Químico Clínico y Psicología)

11 exámenes para Actuarios

• Son instrumentos de evaluación que el Ceneval desarrolla a solicitud de los

Colegios o Asociaciones de Profesionales que cuentan con el registro de

idoneidad por parte de la SEP para operar como organismos certificadores del

ejercicio profesional.

• Se trata de pruebas de competencia profesional, estandarizadas, de alcance

nacional y especializadas por área de ejercicio profesional.

• Su propósito, en términos generales, consiste en identificar la medida en que

los profesionales en ejercicio cuentan con los conocimientos y habilidades para

ejercer eficaz, eficiente, segura y responsablemente una determinada

profesión.

Exámenes para la Certificación del

Ejercicio Profesional, EUC (25)

31

5. Conclusiones

32

Prácticamente toda está información está contenida en los

informes por programa que cada año produce el Ceneval. Se

elaboran 40 informes (uno por cada instrumento) y se envían a

177 IES. El informe de cada instrumento puede contener

centenares de páginas de información.

1

33

2

Claro está que NO. La información que rinden los EGEL y los

EXDIAL son solo un conjunto de indicadores que pueden ayudar a

los directores de programa y a los docentes a tomar acciones para

mejorar. Los directivos de las IES saben que los resultados del EGEL

y de los EXDIAL son únicamente indicadores del desempeño

académico de un programa de estudios. Se trata de indicadores y no

de mediciones de alta precisión.

¿Es esta información integral, completa o exhaustiva?

34

3 Cada año, más de 125,000 estudiantes de educación superior (de más de 500

IES públicas y privadas) presentan un examen EGEL o un EXDIAL.

Estos 45 instrumentos son sencillos pero a la vez poderosos por su enorme

potencial para proporcionar información confiable, válida y relativamente

económica de lo que un estudiante sabe y de lo que un programa de

educación superior rinde.

Si bien los EGEL no son evaluaciones a profundidad y ni siquiera pueden

medir válidamente todas las capacidades, conocimientos y competencias de

un estudiante (el hecho de que sea un examen de opción múltiple limita la

medición a niveles cognitivos relativamente bajos), los EGEL sí arrojan

información extraordinariamente útil sobre los conocimientos más básicos que

todo egresado debe poseer.

35

4

En última instancia, los EGEL sirven al propósito fundamental de ayudar a

mejorar la educación superior. De hecho, toda la información derivada de

los EGEL y los EXDIAL que se produce y entrega a las IES, tiene como fin

último dar información para apoyar el mejoramiento de los programas de

educación superior. Desde luego, estos 45 instrumentos no son para

señalar o exhibir instituciones, ni para producir rankings u ordenamientos,

ni para ayudar a la mercadotecnia de las IES.

¿Cuál es el propósito último de los EGEL y los EXDIAL?

36

5

En síntesis, los EGEL y los EXDIAL son un gran esfuerzo colectivo

de miles de personas para producir una imagen aproximada de

cómo egresan los estudiantes de la educación superior con

independencia de las IES y de las famas, prestigios y trayectorias

que éstas pudieran tener.

37

Thank you

Muchas

gracias!

Evaluar….

Una buena medida para educar mejor.