Want to make creations as awesome as this one?

Transcript

Módulo 4: Implementación de la evaluación de impacto

Este es un módulo de contenido dinámico y se espera que, en tanto los diferentes agentes y actores vinculados con la formación lleven adelante más evaluaciones de impacto y acumulen aprendizajes, pueda ampliarse y proveer más conocimiento.

Módulo 4: Implementación de la evaluación de impacto

01

Tener en cuenta requerimientos y aspectos prácticos para implementar e institucionalizar la evaluación de impacto.

03

Considerar aspectos críticos e incorporar lecciones aprendidas para implementar la evaluación de impacto de la formación.

02

Identificar las etapas de la implementación de la evaluación de impacto en la formación.

Objetivos

Al finalizar este módulo el lector podrá:

¿Siempre es necesario evaluar el impacto?

¿Cómo implementar la evaluación de impacto?

¿Cómo incorporar la evaluación a la práctica organizacional?

¿Qué se requiere para una buena evaluación?

¿Cuáles son las etapas para implementar la evaluación de impacto?

Algunas lecciones aprendidas

Módulo 4: Implementación de la evaluación de impacto

4.1. ¿Siempre es necesario evaluar el impacto?

4.3. ¿Qué se requiere para una buena evaluación?

4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?

4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?

4.5. Visualización de datos

Módulo 4: Implementación de la evaluación de impacto

4.6. Evaluación de impacto para la formación profesional tras el COVID19

4.7. Algunas lecciones aprendidas

Como ya se ha señalado en el módulo 1, existen diversas posturas acerca de si resulta necesario evaluar el impacto de todos los programas, acciones o políticas de formación.

4.1. ¿Siempre es necesario evaluar el impacto?

4.1. ¿Siempre es necesario evaluar el impacto?

y competitividad de las empresas y el crecimiento económico sostenible, la creación de empleo y el desarrollo social.

En esta Guía se reconoce que es clave verificar si las acciones que se están llevando a cabo están alcanzando los objetivos planteados.

Se comparte también la visión de que los objetivos de la formación y el aprendizaje permanente deben, no sólo lograr el desarrollo de las competencias en los participantes

sino además incidir en la mejora de la empleabilidad y calidad de vida de las personas, el aumento de la productividad

Siempre será mejor evaluar y al hacerlo, aplicar métodos

01

02

03

Prácticos

Sencillos

Útiles

4.1. ¿Siempre es necesario evaluar el impacto?

Un apoyo básico y necesario para la gestión por resultados son los métodos de monitoreo junto con los sistemas de información gerencial.

Para que la evaluación de impacto se constituya en una herramienta para tomar decisiones efectivas. Se requiere identificar las variables clave y realizar el seguimiento y monitoreo sobre las mismas (participantes, presupuesto, costos, programas) y de esta manera pueda asociar los objetivos de sus programas con indicadores de resultados, efectos e impactos.

4.1. ¿Siempre es necesario evaluar el impacto?

A continuación algunos aspectos para hacer de la evaluación de impacto una práctica incorporada en la ejecución de las acciones formativas:

Partir de la premisa de que es necesario evaluar todas las intervenciones y tener información sobre los resultados, efectos e impactos parala toma de decisiones

01

Considerar la evaluación de impacto como una práctica del quehacer organizacional y no como un evento puntual o una intervención aislada

02

Asegurarse de que la evaluación de impacto forme parte del diseño del programa de formación, incluyendo las acciones necesarias para llevarla a cabo realizando las provisiones financieras

03

Concebir la evaluación de impacto como parte de un sistema que incluye

04

4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?

  • La detección de necesidades formativas
  • Un diseño curricular pertinente y flexible enfocado al desarrollo de las competencias requeridas
  • La implementación de todos los niveles de evaluación (satisfacción. Aprendizaje, transferencia, impacto y retorno de la inversión)

Si no existe orientación a la demanda, un compromiso con la calidad o si no puede verificarse que los participantes han reaccionado positivamente, han aprendido efectivamente y han podido transferir sus aprendizajes, los cambios operados en las personas, la empresa o la sociedad no podrán atribuirse a la intervención formativa.

4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?

4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?

Detección de necesidades formativas

Diseño curricular pertinente y flexible

Evaluación de satisfacción

Evaluación de aprendizaje

Evaluación de transferencia

Enfoque sistémico del desarrollo de competencias

Evaluación de impacto

Evaluación de rentabilidad ROI

Debe planificarse desde el mismo momento en que se diseña la intervención formativa, sea ésta un programa, una política pública de formación o acciones de desarrollo de competencias llevadas a cabo por instituciones de formación o por promesas de cualquier tamaño.

Una evaluación de impacto

4.3. ¿Qué se requiere para una buena evaluación?

En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación

4.3. ¿Qué se requiere para una buena evaluación?

Identificar los cambios esperados desde el diseño de la formación

  • Determinar los objetivos generales y específicos de las acciones de formación.
  • A partir de ellos, identificar un conjunto de indicadores que expresen y permitan considerar el sentido y la magnitud de los cambios esperados.
  • Definir el universo de trabajo, es decir la población y actores sociales, políticos o institucionales, sobre los cuales recaerán los impactoa.
  • Vincular las actividades y los productos desarrollados con los impactos esperados.

Seleccionar y definir los indicadores de impacto

  • Definir conceptual y operacionalmente los indicadores para determinar concretamente la forma de su construcción.
  • Describir la situación inicial de los indicadores para poder determinar los cambios acaecidos y así poder medirlos. Dicho proceso se conoce con el nombre de construcción de línea de base.

En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación

4.3. ¿Qué se requiere para una buena evaluación?

Determinar la periodicidad necesaria para evaluar los impactos esperados

  • Definir que tiempo requieren los cambios previstos para "madurar" y poder ser evaluados.
  • Definir los "momentos" o cortes evaluativos en función de los ámbitos en los cuales se medirá el impacto y de las caracteristicas de las variables consideradas.

Implementar una estrategia de participación de los actores

  • Definir acciones y modalidades de participación para incorporar la perspectiva de los actores involucrados, tanto en la implementación de la intervención formativa, como en sus efectos.

comprende las etapas de

Planificación

El proceso de evaluación de impacto

Diseño

Recolección de información

Producción y divulgación de resultados

4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?

4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?

A continuación se señalan los aspectos a tener en cuenta.

Planear la evaluación

Diseñar el proceso

Recolectar información

Producir y divulgar resultados

Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.

4.4.1. Planear la evaluación

En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.

4.4.1. Planear la evaluación

Las preguntas básicas que la evaluación puede responder. Se derivan de los objetivos de la intervención que se va a evaluar (Ver módulo 1)

¿Qué se define?

A tener en cuenta

1

2

Debe tener un carácter participativo en incluyente para que los grupos de interés puedan realizar sugerencias en torno a los objetivos y las preguntas básicas.

Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales.

4.4.1. Planear la evaluación

La cadena de resultados de la acción formativa que permitirá definir los indicadores. (Ver módulo 1)

Los resultados, efectos e impactos deben ser útiles para la toma de decisiones.

01

¿Qué se define?

A tener en cuenta

4.4.1. Planear la evaluación

Los indicadores que permitirán monitorear y medir los impactos relacionados con las preguntas planteadas. (Ver módulo 1)

1

2

3

Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.

La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.

Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución y diseñar los instrumentos de registro pertinentes y la forma en que construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad

¿Qué se define?

A tener en cuenta

Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el presupuesto para su ejecución.

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según

Las características de la población

Los impactos a evaluar

Las consideraciones éticas y políticas

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas.

Un abordaje mixto agrega la posibilidad de identificar las prioridades y dificultades a partir de la opinión y la vivencia de los actores.

Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

El diseño o cómo se va a evaluar. (ver módulo 3)

¿Qué se define?

A tener en cuenta

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.

01

Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.

02

Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.

03

Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosa y ponen en cuestión la viabilidad de la evaluación de impacto.

04

Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.

05

Recursos técnicos y financieros, tiempo e información disponible.

¿Qué se define?

A tener en cuenta

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

01

Decidir si se realiza una evaluación interna o externa (Ver módulo 1) considerando los recursos con que se cuenta.

02

Definir un equipo responsable de la evaluación que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas y capacidad operativa para gestionar la implementación.

03

Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto en la organización.

04

Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.

Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar , se va a desarrollar la evaluación de impacto.

¿Qué se define?

4.4.2. Diseñar y preparar la implementación del proceso de evaluación

1

2

4

Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los impactos.

No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.

Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.

3

Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después -dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.

A tener en cuenta

Esta etapa es eminentemente práctica y comprende una serie de decisiones y actividades, tales como:

• Definir qué información se necesita recolectar.

• Determinar el equipo encargado.

• Elaborar instrumentos y definir la muestra.

• Realizar el trabajo de campo.

• Procesar y validar la información.

4.4.3. Recolectar información

La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico. (Ver módulo 3)

4.4.3. Recolectar información

Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir.

A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.

4.4.3. Recolectar información

Analizar los datos

Elaborar informes

Esta etapa comprende las siguientes actividades:

Divulgar los resultados

4.4.3. Recolectar información

Analizar los datos

1

2

Asegurar la imparcialidad y el manejo ético de la información.

Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles y útiles para la toma de decisiones.

Elaborar informes

1

2

3

Evitar un lenguaje técnico solo para especialistas, los usuarios de la información no siempre son expertos en evaluación de impacto.

Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.

Demostrar que la evaluación se basa en informaciones válidas.

Divulgar los resultados

01

02

Implementar un plan de difusión de los resultados para los interlocutores sociales.

La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.

4.5. Visualización de datos

El crecimiento de la era digital y la informática ha impulsado la generación de grandes volúmenes de información, sin embargo, sin su procesamiento y clasificación se hace complejo asimilarlos, interpretarlos o analizarlos. Hoy por hoy para poder consumir este cumulo de datos que constantemente crece, es necesario simplificarlos y exponerlos de una manera amable y de fácil comprensión para cualquier individuo, donde las formas visuales (gráficos, mapas, formas, etc.) son la mejor manera de condensar los datos.

4.5. Visualización de datos

La visualización de datos es entonces una representación gráfica de la información que permite observar y comprender tendencias, valores atípicos o patrones de datos de una manera sencilla y accesible. Por lo que las herramientas y tecnologías de visualización de datos son esenciales para analizar grandes cantidades de información y tomar decisiones basadas en los datos.

4.5. Visualización de datos

01

Visualizaciones estáticas

02

Visualizaciones interactivas

Se pueden distinguir dos tipos de visualizaciones

Su principal función es la de comunicar datos que previamente han sido clasificados, ordenados y analizados.

Permiten una interacción con los datos haciendo que el individuo pueda explorar de manera libre la información concentrándose en los aspectos claves que le interesa.

Un ejemplo de esto son las infografías que proyectan información sencilla de un momento en el tiempo.

4.5. Visualización de datos

La combinación de disciplinas entre la programación, la investigación y el diseño ha forjado la creación de distintas herramientas que permiten trabajar visualmente con los datos. A continuación, algunos programas de visualización de datos más destacados:

Sumado a las herramientas anteriores, el conocimiento en programación amplia a un más el espectro de los programas para la visualización de datos por medio del acceso a librerías de JavaScript, tales como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre otras.

4.5. Visualización de datos

4.5. Visualización de datos

Otra herramienta muy conocida para el tratamiento de información y la cual es de fácil acceso y manejo es Microsoft Excel. Si bien no es una herramienta diseñada específicamente para la visualización de datos, esta permite compilar gran volumen de información por medio de sus hojas de cálculo.

4.5. Visualización de datos

Entre las funciones básicas de Microsoft Excel está la de generar resúmenes de datos a partir de tablas y gráficos dinámicos. Esta función permite calcular, resumir y analizar datos permitiendo ver patrones y tendencias en ellos , siendo bastante útil para crear reportes actualizados de un mismo origen de datos. Un aspecto importante relacionado con las tablas y gráficos dinámicos es la de aplicación de filtros o segmentaciones de datos, los cuales agrupan la información en categorías que pueden ser activadas o desactivadas (Dashboard).

4.5. Visualización de datos

Otras de las herramientas que tiene el programa de Microsoft Excel es el editor de Power Query, que permite extraer información de distintas fuentes de datos permitiendo transformarla según se requiera, para luego ser cargada en formato de tabla. Esta herramienta es de utilidad cuando se poseen diferentes bases de datos en archivos individuales y se requiere compilar todo en una única base de datos y que posteriormente puede ser usada para la creación de un dashboard a partir de tablas y gráficos dinámicos.

4.5. Visualización de datos

Excel cuenta también con una programación macro llamada Visual Basic que graba macros que repiten acciones que el usuario halla programado automatización tareas simples, de igual manera permite la creación de formularios y controles en la hoja de trabajo.

4.6. Evaluación de impacto para la formación profesional tras el COVID19

más que de lo previsto en el año 2019

La pandemia del COVID-19 ha tenido repercusiones graves a nivel social y económico, donde las tendencias para los años 2021 y 2022 revelan un déficit en los puestos de trabajo, traduciéndose en mayores niveles de desocupación y subutilización de la mano de obra.

Se prevé que para el 2022 el número de personas desempleadas a nivel mundial se ubique en 205 millones de personas

4.6. Evaluación de impacto para la formación profesional tras el COVID19

Según cifras del Banco Mundial, la tasa de pobreza mundial de los individuos que viven con menos de 1,9 dólares al día pasará del 8.4% en el 2019 a 9.1% en 2020, por lo que se estima que ente 88 millones y 115 millones de personas se ubicaran en condición de pobreza

Como consecuencia de la caída del empleo, los ingresos laborales se ven reducidos y por ende se genera un aumento de la pobreza.

4.6. Evaluación de impacto para la formación profesional tras el COVID19

Entre los desafíos que el COVID – 19 ha generado en la formación profesional, uno de los más relevantes es el de disminuir la brecha tecnológica, dado que muchos centros de formación no contaban con una plataforma y/o herramientas virtuales, se vieron rezagos en comparación con otros en los que su enseñanza es cien por ciento virtual o hibrida.

4.6. Evaluación de impacto para la formación profesional tras el COVID19

La emergencia por el COVID-19 puso a prueba la capacidad que tienen los centros de formación profesional de acoplarse a una nueva realidad en la que las relaciones digitales son el pilar fundamental. Dados los desafíos que genera este nuevo proceso se hace crucial medir la influencia y/o resultados de la formación, buscando mejoras y dando respuestas a las necesidades de las personas y profesionales. Es evidente el cambio estructural que genero la crisis del COVID-19 en la formación profesional, por lo que identificar las debilidades de los programas formativos, así como medir el impacto de estos durante y después de la crisis, ayudaría a tomar decisiones en función de mejorar y ajustar los programas formativos.

4.7. Algunas lecciones aprendidas

La información es la base de la evaluación

01

La evaluación para mejorar los sistemas de formación

02

Evaluación con métodos prácticos y flexibles

03

Evaluación para responder a la demanda de competencias

04

Evaluación de impacto: un enfoque flexible para la economía informal

05

La información es la base de la evaluación

Si se concibiera una pirámide imaginaria sobre la práctica de la evaluación, en su base estarían los datos y la formación

en el siguiente nivel los indicadores y los sistemas de monitoreo y seguimiento

y en la cúspide, la evaluación de impacto.

La cuestión clave es cómo hacer viables las evaluaciones e ir generando una cultura de evaluación que cubra toda la pirámide.

La evaluación para mejorar los sistemas de formación

Juega un importante rol para contribuir a crear y mejora sistemas y políticas de formación y desarrollo de competencias. Si un país está tratando de desarrollar una política coherente en materia de desarrollo de sus recursos humanos, las evaluaciones deberían ser capaces de generar insumos para contribuir con ese objetivo.

La evaluación

La evaluación para mejorar los sistemas de formación

Se deben aplicar para el ajuste o modificación de programas, en la reformulación de políticas, en el diseño de soluciones innovadores para responder y anticiparse a las necesidades de formación. Esto puede resumirse en una política de evaluación coherente con una visión de política pública en materia de formación.

Los resultados de las evaluaciones

Evaluación con métodos prácticos y flexibles

Una clara orientación práctica debe guiar la planificación de la evaluación. Las buenas evaluaciones no tienen que ser extensas, complejas, ni costosas. No es necesario acudir a enfoques ortodoxos y sofisticados, que pueden resultar inútiles y suelen ser demandantes en recursos.

Evaluación con métodos prácticos y flexibles

En la evaluación de impacto

Se debe tratar de utilizar una variedad de métodos que se adapten al contexto, al tipo de programa. A los objetivos trazados y a las poblaciones beneficiarias. El uso de herramientas, como los cuestionarios y las entrevistas, facilita y flexibiliza la evaluación.

Evaluación para responder a la demanda de competencias

Es útil para orientar la formación como una respuesta a la demanda.

La evaluación de impacto

Evaluación para responder a la demanda de competencias

Cuando se trata de evaluar la inserción laboral, una forma es determinar qué fracción de los participantes ha encontrado un empleo o está desempeñando una actividad productiva relacionada.

La conclusión de que solo una pequeña fracción de los participantes está ocupada en la formación relacionada, es un indicio de orientación por la oferta más que de respuesta a la demanda y de que la formación no está articulada con los requerimientos específicos del sector productivo.

Evaluación para responder a la demanda de competencias

Otra forma de evaluación es considerar las preferencias de los empleadores al contratar y su actitud frente a los servicios de formación.

Evaluación para responder a la demanda de competencias

Evaluación de impacto: un enfoque flexible para la economía informal

Es un área donde es necesario aplicar la gama más amplia de métodos de evaluación; un análisis ortodoxo de los impactos, la comparación de grupos con y sin formación en un diseño experimental o semi-experimental es difícil de imaginar.

La economía informal

Evaluación de impacto: un enfoque flexible para la economía informal

En la economía informal deben ser flexibles en el sentido de obtener al máximo provechos de los enfoques cualitativos.

Los métodos de evaluación

Evaluación de impacto: un enfoque flexible para la economía informal

La técnica de estudios de caso y una buena serie de pregunta de evaluación, son una aproximación válida para conocer los factores de éxito de las acciones de formación en la economía informal.

Evaluación de impacto: un enfoque flexible para la economía informal

Deben considerarse diferentes fuentes y técnicas para recolectar información, tales como los referentes de la comunidad; también se puede realizar un seguimiento de los participantes a través del tiempo.

En estos casos la existencia de registros y testimonios e instrumentos autogestionados por los propios participantes juegan un papel crucial.

Material de apoyo a este módulowww.oitcinterfor.org

Conocimiento asociado

Experiencias y aplicaciones

1. Diseño de la evaluación de impactos de las políticas de formación continua. MTEySS. Argentina, 2010.

2. Evaluación para el desarrollo social: aportes para un debate abierto en América Latina. INDES-BID, 2006.

3. La evaluación de impacto en la práctica. Banco Mundial, 2011.

4. Guía para la capacitación basada en TIC para MIPYME. OIT/Cinterfor, 2011.

5. Efectos e impactos de los programas intensivos en el empleo. OIT, 2003.

1. Sistematización de la experiencia SIMAPRO del sector frutícola. Interfases. Chile, 2010.

2. Evaluación estratégica sobre el desarrollo de capacidades. IDRC, 2008.

3. Evaluaciones de Impacto de los Programas de Capacitación Laboral: la experiencia internacional y de Chile 2007.

4. Informe de evaluación. Modernización de la industria azucarera en México. Aplicación SIMAPRO, 2010.

Gracias