MODULO 4
Yesica Fernández Mal
Created on May 25, 2021
More creations to inspire you
ANCIENT EGYPT
Learning unit
MONSTERS COMIC "SHARING IS CARING"
Learning unit
PARTS OF THE ANIMAL CELL
Learning unit
PARTS OF A PROKARYOTIC CELL
Learning unit
PARTS OF THE PLANT CELL
Learning unit
Transcript
Módulo 4: Implementación de la evaluación de impacto
Este es un módulo de contenido dinámico y se espera que, en tanto los diferentes agentes y actores vinculados con la formación lleven adelante más evaluaciones de impacto y acumulen aprendizajes, pueda ampliarse y proveer más conocimiento.
Módulo 4: Implementación de la evaluación de impacto
01
Tener en cuenta requerimientos y aspectos prácticos para implementar e institucionalizar la evaluación de impacto.
03
Considerar aspectos críticos e incorporar lecciones aprendidas para implementar la evaluación de impacto de la formación.
02
Identificar las etapas de la implementación de la evaluación de impacto en la formación.
Objetivos
Al finalizar este módulo el lector podrá:
¿Siempre es necesario evaluar el impacto?
¿Cómo implementar la evaluación de impacto?
¿Cómo incorporar la evaluación a la práctica organizacional?
¿Qué se requiere para una buena evaluación?
¿Cuáles son las etapas para implementar la evaluación de impacto?
Algunas lecciones aprendidas
Módulo 4: Implementación de la evaluación de impacto
4.1. ¿Siempre es necesario evaluar el impacto?
4.3. ¿Qué se requiere para una buena evaluación?
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
4.5. Visualización de datos
Módulo 4: Implementación de la evaluación de impacto
4.6. Evaluación de impacto para la formación profesional tras el COVID19
4.7. Algunas lecciones aprendidas
Como ya se ha señalado en el módulo 1, existen diversas posturas acerca de si resulta necesario evaluar el impacto de todos los programas, acciones o políticas de formación.
4.1. ¿Siempre es necesario evaluar el impacto?
4.1. ¿Siempre es necesario evaluar el impacto?
y competitividad de las empresas y el crecimiento económico sostenible, la creación de empleo y el desarrollo social.
En esta Guía se reconoce que es clave verificar si las acciones que se están llevando a cabo están alcanzando los objetivos planteados.
Se comparte también la visión de que los objetivos de la formación y el aprendizaje permanente deben, no sólo lograr el desarrollo de las competencias en los participantes
sino además incidir en la mejora de la empleabilidad y calidad de vida de las personas, el aumento de la productividad
Siempre será mejor evaluar y al hacerlo, aplicar métodos
01
02
03
Prácticos
Sencillos
Útiles
4.1. ¿Siempre es necesario evaluar el impacto?
Un apoyo básico y necesario para la gestión por resultados son los métodos de monitoreo junto con los sistemas de información gerencial.
Para que la evaluación de impacto se constituya en una herramienta para tomar decisiones efectivas. Se requiere identificar las variables clave y realizar el seguimiento y monitoreo sobre las mismas (participantes, presupuesto, costos, programas) y de esta manera pueda asociar los objetivos de sus programas con indicadores de resultados, efectos e impactos.
4.1. ¿Siempre es necesario evaluar el impacto?
A continuación algunos aspectos para hacer de la evaluación de impacto una práctica incorporada en la ejecución de las acciones formativas:
Partir de la premisa de que es necesario evaluar todas las intervenciones y tener información sobre los resultados, efectos e impactos parala toma de decisiones
01
Considerar la evaluación de impacto como una práctica del quehacer organizacional y no como un evento puntual o una intervención aislada
02
Asegurarse de que la evaluación de impacto forme parte del diseño del programa de formación, incluyendo las acciones necesarias para llevarla a cabo realizando las provisiones financieras
03
Concebir la evaluación de impacto como parte de un sistema que incluye
04
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
- La detección de necesidades formativas
- Un diseño curricular pertinente y flexible enfocado al desarrollo de las competencias requeridas
- La implementación de todos los niveles de evaluación (satisfacción. Aprendizaje, transferencia, impacto y retorno de la inversión)
Si no existe orientación a la demanda, un compromiso con la calidad o si no puede verificarse que los participantes han reaccionado positivamente, han aprendido efectivamente y han podido transferir sus aprendizajes, los cambios operados en las personas, la empresa o la sociedad no podrán atribuirse a la intervención formativa.
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
Detección de necesidades formativas
Diseño curricular pertinente y flexible
Evaluación de satisfacción
Evaluación de aprendizaje
Evaluación de transferencia
Enfoque sistémico del desarrollo de competencias
Evaluación de impacto
Evaluación de rentabilidad ROI
Debe planificarse desde el mismo momento en que se diseña la intervención formativa, sea ésta un programa, una política pública de formación o acciones de desarrollo de competencias llevadas a cabo por instituciones de formación o por promesas de cualquier tamaño.
Una evaluación de impacto
4.3. ¿Qué se requiere para una buena evaluación?
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
4.3. ¿Qué se requiere para una buena evaluación?
Identificar los cambios esperados desde el diseño de la formación
- Determinar los objetivos generales y específicos de las acciones de formación.
- A partir de ellos, identificar un conjunto de indicadores que expresen y permitan considerar el sentido y la magnitud de los cambios esperados.
- Definir el universo de trabajo, es decir la población y actores sociales, políticos o institucionales, sobre los cuales recaerán los impactoa.
- Vincular las actividades y los productos desarrollados con los impactos esperados.
Seleccionar y definir los indicadores de impacto
- Definir conceptual y operacionalmente los indicadores para determinar concretamente la forma de su construcción.
- Describir la situación inicial de los indicadores para poder determinar los cambios acaecidos y así poder medirlos. Dicho proceso se conoce con el nombre de construcción de línea de base.
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
4.3. ¿Qué se requiere para una buena evaluación?
Determinar la periodicidad necesaria para evaluar los impactos esperados
- Definir que tiempo requieren los cambios previstos para "madurar" y poder ser evaluados.
- Definir los "momentos" o cortes evaluativos en función de los ámbitos en los cuales se medirá el impacto y de las caracteristicas de las variables consideradas.
Implementar una estrategia de participación de los actores
- Definir acciones y modalidades de participación para incorporar la perspectiva de los actores involucrados, tanto en la implementación de la intervención formativa, como en sus efectos.
comprende las etapas de
Planificación
El proceso de evaluación de impacto
Diseño
Recolección de información
Producción y divulgación de resultados
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
A continuación se señalan los aspectos a tener en cuenta.
Planear la evaluación
Diseñar el proceso
Recolectar información
Producir y divulgar resultados
Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.
4.4.1. Planear la evaluación
En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.
4.4.1. Planear la evaluación
Las preguntas básicas que la evaluación puede responder. Se derivan de los objetivos de la intervención que se va a evaluar (Ver módulo 1)
¿Qué se define?
A tener en cuenta
1
2
Debe tener un carácter participativo en incluyente para que los grupos de interés puedan realizar sugerencias en torno a los objetivos y las preguntas básicas.
Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales.
4.4.1. Planear la evaluación
La cadena de resultados de la acción formativa que permitirá definir los indicadores. (Ver módulo 1)
Los resultados, efectos e impactos deben ser útiles para la toma de decisiones.
01
¿Qué se define?
A tener en cuenta
4.4.1. Planear la evaluación
Los indicadores que permitirán monitorear y medir los impactos relacionados con las preguntas planteadas. (Ver módulo 1)
1
2
3
Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.
La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.
Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución y diseñar los instrumentos de registro pertinentes y la forma en que construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad
¿Qué se define?
A tener en cuenta
Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el presupuesto para su ejecución.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según
Las características de la población
Los impactos a evaluar
Las consideraciones éticas y políticas
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas.
Un abordaje mixto agrega la posibilidad de identificar las prioridades y dificultades a partir de la opinión y la vivencia de los actores.
Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
El diseño o cómo se va a evaluar. (ver módulo 3)
¿Qué se define?
A tener en cuenta
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.
01
Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.
02
Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.
03
Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosa y ponen en cuestión la viabilidad de la evaluación de impacto.
04
Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.
05
Recursos técnicos y financieros, tiempo e información disponible.
¿Qué se define?
A tener en cuenta
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
01
Decidir si se realiza una evaluación interna o externa (Ver módulo 1) considerando los recursos con que se cuenta.
02
Definir un equipo responsable de la evaluación que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas y capacidad operativa para gestionar la implementación.
03
Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto en la organización.
04
Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.
Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar , se va a desarrollar la evaluación de impacto.
¿Qué se define?
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
1
2
4
Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los impactos.
No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.
Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.
3
Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después -dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.
A tener en cuenta
Esta etapa es eminentemente práctica y comprende una serie de decisiones y actividades, tales como:
• Definir qué información se necesita recolectar.
• Determinar el equipo encargado.
• Elaborar instrumentos y definir la muestra.
• Realizar el trabajo de campo.
• Procesar y validar la información.
4.4.3. Recolectar información
La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico. (Ver módulo 3)
4.4.3. Recolectar información
Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir.
A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.
4.4.3. Recolectar información
Analizar los datos
Elaborar informes
Esta etapa comprende las siguientes actividades:
Divulgar los resultados
4.4.3. Recolectar información
Analizar los datos
1
2
Asegurar la imparcialidad y el manejo ético de la información.
Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles y útiles para la toma de decisiones.
Elaborar informes
1
2
3
Evitar un lenguaje técnico solo para especialistas, los usuarios de la información no siempre son expertos en evaluación de impacto.
Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.
Demostrar que la evaluación se basa en informaciones válidas.
Divulgar los resultados
01
02
Implementar un plan de difusión de los resultados para los interlocutores sociales.
La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.
4.5. Visualización de datos
El crecimiento de la era digital y la informática ha impulsado la generación de grandes volúmenes de información, sin embargo, sin su procesamiento y clasificación se hace complejo asimilarlos, interpretarlos o analizarlos. Hoy por hoy para poder consumir este cumulo de datos que constantemente crece, es necesario simplificarlos y exponerlos de una manera amable y de fácil comprensión para cualquier individuo, donde las formas visuales (gráficos, mapas, formas, etc.) son la mejor manera de condensar los datos.
4.5. Visualización de datos
La visualización de datos es entonces una representación gráfica de la información que permite observar y comprender tendencias, valores atípicos o patrones de datos de una manera sencilla y accesible. Por lo que las herramientas y tecnologías de visualización de datos son esenciales para analizar grandes cantidades de información y tomar decisiones basadas en los datos.
4.5. Visualización de datos
01
Visualizaciones estáticas
02
Visualizaciones interactivas
Se pueden distinguir dos tipos de visualizaciones
Su principal función es la de comunicar datos que previamente han sido clasificados, ordenados y analizados.
Permiten una interacción con los datos haciendo que el individuo pueda explorar de manera libre la información concentrándose en los aspectos claves que le interesa.
Un ejemplo de esto son las infografías que proyectan información sencilla de un momento en el tiempo.
4.5. Visualización de datos
La combinación de disciplinas entre la programación, la investigación y el diseño ha forjado la creación de distintas herramientas que permiten trabajar visualmente con los datos. A continuación, algunos programas de visualización de datos más destacados:
Sumado a las herramientas anteriores, el conocimiento en programación amplia a un más el espectro de los programas para la visualización de datos por medio del acceso a librerías de JavaScript, tales como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre otras.
4.5. Visualización de datos
4.5. Visualización de datos
Otra herramienta muy conocida para el tratamiento de información y la cual es de fácil acceso y manejo es Microsoft Excel. Si bien no es una herramienta diseñada específicamente para la visualización de datos, esta permite compilar gran volumen de información por medio de sus hojas de cálculo.
4.5. Visualización de datos
Entre las funciones básicas de Microsoft Excel está la de generar resúmenes de datos a partir de tablas y gráficos dinámicos. Esta función permite calcular, resumir y analizar datos permitiendo ver patrones y tendencias en ellos , siendo bastante útil para crear reportes actualizados de un mismo origen de datos. Un aspecto importante relacionado con las tablas y gráficos dinámicos es la de aplicación de filtros o segmentaciones de datos, los cuales agrupan la información en categorías que pueden ser activadas o desactivadas (Dashboard).
4.5. Visualización de datos
Otras de las herramientas que tiene el programa de Microsoft Excel es el editor de Power Query, que permite extraer información de distintas fuentes de datos permitiendo transformarla según se requiera, para luego ser cargada en formato de tabla. Esta herramienta es de utilidad cuando se poseen diferentes bases de datos en archivos individuales y se requiere compilar todo en una única base de datos y que posteriormente puede ser usada para la creación de un dashboard a partir de tablas y gráficos dinámicos.
4.5. Visualización de datos
Excel cuenta también con una programación macro llamada Visual Basic que graba macros que repiten acciones que el usuario halla programado automatización tareas simples, de igual manera permite la creación de formularios y controles en la hoja de trabajo.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
más que de lo previsto en el año 2019
La pandemia del COVID-19 ha tenido repercusiones graves a nivel social y económico, donde las tendencias para los años 2021 y 2022 revelan un déficit en los puestos de trabajo, traduciéndose en mayores niveles de desocupación y subutilización de la mano de obra.
Se prevé que para el 2022 el número de personas desempleadas a nivel mundial se ubique en 205 millones de personas
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Según cifras del Banco Mundial, la tasa de pobreza mundial de los individuos que viven con menos de 1,9 dólares al día pasará del 8.4% en el 2019 a 9.1% en 2020, por lo que se estima que ente 88 millones y 115 millones de personas se ubicaran en condición de pobreza
Como consecuencia de la caída del empleo, los ingresos laborales se ven reducidos y por ende se genera un aumento de la pobreza.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Entre los desafíos que el COVID – 19 ha generado en la formación profesional, uno de los más relevantes es el de disminuir la brecha tecnológica, dado que muchos centros de formación no contaban con una plataforma y/o herramientas virtuales, se vieron rezagos en comparación con otros en los que su enseñanza es cien por ciento virtual o hibrida.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
La emergencia por el COVID-19 puso a prueba la capacidad que tienen los centros de formación profesional de acoplarse a una nueva realidad en la que las relaciones digitales son el pilar fundamental. Dados los desafíos que genera este nuevo proceso se hace crucial medir la influencia y/o resultados de la formación, buscando mejoras y dando respuestas a las necesidades de las personas y profesionales. Es evidente el cambio estructural que genero la crisis del COVID-19 en la formación profesional, por lo que identificar las debilidades de los programas formativos, así como medir el impacto de estos durante y después de la crisis, ayudaría a tomar decisiones en función de mejorar y ajustar los programas formativos.
4.7. Algunas lecciones aprendidas
La información es la base de la evaluación
01
La evaluación para mejorar los sistemas de formación
02
Evaluación con métodos prácticos y flexibles
03
Evaluación para responder a la demanda de competencias
04
Evaluación de impacto: un enfoque flexible para la economía informal
05
La información es la base de la evaluación
Si se concibiera una pirámide imaginaria sobre la práctica de la evaluación, en su base estarían los datos y la formación
en el siguiente nivel los indicadores y los sistemas de monitoreo y seguimiento
y en la cúspide, la evaluación de impacto.
La cuestión clave es cómo hacer viables las evaluaciones e ir generando una cultura de evaluación que cubra toda la pirámide.
La evaluación para mejorar los sistemas de formación
Juega un importante rol para contribuir a crear y mejora sistemas y políticas de formación y desarrollo de competencias. Si un país está tratando de desarrollar una política coherente en materia de desarrollo de sus recursos humanos, las evaluaciones deberían ser capaces de generar insumos para contribuir con ese objetivo.
La evaluación
La evaluación para mejorar los sistemas de formación
Se deben aplicar para el ajuste o modificación de programas, en la reformulación de políticas, en el diseño de soluciones innovadores para responder y anticiparse a las necesidades de formación. Esto puede resumirse en una política de evaluación coherente con una visión de política pública en materia de formación.
Los resultados de las evaluaciones
Evaluación con métodos prácticos y flexibles
Una clara orientación práctica debe guiar la planificación de la evaluación. Las buenas evaluaciones no tienen que ser extensas, complejas, ni costosas. No es necesario acudir a enfoques ortodoxos y sofisticados, que pueden resultar inútiles y suelen ser demandantes en recursos.
Evaluación con métodos prácticos y flexibles
En la evaluación de impacto
Se debe tratar de utilizar una variedad de métodos que se adapten al contexto, al tipo de programa. A los objetivos trazados y a las poblaciones beneficiarias. El uso de herramientas, como los cuestionarios y las entrevistas, facilita y flexibiliza la evaluación.
Evaluación para responder a la demanda de competencias
Es útil para orientar la formación como una respuesta a la demanda.
La evaluación de impacto
Evaluación para responder a la demanda de competencias
Cuando se trata de evaluar la inserción laboral, una forma es determinar qué fracción de los participantes ha encontrado un empleo o está desempeñando una actividad productiva relacionada.
La conclusión de que solo una pequeña fracción de los participantes está ocupada en la formación relacionada, es un indicio de orientación por la oferta más que de respuesta a la demanda y de que la formación no está articulada con los requerimientos específicos del sector productivo.
Evaluación para responder a la demanda de competencias
Otra forma de evaluación es considerar las preferencias de los empleadores al contratar y su actitud frente a los servicios de formación.
Evaluación para responder a la demanda de competencias
Evaluación de impacto: un enfoque flexible para la economía informal
Es un área donde es necesario aplicar la gama más amplia de métodos de evaluación; un análisis ortodoxo de los impactos, la comparación de grupos con y sin formación en un diseño experimental o semi-experimental es difícil de imaginar.
La economía informal
Evaluación de impacto: un enfoque flexible para la economía informal
En la economía informal deben ser flexibles en el sentido de obtener al máximo provechos de los enfoques cualitativos.
Los métodos de evaluación
Evaluación de impacto: un enfoque flexible para la economía informal
La técnica de estudios de caso y una buena serie de pregunta de evaluación, son una aproximación válida para conocer los factores de éxito de las acciones de formación en la economía informal.
Evaluación de impacto: un enfoque flexible para la economía informal
Deben considerarse diferentes fuentes y técnicas para recolectar información, tales como los referentes de la comunidad; también se puede realizar un seguimiento de los participantes a través del tiempo.
En estos casos la existencia de registros y testimonios e instrumentos autogestionados por los propios participantes juegan un papel crucial.
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
1. Diseño de la evaluación de impactos de las políticas de formación continua. MTEySS. Argentina, 2010.
2. Evaluación para el desarrollo social: aportes para un debate abierto en América Latina. INDES-BID, 2006.
3. La evaluación de impacto en la práctica. Banco Mundial, 2011.
4. Guía para la capacitación basada en TIC para MIPYME. OIT/Cinterfor, 2011.
5. Efectos e impactos de los programas intensivos en el empleo. OIT, 2003.
1. Sistematización de la experiencia SIMAPRO del sector frutícola. Interfases. Chile, 2010.
2. Evaluación estratégica sobre el desarrollo de capacidades. IDRC, 2008.
3. Evaluaciones de Impacto de los Programas de Capacitación Laboral: la experiencia internacional y de Chile 2007.
4. Informe de evaluación. Modernización de la industria azucarera en México. Aplicación SIMAPRO, 2010.
Gracias