Evaluación MRMRMR

29 Marzo 2022

Evaluación Integral del proyectoMRMRCH

Lecciones aprendidas

Comentarios y preguntas

Uso de la evaluación

Recomendaciones

Hallazgos y conclusiones

Contexto

Lo que veremos hoy

¿qué nos trajo acá y cómo llegamos?

Contexto de la evaluación

2018Agenda Nacional de Evaluación

Mar - May 21PdE: formulación de preguntas, criterios y objetivos, delimitación del alcance.

Abril 22 en adelanteValoración de recomendaciones, elaboración de Respuesta de Gerencia y Plan de Acción.

Uso

Ejecución

Jun 21-Mar 22Ejecución trabajo de campo, sistematización información, elaboración de informe final, difusión.

Diseño

Dic 20-Feb 21 Indetificación del Equipo Técnico y Directivo, mapeo de actores y definición del objeto.

Línea de tiempo

Preparación

Evaluar el diseño, ejecución y resultados del Proyecto MRMRCH para su rendición de cuentas y réplica en otras regiones basado en evidencia

Valorar el logro de los objetivos del proyecto en sus fases de Inversión/ejecución y Operación

Analizar la compatibilidad del proyecto con otras intervenciones públicas

Determinar si el diseño del proyecto es congruente con la problemática y las necesidades de la población meta

Generar recomendaciones para la gestión del proyecto y su replicabilidad

Objetivos específicos

Objetivo General

objetivos de la evaluación

Lorem ipsum dolor

Evaluar el diseño, ejecución y resultados del Proyecto Mercado Regional Mayorista de la Región Chorotega para su rendición de cuentas y réplica en otras regiones basado en evidencia

-Abastecedores, concesionarios, desabastecedores- OSC: Pob. no beneficiaria-Instituciones

Población

Tipo de Evaluación

- Formativa/Sumativa- Integral- Mixta- Durante

Cobertura geográfica

Regional Ch.UpalaCóbano, Lepanto y Paquera

Temporalidad

2008-2021 (I-S)

alcance de la evaluación

¿En qué grado el diseño del proyecto permite dar respuesta a las necesidades de la población beneficiaria identificadas en la Fase de Preinversión??

Pertinencia

Coherencia

¿Cuál es la compatibilidad del proyecto con otras acciones a nivel nacional, internacional e institucional?

Entrevistas17

GruposFocales4

Análisis document.320

Encuestas

Eficacia

Técnicas

Criterios y preguntas de la evaluación asociadas

Sostenibilidad

¿En qué medida se han logrado los objetivos del Proyecto en sus diferentes fases (Inversión/Ejecución y Operación?

¿Qué aspectos de sostenibilidad ha identificado para el proyecto?

criterios, preguntas y técnicas

• ¿Qué se encontró?

Hallazgos y conclusiones

¿En qué grado el diseño del proyecto permite dar respuesta a las necesidades de la población beneficiaria identificadas en la Fase de Preinversión?

Pregunta del criterio

Conceptualización de pertinencia del diseño

Conceptualización del proyecto (problema, objetivos, población afectada, gobernanza, lógica causal, entre otros)Guía metodológica general para la identificación, formulación y evaluación de proyectos de inversión pública (GIP)Guía de Evaluabilidad: parámetros y variables (diagnóstico, estrategia programática, lógica causal, diseño de SyE)

Pre inversión: pertinencia

Centradas en la producción agro y Gte. No profundiza causas capacidades de los productores. Doble rol.

Existencia

Causas y efectos

Consenso

Construido a partir de las necesidades

Concreta

Definición

Problema: "sistema de abastecimiento, distribución y comercialización...deficiente",

A. Diagnóstico (2008)

Problemática

Cultural

• Desde la perspectiva de las personas consultadas, este estudio era necesario para un proyecto de este alcance

A. Diagnóstico (2008)

• En términos generales tiene las variables que integran un diagnóstico: antecedentes, problema, dimensión, población afectada

Actores

• Existió un estudio de actores: posición ante el proyecto. 96% apoyó el proyecto

(Grupo focal 3, comunicación personal, 23 de julio 2021)

(Informante 1, comunicación personal, 06 de julio 2021).

"La gente no creía que nosotros fuéramos a construir el proyecto, ellos nos decían vean cuando tengan el proyecto construido entonces vienen y me dicen y entonces yo empiezo, pero hasta que no lo vea construido yo no siembro una mata más...El tema de la incredulidad no es solo para los productores, también estaba en los mismos compañeros del sector público…”,

"No hay tradición de asociatividad, son muy pocas las organizaciones que lo tienen… no se contempló el contexto donde iba a estar enclavado el mercado"

• Incidencia en las fases del proyecto

Objetivos específicos

Identificación de 4 ≠ OE. Similitud entre ellos indistinto de la fuente.No son lo suficientemente exhaustivos para alcanzar el OG.Los OE no abordan las estrategias para alcanzar el OG (el cómo se obtendrá).

3.

B. Estrategia Programática

1.

Alternativa de solución

Se entendió de forma diferente lo que correspondió al abordaje de "selección de mejor alternativa" de solución del problema.Se realizó la "selección de la mejor alternativa" únicamente para la causa relacionada con infraestructura (ubicación).

2.

Objetivo General

Identificación de 5 ≠ OG. Tema clave en 4 OG fue "sistema eficiente" Congruencia entre binomio problema-OGClaridad e integralidad:-Mdo Mayorista y destino.-Dos grandes componentes.-Intrasectorial

B. Estrategia Programática

Pre inversión

Gobernaza: actores y roles

Organización y estructura administrativa

Descripción sucinta.Siguientes fases se agrega info pero no lo sufienciente en cuanto a definición de responsabilidad según actor (PIMA)Matriz "v13"

Rol participativo

Planificación con actores nacionales y regionales

Población objetivo

Delimitación general.Caracterización parcial(Prioridad de entrada /fase Ejecución)

-Ausencia de planificación de ciertas actividades y productos necesarios (integrales)-Concentración componente infraestructura y operación (izq) / Concentración componente Gestión de OyD (der)-Concentración actividades y productos por parte del PIMA-Baja congruencia entre lo que se planifica y lo que el proyecto espera lograr

C. Lógica Causal

Efectos e impacto

Congruencia entre los efectos e impactos planificados.

Productos

7/8 servicios relacionados con la operación de la infraestructura

Actividades

Congruencia entre actividades y OG.Mapa procesos (estratégicos / operativos)

Insumos

Normativa, humanos, financieros, estudios, etc

D. Diseño de SyE

Sistema: Existen insumos que apuntan a facilitar la construcción de un sistema de seguimiento (indicadores de resultados, ficha de indicadores), no obstante, hay vacíos importantes: responsables, periodicidad, uso de la información, etc.

grado alto: 81 a100 grado medio: 41 a 80

Diagnóstico y Estrategia programática: grado alto. Modelo lógico y Seguimiento y evaluación: grado medio.

76%

Global grado medioel diseño del proyecto es permitenente para dar respuesta a las necesidades de la población (integra los elementos básicos de la planificación). Existen elementos que restan calidad al diseño.

Planificación del proyecto

Pregunta de evaluación¿Qué tan compatible es el proyecto con otras acciones a nivel internacional, nacional e institucional?

Conceptualización del Coherencia Grado en que los objetivos y el diseño de la intervención están vinculadas a accionesInternacionalesNacionalesInstitucionales

El proyecto aporta al alcance de los ODS al impulsar la Seguridad Alimentaria y nutrición, productividad económica de la región y sinergias institucioanales para "no dejar a nadie atrás"

1. Internacional

Complementaridad

2. Nacional

Pob. Objetivo (atención necesidades integral)

Coordinación y comunicación (sinergias /eficiencia)

Objetivo del proyecto (fin común)

20 PPE 2010 al 2018 (OG, OE, comercialización agropecuaria / compromisos conjuntos entre instituciones)Ámbitos temáticos relacionados con el OG: 1. Seguridad alimentaria y nutricional; 2. Desarrollo agropecuario y rural;3. Planes de desarrollo nacional; 4. Ambiente (cambio climático, biodiversidad) 5. Empleo, producción y financiamiento del desarrollo

45% alineación directa

(Informante 4, comunicación personal, 31 mayo 2021)

"El proyecto fue catalogado en las Mesas de Trabajo [por Guanacaste] como transversal… el INA adaptó la oferta de productos que tenían a las necesidades del mercado: buenas prácticas agrícolas, buenas prácticas de manufactura, atención al cliente, etc... Senara: la ampliación del canal del sur para habilitar más hectáreas para siembra de productos no tradicionales para llevarlos al mercado, esto para facilitar el trabajo del MAG, del INDER para que den asistencia técnica a los productores y se produzca lo que el mercado necesita. Ahí se denota la coherencia que tiene el proyecto del Mercado"

Compromisos en PEI y POI

Compromisos internacionales

Compromisos en PPE

Coherencia del proyecto

Hay un "engache" entre el proyecto y los compromisos internacionales y nacionales.No obstante, la mayoría de los compromisos institucionales (visualizados mediante los instrumentos de planificación), no reflejan un "enganche" con el proyecto. - Afectación al cumplimiento del OG.

12% alineación directa, 86% indirecta

Vínculo directo únicamente con los PEI y POI del PIMA. *POI regionales/Evaluaciones PEI o POI: Inder, Infocoop, INA.

3. Institucional

¿En qué medida se han logrado los objetivos del proyecto en sus diferentes fases?

Pregunta del criterio

Conceptualización de eficacia

Logro de los objetivos de cada fase: - Planificado vrs ejecutado - % de cumplimiento de metas 2021 - % opinión positiva de personas entrevistadas

Inversión-Operación: eficacia

Aprobación expedita de las acciones relacionadas con el financiamiento externo.Viabilidad completa del proyectoConstrucción y equipamiento(Mayor canalización de recursos financieros) Gestión de la O y D.

Licitación

Licitaciones para ambos componentes(fondo y forma)

Financiamiento

Diseño construcctivo(fondo y forma)Espacio participativo para definir el dimensionamiento.

Diseño

Inversión

Trasciende esta fase

SuperávitTiempo

Visión social (contexto cultural) trasciende esta fase. Comisión + 2 consultorías con los productos aprobados¿Qué se encontró? Pocas organizaciones presentaban las capacidades para llegar a ser concesionarios. La preparación de las organizaciones requieren de más recursos (legales, humanos, financieros y temporales) y adaptados a los elementos socioculturales de la zona de alcance.

Gestión de oferta y demanda

Ejecución según en forma y fondo de acuerdo al diseño y lo licitadoPIMA

Ejecución

Construcción y equipamiento

90%

65%

Opinión positiva de los resultados (entrevistas y GF)

Aporte de la Comisión MRMRCH En la práctica para alcanzar los efectos se requiere de todos los actores.

Metas lb

Variables técnicas (infraestructura y dinámica propia del PIMA)

Metas pndip

Resultados (1 - 2 años)

Coyuntura: pandemia contracción de la economía de la región.

Operación

¿En qué medida el proyecto es sostenible?

Pregunta del criterio

Conceptualización de sostenibilidad

Factores que inciden en la operación del proyecto:- Centrales - Medios - Transversales

Operación: sostenibilidad

Baja comunicación y difusión de servicios a todos los beneficiarios. Seguimiento: No existe un sistema integral que aborde los avances del proyecto, metas e indicadores inconsistencias. Desde la parte jerárquica y de manera integral.Participación de beneficiarios: apropiación, ser parte del mismo, , interés del avance.Tecnología: ambiente, comercio ectrónico, innovación tecnológica (red de frío). seguridad alimentaria

Factores medios

Apoyo político varianteCapacidad institucional afectada (apoyo político, apropiación, liderazgo y recursos)Diferentes visiones de quién debe ser el que ejerza el liderazgo del proyecto y su Comisón (OG y competencias institucionales)Articulación de actores: coherencia "pasiva" en articulación y comunicación del proyecto. Proyecto Integral.

FActores centrales

Variaciones en el entorno: pandemia, normativa fiscal, situaciones de carácter ambiental (sequía)Sociocultural (asociatividad, abordaje laboral- institucional)

Factores transversales

Sostenibilidad

MRMRCH (operación)¿Cómo mejorar?

Recomendaciones

Análisis de las recomendaciones

Ejecución del Plan de Acción

Seguimiento a las recomendaciones

Formulación RdG y PdA

¿Y cómo proceder con las recomendaciones?

Construir e implementar un sistema de seguimiento y evaluación

Fortalecer el modelo de gobernanza

Ajustar la estructura programática y causal del proyecto

Continuar el fortalecimiento de la gestión de OyD del proyecto

Generar espacios de diálogo y participación entre actores

-Jerarcas y cuerpos directivos, Comisión y Secretarías de Planificación

-Comisión MRMRCH (regional), SEPSA (nacional).-Secretarías de Planificación de otros Sectores

Ajustar la estructura programática y causal del proyecto

Fortalecer el modelo de gobernanza

2.

-Sensibilización política próx Gobierno.-Consolidación figura del liderazgo y re-definición de actores (nacional, regional / Comisiones, espacios de coordinación regional).-Oficialización y comunicación del modelo de gobernanza.

1.

-Reformular la definición de Pob. Objetivo.-Congruencia de la lógica causal utilizando el modelo de GpRD (objetivos específicos y niveles).-Ajuste criterio de priorización de entrada.

Generar espacios de diálogo y participación entre actores

Construir e implementar un sistema de seguimiento y evaluación

4.

3.

-Activar los espacios de realimentación. -Incentivar soluciones y proceso de mejora continua desde las voces y decisiones (perspectiva participativa y de desarrollo regional).-Estrategia de comuniciación y difusión para atraer a los agentes económicos.-Apropiación política, institucional y población objetivo.-Ley de Desarrollo Regional.

-Construcción de un sistema a partir de los ajustes de la estructura programática, lógica causal, ODS y modelo de gobernaza. -Aprovechamiento y experiencia de SEPSA y COREDES, y difusión hacia la totalidad de actores. -Operacionalización del sistema: pasos y mecanismos formales.-Encuesta de satisfacción diferentes usuarios.

Continuar el fortalecimiento de la gestión de OyD del proyecto

5.

-Establecimiento de un proceso permanente de difusión y promoción sobre el proyecto. -Identificación integral del perfil que presenten los distintos grupos que conforman la población objetivo del proyecto (oferentes y demandates)-Fortalecimiento de los servicios de capacitación y asesoría . -Fortalecimiento de la coordinación con el Sistema de Banca para el Desarrollo, tanto con sus servicios técnicos como financieros.-Inventario y programación de recursos de las diferentes instituciones que participan y tienen responsabilidad en el marco de la operación.

Lorem ipsum dolor sit amet, consecter adipiscing elit, sed diam nonummy

¿Qué extraer para otros proyectos?

visión

Entrada diversificada (%)Caracterización de los agentes económicos desde la preinversión

Social

01

línea

Tecnología y ambiente en su operación (producción y comercialización)

Tecnología y ambiente

02

03

en la práctica

Internacional, nacional e institucionalInventario de capacidades institucionales

Coherencia

central y regional

Representación y negociación de los distintos sectoresLey de Desarrollo Regional

04

Liderazgo

estudio

Sumar este tipo de estudio a proyectos con estrategia de atención de distintos agentes económicos

Sociocultural

05

estrategia

Estrategia en cuanto ubicación, tamaño y tecnología

Participativa

06

05

Réplica y +

¡Muchas gracias!