Métodos para evaluar el impacto del sector cultural
Es un proceso de generación de conocimiento, y que sirve para justificar y comunicar la agregación de valor, se crea a partir de la recopilación, del análisis y de la interpretación de información que se recolecta para comprender una intervención cultural. De esta manera, la evaluación permite apreciar objetivamente la eficacia de una intervención. Una evaluación retrospectiva y perspectiva a la vez.
¿Por qué evaluar?
Medir resultados/el efecto en los beneficiarios, rendición de cuentas (Participación ciudadana, transparencia…), justificar el uso de recursos, mejorar el desempeño (eficacia y eficiencia) de la administración y gestión cultural, ayudar a la toma de decisión (parar, continuar/generalizar, reorientar, replicar un dispositivo). La evaluación permite identificar bajo qué condiciones esto puede ser posible y ayudar a la decisión en caso de recursos limitados
(ej. elegir el proyecto que genera mejores resultados con el mismo nivel de recursos implementados).
Los determinantes del tipo de evaluación a elegir:
Por qué se necesita esta evaluación? ¿A qué va a servir?
Objetivo: ¿Qué me interesa evaluar?
Timing: ¿En qué momento es planificada la evaluación? ¿Puede intervenir antes de que la acción haya comenzado?
El número de participantes de un proyecto. En el caso de la evaluación de impacto se necesita una muestra suficientemente grande para poder identificar un cambio estadísticamente significativo.
Medios financieros y personales: ¿Se cuenta con un presupuesto suficiente para la evaluación? ¿Con personal capacitado para darle seguimiento a la evaluación?
La disponibilidad de información: ¿Se cuenta con una base de datos fiable? ¿Hay un seguimiento de indicadores adecuado que puedo poner a disposición de los evaluadores?
Para ir conceptualizando, el punto de partida de la evaluación es definir la teoría del cambio que establece la secuencia de elementos (insumos, actividades, producto, resultado intermedio, etc.) y que contribuyen a alcanzar los impactos esperados. Esto permite definir las preguntas de evaluación y cómo debe darse el impacto que se buscamos medir en las maneras de hacer del ecosistema cultural y creativo.
La característica principal de la evaluación de impacto es que se centra en el efecto causal de la intervención. Es decir, el cambio que se generó ÚNICAMENTE debido a la intervención que se realizó.
¿El impacto observado es únicamente atribuible a la intervención?
Dado que no es posible observar a una misma persona en 2 momentos diferentes (con y sin intervención), no es posible saber qué hubiese pasado si esa persona nunca se hubiese beneficiado de la intervención.
La simple comparación antes y después y entre beneficiarios y no beneficiarios, no es suficiente para dar cuenta de un impacto. Por ello, el problema fundamental de la evaluación de impacto es de construir un “contrafactual” /grupo de comparación plausible o público objetivo.
Técnicas de evaluación
1. RCT: consiste en elegir aleatoriamente las personas que van a beneficiar y que no van a beneficiar de la intervención. De esta manera (y debido a la ley de grandes números), la diferencia observada entre los dos grupos es el impacto y es únicamente atribuible a la intervención. Inconveniente: se necesita una muestra suficientemente grande, y poder intervenir antes de que el proyecto comience.
2. Doble diferencia: es la diferencia entre los beneficiarios y no beneficiarios antes y después de la intervención. Debemos tener cuidado al asumir que en la ausencia de la intervención la trayectoria de los no beneficiarios hubiese sido paralela a la de los beneficiarios. No es necesario intervenir antes de la acción o actividad cultural y/o creativa, pero se necesita un buen seguimiento de indicadores y esto lo hace más entretenido aún!
3. Matching: se trata de construir un grupo de comparación/gemelo al grupo beneficiario de la acción sobre la base de características observables. Inconveniente: se necesita una base de datos con características individuales y una muestra importante para poder encontrar estos “gemelos”.
4. Regresiones discontinuas: se trata de buscar un grupo de comparación entre la población cercana a un umbral de elegibilidad específico, la edad necesaria para beneficiarse de una política cultural por ejemplo. La hipótesis es que las personas cercanas a este umbral no beneficiarias tienen características cercanas a los que sí son elegibles y únicamente difieren en su participación al dispositivo.
5. Variables Instrumentales: El objetivo es encontrar una variable que explique la participación a la intervención, pero no la variable de resultado que se quiere evaluar (ingreso, salario, acceso a empleo, educación, etc.) Inconveniente: difícil de encontrar en la práctica.
Elementos a tener en cuenta.
Todos los métodos tienen sus inconvenientes. Se debe por lo tanto buscar la complementariedad.
● Importante tener en cuenta la validez externa del resultado de la evaluación. ¿Sería válido/pertinente en otro contexto, en otro territorio, con otros participantes?
● El método depende de timing, recursos, disponibilidad de información, etc. Pero sobre todo del objetivo de la evaluación.
● Si las condiciones para realizar una evaluación de impacto no son reunidas, esto no quiere decir que no haya que evaluar.
Evaluación Cualitativa
1. ¿Cuándo realizar este tipo de evaluación? Sobre todo, cuando el objetivo de la evaluación va más allá de medir los efectos directos en los beneficiarios. El interés de la evaluación es de identificar los cambios generados por la intervención en un sistema social dado.
Permite conocer todos los factores que contribuyen (o no) a los resultados. Permite conocer la apropiación de cada actor de un dispositivo.
2. Herramientas para realizar estudios de caso Los estudios de caso permiten observar un fenómeno en su realidad y complejidad (como un sistema). Se pueden utilizar encuestas, entrevistas individuales y colectivas, observaciones etnográficas. La idea es poder cruzar los diferentes puntos de vista de los actores.
Monitoreo > Objetivos y los indicadores dentro de los objetivos.
1. Tipo de indicadores y articulación con las cadenas de resultados. Si no puedo realizar una evaluación, lo mínimo que se debe tener es un buen seguimiento de la intervención. Por lo tanto, indicadores claros y en armonía con los diferentes elementos que explican la cadena de resultados de un proyecto (objetivos, recursos, realizaciones, resultados, impacto).
Existen por lo tanto al menos 3 tipos de indicadores: de pilotaje, de resultados y de impacto.
2. Características de un buen indicador Debe ser implementado desde el principio de la intervención, es simple y específico, medible, es factible recabar, es relevante con respecto a la coherencia del proyecto y tiene un período de referencia.
Buenas prácticas (factores de éxito en las evaluaciones)
Antes de comenzar la evaluación es importante aclarar por qué se evalúa, que se quiere saber, y solo hasta ese entonces se puede tener una idea de cómo se va a evaluar (en función de objetivos, medios, información disponible, registros, etc.)
● Preparar el terreno para la evaluación (planificarla al mismo tiempo que la acción o antes)
● Asociar a los actores (ser transparente, informar que se quiere evaluar y reasegurar que se trata de generar aprendizaje y no de juzgar). Esto garantiza además una buena comunicación y una buena disponibilidad de información.
● Privilegiar la complementariedad de métodos.
● Reflexionar sobre el hecho de que la evaluación de impacto no es la única manera de evaluar, depende más bien a que se ajusta mejor a las necesidades y características de la intervención.
● Y en la medida de lo posible externalizar la evaluación (garantizar independencia y credibilidad).
Estudios de casos
(Evaluaciones de impacto): https://www.povertyactionlab.org/evaluations
Recursos web:
● Banco Interamericano de Desarrollo. Portal de evaluación de impacto.
https://www.iadb.org/es/topics-effectiveness-improving-lives/evaluacion-de-impacto
● Abdul Latif Jameel Poverty Action Lab. Research Resources (Impact evaluation)
https://www.povertyactionlab.org/es/node/26?view=toc
● PNUD (Evaluation guidelines) http://web.undp.org/evaluation/guideline/
● OCDE (Key publications and documents) https://www.oecd.org/dac/evaluation/publicationsanddocuments.htm