Una propuesta para evaluar la eficacia de estrategias de emprendimiento comunitario enmarcada en  el caso de Providencia, Santiago de Chile.

Para el estudio de este caso específico, se entiende por “Estrategia de Emprendimiento Comunitario” a  la acción de ejecutar una intervención urbana que fomenta la participación ciudadana en pro de la activación económica, ofreciendo medios facilitadores para la inversión y una plataforma comercial para los emprendedores comunitarios. Esta estrategia busca generar puestos de trabajo y la comercialización de productos y servicios.

El ejercicio de evaluación acá descrito es planteado para analizar la eficacia1 de las Estrategias de Emprendimiento Comunitario de Providencia, comuna de Santiago de Chile para lograr sus objetivos.

Utilizo como apoyo la teoría evaluativa del sociólogo y evaluador Michael Quinn Patton (2011) conocida como Evaluación Orientada al Uso (en inglés, Utilization-Focused Evaluation)Para Patton, el punto de partida de un ejercicio evaluativo es acordar claramente quiénes son los usuarios primarios del proceso y de los hallazgos y cuáles serán los usos principales para esa información. Para el caso acá descrito, los usuarios primarios de la información sobre qué ha logrado la estrategia son los mismos organizadores de las Estrategias de Emprendimiento Comunitario, quienes utilizarían los hallazgos para mejorar las próximas acciones a tomar. Con esa claridad, se procede a definir las preguntas de evaluación derivadas de  los objetivos iniciales bajo los cuales nacen las estrategias según sus creadores y cuyas respuestas servirán a los usos de los usuarios primarios.

Preguntas evaluativas feria de emprendimiento

En base a las preguntas evaluativas, genero indicadores que buscan dar señales de cambios cuantitativos y cualitativos a través del tiempo. Para que los indicadores puedan servir como herramientas para evaluar de la manera más eficiente y efectiva posible los resultados que estas estrategias podrían tener, busco formular indicadores como “alcances”, definiendo “alcance” como el cambio en comportamientos, relaciones, acciones, actividades, políticas o prácticas de un individuo, grupo, comunidad, organización o institución2 como resultado de las Estrategias de Emprendimiento Comunitario. Entonces, cada indicador define en quién o quiénes las estrategias pretenden incidir para que modifique cuál comportamiento.

Según Patton, los indicadores son influenciados por una gran variedad de factores, incluyendo los recursos disponibles para operacionalizarlos3, la técnica de medición, los lapsos de tiempo, la disposición del personal que participa en la evaluación y la naturaleza de las decisiones que se hacen con los resultados. Por ende, es sumamente importante tener esa claridad descrita arriba sobre quienes van a usar la información recolectada y para qué.

Por lo tanto, tendríamos el siguiente esquema de indicadores/alcances:

Desde que se comenzó a implementar la estrategia, la incidencia cuantitativa y cualitativa de:

  • Emprendedores participantes, que no cuentan con locales comerciales, ofreciendo sus productos en las ferias de emprendimiento de esta estrategia.
  • Emprendedores ofreciendo sus productos al mercado por medio de su participación en las ferias de emprendimiento.
  • Negocios formales que surgieron luego de participar en las ferias de emprendimiento.
  • Negociaciones entre emprendedores y empresas comercializadoras de productos a mayor escala.
  • Emprendedores postulándose para participar en determinado lugar.

Entonces, habrá que operacionalizar3 estos indicadores/alcances en un proceso sistemático de monitoreo y reflexión para tener datos para evaluar la eficacia de la estrategia y, además, tomar acciones para mejorarla y potenciarla.

El Urbanismo Táctico es una herramienta de planificación territorial, aunque aun no reconocida por los instrumentos de planificación territorial (IPT), pero innovadora y con mucho potencial,  que insta a la participación de los distintos sectores ciudadanos y busca en muchas de sus estrategias ser un motor de cambio social; en el momento de planificar las intervenciones muchas veces resulta difícil predeterminar objetivos específicos que se podrían lograr y por ende tampoco predefinir los alcances que podrían surgir como consecuencia de la intervención. Esto se debe, en parte, a que estas intervenciones son emplazadas en ambientes complejos y dinámicos cómo lo son los espacios públicos, dónde difícilmente se pueden establecer relaciones de causa y efecto acertadas hasta que emergen los resultados. Sin embargo, resultaría de suma utilidad poder monitorear los alcances que se van obteniendo a lo largo de la implementación de la estrategia y con esto, generar una visión del impacto espacial y social que aporta la intervención, siendo todo esto un cúmulo de datos que pueden ir trazando la “carta de navegación” con las posibles rutas  hacia las cuales la estrategia podría direccionarse.

De manera que, utilizo como  apoyo el método evaluativo de la “Cosecha de Alcances”4 basado en la Evaluación Orientada al Uso y desarrollado por el evaluador independiente Ricardo Wilson-Grau5. A diferencia a  métodos evaluativos más convencionales, la Cosecha de Alcances no mide la implementación de actividades y el logro de objetivos predefinidos sino se enfoca en recoger evidencia de lo efectivamente logrado, planeado o no, y luego y da una mirada hacia atrás para determinar cómo la  intervención  influyó en esos alcances. En esta modalidad, los usuarios que necesitan los hallazgos para la toma de decisiones, participan también en el proceso evaluativo facilitando su apropiación del proceso y los hallazgos del ejercicio evaluativo.

Un ejercicio evaluativo bajo la estructura de la Cosecha de Alcances  está estructurado con los pasos descritos a continuación y ejemplificados bajo el escenario de las Estrategias de Emprendimiento Comunitario de Providencia en Santiago de Chile.

Luego de que los usuarios de la información final (los usuarios de la cosecha) y las personas que se dedicarán a recaudar la información (cosechadores) identificaron en conjunto las preguntas útiles para guiar la cosecha y definen el nivel de detalle que se pretende alcanzar y las mejores fuentes de datos (proceso descrito en la primera parte de este ejercicio) , se procede  a:

Revisar documentación  y elaborar borradores de las descripciones de alcances: En esta etapa, se revisan informes, evaluaciones previas, desplegados de prensa y cualquier información adicional en archivos para identificar alcances y qué acciones de las Estrategias de Emprendimiento Comunitario contribuyeron a ellos. Una buena fuente de datos son informes que la Municipalidad de la Comuna de Providencia u otras organizaciones hayan elaborado antes, durante y posterior a la puesta en marcha de algunas Estrategias de Emprendimiento Comunitario, evaluaciones previas, noticias en medios de comunicación y otros documentos que de alguna manera evidencien los alcances de estrategias realizadas anteriormente.

En el caso en el que no exista información escrita, se pasa al paso siguiente donde se deberán reunir datos primarios de otras fuentes incluyendo los actores sociales que pudieron haber experimentado cambios, considerando como actores sociales a todas las personas que asisten y participan de las Estrategias de Emprendimiento Comunitario, es decir, a comerciantes, organizadores y público en general. Con esta información, se elabora una explicación inicial de el  o los alcances y de la contribución que las Estrategias de Emprendimiento Comunitario tuvieron sobre estos alcances.

Para tratar de describir el alcance debe de indagarse quién ha modificado qué, y cuando, y dónde. Y para identificar la contribución de las Estrategias de Emprendimiento Comunitario para lograr este o estos alcances, se podría buscar dar respuesta a la pregunta ¿Cómo contribuyeron las Estrategias de Emprendimiento Comunitario  a esa transformación?

Las respuestas pueden ser breves o detalladas siempre que presenten evidencia verificable sobre estas dos dimensiones  de un alcance. Los alcances suelen ser formulados en unas pocas frases.

Lograr que los agentes de cambio participen en la revisión de borradores y en la identificación y formulación de otros alcances: Por agentes de cambio se entiende a los individuos u organizaciones que llevan a cabo la intervención urbana y que así contribuyen al alcance. En este caso, fue la Municipalidad de la Comuna de Providencia quien a partir de 2013 fomentó a través de una ley, las ferias de emprendimiento, como parte  del Programa de Emprendimiento y asignó a la Dirección de Desarrollo Comunitario (DIDECO) para dirigir esta iniciativa, por medio  del  Departamento de Desarrollo Económico Local desde  su Oficina Municipal de Emprende Providencia. En este paso, los cosechadores consultarían directamente a la Oficina Municipal de Emprende Providencia  la información extraída de la documentación y proveerían datos adicionales sobre los alcances y cualquier otra dimensión que se consideró esencial  para realizar una descripción completa. A lo largo de este proceso, ambas partes deben revisar rigurosamente cada alcance  para verificar su especificidad y coherencia, es decir, debe de existir  una clara correlación entre el alcance y la manera cómo el agente de cambio (La Municipalidad de Providencia) contribuyó a que se generara dicho alcance. La descripción de la contribución, importancia y demás dimensiones deben resultar lógicas y creíbles.

Corroborar una masa crítica de alcances:  Este paso busca mejorar la confiabilidad de los datos obtenidos y enriquecer  la comprensión del cambio y sus dimensiones. Tanto los usuarios de la información final como los cosechadores deciden cuales alcances deben ser verificados o profundizados, buscando asegurar que el conjunto de alcances tenga la credibilidad necesaria para sus usos. Para fundamentar las descripciones de los alcances seleccionados los cosechadores obtienen retroalimentación  de personas que los corroboren, independientes de los usuarios finales de la cosecha o de los agentes de cambio en caso sean distintos.

Por ejemplo, uno de los objetivos de las  Ferias de emprendimiento es “Ser un punto de arranque donde los emprendedores surjan al mercado como productores y comerciantes a mayor escala”. Para evaluar en qué medida se haya logrado ese objetivo, se plantea la pregunta de evaluación: ¿De qué forma los organizadores de las ferias promueven la participación de empresas comercializadoras de productos a mayor escala con el objetivo de promover negociaciones entre emprendedores y empresarios? Entonces, una buena fuente para conseguir una tercera opinión calificada sobre alcances logrados relacionados con este objetivo, para corroborar si es que estas Ferias generan negociaciones entre emprendedores y empresarios, serían las empresas comercializadoras de productos a mayor escala que buscan en las Ferias de Emprendimiento oportunidades de negocios.

Aunque el propósito principal de recolectar los testimonios de corroboradores independientes consiste en establecer el grado de verdad y exactitud de la descripción de un alcance y la contribución de un agente de cambio a ello, los testimonios también se consideran importantes para proporcionar una comprensión más completa y profunda del alcance y de cómo aconteció.

Analizar e interpretar la información recolectada:  Una vez finalizadas y fundamentadas las descripciones de alcances, los cosechadores las organizan para responder las preguntas de evaluación derivadas de  los objetivos iniciales bajo los cuales nacieron las estrategias según sus creadores. Por ejemplo, para responder a la pregunta En qué medida los lugares donde se emplazan las ferias son lugares atractivos para los productores/comerciantes, para la comercialización de  sus productos? los cosechadores podrían clasificar los alcances de acuerdo a la ubicación de los lugares donde se emplazan las Ferias de Emprendimiento, número de productores/comerciantes que muestran interés en participar con  sus negocios en determinado lugar, y tipo de producto que impulsa cada uno de productores/comerciantes (arte, alimentos, textiles, etc.), que muestran interés en participar en determinada ubicación.

Este proceso de organizar a la información se entiende como el de análisis. Cuando el análisis se aplica a grandes cantidades de alcances (más de 40-50) o cuando hay que clasificarlos de múltiples maneras (cuando son más de 10-12 categorías), es útil procesar las descripciones y clasificaciones correspondientes en una base de datos. En Microsoft Excel o Access, por ejemplo, se puede luego generar gráficas y tablas que organicen los datos con distintos criterios. Dicho análisis, además, permite construir múltiples historias de cambio.

El análisis de los alcances permite evidenciar los resultados de una intervención. En ejercicios de monitoreo sencillos, dicho análisis puede satisfacer las necesidades de los usuarios. Sin embargo, cuando haya una dimensión evaluativa, las preguntas útiles y sus respuestas abordan no sólo ¿qué logramos? y ¿cómo? sino la pregunta “¿y entonces qué?”.

La forma de interpretar los alcances esta directamente relacionada con la manera como se emplearán los hallazgos. Esto afectará  la forma cómo serán respondidas las preguntas útiles. Las interpretaciones podrán hacerse exclusivamente a la luz de los intereses de los usuarios de la información final,  es decir, los usuarios de la cosecha, pero también se podría permitir un radio de alcance mayor y generar un panorama más receptivo para los resultados, permitiendo a los cosechadores aplicar sus conocimientos teóricos o juicio profesional y experiencia para entender los alcances.

Apoyar el uso de los hallazgos: Una cosecha de alcances exitosa permitirá a los cosechadores llegar a conclusiones razonables y partir de evidencia sólida para  apoyar la toma de decisiones o acciones. Sin embargo, para los usuarios de la cosecha, los hallazgos serán sólo uno de muchos factores importantes para determinar qué decisiones o acciones tomarán. A menudo, tales consideraciones son confidenciales o muy delicadas y por ende, desconocidas para los cosechadores.

Por consiguiente,  los cosechadores pueden recomendar puntos de discusión en torno a los hallazgos de la cosecha pero rara vez pueden emitir recomendaciones para acciones a tomar. No obstante, los cosechadores usualmente están en una posición privilegiada para apoyar que los hallazgos se conviertan en acción, lo cual pueden hacer por medio de informes, talleres, asesorías o facilitación de procesos de toma de decisión.

 

1 Eficacia: capacidad de lograr el efecto que se desea o se espera
2 Esta definición de alcance fue desarrollada por el Centro Internacional de Investigaciones para el Desarrollo (IDRC, por sus siglas en inglés) de Canadá en 2001 y se utiliza ampliamente en programas de desarrollo y de cambio social. Véanse Earl, S., Carden, F., & Smutylo, T. (2001). Outcome Mapping: Building Learning and Reflection into Development Programs. Ottawa: IDRC (disponible en http://www.idrc.ca/en/ev-26586-201-1-DO_TOPIC.html) y Outcome Mapping Learning Community en http://www.outcomemapping.ca).
3 Según Patton, operacionalización es encontrar la manera de medir un resultado deseado.
4 A lo largo de los últimos ocho años, la Cosecha de Alcances se ha utilizado para monitorear y evaluar los logros alcanzados por más de 400 redes y asociaciones, ONGs, grupos de base, institutos de investigación, gobiernos locales y agencias gubernamentales en 143 países en los siete continentes.
5 Ricardo Wilson-Grau es un evaluador independiente y preside la empresa Ricardo Wilson-Grau Consultoria em Gestão Empresarial Ltda. Desde 2003, ha evaluado tres docenas de redes internacionales de cambio social y programas de desarrollo de proveedores de fondos europeos y norteamericanos.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s