por Victor Manuel Gutiérrez Sánchez
Introducción.
El presente trabajo analiza la evaluación realizada por Agustín Escobar y Mercedes González de la Rocha al Programa de Desarrollo Humano Oportunidades, en seguimiento al impacto obtenido en su aplicación por parte de la Secretaría de Desarrollo Social en los ejercicios 2001 y 2002, en comunidades de entre 2,500 y 50,000 habitantes, es decir, comunidades semiurbanas de diversas entidades de la República Mexicana.
En dicho documento se analiza y sintetizan los cambios registrados en los hogares y las comunidades semiurbanas que se incorporaron al programa Oportunidades en septiembre de 2001 y que fueron reanalizados en 2002, a fin te conocer los factores comunitarios, de hogar y de organización que inciden en las áreas objetivo del Programa. Los autores buscan responder a las siguientes cuestiones, ¿Cuáles son los usos que la gente le ha dado a las transferencias en efectivo que el gobierno mexicano les hace llegar a través del Programa Oportunidades? ¿Qué cambios observamos en los hábitos alimenticios, en las dietas y prácticas de consumo, en la salud y en la educación de las familias? (Escobar y González, 2003: 5)
En el citado trabajo se evalúan los cambios registrados en algunos hogares de seis comunidades semiurbanas:
Arteaga, Michoacán;
Basconcobe, Sonora;
Ébano, San Luis Potosí;
Hostotipaquillo, Jalisco;
La Ribera, Jalisco, y
Tatahuicapan de Juárez, Veracruz
Las cuales se incorporaron al programa en septiembre de 2001. No se especifica cual fue el criterio para seleccionar solamente esas seis comunidades, y tampoco se aprecia una intención de cobertura exhaustiva de las regiones del país. Las comunidades corresponden a distintos tipos, definidos según los responsables de la evaluación de acuerdo a los siguientes parámetros:
1) tamaño (2,500 habitantes hasta 35,000);
2) variables demográficas básicas (fecundidad, mortalidad y migración);
3) porcentaje de población indígena;
4) porcentaje de población analfabeta, y
5) sector económico predominante (agricultura versus manufactura).
(Escobar y González, 2003: 5)
Con la intención de ofrecer los elementos necesarios para que se efectúen las elecciones estratégicas previas a la concepción de una evaluación, por parte tanto de quienes la encargan como de aquellos a quienes compete llevarla a término, el presente análisis se ha apoyado en el enfoque pluralista de la evaluación, según el planteamiento de Eric Monier, el cual busca proponer un enfoque pluralista de la evaluación que asocie a los actores sociales a fin de incrementar credibilidad y utilidad social.
Antecedentes.
De acuerdo con estudiosos de las Políticas Públicas, -como lo es Wayne Parsons-, en México, la evaluación de los programas federales empezó a ser obligatoria en la década de 1990. En la bibliografía revisada, se menciona el Programa de Desarrollo Humano Oportunidades (evaluado por Iliana Yaschine, et al.) el cual, desde su concepción, estableció mecanismos de evaluación y grupos de control para conocer el impacto del mismo. Para este autor, la investigación de la evaluación se ocupa de dos dimensiones: cómo medir una política contra las metas que pretende alcanzar y cuál es el impacto real de la política en cuestión. (Parsons, 2007: 562-3)
El trabajo realizado por comisión de la SEDESOL en 2002 completa el de 2001, es decir, la información basal de los hogares y las comunidades en 2001 sólo adquiere sentido, a decir de los autores, al ser comparada con la del seguimiento de 2002, porque sólo en éste sería posible observar los cambios acaecidos de manera directa, no retrospectiva. De tal suerte, en 2001 fueron seleccionadas nueve comunidades para el estudio basal del programa Oportunidades en localidades semiurbanas, siete de ellas en proceso de incorporación en ese año y otras dos que serían incorporadas posteriormente, cuando se incrementara el presupuesto de Oportunidades. Los estudios de 2001 comprendieron la estructura de oportunidades de la comunidad; el funcionamiento y organización de unidades domésticas, la disponibilidad, acceso y uso de los servicios de educación, salud y otros programas sociales, y el proceso de incorporación de hogares en cada comunidad, a fin de establecer errores de inclusión/exclusión atribuibles a la organización del proceso de selección e incorporación (Escobar y González, 2003: 5-6).
Esta evaluación está centrada en lo que Parsons denomina las etapas “post-decisión”, y es que como señala, a medida que se hizo evidente que la formulación de políticas en muy diversas áreas no había alcanzado las metas establecidas o que éstas no habían sido claramente definidas, los estudiosos de las políticas públicas empezaron a trasladar su atención de los insumos y los procesos a los insumos internos, los resultados y los impactos. Este marco de las políticas públicas, nos dice, ha sido moldeado por el continuo y creciente interés en el análisis de costo-efectividad, el suministro de políticas y servicios, la mejora de la administración de recursos humanos y un mejor monitoreo y evaluación (Parsons, 2007: 477-9)
Metodología.
Como se menciona en la introducción, el presente análisis toma como referencia teórico-metodolótica el trabajo de Monier acerca del enfoque pluralista como una propuesta que ofrezca los criterios para la realización de elecciones estratégicas en torno a la evaluación, enfocada a los tomadores de decisiones que comisionan la misma y a la vez a los encargados de realizarla.
En dicho trabajo se cuestiona la parcialidad de los diferentes enfoques a la hora de evaluar:
Enfoque que adopta los objetivos concretos del programa como punto de partida
Enfoque por los efectos
Enfoque por la forma en que el programa se puso en práctica
Enfoque por los procesos
Enfoque por los actores sociales.
Por lo que la perspectiva de los impactos, de los medios utilizados y de los procesos, dan lugar a la propuesta de una evaluación liberada de los objetivos que privilegie el reconocimiento de los actores, y que reconozca las interacciones sistémicas inherentes a la aplicación de cualquier programa en un contexto complejo, conociendo también las dimensiones políticas de la evaluación. A este nuevo enfoque le denomina pluralista. Este enfoque se sitúa desde la perspectiva de las posiciones sociales emergentes, en vez de partir de los objetivos explícitos. Se apoya en el reconocimiento de una pluralidad de sistemas de valores que coexisten en el seno de la sociedad. Desde esta perspectiva, el programa se concibe como un proceso siempre abierto de aprendizaje colectivo y de búsqueda pluralista de soluciones a los problemas sociales. En este tipo de evaluación, las investigaciones están orientadas a resolver la cuestión: ¿Cuáles son las informaciones que requiere el sistema de actores para comprender mejor los efectos o los acontecimientos sobrevenidos durante el desarrollo de un programa?, es decir que no se espera que los actores busquen una solución óptima, sino una solución satisfactoria, reconociendo que, cuanto más incierto es el entorno, menos estables y concretos son los objetivos. (Monier, 1995).
En la evaluación analizada, se distingue entre el concepto de pobreza, el cual lleva a cabo mediciones estáticas en ciertos momentos en el tiempo y de acuerdo a la construcción de una línea de pobreza, y el concepto de vulnerabilidad, dinámico procesos que se generan en las condiciones de inseguridad/seguridad del bienestar de los individuos, grupos domésticos o comunidades ante un ambiente cambiante. Para los evaluadores el análisis de la vulnerabilidad implica tanto la identificación de las amenazas como de las capacidades que las personas tienen en el manejo de recursos, en el aprovechamiento de oportunidades. De acuerdo con los autores, los estudiosos de la pobreza y la vulnerabilidad han mostrado la utilidad de centrar el análisis en los recursos de los grupos domésticos (Escobar y González, 2003: 15-6)
Para clarificar lo anterior, se recurre a Parsons, para quien la evaluación implica dos aspectos interrelacionados
La evaluación de la política específica y los programas que la constituyen.
La evaluación de las personas que trabajan en las organizaciones responsables de la implementación de la política y los programas.
Por lo tanto, la evolución de la evaluación del desempeño debe entenderse en el contexto de la necesidad de controlar las finanzas públicas y alcanzar mayores niveles de costo-efectividad, eficiencia y efectividad. Cabe señalar que la evaluación analizada carece de indicadores de desempeño. Esto se observa y llama la atención si nos remitimos a autores para los que el analista de políticas públicas debe centrar su interés en la dinámica política y los valores con los que se han construido las medidas y la interpretación que se hace de los datos. (Parsons, 2007: 561-6)
Es por ello que se cuestiona su efectividad desde el planteamiento de Monier, quien al proponer un enfoque pluralista de la evaluación busca establecer una perspectiva que asocie a los actores sociales a fin de incrementar credibilidad y utilidad social. El autor nos apunta que el término evaluación deriva del inglés value (valor), por lo tanto, la cuestión clave no depende tanto de la metodología, sino en lo creíble que la evaluación resulte para los actores sociales. La credibilidad, entonces, no depende del rigor técnico de los instrumentos empleados, sino de cuan legítima consideren la propuesta los destinatarios de la evaluación. La evaluación nunca es una práctica neutral y ajena a las relaciones de poder; es un acto político que forma parte integrante del contexto político del programa, incluso si los evaluadores soslayan tal dimensión o pretenden negarla. Además, abunda Parsons, la expansión de las comunicaciones masivas y el uso de campañas informativas en muchas áreas de las políticas sociales y ambientales han favorecido un énfasis cada vez mayor en la responsabilidad individual sobre los problemas (Parsons, 2007: 531)
El tipo de evaluación que de manera explícita realizan Escobar y González del Programa Oportunidades, es el de impactos o resultados, en el cual se correlaciona los efectos observados con los objetivos previstos. Este tipo de evaluación parte de la hipótesis de que existen objetivos –claros, precisos y mensurables-, con los que se relacionan los efectos, susceptibles a su vez, de ser medidos. Sin embargo, señala Monier, quien aplica una evaluación desde esta perspectiva tropieza con la dificultad de traducir en términos operativos, racionales y jerarquizados, unos objetivos ambiguos, incoherentes y hasta contradictorios. Su principal critica esta basada en el hecho de que la puesta en práctica de un programa diverge inevitablemente, en mayor o menor medida, del dispositivo inicialmente previsto. Es por ello que, señala, hay que mantener las debidas reservas sobre la atribución de efectos a la causa que se supone es el programa previsto en origen (Monier, 1995)
En el muestreo de los hogares estudiados por Escobar y González en 2001 y reestudiados en 2002, ante el impacto del programa Oportunidades, se reconoce que los cambios observados pueden ser ecológicos, económicos, sociales o políticos, que se pueden presentar de manera brusca, como tendencias de mediano y largo plazo o como ciclos estacionales, y que en el seguimiento al impacto del Programa en términos de los cambios producidos en los niveles de vulnerabilidad de los hogares originalmente estudiados, puede ser alterado por el impacto de otros procesos, sequías, inundaciones, crisis económicas, etc., sobre las que el Programa, obviamente, no tiene ningún control.
Las ventajas de este enfoque, en opinión de los evaluadores, es el énfasis en el análisis del impacto del ambiente cambiante y los cambios en las estructuras de oportunidades en cuanto a menores o mayores condiciones de riesgo e incertidumbre (Escobar y González, 2003: 15)
En comparación con la evaluación de impactos, la evaluación por los medios utilizados (evaluación operativa), se nos presenta como un enfoque más realista que consiste en considerar el programa como un conjunto heterogéneo de medios empleados, sean estos financieros, técnicos, de comunicación, etc. Con la intención de respondernos las cuestiones siguientes: ¿Han permitido la selección y la utilización de los medios, alcanzar los resultados esperados?, ¿Fueron empleados los medios de acuerdo con el proyecto y los objetivos iniciales? Este tipo de evaluaciones se proponen, además de medir la eficacia global del dispositivo, maximizar los medios (realmente empleados) en relación con los fines (los objetivos fijados). No obstante que este tipo de evaluaciones da lugar a una respuesta más ajustada a su primera finalidad –la de describir los hechos o acontecimientos surgidos durante el programa-, pero no alcanzan, sin embargo, a explicarlos. (Monier, 1995).
Lo que se plantea es una evaluación liberada de los objetivos, lo que Monier denomina evaluar sin anteojeras, fundado en la Goal free evaluation (M. Striven, 1973, citado por Monier, 1995), y que básicamente establece que las evaluaciones no deben polarizarse en los objetivos iniciales, sino orientarse a responder la interrogante ¿Cuáles son, entre el conjunto de los efectos de un programa, los que satisfacen necesidades fundamentales? Para el autor es indiferente que no se cumplan los objetivos iniciales si el programa innovador causa efectos beneficiosos (aún sin ser intencionados) o, al revés, que se logren los objetivos al precio de efectos indeseables. Por ejemplo, en la evaluación analizada se afirma que en lo que toca al impacto del Programa en la economía del hogar, los participantes en todos los grupos de enfoque están de acuerdo en que el Programa permite comer mejor, comprar ropa a los niños y mandarlos a la escuela. (Escobar y González, 2003: 9)
De acuerdo a este enfoque, el evaluador debe abstenerse de leer los folletos o discutir con responsables oficiales del programa antes de analizar los efectos, a fin de eliminar sesgos perceptivos asociados con un conocimiento previo de las expectativas. Se aclara que su aplicación es delicada, sobre todo en lo que atañe a la determinación de las necesidades fundamentales, ya que el evaluador corre el riesgo de sustituir, con su propio sistema de valores, el de los responsables. (Monier, 1995). Un ejemplo de ello lo encontramos cuando los evaluadores determinan que, en teoría, el programa Oportunidades debe alterar las capacidades de las personas, en primer lugar porque provee un ingreso fijo dependiente de los niños que asisten a la escuela y del cumplimiento de las corresponsabilidades. En segundo lugar, porque debe tener un impacto en la salud y, por lo tanto, en la capacidad de trabajo y, a mediano plazo, porque debe mejorar la capacidad de inserción económica de las personas (Escobar y González, 2003: 16)
Aunado a lo anterior, la evaluación de los procesos, es decir, de las interacciones sistémicas, tiene como su finalidad principal explicar los fenómenos a partir de un análisis de las interacciones entre el programa y su entorno. Aquí nos señala Monier, la pregunta a responder es ¿Cuáles son los procesos que se hallan en el origen de los efectos observables? Esta perspectiva tiene por objetivo la identificación y la comprensión exhaustiva de los hechos relativos a las acciones comprendidas (comprehensive evaluation), en ella, el programa y su organización se perciben como entidades dinámicas que cambian a medida que se adaptan al contexto donde son llevados a la práctica. Para el autor, la evaluación persigue reajustar los medios (optimización) en función de las características del entorno. Los actores ponen en duda la existencia de un consenso en torno a los objetivos y la posibilidad de que una evaluación logre alcanzar conclusiones objetivas e imparciales. Como ejemplo podemos mencionar la parte de la evaluación analizada, donde los evaluadores sostienen la hipótesis de que, a mediano plazo, una mayor eficiencia en los sistemas de cumplimiento de corresponsabilidades (que disminuya los costos de las corresponsabilidades para las familias incorporadas y, por lo tanto, aumente la transferencia neta) permitirá disminuir la subocupación intensiva de mujeres y niños, lo que redundará en mejores ingresos por hora trabajada para ellos y un mayor impacto en las áreas sustantivas del Programa. (Escobar y González, 2003: 47)
Resumiendo lo planteado hasta ahora, la propuesta para un nuevo enfoque interactivo (responsive approach), que plantea Monier, privilegia la evaluación de las cuestiones que son relevantes para cada programa en particular. Se trata de un modo de abordar el tema que sacrifica en parte la precisión cuantitativa en aras de incrementar su utilidad para quienes intervienen en el marco del programa o se ven afectados por éste. De acuerdo a este marco teórico metodológico, la evaluación será pluralista si aporta una respuesta a las demandas de información de las personas interesadas y si los informes sobre los fracasos o los éxitos obtenidos reflejan, en su elaboración, los distintos sistemas de valores vigentes. El enfoque implica que se realicen determinadas actividades:
1. Definir los límites de lo que se considera parte integrante del programa
2. Apreciar directamente el contenido del programa y corregir ideas preconcebidas.
3. Se sitúa ante las partes implicadas, calibra expectativas y objetivos implícitos respecto a la evaluación.
4. Se forma una representación conjunta de las posiciones y de los problemas
5. Determinar una estrategia de evaluación y elegir la concepción adecuada (diseño)
6. Seleccionar el modo de recopilar los datos y las informaciones en función de necesidades.
7. Se procede a la obtención de datos
8. Presentación de resultados, informando extensamente experiencias personales
9. Seleccionar que informaciones difundirá, adaptar la forma al destinatario
10. Dar por terminada la evaluación reuniendo los puntos de las conclusiones.
La propuesta metodológica se enriquece además al considerar las dimensiones políticas de la evaluación. Aclarando que no se está sugiriendo siquiera que la evaluación haya desbancado a la política, pues ésta se encuentra en el núcleo mismo de toda evaluación. La implementación de un programa de acción de los poderes públicos es, más bien, un proceso político. Las elecciones entre sistemas de clasificación, de referencias, conceptos, teorías, modelos o puntos de vista asumidos o rechazados, son ejemplos de las premisas que participan en todos los procesos políticos. El carácter político también se percibe en esta perspectiva en las condiciones sociales de acceso a la información que origina, así como en la toma de decisiones que desencadena. Por lo tanto, una teoría de la evaluación ha de ser tanto teoría de la interacción política como una teoría relativa a la descripción del hecho, ya que la evaluación no puede sustituir a la decisión política. Lo que se propone más bien, es que las evaluaciones tradicionales quedan en entredicho, al margen de su rigor metodológico, si no se preocupan por encontrar una legitimidad política. Y es emplazándose en el centro mismo de los procesos políticos como el evaluador evita que se rechace la fundamentación de las conclusiones. (Monier, 1995).
El mismo autor establece las condiciones necesarias para que sean útiles las conclusiones, observando también que una evaluación puede establecer el balance de las consecuencias sociales de un programa público desde diversos puntos de vista. Para formular las hipótesis relativas a los impactos de un programa (teoría de acción), señala, se debe adoptar una posición (Monier, 1995). Y es que la evaluación puede ser objeto de utilizaciones perversas, como se observa en la tipología de las perversiones que puede entrañar una demanda de evaluación, donde encontramos:
evaluaciones-coartada. Consisten en exhibir operaciones exitosas (pantalla).
evaluaciones-aviso. Se destaca un indicador de fracaso para justificar interrupción.
evaluaciones-alegato. Encargadas con el propósito de encargar existencia de la propia organización evaluada.
De ahí la relevancia de lo puntos de vista asumibles por el responsable, a partir de responder a las siguientes preguntas:
¿Cuáles son la pertinencia y la utilización efectiva de los medios en el contexto de la acción definido por el programa?
¿Existe alguna posibilidad de mejorar la provisión de los servicios prestado en el marco del programa?
¿Que nuevas medidas cabe arbitrar para resolver los problemas sociales en los que el programa ha permitido una profundización?
Para la definición de la evaluación y de las cuestiones evaluativas, hay tantas perspectivas posibles para interpretar los datos y las conclusiones de la evaluación como situaciones socialmente difundidas. La utilidad social de una evaluación depende de las condiciones de apropiación de sus conclusiones por los actores sociales a los que va destinada (Monier, 1995).
Ahora bien, el dispositivo de evaluación puede asumir dos diferentes posturas, a saber, formulativa y recapitulativa. Si el propósito de evaluar consiste en informar a los protagonistas, mejorar la acción y transformar así su propio objeto, la evaluación es endoformativa (formative evaluation) (Scriven, 1967, citado en Monier, 1995). Si la evaluación, en cambio, está destinada a favorecer que personas ajenas al programa –poderes públicos, representantes políticos, ciudadanía en general- se formen una opinión global acerca del valor intrínseco de la acción, al margen de la opinión de sus protagonistas, es una evaluación recapitulativa (summative evaluation). Complementando, puede agregarse que la etapa de implementación requiere una evaluación “formativa” que monitorea la manera en que se está administrando o gestionando un programa, con el objetivo de proporcionar retroalimentación útil para mejorar el proceso de implementación (Parsons, 2007: 565).
En este sentido, las evaluaciones de las diversas etapas del programa Oportunidades, a pesar de ser estrictamente cualitativas, a decir de los evaluadores, buscan hechos generales. Para esto cumplen con dos condiciones: en primer lugar, los análisis de los estudios de caso se hacen con instrumentos conceptuales de índole general, en este caso el enfoque de la vulnerabilidad y los recursos de los hogares. En segundo lugar, este enfoque nos permite incorporar tipos de casos diferentes, con el fin de comprender las variaciones posibles y postular relaciones de carácter más general cuya comprensión sea de utilidad para quienes, en el Programa, buscan optimar sus resultados en hogares y asentamientos diferentes (Escobar y González, 2003: 22). Lo anterior adquiere sentido, si se reconoce que la evaluación debe ser “acumulativa”, es decir, debe buscar medir la manera en que la política/el programa en cuestión realmente ha impactado a los problemas que pretendía atender (Parsons, 2007: 568).
Desarrollo de la evaluación.
A continuación se presentan los principales hallazgos de este análisis de seguimiento a la evaluación realizada al programa Oportunidades de la Secretaría de Desarrollo Social en materia de vivienda, educación, salud y trabajo. Comenzando con el tema de la vivienda, los evaluadores encontraron que el principal factor que ha permitido hacer mejoras a las viviendas durante este año es el dinero que proviene de los Estados Unidos. Se catalogó como un segundo factor al programa Oportunidades (Escobar y González, 2003: 6)
En lo referente al capital humano, en el combate a la pobreza dentro del tema de la educación, el principal hallazgo fue que los hijos de las familias con Oportunidades han permanecido en la escuela en mayor grado que los que no tienen el Programa. Aunque en un año el Programa no ha tenido éxito en hacer volver a la escuela a quienes ya habían salido de ella, se encuentra un resultado que surge de los estudios de caso y de los grupos de enfoque: buena parte de los beneficiarios reporta un cambio favorable en las metas escolares. (Escobar y González, 2003: 7)
Después se describen los principales hallazgos en materia de salud, dentro de este rubro cabe mencionar que, a decir de los evaluadores, aún persiste en general el desabasto de medicamentos en las localidades, aunque en 2002 registramos una modesta percepción de mejoría por parte de los usuarios. En este sentido, se encuentra que se ha agravado la saturación y no se reporta un aumento significativo ni de equipo, ni de infraestructura, ni de medicamentos. Por otra parte, con respecto a la calidad del medicamento, los evaluadores señalan que el año pasado ya se había reportado que muchos usuarios notaban grandes diferencias entre la medicina de la clínica de salud y la que se adquiere en farmacia. Los programas de planificación familiar se han incorporado más sistemáticamente al paquete de atención Oportunidades. También se encuentra que se ha avanzado en la realización de exámenes de cáncer cérvico uterino. Varias clínicas habían alcanzado ya, en septiembre, sus metas para 2002, que eran a su vez superiores a las de 2001. La resistencia a estos exámenes persiste, pero es cada vez menor. Con respecto al suplemento alimenticio, la opinión de los médicos y de los beneficiarios sigue siendo buena en general. Sin embargo, en una de las localidades donde distribuye Diconsa hay retrasos muy fuertes en la entrega, lo que ocasiona que se distribuya después de su fecha de caducidad. El suplemento para madres (vía SSA), en cambio, se distribuye satisfactoriamente. (Escobar y González, 2003: 8)
Con respecto al trabajo, el documento de evaluación señala que, en suma, el panorama laboral general de las localidades estudiadas no ha mejorado y esto disminuye los impactos positivos del Programa. La subocupación intensiva de mujeres, jóvenes y niños dado el desempleo o subempleo masculino no puede disminuir y, por ello, su capacidad de dedicar tiempo y esfuerzo a las corresponsabilidades o a la escuela no ha mejorado. A esto se suma, además, la permanencia de los bajos ingresos y un sentimiento general de angustia e incertidumbre sobre el futuro y de tener que resolver las cosas día a día, lo cual es parte esencial de la vulnerabilidad. En el caso del trabajo infantil (los evaluadores incluyen en éste el trabajo hasta los 14 años), el hallazgo central en el seguimiento es que, aunque la permanencia en la escuela y la asistencia escolar han mejorado sustancialmente, el trabajo infantil no parece haber disminuido (Escobar y González, 2003: 8-9).
En este trabajo de evaluación se indica que, al menos en lo que se refiere a su fase semiurbana, el programa Oportunidades comienza a tener impactos positivos que deben reducir la vulnerabilidad y la pobreza de estos hogares en un plazo no lejano. Esto se observa en la asistencia escolar, en el cuidado de la salud y en lo que los beneficiarios reportan en el campo de la alimentación y la nutrición. Esto se afirma en razón de que en un muy corto plazo del seguimiento, se encontraron indicadores cualitativos que permiten afirmar que el Programa está cumpliendo con sus objetivos y que está disminuyendo, de manera modesta pero palpable, la vulnerabilidad de los hogares beneficiarios. (Escobar y González, 2003: 10-1)
De acuerdo con la evaluación cualitativa que ocupa a este análisis, los recursos de los hogares son de naturaleza tangible e intangible y en este documento los evaluadores se centran en el análisis de los cambios de dichos recursos. Los más importantes, desde su punto de vista y de acuerdo con el enfoque de los activos y las estructuras de oportunidades, son:
• Trabajo (y recursos productivos)
• Vivienda
• Capital humano
• Relaciones domésticas
• Relaciones sociales extradomésticas (capital social) (Escobar y González, 2003: 17)
En el caso de la vulnerabilidad de los hogares por lo que toca a vivienda, de acuerdo con la evaluación, ésta se compone de tres aspectos: calidad de la construcción (fragilidad versus solidez, así como factores que hacen más fácil o difícil la vida en ella), seguridad de la tenencia, y servicios con que cuenta. En general, encuentran que el impacto del programa Oportunidades en estos aspectos es indirecto. (Escobar y González, 2003: 27)
La principal limitación para la permanencia en la escuela, observan en las familias que habían entrevistado y en los grupos de enfoque que convocaron, era la económica. Esta limitación a su vez es compleja y contiene diversos factores. Su hallazgo es que los hijos de las familias con Oportunidades han permanecido en la escuela en mayor grado que los que no tienen el Programa. Un resultado que surge de los estudios de caso y de los grupos de enfoque, es que el Programa elevó las metas y expectativas educativas de padres e hijos. Esto no garantiza que se cumplan las nuevas y más ambiciosas, pero este cambio ya sucedió en muchos hogares. (Escobar y González, 2003: 31-3)
La interacción entre usuarios y servicios de salud, de acuerdo con los evaluadores, es particularmente determinante en el impacto del Programa en general porque: 1) los costos de los servicios de salud y de los medicamentos pueden potenciar o anular los efectos positivos de las transferencias monetarias, 2) el tiempo que pueden absorber puede aumentar mucho el costo de oportunidad del Programa para los usuarios, tanto si se trata de trabajadores remunerados como domésticos, y 3) después de las transferencias, la percepción de recibir o no un buen servicio de salud es el factor más sobresaliente en la percepción global de la calidad y utilidad del Programa, sobre todo por parte de los miembros que no asisten a la escuela. (Escobar y González, 2003: 34)
Entre las condiciones básicas del servicio evaluadas, se encuentran la relación entre la población atendida, la eficiencia en el suministro de medicamentos, los cobros de las revisiones y consultas, la asistencia a programas de planificación familiar, así como al examen de detección de cáncer cérvico uterino, y el suministro del suplemento alimenticio a la población objetivo.
De acuerdo con la evaluación, la escolaridad disminuye la vulnerabilidad a largo plazo, al permitir a los jóvenes más escolarizados ingresar a empleos estables y remunerados. En este sentido, destaca la atención prestada al tema del trabajo infantil porque, en opinión de los evaluadores, es en éste en el cual debe percibirse con mayor claridad el impacto del Programa. Es decir, el Programa no debe generar grandes cambios en los patrones de trabajo de hombres y mujeres adultos, pero sí en los de niños y jóvenes, entre quienes debería disminuir el empleo remunerado para dedicar más tiempo a la escuela. El hallazgo central en el seguimiento es que, aunque la permanencia en la escuela y la asistencia escolar han mejorado sustancialmente, el trabajo infantil (incluyeron en éste el trabajo hasta los 14 años) no parece haber disminuido. (Escobar y González, 2003: 39-42)
Por lo que toca al impacto en la economía del hogar, de acuerdo con esta evaluación, los participantes en todos los grupos de enfoque están de acuerdo en que el Programa permite comer mejor, comprar ropa a los niños y mandarlos a la escuela. Además, encontraron que el Programa permite, o bien disminuir el fiado o bien, pagarlo más a tiempo (lo cual, consideran los evaluadores, impacta en un mayor consumo). (Escobar y González, 2003: 47)
La conclusión general es que hay un impacto positivo y palpable, si bien sujeto a análisis estadísticos representativos, en los hogares e individuos participantes. Otro hecho importante que observan es que los hogares beneficiarios han hecho mejoras a su hogar en mayor proporción que los no beneficiarios. En materia educativa, se observan dos impactos relevantes, en primer lugar, hay una prolongación ya perceptible de la carrera escolar. En segundo, hay un cambio en las expectativas de carrera educativa en los padres y los jóvenes. En el sector salud, identifican que hay saturación en muchas de las unidades de salud y los responsables han respondido a ella con medidas muy variadas. La percepción que tienen los beneficiarios del sub abasto de medicamentos mejoró ligeramente del estudio basal al seguimiento. Los programas de planificación familiar y de revisión de cáncer cérvico uterino están logrando un mayor impacto y la mayoría de las clínicas ha excedido sus metas en este último rubro. Además, la cantidad de niños y jóvenes becarios que desayunan en sus casas ha aumentado notablemente.
En el ámbito del trabajo no se observan mejoras sustanciales. En resumen, los niños y jóvenes estudian más pero no trabajan menos. No obstante, hay indicios de que en un plazo mayor las transferencias y corresponsabilidades de beneficiarias, vocales y promotoras coadyuvarán para que ganen autonomía y autoridad en sus hogares, aunque es muy posible que esto produzca conflictos. (Escobar y González, 2003: 51-2)
Conclusiones.
Si partimos del concepto de que la evaluación de las políticas significa “aprender acerca de las consecuencias de las políticas públicas”, Thomas Dye (1987) citado en (Parsons, 2007: 563), la evolución es, -y de acuerdo con Monier, debe concebirse como-, un proceso pluralista, sin duda, pero también evolutivo y con múltiples finalidades. La construcción de la legitimidad política de la evaluación implica:
a) Crear una instancia de evaluación, depositaria del mandato político, distinta de los encargados de evaluar.
b) Asegurarse de que los tres subsistemas de actores (legitimación, acción, reacción) estén representados en el seno de la instancia.
La fundamentación de las políticas públicas reside en una definición de la demanda social, en otras palabras, en una identificación e interpretación de los problemas sociales que requieren una intervención de los poderes públicos. La creación de instancias de evaluación pluralista, en el marco de acciones públicas con un carácter coparticipativo, en apariencia mejoraría eficientemente la pertinencia del sistema de decisión y del propio sistema concreto de acción. Apoyándose en un modo de gestión negociado, la evaluación puede reducir el riesgo de acciones no contempladas o de entrar en efectos negativos irreversibles. Quedan pendientes muchas cuestiones, como la de asegurar un equilibrio adecuado en la representación de los puntos de vista, como lograr que sea operativo en la evaluación de sistemas de valores (Monier, 1995).
Puede agregarse también de que se trata de una evaluación de impactos que soslaya aspectos importantes como la organización encargada de la implementación del programa, ya que el enfoque Desarrollo Organizacional, sabemos que tiene por objetivo lidiar con la incertidumbre que enfrentan las organizaciones, y en tanto método de aprendizaje, el método DO aplica diversas estrategias para fomentar el compromiso, la autodirección y el autocontrol en las variables de las personas (Parsons, 2007: 571)
En este ejercicio de analizar una evaluación, se encuentra que la evaluación cualitativa tiende a conclusiones condescendientes con la instancia evaluada, y que, aun si tuviera una posición más critica hacia la instancia encargada de comisionar la evaluación, se carece de la evidencia empírica para respaldar las afirmaciones que hacen los evaluadores. Muchas de las observaciones se realizan desde la perspectiva de juicios de valor subjetivos. No se desconoce el hecho que la experimentación no produce datos concluyentes, y que a decir de algunos autores, la interpretación lo es todo. (Parsons, 2007: 569). Tampoco se obvia la tensión entre la teoría de la evaluación alejada del positivismo, y la evaluación en la práctica, que ha buscado ser altamente positivista al creer en la posibilidad de medir las cosas. (Parsons, 2007: 562), pero el muestreo se presenta como una elección que pudiera ser tendenciosa, ya que no se tienen los elementos comparativos de referencia necesaria. En una opinión de quien realiza este análisis, se requeriría de un muestreo más amplio, que muestre los resultados del programa en las diversas regiones del país y que permita establecer puntos de comparación entre las comunidades con los mejores y peores resultados, establecer un parámetro intermedio para el territorio nacional y evaluar escenarios.
Bibliografía:
ESCOBAR, Agustín; y González de la Rocha, Mercedes (2003) Evaluación Cualitativa del Programa de Desarrollo Humano Oportunidades. Seguimiento de impacto 2001-2001, comunidades de 2,500 a 50,000 habitantes. Secretaría de Desarrollo Social, serie: documentos de investigación, México, D.F., 66 pp.
MONIER, Eric (1995) Evaluación de los poderes públicos. Editorial económica, España. Cap V. “Las estrategias y los dispositivos de evaluación”, pp. 129-158.
PARSONS, Wayne (2007) Políticas Públicas. FLACSO, México, D.F. pp. 477-571.
El presente trabajo analiza la evaluación realizada por Agustín Escobar y Mercedes González de la Rocha al Programa de Desarrollo Humano Oportunidades, en seguimiento al impacto obtenido en su aplicación por parte de la Secretaría de Desarrollo Social en los ejercicios 2001 y 2002, en comunidades de entre 2,500 y 50,000 habitantes, es decir, comunidades semiurbanas de diversas entidades de la República Mexicana.
En dicho documento se analiza y sintetizan los cambios registrados en los hogares y las comunidades semiurbanas que se incorporaron al programa Oportunidades en septiembre de 2001 y que fueron reanalizados en 2002, a fin te conocer los factores comunitarios, de hogar y de organización que inciden en las áreas objetivo del Programa. Los autores buscan responder a las siguientes cuestiones, ¿Cuáles son los usos que la gente le ha dado a las transferencias en efectivo que el gobierno mexicano les hace llegar a través del Programa Oportunidades? ¿Qué cambios observamos en los hábitos alimenticios, en las dietas y prácticas de consumo, en la salud y en la educación de las familias? (Escobar y González, 2003: 5)
En el citado trabajo se evalúan los cambios registrados en algunos hogares de seis comunidades semiurbanas:
Arteaga, Michoacán;
Basconcobe, Sonora;
Ébano, San Luis Potosí;
Hostotipaquillo, Jalisco;
La Ribera, Jalisco, y
Tatahuicapan de Juárez, Veracruz
Las cuales se incorporaron al programa en septiembre de 2001. No se especifica cual fue el criterio para seleccionar solamente esas seis comunidades, y tampoco se aprecia una intención de cobertura exhaustiva de las regiones del país. Las comunidades corresponden a distintos tipos, definidos según los responsables de la evaluación de acuerdo a los siguientes parámetros:
1) tamaño (2,500 habitantes hasta 35,000);
2) variables demográficas básicas (fecundidad, mortalidad y migración);
3) porcentaje de población indígena;
4) porcentaje de población analfabeta, y
5) sector económico predominante (agricultura versus manufactura).
(Escobar y González, 2003: 5)
Con la intención de ofrecer los elementos necesarios para que se efectúen las elecciones estratégicas previas a la concepción de una evaluación, por parte tanto de quienes la encargan como de aquellos a quienes compete llevarla a término, el presente análisis se ha apoyado en el enfoque pluralista de la evaluación, según el planteamiento de Eric Monier, el cual busca proponer un enfoque pluralista de la evaluación que asocie a los actores sociales a fin de incrementar credibilidad y utilidad social.
Antecedentes.
De acuerdo con estudiosos de las Políticas Públicas, -como lo es Wayne Parsons-, en México, la evaluación de los programas federales empezó a ser obligatoria en la década de 1990. En la bibliografía revisada, se menciona el Programa de Desarrollo Humano Oportunidades (evaluado por Iliana Yaschine, et al.) el cual, desde su concepción, estableció mecanismos de evaluación y grupos de control para conocer el impacto del mismo. Para este autor, la investigación de la evaluación se ocupa de dos dimensiones: cómo medir una política contra las metas que pretende alcanzar y cuál es el impacto real de la política en cuestión. (Parsons, 2007: 562-3)
El trabajo realizado por comisión de la SEDESOL en 2002 completa el de 2001, es decir, la información basal de los hogares y las comunidades en 2001 sólo adquiere sentido, a decir de los autores, al ser comparada con la del seguimiento de 2002, porque sólo en éste sería posible observar los cambios acaecidos de manera directa, no retrospectiva. De tal suerte, en 2001 fueron seleccionadas nueve comunidades para el estudio basal del programa Oportunidades en localidades semiurbanas, siete de ellas en proceso de incorporación en ese año y otras dos que serían incorporadas posteriormente, cuando se incrementara el presupuesto de Oportunidades. Los estudios de 2001 comprendieron la estructura de oportunidades de la comunidad; el funcionamiento y organización de unidades domésticas, la disponibilidad, acceso y uso de los servicios de educación, salud y otros programas sociales, y el proceso de incorporación de hogares en cada comunidad, a fin de establecer errores de inclusión/exclusión atribuibles a la organización del proceso de selección e incorporación (Escobar y González, 2003: 5-6).
Esta evaluación está centrada en lo que Parsons denomina las etapas “post-decisión”, y es que como señala, a medida que se hizo evidente que la formulación de políticas en muy diversas áreas no había alcanzado las metas establecidas o que éstas no habían sido claramente definidas, los estudiosos de las políticas públicas empezaron a trasladar su atención de los insumos y los procesos a los insumos internos, los resultados y los impactos. Este marco de las políticas públicas, nos dice, ha sido moldeado por el continuo y creciente interés en el análisis de costo-efectividad, el suministro de políticas y servicios, la mejora de la administración de recursos humanos y un mejor monitoreo y evaluación (Parsons, 2007: 477-9)
Metodología.
Como se menciona en la introducción, el presente análisis toma como referencia teórico-metodolótica el trabajo de Monier acerca del enfoque pluralista como una propuesta que ofrezca los criterios para la realización de elecciones estratégicas en torno a la evaluación, enfocada a los tomadores de decisiones que comisionan la misma y a la vez a los encargados de realizarla.
En dicho trabajo se cuestiona la parcialidad de los diferentes enfoques a la hora de evaluar:
Enfoque que adopta los objetivos concretos del programa como punto de partida
Enfoque por los efectos
Enfoque por la forma en que el programa se puso en práctica
Enfoque por los procesos
Enfoque por los actores sociales.
Por lo que la perspectiva de los impactos, de los medios utilizados y de los procesos, dan lugar a la propuesta de una evaluación liberada de los objetivos que privilegie el reconocimiento de los actores, y que reconozca las interacciones sistémicas inherentes a la aplicación de cualquier programa en un contexto complejo, conociendo también las dimensiones políticas de la evaluación. A este nuevo enfoque le denomina pluralista. Este enfoque se sitúa desde la perspectiva de las posiciones sociales emergentes, en vez de partir de los objetivos explícitos. Se apoya en el reconocimiento de una pluralidad de sistemas de valores que coexisten en el seno de la sociedad. Desde esta perspectiva, el programa se concibe como un proceso siempre abierto de aprendizaje colectivo y de búsqueda pluralista de soluciones a los problemas sociales. En este tipo de evaluación, las investigaciones están orientadas a resolver la cuestión: ¿Cuáles son las informaciones que requiere el sistema de actores para comprender mejor los efectos o los acontecimientos sobrevenidos durante el desarrollo de un programa?, es decir que no se espera que los actores busquen una solución óptima, sino una solución satisfactoria, reconociendo que, cuanto más incierto es el entorno, menos estables y concretos son los objetivos. (Monier, 1995).
En la evaluación analizada, se distingue entre el concepto de pobreza, el cual lleva a cabo mediciones estáticas en ciertos momentos en el tiempo y de acuerdo a la construcción de una línea de pobreza, y el concepto de vulnerabilidad, dinámico procesos que se generan en las condiciones de inseguridad/seguridad del bienestar de los individuos, grupos domésticos o comunidades ante un ambiente cambiante. Para los evaluadores el análisis de la vulnerabilidad implica tanto la identificación de las amenazas como de las capacidades que las personas tienen en el manejo de recursos, en el aprovechamiento de oportunidades. De acuerdo con los autores, los estudiosos de la pobreza y la vulnerabilidad han mostrado la utilidad de centrar el análisis en los recursos de los grupos domésticos (Escobar y González, 2003: 15-6)
Para clarificar lo anterior, se recurre a Parsons, para quien la evaluación implica dos aspectos interrelacionados
La evaluación de la política específica y los programas que la constituyen.
La evaluación de las personas que trabajan en las organizaciones responsables de la implementación de la política y los programas.
Por lo tanto, la evolución de la evaluación del desempeño debe entenderse en el contexto de la necesidad de controlar las finanzas públicas y alcanzar mayores niveles de costo-efectividad, eficiencia y efectividad. Cabe señalar que la evaluación analizada carece de indicadores de desempeño. Esto se observa y llama la atención si nos remitimos a autores para los que el analista de políticas públicas debe centrar su interés en la dinámica política y los valores con los que se han construido las medidas y la interpretación que se hace de los datos. (Parsons, 2007: 561-6)
Es por ello que se cuestiona su efectividad desde el planteamiento de Monier, quien al proponer un enfoque pluralista de la evaluación busca establecer una perspectiva que asocie a los actores sociales a fin de incrementar credibilidad y utilidad social. El autor nos apunta que el término evaluación deriva del inglés value (valor), por lo tanto, la cuestión clave no depende tanto de la metodología, sino en lo creíble que la evaluación resulte para los actores sociales. La credibilidad, entonces, no depende del rigor técnico de los instrumentos empleados, sino de cuan legítima consideren la propuesta los destinatarios de la evaluación. La evaluación nunca es una práctica neutral y ajena a las relaciones de poder; es un acto político que forma parte integrante del contexto político del programa, incluso si los evaluadores soslayan tal dimensión o pretenden negarla. Además, abunda Parsons, la expansión de las comunicaciones masivas y el uso de campañas informativas en muchas áreas de las políticas sociales y ambientales han favorecido un énfasis cada vez mayor en la responsabilidad individual sobre los problemas (Parsons, 2007: 531)
El tipo de evaluación que de manera explícita realizan Escobar y González del Programa Oportunidades, es el de impactos o resultados, en el cual se correlaciona los efectos observados con los objetivos previstos. Este tipo de evaluación parte de la hipótesis de que existen objetivos –claros, precisos y mensurables-, con los que se relacionan los efectos, susceptibles a su vez, de ser medidos. Sin embargo, señala Monier, quien aplica una evaluación desde esta perspectiva tropieza con la dificultad de traducir en términos operativos, racionales y jerarquizados, unos objetivos ambiguos, incoherentes y hasta contradictorios. Su principal critica esta basada en el hecho de que la puesta en práctica de un programa diverge inevitablemente, en mayor o menor medida, del dispositivo inicialmente previsto. Es por ello que, señala, hay que mantener las debidas reservas sobre la atribución de efectos a la causa que se supone es el programa previsto en origen (Monier, 1995)
En el muestreo de los hogares estudiados por Escobar y González en 2001 y reestudiados en 2002, ante el impacto del programa Oportunidades, se reconoce que los cambios observados pueden ser ecológicos, económicos, sociales o políticos, que se pueden presentar de manera brusca, como tendencias de mediano y largo plazo o como ciclos estacionales, y que en el seguimiento al impacto del Programa en términos de los cambios producidos en los niveles de vulnerabilidad de los hogares originalmente estudiados, puede ser alterado por el impacto de otros procesos, sequías, inundaciones, crisis económicas, etc., sobre las que el Programa, obviamente, no tiene ningún control.
Las ventajas de este enfoque, en opinión de los evaluadores, es el énfasis en el análisis del impacto del ambiente cambiante y los cambios en las estructuras de oportunidades en cuanto a menores o mayores condiciones de riesgo e incertidumbre (Escobar y González, 2003: 15)
En comparación con la evaluación de impactos, la evaluación por los medios utilizados (evaluación operativa), se nos presenta como un enfoque más realista que consiste en considerar el programa como un conjunto heterogéneo de medios empleados, sean estos financieros, técnicos, de comunicación, etc. Con la intención de respondernos las cuestiones siguientes: ¿Han permitido la selección y la utilización de los medios, alcanzar los resultados esperados?, ¿Fueron empleados los medios de acuerdo con el proyecto y los objetivos iniciales? Este tipo de evaluaciones se proponen, además de medir la eficacia global del dispositivo, maximizar los medios (realmente empleados) en relación con los fines (los objetivos fijados). No obstante que este tipo de evaluaciones da lugar a una respuesta más ajustada a su primera finalidad –la de describir los hechos o acontecimientos surgidos durante el programa-, pero no alcanzan, sin embargo, a explicarlos. (Monier, 1995).
Lo que se plantea es una evaluación liberada de los objetivos, lo que Monier denomina evaluar sin anteojeras, fundado en la Goal free evaluation (M. Striven, 1973, citado por Monier, 1995), y que básicamente establece que las evaluaciones no deben polarizarse en los objetivos iniciales, sino orientarse a responder la interrogante ¿Cuáles son, entre el conjunto de los efectos de un programa, los que satisfacen necesidades fundamentales? Para el autor es indiferente que no se cumplan los objetivos iniciales si el programa innovador causa efectos beneficiosos (aún sin ser intencionados) o, al revés, que se logren los objetivos al precio de efectos indeseables. Por ejemplo, en la evaluación analizada se afirma que en lo que toca al impacto del Programa en la economía del hogar, los participantes en todos los grupos de enfoque están de acuerdo en que el Programa permite comer mejor, comprar ropa a los niños y mandarlos a la escuela. (Escobar y González, 2003: 9)
De acuerdo a este enfoque, el evaluador debe abstenerse de leer los folletos o discutir con responsables oficiales del programa antes de analizar los efectos, a fin de eliminar sesgos perceptivos asociados con un conocimiento previo de las expectativas. Se aclara que su aplicación es delicada, sobre todo en lo que atañe a la determinación de las necesidades fundamentales, ya que el evaluador corre el riesgo de sustituir, con su propio sistema de valores, el de los responsables. (Monier, 1995). Un ejemplo de ello lo encontramos cuando los evaluadores determinan que, en teoría, el programa Oportunidades debe alterar las capacidades de las personas, en primer lugar porque provee un ingreso fijo dependiente de los niños que asisten a la escuela y del cumplimiento de las corresponsabilidades. En segundo lugar, porque debe tener un impacto en la salud y, por lo tanto, en la capacidad de trabajo y, a mediano plazo, porque debe mejorar la capacidad de inserción económica de las personas (Escobar y González, 2003: 16)
Aunado a lo anterior, la evaluación de los procesos, es decir, de las interacciones sistémicas, tiene como su finalidad principal explicar los fenómenos a partir de un análisis de las interacciones entre el programa y su entorno. Aquí nos señala Monier, la pregunta a responder es ¿Cuáles son los procesos que se hallan en el origen de los efectos observables? Esta perspectiva tiene por objetivo la identificación y la comprensión exhaustiva de los hechos relativos a las acciones comprendidas (comprehensive evaluation), en ella, el programa y su organización se perciben como entidades dinámicas que cambian a medida que se adaptan al contexto donde son llevados a la práctica. Para el autor, la evaluación persigue reajustar los medios (optimización) en función de las características del entorno. Los actores ponen en duda la existencia de un consenso en torno a los objetivos y la posibilidad de que una evaluación logre alcanzar conclusiones objetivas e imparciales. Como ejemplo podemos mencionar la parte de la evaluación analizada, donde los evaluadores sostienen la hipótesis de que, a mediano plazo, una mayor eficiencia en los sistemas de cumplimiento de corresponsabilidades (que disminuya los costos de las corresponsabilidades para las familias incorporadas y, por lo tanto, aumente la transferencia neta) permitirá disminuir la subocupación intensiva de mujeres y niños, lo que redundará en mejores ingresos por hora trabajada para ellos y un mayor impacto en las áreas sustantivas del Programa. (Escobar y González, 2003: 47)
Resumiendo lo planteado hasta ahora, la propuesta para un nuevo enfoque interactivo (responsive approach), que plantea Monier, privilegia la evaluación de las cuestiones que son relevantes para cada programa en particular. Se trata de un modo de abordar el tema que sacrifica en parte la precisión cuantitativa en aras de incrementar su utilidad para quienes intervienen en el marco del programa o se ven afectados por éste. De acuerdo a este marco teórico metodológico, la evaluación será pluralista si aporta una respuesta a las demandas de información de las personas interesadas y si los informes sobre los fracasos o los éxitos obtenidos reflejan, en su elaboración, los distintos sistemas de valores vigentes. El enfoque implica que se realicen determinadas actividades:
1. Definir los límites de lo que se considera parte integrante del programa
2. Apreciar directamente el contenido del programa y corregir ideas preconcebidas.
3. Se sitúa ante las partes implicadas, calibra expectativas y objetivos implícitos respecto a la evaluación.
4. Se forma una representación conjunta de las posiciones y de los problemas
5. Determinar una estrategia de evaluación y elegir la concepción adecuada (diseño)
6. Seleccionar el modo de recopilar los datos y las informaciones en función de necesidades.
7. Se procede a la obtención de datos
8. Presentación de resultados, informando extensamente experiencias personales
9. Seleccionar que informaciones difundirá, adaptar la forma al destinatario
10. Dar por terminada la evaluación reuniendo los puntos de las conclusiones.
La propuesta metodológica se enriquece además al considerar las dimensiones políticas de la evaluación. Aclarando que no se está sugiriendo siquiera que la evaluación haya desbancado a la política, pues ésta se encuentra en el núcleo mismo de toda evaluación. La implementación de un programa de acción de los poderes públicos es, más bien, un proceso político. Las elecciones entre sistemas de clasificación, de referencias, conceptos, teorías, modelos o puntos de vista asumidos o rechazados, son ejemplos de las premisas que participan en todos los procesos políticos. El carácter político también se percibe en esta perspectiva en las condiciones sociales de acceso a la información que origina, así como en la toma de decisiones que desencadena. Por lo tanto, una teoría de la evaluación ha de ser tanto teoría de la interacción política como una teoría relativa a la descripción del hecho, ya que la evaluación no puede sustituir a la decisión política. Lo que se propone más bien, es que las evaluaciones tradicionales quedan en entredicho, al margen de su rigor metodológico, si no se preocupan por encontrar una legitimidad política. Y es emplazándose en el centro mismo de los procesos políticos como el evaluador evita que se rechace la fundamentación de las conclusiones. (Monier, 1995).
El mismo autor establece las condiciones necesarias para que sean útiles las conclusiones, observando también que una evaluación puede establecer el balance de las consecuencias sociales de un programa público desde diversos puntos de vista. Para formular las hipótesis relativas a los impactos de un programa (teoría de acción), señala, se debe adoptar una posición (Monier, 1995). Y es que la evaluación puede ser objeto de utilizaciones perversas, como se observa en la tipología de las perversiones que puede entrañar una demanda de evaluación, donde encontramos:
evaluaciones-coartada. Consisten en exhibir operaciones exitosas (pantalla).
evaluaciones-aviso. Se destaca un indicador de fracaso para justificar interrupción.
evaluaciones-alegato. Encargadas con el propósito de encargar existencia de la propia organización evaluada.
De ahí la relevancia de lo puntos de vista asumibles por el responsable, a partir de responder a las siguientes preguntas:
¿Cuáles son la pertinencia y la utilización efectiva de los medios en el contexto de la acción definido por el programa?
¿Existe alguna posibilidad de mejorar la provisión de los servicios prestado en el marco del programa?
¿Que nuevas medidas cabe arbitrar para resolver los problemas sociales en los que el programa ha permitido una profundización?
Para la definición de la evaluación y de las cuestiones evaluativas, hay tantas perspectivas posibles para interpretar los datos y las conclusiones de la evaluación como situaciones socialmente difundidas. La utilidad social de una evaluación depende de las condiciones de apropiación de sus conclusiones por los actores sociales a los que va destinada (Monier, 1995).
Ahora bien, el dispositivo de evaluación puede asumir dos diferentes posturas, a saber, formulativa y recapitulativa. Si el propósito de evaluar consiste en informar a los protagonistas, mejorar la acción y transformar así su propio objeto, la evaluación es endoformativa (formative evaluation) (Scriven, 1967, citado en Monier, 1995). Si la evaluación, en cambio, está destinada a favorecer que personas ajenas al programa –poderes públicos, representantes políticos, ciudadanía en general- se formen una opinión global acerca del valor intrínseco de la acción, al margen de la opinión de sus protagonistas, es una evaluación recapitulativa (summative evaluation). Complementando, puede agregarse que la etapa de implementación requiere una evaluación “formativa” que monitorea la manera en que se está administrando o gestionando un programa, con el objetivo de proporcionar retroalimentación útil para mejorar el proceso de implementación (Parsons, 2007: 565).
En este sentido, las evaluaciones de las diversas etapas del programa Oportunidades, a pesar de ser estrictamente cualitativas, a decir de los evaluadores, buscan hechos generales. Para esto cumplen con dos condiciones: en primer lugar, los análisis de los estudios de caso se hacen con instrumentos conceptuales de índole general, en este caso el enfoque de la vulnerabilidad y los recursos de los hogares. En segundo lugar, este enfoque nos permite incorporar tipos de casos diferentes, con el fin de comprender las variaciones posibles y postular relaciones de carácter más general cuya comprensión sea de utilidad para quienes, en el Programa, buscan optimar sus resultados en hogares y asentamientos diferentes (Escobar y González, 2003: 22). Lo anterior adquiere sentido, si se reconoce que la evaluación debe ser “acumulativa”, es decir, debe buscar medir la manera en que la política/el programa en cuestión realmente ha impactado a los problemas que pretendía atender (Parsons, 2007: 568).
Desarrollo de la evaluación.
A continuación se presentan los principales hallazgos de este análisis de seguimiento a la evaluación realizada al programa Oportunidades de la Secretaría de Desarrollo Social en materia de vivienda, educación, salud y trabajo. Comenzando con el tema de la vivienda, los evaluadores encontraron que el principal factor que ha permitido hacer mejoras a las viviendas durante este año es el dinero que proviene de los Estados Unidos. Se catalogó como un segundo factor al programa Oportunidades (Escobar y González, 2003: 6)
En lo referente al capital humano, en el combate a la pobreza dentro del tema de la educación, el principal hallazgo fue que los hijos de las familias con Oportunidades han permanecido en la escuela en mayor grado que los que no tienen el Programa. Aunque en un año el Programa no ha tenido éxito en hacer volver a la escuela a quienes ya habían salido de ella, se encuentra un resultado que surge de los estudios de caso y de los grupos de enfoque: buena parte de los beneficiarios reporta un cambio favorable en las metas escolares. (Escobar y González, 2003: 7)
Después se describen los principales hallazgos en materia de salud, dentro de este rubro cabe mencionar que, a decir de los evaluadores, aún persiste en general el desabasto de medicamentos en las localidades, aunque en 2002 registramos una modesta percepción de mejoría por parte de los usuarios. En este sentido, se encuentra que se ha agravado la saturación y no se reporta un aumento significativo ni de equipo, ni de infraestructura, ni de medicamentos. Por otra parte, con respecto a la calidad del medicamento, los evaluadores señalan que el año pasado ya se había reportado que muchos usuarios notaban grandes diferencias entre la medicina de la clínica de salud y la que se adquiere en farmacia. Los programas de planificación familiar se han incorporado más sistemáticamente al paquete de atención Oportunidades. También se encuentra que se ha avanzado en la realización de exámenes de cáncer cérvico uterino. Varias clínicas habían alcanzado ya, en septiembre, sus metas para 2002, que eran a su vez superiores a las de 2001. La resistencia a estos exámenes persiste, pero es cada vez menor. Con respecto al suplemento alimenticio, la opinión de los médicos y de los beneficiarios sigue siendo buena en general. Sin embargo, en una de las localidades donde distribuye Diconsa hay retrasos muy fuertes en la entrega, lo que ocasiona que se distribuya después de su fecha de caducidad. El suplemento para madres (vía SSA), en cambio, se distribuye satisfactoriamente. (Escobar y González, 2003: 8)
Con respecto al trabajo, el documento de evaluación señala que, en suma, el panorama laboral general de las localidades estudiadas no ha mejorado y esto disminuye los impactos positivos del Programa. La subocupación intensiva de mujeres, jóvenes y niños dado el desempleo o subempleo masculino no puede disminuir y, por ello, su capacidad de dedicar tiempo y esfuerzo a las corresponsabilidades o a la escuela no ha mejorado. A esto se suma, además, la permanencia de los bajos ingresos y un sentimiento general de angustia e incertidumbre sobre el futuro y de tener que resolver las cosas día a día, lo cual es parte esencial de la vulnerabilidad. En el caso del trabajo infantil (los evaluadores incluyen en éste el trabajo hasta los 14 años), el hallazgo central en el seguimiento es que, aunque la permanencia en la escuela y la asistencia escolar han mejorado sustancialmente, el trabajo infantil no parece haber disminuido (Escobar y González, 2003: 8-9).
En este trabajo de evaluación se indica que, al menos en lo que se refiere a su fase semiurbana, el programa Oportunidades comienza a tener impactos positivos que deben reducir la vulnerabilidad y la pobreza de estos hogares en un plazo no lejano. Esto se observa en la asistencia escolar, en el cuidado de la salud y en lo que los beneficiarios reportan en el campo de la alimentación y la nutrición. Esto se afirma en razón de que en un muy corto plazo del seguimiento, se encontraron indicadores cualitativos que permiten afirmar que el Programa está cumpliendo con sus objetivos y que está disminuyendo, de manera modesta pero palpable, la vulnerabilidad de los hogares beneficiarios. (Escobar y González, 2003: 10-1)
De acuerdo con la evaluación cualitativa que ocupa a este análisis, los recursos de los hogares son de naturaleza tangible e intangible y en este documento los evaluadores se centran en el análisis de los cambios de dichos recursos. Los más importantes, desde su punto de vista y de acuerdo con el enfoque de los activos y las estructuras de oportunidades, son:
• Trabajo (y recursos productivos)
• Vivienda
• Capital humano
• Relaciones domésticas
• Relaciones sociales extradomésticas (capital social) (Escobar y González, 2003: 17)
En el caso de la vulnerabilidad de los hogares por lo que toca a vivienda, de acuerdo con la evaluación, ésta se compone de tres aspectos: calidad de la construcción (fragilidad versus solidez, así como factores que hacen más fácil o difícil la vida en ella), seguridad de la tenencia, y servicios con que cuenta. En general, encuentran que el impacto del programa Oportunidades en estos aspectos es indirecto. (Escobar y González, 2003: 27)
La principal limitación para la permanencia en la escuela, observan en las familias que habían entrevistado y en los grupos de enfoque que convocaron, era la económica. Esta limitación a su vez es compleja y contiene diversos factores. Su hallazgo es que los hijos de las familias con Oportunidades han permanecido en la escuela en mayor grado que los que no tienen el Programa. Un resultado que surge de los estudios de caso y de los grupos de enfoque, es que el Programa elevó las metas y expectativas educativas de padres e hijos. Esto no garantiza que se cumplan las nuevas y más ambiciosas, pero este cambio ya sucedió en muchos hogares. (Escobar y González, 2003: 31-3)
La interacción entre usuarios y servicios de salud, de acuerdo con los evaluadores, es particularmente determinante en el impacto del Programa en general porque: 1) los costos de los servicios de salud y de los medicamentos pueden potenciar o anular los efectos positivos de las transferencias monetarias, 2) el tiempo que pueden absorber puede aumentar mucho el costo de oportunidad del Programa para los usuarios, tanto si se trata de trabajadores remunerados como domésticos, y 3) después de las transferencias, la percepción de recibir o no un buen servicio de salud es el factor más sobresaliente en la percepción global de la calidad y utilidad del Programa, sobre todo por parte de los miembros que no asisten a la escuela. (Escobar y González, 2003: 34)
Entre las condiciones básicas del servicio evaluadas, se encuentran la relación entre la población atendida, la eficiencia en el suministro de medicamentos, los cobros de las revisiones y consultas, la asistencia a programas de planificación familiar, así como al examen de detección de cáncer cérvico uterino, y el suministro del suplemento alimenticio a la población objetivo.
De acuerdo con la evaluación, la escolaridad disminuye la vulnerabilidad a largo plazo, al permitir a los jóvenes más escolarizados ingresar a empleos estables y remunerados. En este sentido, destaca la atención prestada al tema del trabajo infantil porque, en opinión de los evaluadores, es en éste en el cual debe percibirse con mayor claridad el impacto del Programa. Es decir, el Programa no debe generar grandes cambios en los patrones de trabajo de hombres y mujeres adultos, pero sí en los de niños y jóvenes, entre quienes debería disminuir el empleo remunerado para dedicar más tiempo a la escuela. El hallazgo central en el seguimiento es que, aunque la permanencia en la escuela y la asistencia escolar han mejorado sustancialmente, el trabajo infantil (incluyeron en éste el trabajo hasta los 14 años) no parece haber disminuido. (Escobar y González, 2003: 39-42)
Por lo que toca al impacto en la economía del hogar, de acuerdo con esta evaluación, los participantes en todos los grupos de enfoque están de acuerdo en que el Programa permite comer mejor, comprar ropa a los niños y mandarlos a la escuela. Además, encontraron que el Programa permite, o bien disminuir el fiado o bien, pagarlo más a tiempo (lo cual, consideran los evaluadores, impacta en un mayor consumo). (Escobar y González, 2003: 47)
La conclusión general es que hay un impacto positivo y palpable, si bien sujeto a análisis estadísticos representativos, en los hogares e individuos participantes. Otro hecho importante que observan es que los hogares beneficiarios han hecho mejoras a su hogar en mayor proporción que los no beneficiarios. En materia educativa, se observan dos impactos relevantes, en primer lugar, hay una prolongación ya perceptible de la carrera escolar. En segundo, hay un cambio en las expectativas de carrera educativa en los padres y los jóvenes. En el sector salud, identifican que hay saturación en muchas de las unidades de salud y los responsables han respondido a ella con medidas muy variadas. La percepción que tienen los beneficiarios del sub abasto de medicamentos mejoró ligeramente del estudio basal al seguimiento. Los programas de planificación familiar y de revisión de cáncer cérvico uterino están logrando un mayor impacto y la mayoría de las clínicas ha excedido sus metas en este último rubro. Además, la cantidad de niños y jóvenes becarios que desayunan en sus casas ha aumentado notablemente.
En el ámbito del trabajo no se observan mejoras sustanciales. En resumen, los niños y jóvenes estudian más pero no trabajan menos. No obstante, hay indicios de que en un plazo mayor las transferencias y corresponsabilidades de beneficiarias, vocales y promotoras coadyuvarán para que ganen autonomía y autoridad en sus hogares, aunque es muy posible que esto produzca conflictos. (Escobar y González, 2003: 51-2)
Conclusiones.
Si partimos del concepto de que la evaluación de las políticas significa “aprender acerca de las consecuencias de las políticas públicas”, Thomas Dye (1987) citado en (Parsons, 2007: 563), la evolución es, -y de acuerdo con Monier, debe concebirse como-, un proceso pluralista, sin duda, pero también evolutivo y con múltiples finalidades. La construcción de la legitimidad política de la evaluación implica:
a) Crear una instancia de evaluación, depositaria del mandato político, distinta de los encargados de evaluar.
b) Asegurarse de que los tres subsistemas de actores (legitimación, acción, reacción) estén representados en el seno de la instancia.
La fundamentación de las políticas públicas reside en una definición de la demanda social, en otras palabras, en una identificación e interpretación de los problemas sociales que requieren una intervención de los poderes públicos. La creación de instancias de evaluación pluralista, en el marco de acciones públicas con un carácter coparticipativo, en apariencia mejoraría eficientemente la pertinencia del sistema de decisión y del propio sistema concreto de acción. Apoyándose en un modo de gestión negociado, la evaluación puede reducir el riesgo de acciones no contempladas o de entrar en efectos negativos irreversibles. Quedan pendientes muchas cuestiones, como la de asegurar un equilibrio adecuado en la representación de los puntos de vista, como lograr que sea operativo en la evaluación de sistemas de valores (Monier, 1995).
Puede agregarse también de que se trata de una evaluación de impactos que soslaya aspectos importantes como la organización encargada de la implementación del programa, ya que el enfoque Desarrollo Organizacional, sabemos que tiene por objetivo lidiar con la incertidumbre que enfrentan las organizaciones, y en tanto método de aprendizaje, el método DO aplica diversas estrategias para fomentar el compromiso, la autodirección y el autocontrol en las variables de las personas (Parsons, 2007: 571)
En este ejercicio de analizar una evaluación, se encuentra que la evaluación cualitativa tiende a conclusiones condescendientes con la instancia evaluada, y que, aun si tuviera una posición más critica hacia la instancia encargada de comisionar la evaluación, se carece de la evidencia empírica para respaldar las afirmaciones que hacen los evaluadores. Muchas de las observaciones se realizan desde la perspectiva de juicios de valor subjetivos. No se desconoce el hecho que la experimentación no produce datos concluyentes, y que a decir de algunos autores, la interpretación lo es todo. (Parsons, 2007: 569). Tampoco se obvia la tensión entre la teoría de la evaluación alejada del positivismo, y la evaluación en la práctica, que ha buscado ser altamente positivista al creer en la posibilidad de medir las cosas. (Parsons, 2007: 562), pero el muestreo se presenta como una elección que pudiera ser tendenciosa, ya que no se tienen los elementos comparativos de referencia necesaria. En una opinión de quien realiza este análisis, se requeriría de un muestreo más amplio, que muestre los resultados del programa en las diversas regiones del país y que permita establecer puntos de comparación entre las comunidades con los mejores y peores resultados, establecer un parámetro intermedio para el territorio nacional y evaluar escenarios.
Bibliografía:
ESCOBAR, Agustín; y González de la Rocha, Mercedes (2003) Evaluación Cualitativa del Programa de Desarrollo Humano Oportunidades. Seguimiento de impacto 2001-2001, comunidades de 2,500 a 50,000 habitantes. Secretaría de Desarrollo Social, serie: documentos de investigación, México, D.F., 66 pp.
MONIER, Eric (1995) Evaluación de los poderes públicos. Editorial económica, España. Cap V. “Las estrategias y los dispositivos de evaluación”, pp. 129-158.
PARSONS, Wayne (2007) Políticas Públicas. FLACSO, México, D.F. pp. 477-571.
