Handbook of Practical Program Evaluation

Introducción -- Manual de evaluación práctica de programas -- Contenido -- Figuras, tablas y anexos -- Figuras -- Tablas -- Anexos -- Prefacio -- Audiencia prevista -- Alcance -- Necesidad de una evaluación de programas -- Organización del manual -- Agradecimientos -- Los editores -- Los colaboradores -- PRIMERA PARTE Planificación y diseño de la evaluación -- Los capítulos -- CAPÍTULO UNO PLANIFICACIÓN Y DISEÑO DE EVALUACIONES ÚTILES -- Adaptación del enfoque de evaluación a las necesidades de información -- Selección de programas para evaluar -- Selección del tipo de la evaluación -- Identificar los elementos contextuales que pueden afectar la realización y el uso de la evaluación -- Producir el rigor metodológico necesario para respaldar los hallazgos creíbles -- Elegir las medidas apropiadas -- Elegir formas confiables de obtener las medidas elegidas -- Respaldar las inferencias causales -- Validez interna - - Capacidad de generalización -- Validez de la conclusión estadística -- Elaboración de informes -- Planificación de una evaluación receptiva y útil -- Planificación de procesos de evaluación -- Recopilación de datos -- Análisis de datos -- Uso de Evalua ción -- Glosario -- Referencias -- CAPÍTULO DOS ANALIZAR E INVOLUCRAR A LAS PARTES INTERESADAS -- Entender quién es una parte interesada, especialmente una parte interesada clave -- Identificar y trabajar con los principales usuarios previstos -- 1. Desarrollar habilidades de facilitación -- 2. Encontrar y Capacitar a los usuarios de información de evaluación -- 3. Encontrar puntos de inflexión -- 4. Facilitar interacciones de alta calidad -- 5. Fomentar el interés en la evaluación -- 6. Demostrar sensibilidad y competencia cultural -- 7. Anticipar la rotación de usuarios previstos -- Usar Técnicas de análisis e identificación de las partes interesadas -- Realización de una identificación y un análisis básicos de las partes interesadas -- Elección de los participantes del análisis de las partes interesadas en la evaluación -- Creación de un propósito Diagrama de red -- Tratamiento de las diferencias de poder -- Cuadrícula de poder versus interés -- Diagrama de influencia de las partes interesadas -- Bases de poder- Diagrama de direcciones de interés

Determinar el propósito y las metas de las evaluaciones -- Involucrar a las partes interesadas -- Enfrentar los desafíos de los entornos turbulentos e inciertos -- Conclusión -- Referencias -- CAPÍTULO TRES USO DE MODELOS LÓGICOS -- ¿Qué es un modelo lógico? -- La Utilidad de los Modelos Lógicos -- Evaluación Basada en la Teoría -- Construcción del Modelo Lógico -- Etapa 1: Recopilación de la Información Relevante -- Etapa 2: Definición Clara del Problema y su Contexto -- Etapa 3: Definición de los Elementos del Programa en una tabla: Sentido inicial -- Etapa 4: Dibujo del modelo lógico para revelar la teoría del cambio del programa -- Etapa 5: Verificación del modelo lógico del programa con las partes interesadas -- Conclusión -- Referencias -- CAPÍTULO CUATRO EVALUACIÓN EXPLORATORIA -- Evaluación de la evaluabilidad Evalúa la preparación de un programa para la evaluación -- El proceso de evaluación de la evaluabilidad -- Cuestiones, problemas y posibles soluciones -- Importancia -- La evaluación de retroalimentación rápida produce diseños de evaluación probados -- El proceso de evaluación de retroalimentación rápida -- Cuestiones, problemas y potencial Soluciones -- Importancia -- La síntesis de la evaluación resume lo que se sabe sobre el desempeño del programa -- Los estudios de muestras pequeñas pueden ser útiles para evaluar las medidas de desempeño -- Selección de una evaluación exploratoria Enfoque -- Conclusión -- Referencias -- CAPÍTULO CINCO MEDICIÓN DEL DESEMPEÑO: Seguimiento de los resultados del programa -- Medición del rendimiento y evaluación del programa -- Sistemas de medición -- Resultados y otros tipos de medidas de rendimiento -- Identificación, puesta en práctica y evaluación de las medidas de rendimiento -- Datos Fuentes -- Criterios para buenas medidas de rendimiento -- Control de calidad -- Conversión de datos de rendimiento en información -- Tendencias a lo largo del tiempo -- Desempeño real versus objetivos -- Comparaciones entre unidades -- Otros desgloses -- Benchmarking externo -- Presentación y análisis de datos de rendimiento -- Desafíos actuales para la medición del desempeño

Uso de datos de rendimiento para mejorar el rendimiento -- Implementación de medidas de rendimiento en entornos en red -- Conclusión: la perspectiva -- Referencias -- CAPÍTULO SEIS DISEÑOS DE GRUPOS DE COMPARACIÓN -- Introducción a la teoría causal para la evaluación de impacto -- Diseños de grupos de comparación -- 1. Diseño ingenuo -- 2. Diseño básico de valor agregado: regresión ajustada para una medida previa al programa -- 3. Diseño de covariables ajustado por regresión -- 4. Diseño de valor agregado ajustado para covariables adicionales -- 5. Diseños de series temporales interrumpidas -- 6. Diseños de efectos fijos para evaluaciones longitudinales -- 7. Diseños coincidentes -- 8. Diseños de discontinuidad de regresión -- Conclusión -- Referencias -- CAPÍTULO SIETE ENSAYOS CONTROLADOS ALEATORIOS -- Historia de los ECA -- ¿Por qué aleatorizar? -- Diseño de prueba -- Asignación sesgada y asignación segura -- Contaminación y asignación aleatoria de grupos -- Determinación y seguimiento ciego -- Cruzamiento e intención de tratar -- Deserción -- Desmoralización resentida: diseños de preferencia -- Lista de espera y diseños de cuña escalonada -- Problemas de diseño en los ensayos aleatorios por grupos -- Problemas de tamaño de la muestra -- Mayor potencia a un costo muy bajo -- Problemas analíticos -- Generalizabilidad o validez externa -- Calidad de los ensayos aleatorios -- Obstáculos para el uso más amplio de los ECA -- Conclusión - - Referencias -- CAPÍTULO OCHO REALIZACIÓN DE ESTUDIOS DE CASO -- ¿Qué son los estudios de caso? -- Diseño de estudios de casos -- Definición de preguntas de investigación -- Determinación de la unidad de análisis -- Selección de diseños de caso único o de casos múltiples -- Selección de casos o sitios -- Realización de estudios de casos -- Preparación -- Estrategias de recopilación de datos -- Análisis los datos -- Preparación del informe -- Evitar trampas comunes -- Conclusión -- Referencias -- CAPÍTULO NUEVE RECLUTAMIENTO Y RETENCIÓN DE PARTICIPANTES EN EL ESTUDIO -- Planificación para el reclutamiento y la retención -- La importancia de la planificación temprana -- Definición de la población objetivo

Motivación de los participantes y diseño de recopilación de datos -- Prueba previa -- Juntas de revisión institucional y la Oficina de Administración y Presupuesto -- Contratación y retención de personal -- Antecedentes del personal -- Cualidades interpersonales -- Habilidades de comunicación -- Capacitación y supervisión -- Implementación de contratación y retención -- Modos de contacto para el reclutamiento y la retención -- Esfuerzos de reclutamiento y retención en un entorno de atención médica -- Obtener la cooperación de los participantes -- Consideraciones específicas de retención -- Monitoreo del progreso del reclutamiento y la retención -- Monitoreo de múltiples estrategias de reclutamiento -- Monitoreo del reclutamiento y la retención de subpoblaciones -- Consideraciones culturales -- Conclusión -- Referencias -- CAPÍTULO DIEZ DISEÑO, GESTIÓN Y ANÁLISIS DE EVALUACIONES MULTISITIO -- Definición de la evaluación multisitio -- Ventajas y desventajas de las evaluaciones multisitio -- Enfoques y diseños multisitio -- Sentar las bases para an MSE -- Determinación del diseño de MSE -- Sitios de muestreo -- Strat Estrategias para la recopilación de datos en múltiples sitios -- Recopilación de datos comunes frente a datos de sitios específicos -- Desarrollo de un protocolo común -- Maximización de los datos existentes -- Desarrollo de una herramienta común de recopilación de datos -- Evaluación de intervenciones en múltiples sitios -- Monitoreo de la fidelidad -- Evaluación de ingredientes comunes -- Estudio de la implementación -- Medición de la participación en el programa -- Evaluación de comparación y sitios de tratamiento -- Monitoreo de la implementación en múltiples sitios -- Características de diseño para monitorear -- Métodos de monitoreo -- Control de calidad en las MPE -- Selección y contratación de recolectores de datos -- Capacitación común y sesiones de refuerzo - - Preparación de los entrevistadores -- Comunicación, supervisión y revisión continua -- Gestión de datos -- Informatización y gestión de datos cualitativos -- Informatización y gestión de datos cuantitativos -- Identificación y confidencialidad -- Estrategias de análisis cuantitativo -- Desafíos y estrategias

Plan de análisis general -- Estrategias de análisis cualitativo -- Contar la historia -- Consejos finales para el evaluador de MSE -- Referencias -- CAPÍTULO ONCE EVALUACIÓN DE PROGRAMAS DE CAMBIO COMUNITARIO -- Definición de intervenciones de cambio comunitario -- Desafíos -- Guía para evaluadores y profesionales -- 1. Definir un conjunto integral y parsimonioso de métricas a través de las cuales evaluar el desempeño del programa -- 2. Seleccionar la unidad de análisis adecuada -- 3. Evaluar qué tan "estable" o móvil es la unidad de análisis -- 4. Determinar el momento adecuado Período de evaluación -- 5. Inventariar qué datos están disponibles y qué datos originales es necesario recopilar -- 6. Apoyar la creación y gestión de un sistema de datos -- 7. Elegir los métodos de evaluación más apropiados -- Conclusión -- Referencias -- CAPÍTULO DOCE EVALUACIÓN CULTURALMENTE RESPONSIVA: Teoría, práctica e implicaciones futuras -- ¿Qué es CRE? -- Pioneros en los fundamentos de CRE -- De la teoría de CRE a la práctica de CRE -- Preparación para la evaluación -- Involucrar a las partes interesadas -- Identificar el propósito y la intención de la evaluación -- Formular las preguntas correctas -- Diseñar la evaluación -- Seleccionar y adaptación de instrumentación -- Recopilación de datos -- Análisis de datos -- Difusión y uso de los resultados -- Casos de aplicación de la teoría y la práctica de CRE -- Implicaciones para la profesión -- Validez, rigor y CRE -- Responsabilidad como principio fundamental de CRE -- Conclusión -- Notas -- Referencias -- SEGUNDA PARTE Procedimientos prácticos de recopilación de datos -- Los capítulos -- Otras consideraciones sobre la recopilación de datos -- CAPÍTULO TRECE USO DE REGISTROS DE LA AGENCIA -- Problemas potenciales y su alivio -- 1. Falta o está incompleto Datos -- 2. Inquietudes con la precisión de los datos -- 3. Datos disponibles solo en forma excesivamente agregada -- 4. Definiciones desconocidas, diferentes o cambiantes de los elementos de datos -- 5. Los datos deben estar vinculados entre programas y agencias

6. Consideraciones de confidencialidad y privacidad