Antes de nada, puede que la palabra más importante del título sea «comenzar» 😉 Sin duda, la experiencia y la lectura serán los elementos determinantes para saber evaluar de manera crítica una investigación. No hay otra, práctica y práctica, con todo lo que ello supone. Sin embargo, hay que empezar por algún sitio con «pequeñas» estrategias y herramientas… Con esta intención, comparto en este post el Critical Appraisal Skills Programme (CASP), un programa de habilidades de evaluación crítica diseñado por el Oxford Center for Triple Value Healthcare.
Muy a menudo, los investigadores (no me refiero solo a los universitarios), sobre todo los menos experimentados, encontramos dificultades para saber si un estudio es bueno, malo o regular. Esto se puede apreciar, por ejemplo, en la difusión que, en no pocas ocasiones, los medios de comunicación hacen de muchos estudios, buscando un buen titular o un tema de actualidad que genere debate, visitas, muchos tweets y «me gustas». Y lo que es peor, la posterior difusión que estas noticias tienen con el correspondiente impacto sobre la opinión pública. Lamentablemente, no todas las personas (en su mayoría periodistas) que publican este tipo de noticias han seguido una evaluación crítica del estudio en el que dicen basarse (muchas veces ni siquieran lo enlazan). De otro lado, estamos demasiado habituados a ver a nuestros estudiantes universitarios con muchos problemas para saber buscar investigaciones de calidad y para evaluar de manera crítica los estudios que acaban seleccionando. Esto sucede con estudiantes de Grado, pero también con los de Máster e incluso Doctorado.
Para saber si una investigación es de calidad o no, parece que hemos aceptado como criterio saber el lugar en el que está publicada. O lo que es lo mismo, ¿está en Scopus o en la WOS? Para alguien que se está iniciando, no tiene mucho tiempo y no es especialista (ni desea serlo), como criterio único puede estar bien, pero debemos ser conscientes de las limitaciones de utilizar solamente este criterio. Centrando la atención en el campo de la Educación en el contexto formal (por ser el que más domino), nos encontramos con diferentes problemas que hace que nuestras investigaciones tengan escaso impacto en contextos reales y lo que es peor, que los docentes no tengan interés en saber qué se publica en las revistas, crean que investigar es solo cosa de los “de la Universidad” y que los investigadores estén más preocupados por publicar para promocionar que para buscar mejoras en la práctica. A todo ello le tenemos que sumar los eternos debates sobre si las evidencias son útiles y en qué medida lo son. En los trabajos de Murillo y Perines (2017) y Hederich, Martínez y Rincón (2014) se estudian éstos y otros asuntos relacionados (recomiendo su lectura).
¿Y por dónde comenzar a corregir estos problemas? Complicada respuesta… Es evidente que no hay una única solución ya que es un tema que afecta a muchas dimensiones. Lo que está claro, es que uno de los aspectos a corregir es la formación inicial de los profesionales en educación en este sentido, proporcionando, entre otras cosas, estrategias y herramientas que nos permitan evaluar de manera crítica las investigaciones que encontramos. Es evidente que encontraremos estudios de calidad en revistas científicas, pero también los habrá en libros, post en blogs, etc. Y al contrario, también encontraremos investigaciones poco rigurosas en los diferentes espacios de publicación, revistas JCR incluidas.
Podemos encontrar muchos criterios y estrategias de selección de información (recomendaciones de expertos, número de citas, novedad del tema, año de publicación, autores, etc.). Sin embargo, para un usuario más novel en estos asuntos, este tipo de estrategias pueden ser insuficientes. Por este motivo, me gustaría compartir en este post el Programa de habilidades de evaluación crítica (Critical Appraisal Skills Programme, CASP) diseñado por el Oxford Center for Triple Value Healthcare, al cual llegué gracias a una recomendación de lectura (Cussó-Calabuig, Carrera y Bosch-Capblanch, 2018) de mi amigo Víctor González, en la que citaba el CASP. El objetivo de este programa es permitir al lector evaluar sistemáticamente y de manera crítica, la fiabilidad y la relevancia de los resultados publicados en cualquier investigación. CASP utiliza una serie de listas de verificación (publicadas con Licencia Creative Commons) para que el lector pueda llegar a hacer sus propios juicios. CASP aborda la investigación en tres pasos:
1) ¿Es válido el estudio?
2) ¿Cuáles son los resultados?
3) ¿Son útiles los resultados?
Se puede acceder a todas las listas de verificación (checklists). Cada lista de comprobación contiene 10 preguntas que permitirán al usuario evaluar de manera crítica una investigación. Cada pregunta incluye además unas indicaciones para interpretar correctamente cada cuestión. Sin embargo, para los interesados en el área de las Ciencias de la Educación, decir que CASP está diseñado desde el ámbito de la salud, por lo que se requeriría de algunas adaptaciones para su uso. Otra limitación, sería el tipo de diseños de investigación que se hace en el ámbito de la Salud y los que hacemos en Educación. Por ello comparto directamente las dos que considero que pueden ser más útiles en nuestro campo:
CASP lista de comprobación para revisiones sistemáticas.
CASP lista de comprobación para estudios cualitativos.
Está claro que CASP no es la panacea ni la súper herramienta para que un usuario ya sepa evaluar críticamente una investigación, sin embargo, sí puede ser de utilidad para entender que la rigurosidad y la transparencia en un estudio debe estar presente en todas las fases y que “no vale” seleccionar estudios por su posicionamiento en Google, porque están en inglés, porque se twittean mucho o porque están publicados en una revista incluida en la WOS o en Scopus. En cualquier caso, si conoces otras herramientas o estrategias que sean útiles para este fin, en los comentarios serán bienvenidas 😉
