Aquí encontrarás los principales manuales, guías, directrices y criterios para hacer, informar y evaluar las revisiones sistemáticas en ciencias de la salud.
1)Por dónde empezar: Manuales y guías metodológicas
1.1. Xiao, Y., & Watson, M. (2019). Guidance on Conducting a Systematic Literature Review. Journal of Planning Education and Research, 39(1), 93-112. https://doi.org/10.1177/0739456X17723971.
Este artículo proporciona una breve descripción general de los pasos de una revisión sistemática. En su descripción se incluye varias tablas y figuras interesantes como la que describe las tipologías de revisiones de literatura por propósito de revisión con ejemplos.
1.2. Kolaski K, Logan LR, Ioannidis JPA. Guidance to Best Tools and Practices for Systematic Reviews. JBJS Rev. 2023 Jun 7;11(6):e23.00077. doi: 10.2106/JBJS.RVW.23.00077.
Publicado en varios artículos de PMIDs: 37285444; 37282594; 37302044; 37286949; 37291658; 37288997 y 37282770.
Incluye una tabla con las herramientas que especifican las guías para revisiones sistemáticas con y sin metaanálisis.
1.3. Finding What Works in Health Care es un libro de los Estándares de las Academias Nacionales para Revisiones Sistemáticas (Institute of Medicine Standards for Systematic Reviews (IOM).
1.4. El Manual Cochrane para revisiones e intervenciones sistemáticas. Guía oficial que describe en detalle el proceso de preparación y mantenimiento de revisiones sistemáticas Cochrane sobre los efectos de las intervenciones sanitarias.
Versión original: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated August 2023). Cochrane, 2023.Disponible en: http://www.training.cochrane.org/handbook. Versión en español: Centro Cochrane Iberoamericano, traductores. Manual Cochrane de Revisiones Sistemáticas de Intervenciones, versión 5.1.0 [actualizada en marzo de 2011] [Internet]. Barcelona: Centro Cochrane Iberoamericano; 2012. Disponible en https://es.cochrane.org/es/recursos-para-autores-elaborar-revisiones
Diseñado para proporcionar a los autores una guía completa para realizar revisiones sistemáticas del JBI. Describe en detalle el proceso de planificación, realización y redacción de una revisión sistemática u otros documentos de síntesis de evidencia (Umbrela, scoping, …) utilizando los métodos JBI.
2.1. PRISMA 2020es un conjunto mínimo de elementos para informar en revisiones sistemáticas y metanálisis. PRISMA se centra principalmente en la presentación de informes de revisiones que evalúan los efectos de las intervenciones, pero también puede utilizarse como base para informar revisiones sistemáticas con objetivos distintos. PRISMA no es un estándar para la realización de revisiones sistemáticas. Es una guía de informes diseñada para abordar los informes deficientes de revisiones sistemáticas. Estas recomendaciones han sido ampliamente respaldadas y adoptadas en diversas disciplinas.
2.2. QUOROM. Quality of Reporting of Meta-analyses (QUOROM) Statement. Moher D, Eastwood S, Olkin I, Drummond R, Stroup D. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Lancet. 1999;354:1896-900. Disponible en: https://doi.org/10.1016/S0140-6736(99)04149-5. Dispone de unas directrices, una lista de comprobación y un diagrama de flujo. La lista de comprobación describe la forma preferida de presentar las secciones de resumen, introducción, métodos, resultados y discusión del informe de un metaanálisis.
2.3. MOOSE. Contiene una checklist para la presentación de metaanálisis de estudios observacionales en epidemiología, incluidos los antecedentes, la estrategia de búsqueda, los métodos, los resultados, la discusión y la conclusión. Meta-analyses Of Observational Studies in Epidemiology (MOOSE). Stroup D Berlin J Morton S Olkin I Williamson G Rennie D, et al. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA. 2000;238(15):2008-12. Disponible en: https://jamanetwork.com/journals/jama/fullarticle/192614
3) Cómo evaluar
3.1. AMSTAR (A MeaSurement Tool to Assess systematic Reviews) es una herramienta para evaluar críticamente revisiones sistemáticas de estudios de intervenciones en salud que incluyen estudios aleatorios o no aleatorios (NRS), o ambos. Disponible en: https://amstar.ca/index.php.
Perry, R., Whitmarsh, A., Leach, V. et al. A comparison of two assessment tools used in overviews of systematic reviews: ROBIS versus AMSTAR-2. Syst Rev10, 273 (2021). https://doi.org/10.1186/s13643-021-01819-x.
GRADE (Grading of Recommendations Assessment, Development and Evaluation) es el método más utilizado por revisores sistemáticos y desarrolladores de guías para evaluar la calidad de la evidencia de los estudios que se incluirán en las revisiones sistemáticas y guías de práctica clínica y decidir si recomendar una intervención.
El sistema GRADE propone las siguientes definiciones (Grupo de trabajo sobre GPC, 2016; Schünemann H, 2013):
Calidad de la evidencia: indica hasta qué punto nuestra confianza en la estimación de un efecto es adecuada para apoyar una recomendación.
Fuerza de la recomendación: indica hasta qué punto podemos confiar si poner en práctica la recomendación conllevará más beneficios que riesgos.
GRADE se diferencia de otras herramientas de evaluación por 3 razones:
Separa la calidad de la evidencia y la fuerza de la recomendación;
La calidad de la evidencia se evalúa por separado para cada resultado o desenlace de interés. Para cada uno de los desenlaces o resultados clave se efectúa una evaluación; así, una misma comparación de una intervención terapéutica o preventiva puede recibir diferentes asignaciones de la calidad de la evidencia; y
Los estudios observacionales se pueden ‘refinar’ su nivel inicial de calidad si cumplen con ciertos criterios (pueden hacer bajar o subir el escalón o nivel de la calidad inicialmente asignada). Los ensayos clínicos aleatorizados solo se pueden refinar a la baja.
Esquema del proceso GRADE
El proceso GRADE comienza con una pregunta clínica focalizada (conocida como PICO con sus elementos de población, intervención, comparador, resultado) que luego se convierte en la base de una RS. A la hora de elegir los desenlaces a analizar, GRADE recomienda la elección de desenlaces críticos para la toma de decisiones (que pueden no ser necesariamente los que cuentan con más evidencia disponible). Por ejemplos de desenlaces graves serían la hemorragia grave, una fractura vertebral o la muerte.
Una vez extraída y resumida la evidencia, se clasifica según la certeza en las estimaciones del efecto, que en el contexto de una RS refleja el grado de nuestra confianza en que las estimaciones del efecto son correctas. Las cuatro categorías son alta, moderada, baja y muy baja; cuanto más bajo es el nivel, más probable es que investigaciones adicionales de alta calidad puedan cambiar nuestra confianza en las estimaciones y en las propias estimaciones.
Cómo usar GRADE
Según GRADE, la certeza puede ser alta, moderada, baja y muy baja. Inicialmente, la calidad de la evidencia se clasifica, en alta o baja, según provenga de estudios experimentales u observacionales (inicialmente en alta si los estudios incluidos son estudios aleatorios o baja si son estudios observacionales); posteriormente, según una serie de consideraciones, el nivel de calidad de la evidencia queda establecido en 4 categorías: alta, moderada, baja y muy baja.
Inicialmente, se considera que un conjunto de ensayos aleatorizados se considera que proporciona evidencia de alta certeza, mientras que los estudios observacionales comienzan como evidencia de baja certeza evidencia.
En determinadas circunstancias, esta certeza puede disminuir o aumentar.
Hay 5 criterios que se pueden usar para degradar uno, dos o, a veces, tres pasos. Estos son:
Riesgo de sesgo en los estudios individuales, en los ECA se consideran problemas metodológicos en los estudios incluidos, como un cegamiento inadecuado (los participantes sabían que estaban en el grupo de control / tratamiento):
Falta de una secuencia de asignación claramente aleatorizada.
Falta de cegamiento.
Falta de ocultación de la asignación.
Incumplimiento del análisis por intención de tratar.
La prueba se interrumpe.
Grandes pérdidas durante el seguimiento.
Hay pruebas sólidas que apoyan la opinión de que la falta de asignación al azar, la falta de ocultación de la asignación y la ausencia de cegamiento dan lugar a sesgo. El análisis por intención de tratar también es importante para evitar el sesgo que surge cuando los que abandonan los ensayos debido a efectos nocivos no se contabilizan. De manera similar, los resultados provisionales de los ensayos que se acortan a menudo conducen a tamaños del efecto sobreestimados. Las grandes pérdidas debidas al seguimiento también conducen a estimaciones del efecto exageradas. Por ejemplo, en un ensayo controlado aleatorio que comparó programas de pérdida de peso en participantes obesos, el 27% de los participantes se perdieron durante el seguimiento en un año. Existe un supuesto sesgo positivo conferido a este estudio, ya que los participantes que se beneficiaron del tratamiento tenían más probabilidades de permanecer en el ensayo.
En los estudios observacionales se consideran: limitaciones en los criterios de inclusión de los pacientes, limitaciones en la medida de los resultados (como el sesgo de memoria), el control inadecuado de los factores de confusión o el seguimiento incompleto.
2. Inconsistenciade resultados entre estudios. Cuando existe una variabilidad significativa e inexplicable en los resultados de diferentes ensayos.
3. La evidencia indirecta (por ejemplo, los participantes eran niños, aunque la revisión sistemática se centró en adultos) puede referirse a varias cosas.
Una comparación indirecta de dos fármacos. Si no hay ensayos que comparen los fármacos A y B directamente, inferimos una comparación basada en ensayos separados que comparan el fármaco A con placebo y el fármaco B con placebo. Sin embargo, la validez de tal inferencia depende de la suposición, a menudo injustificada, de que las dos poblaciones de ensayo eran similares.
Una comparación indirecta de población, resultado o intervención, por ejemplo, los estudios de la revisión investigaron una intervención, en una población con un resultado determinado, pero las conclusiones de los estudios están destinadas a ser aplicables a intervenciones, poblaciones o resultados. Por ejemplo, el American College of Chest Physicians (ACCP) rebajó la calidad de la evidencia para el uso de medias de compresión en pacientes con traumatismos de alta a moderada porque todos los ensayos controlados aleatorios se habían realizado en la población general.
4. Imprecisión cuando los amplios intervalos de confianza estropean la calidad de los datos.
5. Sesgo de publicación cuando los estudios con resultados «negativos» permanecen sin publicar, ya que es menos probable que se publiquen los estudios que no muestran un efecto estadísticamente significativo. Esto puede sesgar el resultado de la revisión. Por ejemplo, Turner et al. examinaron todos los ensayos de antidepresivos registrados por la FDA. De 38 ensayos con resultados positivos, todos menos uno se publicaron, mientras que de los 36 ensayos con resultados negativos, 22 no se publicaron; una revisión sistemática de todos los estudios publicados arrojaría un resultado sesgado.
Las situaciones que pueden llevar a incrementar la confianza con los resultados de los estudios son poco comunes y se suelen aplicar sobre todo a estudios observacionales que evalúan el impacto de una intervención. Estos aspectos se deberían evaluar después de constatar que no se encuentra presente ninguna condición para disminuir la calidad de la evidencia debido a un potencial riesgo de sesgo u otros factores.
1) Fuerte asociación: hallazgos de efectos relativos RR>2, o < 0,5 en estudios observacionales sin factores de confusión.
2) Muy fuerte asociación: hallazgos de efectos relativos RR > 5, o <0,2 basados en estudios sin problemas de sesgo o precisión.
3) Existencia de gradiente dosis-respuesta (dose-response gradient).
4) Evidencia de que todos los posibles factores de confusión o sesgos podrían haber reducido el efecto observado.
La fuerza de una recomendación refleja hasta qué punto podemos confiar en que el efecto deseable de una intervención supera los efectos indeseables; en otras palabras, que es probable que el paciente experimente un beneficio neto. Es importante destacar que GRADE sólo tiene dos categorías de recomendación: fuerte y débil (que también puede denominarse condicional).
Para llegar a una fuerza de recomendación, GRADE define cuatro determinantes principales: el equilibrio entre consecuencias deseables e indeseables, la certeza de la evidencia, los valores y preferencias de los pacientes y la utilización de recursos. Hay tres consideraciones adicionales, a saber, la equidad, la aceptabilidad y la viabilidad.
Dentro de este marco, una recomendación fuerte para una intervención es más apropiada si los efectos deseables superan claramente el efecto indeseable, la certeza de la evidencia es alta o moderada, los valores y preferencias de los pacientes son bien conocidos y se piensa que son bastante consistentes, y se puede esperar que la utilización de recursos asociada sea baja; de lo contrario, será apropiada una recomendación débil.
Más información:
GRADEPro Website http://gradepro.org/ (Es el software usado para facilitar la aplicación del sistema GRADE a la elaboración de las Tablas de resumen de resultados (Summary of Findings, SoF) en revisiones Cochrane y al desarrollo de guías de práctica clínica).
Schünemann HJ, Higgins JPT, Vist GE, Glasziou P, Akl EA, Skoetz N, Guyatt GH. Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021). Cochrane, 2021. Available from: http://www.training.cochrane.org/handbook
Debido a la complejidad de la búsqueda de evidencia en las revisiones sistemáticas, se debe tener mucho cuidado en el desarrollo y ejecución de las estrategias de la búsqueda electrónica. Se han detectado frecuentes errores en las estrategias de búsqueda tales como errores de ortografía, errores de truncamiento, error de operador lógico, referencias de líneas de consulta incorrectas, redundancia sin justificación, la falta de términos tanto en lenguaje natural como en lenguaje controlado y aquellos relacionados con los MeSH, etc. (1-3).
Por este motivo, siempre que sea posible hay que realizar una revisión por pares de la estrategia para identificar los errores más habituales, mejorar la calidad y reducir no solo el riesgo de perder estudios relevantes, sino también el riesgo de identificar un número innecesariamente elevado de registros irrelevantes.
Recientemente se ha publicado las recomendaciones Cochrane para realizar revisiones rápidas (4) en las que, a diferencia de la guía MECIR (Methodological Expectations for Cochrane Intervention Reviews), recomiendan la revisión por pares de, al menos, una estrategia de búsqueda (por ejemplo, MEDLINE) (R12).
PRESS (Peer Review of Electronic Search Strategies (5) es un instrumento concebido y creado con el objetivo de realizar y evaluar estrategias de búsqueda para síntesis de evidencia. PRESS proporciona descripciones de seis dominios principales para su uso como pautas para las prácticas de los bibliotecarios y para los editores como instrumento para la evaluación metodológica general de las revisiones.
Los seis dominios principales de la lista de verificación de PRESS 2015 son:
Traducción de la pregunta de investigación.
Operadores booleanos y de proximidad.
Encabezamientos de materia.
Búsqueda de palabras de texto (texto libre).
Ortografía, sintaxis y números de línea.
Límites y filtros.
La revisión por pares de las búsquedas debe tener lugar en dos etapas importantes del proceso de síntesis de la evidencia: al comienzo del proyecto, antes de que se realicen las búsquedas, y en la etapa previa a la publicación (6).
BIBLIOGRAFÍA
Elliott JH, Turner T, Clavisi O, Thomas J, Higgins JP, Mavergames C, Gruen RL. Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med. 2014 Feb 18;11(2):e1001603. doi: 10.1371/journal.pmed.1001603. eCollection 2014 Feb. PubMed PMID: 24558353; PubMed Central PMCID: PMC3928029. Disponible en: http://dx.plos.org/10.1371/journal.pmed.1001603
Salvador-Oliván JA, Marco-Cuenca G, Arquero-Avilés R. Errors in search strategies used in systematic reviews and their effects on information retrieval. J Med Libr Assoc. 2019 Apr;107(2):210-221. doi: 10.5195/jmla.2019.567. PMID: 31019390; PMCID: PMC6466507.
Spry C, Mierzwinski-Urban M. The impact of the peer review of literature search strategies in support of rapid review reports. Res Synth Methods. 2018 Dec;9(4):521-526. doi: 10.1002/jrsm.1330. PMID: 30408843.
Garritty C, Gartlehner G, Nussbaumer-Streit B, King VJ, Hamel C, Kamel C, Affengruber L, Stevens A. Cochrane Rapid Reviews Methods Group offers evidence-informed guidance to conduct rapid reviews. J Clin Epidemiol. 2021 Feb;130:13-22. doi: 10.1016/j.jclinepi.2020.10.007. PMID: 33068715; PMCID: PMC7557165.
McGowan J, Sampson M, Salzwedel DM, Cogo E, Foerster V, Lefebvre C. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. J Clin Epidemiol. 2016 Jul;75:40-6. doi: 10.1016/j.jclinepi.2016.01.021. PMID: 27005575.
Lefebvre C, Duffy S. Peer review of searches for studies for health technology assessments, systematic reviews, and other evidence syntheses. Int J Technol Assess Health Care. 2021; 37(1):E64.
Desde ayer se encuentra disponible para su consulta la versión online del Manual de la Cochrane para Revisiones Sistemáticas de Intervenciones: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0 (updated July 2019). Cochrane, 2019. Available from http://www.training.cochrane.org/handbook.
Esta es la guía oficial que describe en detalle el proceso y orienta sobre los estándares de preparación y mantenimiento de revisiones sistemáticas Cochrane sobre los efectos de las intervenciones de atención médica (planificación de una revisión, búsqueda y selección de estudios, recopilación de datos, evaluación del riesgo de sesgo, análisis estadístico, GRADE e interpretación de resultados) así como temas más especializados (estudios no aleatorios, adversos efectos, intervenciones complejas, equidad, economía, resultados informados por el paciente, datos individuales del paciente, metaanálisis prospectivo e investigación cualitativa).
En el apartado 4.2. podemos leer:
«4.2.1 Role of the information specialist/librarian
4.2.1. Medical/healthcare librarians and information specialists have an integral role in the production of Cochrane Reviews. There is increasing evidence to support the involvement of an information specialist in the review to improve the quality of various aspects of the search process (Rethlefsen et al 2015, Meert et al 2016, Metzendorf 2016)».