biblioGETAFE

Una revisión sistemática refleja las limitaciones de los estudios que incluye; por lo tanto, cada estudio elegible para su inclusión en una revisión sistemática requiere una evaluación crítica para determinar si el estudio no ha respondido correctamente a su pregunta de investigación de una manera libre de sesgos.

La red LATITUDES nos proporciona una visión general de la calidad de los estudios y relación entre los distintos componentes de la calidad. Enfatiza los 3 componentes principales de la calidad del estudio: validez interna, validez externa y calidad del informe/reporte.

El proceso de evaluación del riesgo de sesgo implica una valoración crítica y un juicio relativo a la existencia de riesgos potenciales de sesgo en el estudio. Un sesgo es un «error sistemático, o desviación de la verdad, en los resultados o inferencias» y esto puede conducir a hallazgos que no reflejen el resultado real. El sesgo (por ejemplo, las limitaciones del estudio) se refiere al riesgo de que los estudios sobrestimen o subestimen sistemáticamente el verdadero efecto de la intervención en función de un error en su realización o diseño.

El sesgo es distinto del concepto de calidad

Un estudio con «alta calidad metodológica» puede tener un «alto riesgo de sesgo» como, por ejemplo, cuando el cegamiento es imposible. Por otro lado, no todas las debilidades metodológicas introducen sesgos. Así, ciertos indicadores de «baja calidad metodológica» tienen poca probabilidad de influir en el riesgo de sesgo, como, por ejemplo, la no predeterminación del tamaño muestral.

Herramientas para la evaluación de la calidad

Hay muchas escalas escalas de calidad y listas de verificación (checklists) disponibles. Las revisiones Cochrane no las utilizan dado que no hay evidencia empírica que avale su uso, diferentes escalas llegan a diferentes conclusiones, la ponderación numérica no está justificada y las puntuaciones difíciles de interpretar por los lectores.

Herramientas para la evaluación del riesgo de sesgo

La RoB 2 de Cochrane se utiliza para la evaluación de ensayos clinicos. Valora 7 dominios (Generación de la secuencia aleatoria; Ocultamiento de la asignación; Cegamiento de los participantes y del personal; Cegamiento de los evaluadores del resultado; Datos de resultado incompletos; Notificación selectiva de los resultados; y Otras fuentes de sesgo) siendo la valoración de los revisores como de «bajo riesgo de sesgo» , «alto riesgo de sesgo» o «riesgo de sesgo poco claro«.

Para los estudios no aleatorizados también hay que evaluar el riesgo de sesgo: ROBINS (acrónimo de Risk Of Bias In Non-Randomized Studies). En la actualidad, existen dos versiones de esta herramienta: ROBINS-I, para estudios no aleatorizados de intervenciones y la recientemente lanzada ROBINS-E, que evalúa el efecto de una exposición en estudios de cohortes.

Además de las herramientas para estudios aleatorizados y no aleatorizados, se dispone de herramientas específicas para la evaluación de RoB en informes de casos y series de casos y diseños experimentales de caso único.

Estas herramientas proporcionan marcos estructurados para evaluar la calidad de diferentes tipos de estudios. Cada herramienta está diseñada para abordar las características únicas y los posibles sesgos asociados con diseños de estudio específicos. Por ejemplo, RoB 2 se centra en los ensayos controlados aleatorios, evaluando aspectos como el proceso de aleatorización y el cegamiento, mientras que ROBINS-I se utiliza para estudios de intervención no aleatorizados, considerando factores como el control de confusores.

Si los tipos de diseño de estudios incluidos en mi revisión sistemática son diferentes (p. ej.: EC, estudio de cohortes, …), ¿es mejor utilizar una herramienta genérica o elegir diferentes según el tipo de estudio?

Los autores de revisiones sistemáticas deben examinar los aspectos de riesgo de sesgo (RoB) específicos del diseño de cada estudio primario que incluyan como evidencia. Es poco probable que una única herramienta de valoración de los criterios de RoB sea adecuada para todos los diseños de investigación. Si utilizamos herramientas específicas según el diseño del estudio, nos aseguramos de que la evaluación de calidad se alinea con las consideraciones únicas y los sesgos asociados con cada diseño de estudio. Pero el uso de múltiples herramientas puede aumentar la complejidad y requerir una mayor familiaridad con cada herramienta específica.

La utilización adecuada de estas herramientas permite a los investigadores realizar evaluaciones de calidad más precisas y estandarizadas, mejorando la confiabilidad y la comparabilidad de las síntesis de evidencia. Es importante que los investigadores se familiaricen con la herramienta apropiada para su tipo de estudio y la utilicen de manera consistente en todo el proceso de síntesis de evidencia.

El diagrama de flujo proporcionado por LATITUDES es una guía valiosa en este proceso de selección de la herramienta, pero es importante complementarlo con un conocimiento profundo de las características de cada herramienta y las especificidades del estudio en cuestión. Una selección cuidadosa asegura que todos los aspectos relevantes de la calidad del estudio sean evaluados adecuadamente, fortaleciendo así la validez de la síntesis de evidencia.

Cómo evaluar el riesgo de sesgo

Hay que predefinir en la fase de Protocolo cómo se va a considerar el riesgo de sesgo en el análisis (definir si se va a meta-analizar los estudios con riesgo de sesgo alto o incierto). Al menos debe realizarse por 2 evaluadores de manera independiente siendo conveniente hacer un pilotaje con 3-6 estudios. Además, debemos definir en el Protocolo cómo se van a resolver los desacuerdos y aclarar la información que falta o no está clara en la publicación (por ejemplo, yendo al protocolo del estudio y/o contactar con los autores).

¿Cómo representa la evaluación del riesgo de sesgo en su manuscrito de revisión?

Se ha de resumir el riesgo de sesgo de los estudios incluidos y de cada desenlace. En esta figura se muestra un ejemplo de un resumen de la evaluación del riesgo de sesgo según la herramienta Cochrane de riesgo de sesgo aplicada a 8 ensayos clínicos aleatorizados como parte de una revisión sistemática sobre el calostro humano y bovino para la prevención de la enterocolitis necrotizante.

El resumen de las evaluaciones del riesgo de sesgo para los estudios incluidos en la revisión sistemática incluye tanto la identificación del estudio como los juicios realizados sobre la posibilidad de que se introduzca el sesgo dentro de cada dominio del instrumento de riesgo de sesgo. En esta figura, los círculos verdes que incluyen un carácter más («+») representan dominios con bajo riesgo de sesgo, mientras que los círculos rojos que incluyen un guión («-«) representan dominios con alto riesgo de sesgo. 

No debemos intentar resumir todos los resultado y todos los estudios a la vez. Hay que resumir por desenlace. Cada desenlace puede tener su evaluación propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto). Además, no todos los estudios aportan información a cada desenlace. Debemos empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios.

¿Debemos evaluar el riesgo de sesgo en las revisiones de alcance/scoping reviews?

Las revisiones de alcance no suelen incluir una evaluación del riesgo de sesgo. «Una diferencia clave entre las revisiones de alcance y las revisiones sistemáticas es que las primeras se realizan generalmente para proporcionar una visión general de la evidencia existente, independientemente de la calidad metodológica o del riesgo de sesgo. Por lo tanto, las fuentes de evidencia incluidas no suelen someterse a una valoración crítica en el caso de las revisiones de alcance» (Tricco).

¿Y fuera de ciencias de la salud?

Para disciplinas fuera de la medicina, el Critical Appraisal Skills Programme (https://casp-uk.net/casp-tools-checklists/) proporciona listas de comprobación que pueden aplicarse a diversos tipos de estudios, y la Mixed Methods Appraisal Tool puede ser un recurso útil si los estudios incluidos utilizan métodos mixtos y la JBI también incluye herramientas útiles.

Bibliografía

Whiting P, Wolff R, Savović J, Devine B, Mallett S, Introducing the LATITUDES Network: a Library of Assessment Tools and training to Improve Transparency, Utility and Dissemination in Evidence Synthesis, Journal of Clinical Epidemiology (2024), doi: https://doi.org/10.1016/j.jclinepi.2024.111486

Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC. Chapter 8: Assessing risk of bias in a randomized trial [last updated October 2019]. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.5. Cochrane, 2024. Disponible en www.training.cochrane.org/handbook.

Flemyng E, Moore TH, Boutron I, Higgins JP, Hróbjartsson A, Nejstgaard CH, et al. Using Risk of Bias 2 to assess results from randomised controlled trials: guidance from Cochrane. BMJ Evidence-Based Medicine [Internet]. 1 de agosto de 2023 [citado 14 de noviembre de 2024];28(4):260-6. Disponible en: https://ebm.bmj.com/content/28/4/260

Ciapponi A. Herramientas ROBINS para evaluar el riesgo de sesgo de estudios no aleatorizados. Evidencia – actualización En La práctica Ambulatoria. 2022;25(3):e007024. https://doi.org/10.51987/evidencia.v25i4.7024

Risk of bias tools. [accedido 12 noviembre 2024]. Disponible en: https://www.riskofbias.info/welcome.

Riesgo de sesgo | Primum non nocere. (2014). Retrieved September 28, 2024, from https://rafabravo.blog/2014/03/06/riesgo-de-sesgo/

Tricco A, Lillie E, Zarin W, O’Brien K, Colquhoun H, Levac D, Straus S. (2018). PRISMA extension for scoping reviews (PRISMA-ScR): Checklist and explanation. Ann Intern Med. 2018;169(7):467-473. https://doi.org/10.7326/M18-0850.   

JBI Critical Appraisal Tools | JBI. [accedido 12 noviembre 2024]. Disponible en: https://jbi.global/critical-appraisal-tools.