Etiqueta: Revision sistematica

Sistema GRADE para evaluar la calidad de la evidencia y decidir si recomendar una intervención

CamposDeja un comentario

GRADE (Grading of Recommendations Assessment, Development and Evaluation) es el método más utilizado por revisores sistemáticos y desarrolladores de guías para evaluar la calidad de la evidencia de los estudios que se incluirán en las revisiones sistemáticas y guías de práctica clínica y decidir si recomendar una intervención.

El sistema GRADE propone las siguientes definiciones (Grupo de trabajo sobre GPC, 2016; Schünemann H, 2013):

  • Calidad de la evidencia: indica hasta qué punto nuestra confianza en la estimación de un efecto es adecuada para apoyar una recomendación.
  • Fuerza de la recomendación: indica hasta qué punto podemos confiar si poner en práctica la recomendación conllevará más beneficios que riesgos.

GRADE se diferencia de otras herramientas de evaluación por 3 razones:

  • Separa la calidad de la evidencia y la fuerza de la recomendación;
  • La calidad de la evidencia se evalúa por separado para cada resultado o desenlace de interés. Para cada uno de los desenlaces o resultados clave se efectúa una evaluación; así, una misma comparación de una intervención terapéutica o preventiva puede recibir diferentes asignaciones de la calidad de la evidencia; y
  • Los estudios observacionales se pueden ‘refinar’ su nivel inicial de calidad si cumplen con ciertos criterios (pueden hacer bajar o subir el escalón o nivel de la calidad inicialmente asignada). Los ensayos clínicos aleatorizados solo se pueden refinar a la baja.

Esquema del proceso GRADE

El proceso GRADE comienza con una pregunta clínica focalizada (conocida como PICO con sus elementos de población, intervención, comparador, resultado) que luego se convierte en la base de una RS. A la hora de elegir los desenlaces a analizar, GRADE recomienda la elección de desenlaces críticos para la toma de decisiones (que pueden no ser necesariamente los que cuentan con más evidencia disponible). Por ejemplos de desenlaces graves serían la hemorragia grave, una fractura vertebral o la muerte.

Una vez extraída y resumida la evidencia, se clasifica según la certeza en las estimaciones del efecto, que en el contexto de una RS refleja el grado de nuestra confianza en que las estimaciones del efecto son correctas. Las cuatro categorías son alta, moderada, baja y muy baja; cuanto más bajo es el nivel, más probable es que investigaciones adicionales de alta calidad puedan cambiar nuestra confianza en las estimaciones y en las propias estimaciones.

Cómo usar GRADE

Según GRADE, la certeza puede ser alta, moderada, baja y muy baja. Inicialmente, la calidad de la evidencia se clasifica, en alta o baja, según provenga de estudios experimentales u observacionales (inicialmente en alta si los estudios incluidos son estudios aleatorios o baja si son estudios observacionales); posteriormente, según una serie de consideraciones, el nivel de calidad de la evidencia queda establecido en 4 categorías: alta, moderada, baja y muy baja. 

Inicialmente, se considera que un conjunto de ensayos aleatorizados se considera que proporciona evidencia de alta certeza, mientras que los estudios observacionales comienzan como evidencia de baja certeza evidencia.

En determinadas circunstancias, esta certeza puede disminuir o aumentar.

Hay 5 criterios que se pueden usar para degradar uno, dos o, a veces, tres pasos. Estos son: 

  1. Riesgo de sesgo en los estudios individuales, en los ECA se consideran problemas metodológicos en los estudios incluidos, como un cegamiento inadecuado (los participantes sabían que estaban en el grupo de control / tratamiento):
  • Falta de una secuencia de asignación claramente aleatorizada.
  • Falta de cegamiento.
  • Falta de ocultación de la asignación.
  • Incumplimiento del análisis por intención de tratar.
  • La prueba se interrumpe.
  • Grandes pérdidas durante el seguimiento.

Hay pruebas sólidas que apoyan la opinión de que la falta de asignación al azar, la falta de ocultación de la asignación y la ausencia de cegamiento dan lugar a sesgo. El análisis por intención de tratar también es importante para evitar el sesgo que surge cuando los que abandonan los ensayos debido a efectos nocivos no se contabilizan. De manera similar, los resultados provisionales de los ensayos que se acortan a menudo conducen a tamaños del efecto sobreestimados. Las grandes pérdidas debidas al seguimiento también conducen a estimaciones del efecto exageradas. Por ejemplo, en un ensayo controlado aleatorio que comparó programas de pérdida de peso en participantes obesos, el 27% de los participantes se perdieron durante el seguimiento en un año. Existe un supuesto sesgo positivo conferido a este estudio, ya que los participantes que se beneficiaron del tratamiento tenían más probabilidades de permanecer en el ensayo.

En los estudios observacionales se consideran: limitaciones en los criterios de inclusión de los pacientes, limitaciones en la medida de los resultados (como el sesgo de memoria), el control inadecuado de los factores de confusión o el seguimiento incompleto.

2. Inconsistencia de resultados entre estudios. Cuando existe una variabilidad significativa e inexplicable en los resultados de diferentes ensayos. 

3. La evidencia indirecta (por ejemplo, los participantes eran niños, aunque la revisión sistemática se centró en adultos) puede referirse a varias cosas.

  • Una comparación indirecta de dos fármacos. Si no hay ensayos que comparen los fármacos A y B directamente, inferimos una comparación basada en ensayos separados que comparan el fármaco A con placebo y el fármaco B con placebo. Sin embargo, la validez de tal inferencia depende de la suposición, a menudo injustificada, de que las dos poblaciones de ensayo eran similares.
  • Una comparación indirecta de población, resultado o intervención, por ejemplo, los estudios de la revisión investigaron una intervención, en una población con un resultado determinado, pero las conclusiones de los estudios están destinadas a ser aplicables a intervenciones, poblaciones o resultados. Por ejemplo, el American College of Chest Physicians (ACCP) rebajó la calidad de la evidencia para el uso de medias de compresión en pacientes con traumatismos de alta a moderada porque todos los ensayos controlados aleatorios se habían realizado en la población general.

4. Imprecisión cuando los amplios intervalos de confianza estropean la calidad de los datos.

5. Sesgo de publicación cuando los estudios con resultados «negativos» permanecen sin publicar, ya que es menos probable que se publiquen los estudios que no muestran un efecto estadísticamente significativo. Esto puede sesgar el resultado de la revisión. Por ejemplo, Turner et al. examinaron todos los ensayos de antidepresivos registrados por la FDA. De 38 ensayos con resultados positivos, todos menos uno se publicaron, mientras que de los 36 ensayos con resultados negativos, 22 no se publicaron; una revisión sistemática de todos los estudios publicados arrojaría un resultado sesgado.

Las situaciones que pueden llevar a incrementar la confianza con los resultados de los estudios son poco comunes y se suelen aplicar sobre todo a estudios observacionales que evalúan el impacto de una intervención. Estos aspectos se deberían evaluar después de constatar que no se encuentra presente ninguna condición para disminuir la calidad de la evidencia debido a un potencial riesgo de sesgo u otros factores.

1) Fuerte asociación: hallazgos de efectos relativos RR>2, o < 0,5 en estudios observacionales sin factores de confusión.

2) Muy fuerte asociación: hallazgos de efectos relativos RR > 5, o <0,2 basados en estudios sin problemas de sesgo o precisión.

3) Existencia de gradiente dosis-respuesta (dose-response gradient).

4) Evidencia de que todos los posibles factores de confusión o sesgos podrían haber reducido el efecto observado.

La fuerza de una recomendación refleja hasta qué punto podemos confiar en que el efecto deseable de una intervención supera los efectos indeseables; en otras palabras, que es probable que el paciente experimente un beneficio neto. Es importante destacar que GRADE sólo tiene dos categorías de recomendación: fuerte y débil (que también puede denominarse condicional).

Para llegar a una fuerza de recomendación, GRADE define cuatro determinantes principales: el equilibrio entre consecuencias deseables e indeseables, la certeza de la evidencia, los valores y preferencias de los pacientes y la utilización de recursos. Hay tres consideraciones adicionales, a saber, la equidad, la aceptabilidad y la viabilidad.

Dentro de este marco, una recomendación fuerte para una intervención es más apropiada si los efectos deseables superan claramente el efecto indeseable, la certeza de la evidencia es alta o moderada, los valores y preferencias de los pacientes son bien conocidos y se piensa que son bastante consistentes, y se puede esperar que la utilización de recursos asociada sea baja; de lo contrario, será apropiada una recomendación débil.

Más información:

GRADEPro Website http://gradepro.org/ (Es el software usado para facilitar la aplicación del sistema GRADE a la elaboración de las Tablas de resumen de resultados (Summary of Findings, SoF) en revisiones Cochrane y al desarrollo de guías de práctica clínica).

Schünemann HJ, Higgins JPT, Vist GE, Glasziou P, Akl EA, Skoetz N, Guyatt GH. Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021). Cochrane, 2021. Available from: http://www.training.cochrane.org/handbook

Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, Norris S, Falck-Ytter Y, Glasziou P, DeBeer H, Jaeschke R, Rind D, Meerpohl J, Dahm P, Schünemann HJ. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011 Apr;64(4):383-94. doi: 10.1016/j.jclinepi.2010.04.026. PMID: 21195583.

Chu DK, Golden DBK, Guyatt GH. Translating Evidence to Optimize Patient Care Using GRADE. J Allergy Clin Immunol Pract. 2021 Dec;9(12):4221-4230. doi: 10.1016/j.jaip.2021.09.035. PMID: 34624540.

Guía Fisterra: La evaluación de la calidad de la evidencia y la graduación de la fuerza de las recomendaciones: el sistema GRADE. Disponible en: https://www.fisterra.com/guias-clinicas/la-evaluacion-calidad-evidencia-graduacion-fuerza-recomendaciones-sistema-grade/index.asp?utm_campaign=Newsletter-2022-01&utm_medium=email&utm_source=Newsletter&utm_campaign=Bolet%C3%ADn%20Novedades%20Fisterra%2001JAN22&utm_campaignPK=272381680&utm_term=OP16392&utm_content=272392304&utm_source=&SIS_ID=&BID=827719752&utm_medium=email#sec0

¿Deben las revisiones sistemáticas hacer recomendaciones para la práctica clínica?

CamposDeja un comentario

La declaración PRISMA 2009 indicaba que la sección de conclusiones de una revisión sistemática debe «proporcionar una interpretación general de los resultados en el contexto de otras evidencias» (1). En la actualización, PRISMA 2020 añade «argumente las implicaciones de los resultados para la práctica, las políticas y las futuras investigaciones» (2). Sin embargo, la declaración no requiere que los autores de revisiones sistemáticas hagan recomendaciones dentro de esta sección.

Las directrices de la Colaboración Cochrane (3) y del grupo de trabajo GRADE (4) establecen específicamente que las revisiones sistemáticas no deben incluir recomendaciones para la práctica. Así, podemos leer en el capítulo 15 del manual Cochrane que «Los autores de las revisiones deben evitar recomendaciones específicas que inevitablemente dependen de suposiciones sobre los recursos disponibles, los valores y las preferencias, y otros factores como las consideraciones de equidad, la viabilidad y la aceptabilidad de una intervención. El objetivo de la revisión debe ser presentar información y ayudar a su interpretación, más que ofrecer recomendaciones. La discusión y las conclusiones deben ayudar a las personas a comprender las implicaciones de las pruebas en relación con las decisiones prácticas y a aplicar los resultados a su situación específica. Los autores de la revisión pueden ayudar a esta comprensión de las implicaciones planteando diferentes escenarios que describan determinadas estructuras de valores». Cochrane y GRADE consideran que hacer recomendaciones para la práctica está fuera del alcance de una revisión sistemática y reservando las recomendaciones únicamente competencia de las guías de práctica clínica.

Por el contrario, la JBI sugiere que las recomendaciones pueden y deben incluirse también en las revisiones sistemáticas del JBI. Si consultamos su Manual (5), en el apartado de conclusiones se indica que «debe incluir las recomendaciones para la práctica inferidas de los resultados de la revisión e inferidas también sobre la base de la discusión sobre la generalizabilidad de los resultados y los factores potenciales que pueden afectar a la aplicabilidad de los resultados. A las recomendaciones se les debe asignar un Grado de Recomendación del JBI» (5).

BIBLIOGRAFÍA

  1. Liberati A, Altman DG, Tetzlaff J et al. The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. PLoS Med. 2009;6(7):e1000100.
  2. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021;372:n71. doi: 10.1136/bmj.n71
  3. Schünemann HJ, Vist GE, Higgins JPT, Santesso N, Deeks JJ, Glasziou P, Akl EA, Guyatt GH. Chapter 15: Interpreting results and drawing conclusions. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.4 (updated August 2023). Cochrane, 2023. Available from http://www.training.cochrane.org/handbook.
  4. Balshem H, Helfand M, Schunemann HJ et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011;64(4):401-6.
  5. Tufanaru C, Munn Z, Aromataris E, Campbell J, Hopp L. Chapter 3: Systematic reviews of effectiveness. Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis. JBI; 2020. Disponible en: https://synthesismanual.jbi.global. https://doi.org/10.46658/JBIMES-20-04

Sesgo de publicación y sesgos relacionados

Campos2 comentarios

La validez de la síntesis de la investigación se ve amenazada si los estudios con resultados significativos o positivos tienen más probabilidades de ser publicados que aquellos con resultados no significativos. Esto produce un sesgo de publicación cuya importancia depende de si los estudios publicados son o no representativos de todos los estudios que se han realizado. Si los estudios publicados son una muestra sesgada de todos los estudios que se han realizado, los resultados de una revisión sistemática serán engañosos.

Si quieres comprobar lo que sabes del sesgo de publicación y relacionados, te invito a jugar el siguiente cuestionario:

Comprueba lo que sabes de sesgo de publicación y sesgos relacionados contestando a este quizz

Todas las definiciones de difusión, publicación y sesgos relacionados las puedes encontrar aquí (Song F, Parekh S, Hooper L, Loke YK, Ryder J, Sutton AJ, Hing C, Kwok CS, Pang C, Harvey I. Dissemination and publication of research findings: an updated review of related biases. Health Technol Assess. 2010 Feb;14(8):iii, ix-xi, 1-193. doi: 10.3310/hta14080.).

Principales problemas de las revisiones sistemáticas

CamposDeja un comentario

Las revisiones sistemáticas son la mejor forma de evaluar las evidencias científicas de múltiples estudios. Para muchos clínicos, la revisión sistemática es, por lo tanto, muy útil, ya que resume la evidencia disponible de la literatura relevante.

Por desgracia, no todas están igual de bien realizadas. Y si no se hacen correctamente, las revisiones sistemáticas pueden ser engañosas o servir a intereses conflictivos. Solo el 3% de las revisiones sistemáticas tienen buena calidad metodológica, informan de los resultados con transparencia y presentan evidencia clínica utilizable para la toma de decisiones terapéuticas. Solo el 1% de las revisiones sistemáticas publicadas en revistas médicas top son de alta calidad (JAMA Intern Med. 2019 Nov 1;179(11):1593-1594. doi: 10.1001/jamainternmed.2019.3013. PMID: 31355871; PMCID: PMC6664379.J  Clin Epidemiol. 2021 Nov;139:232-234. doi: 10.1016/j.jclinepi.2021.06.016. PMID: 34214625).

No todas las revisiones son iguales: una revisión que utiliza métodos poco fiables proporciona pruebas menos fiables que otra que sí lo es. La «fiabilidad» es un juicio sobre los métodos que se han utilizado en una revisión sistemática: ¿Es probable que estos métodos sean reproducibles y conduzcan a resultados coherentes?, En general, ¿confío en las conclusiones de la revisión obtenidas con estos métodos?

Las revisiones fiables tienen como mínimo: 

i) Criterios de elegibilidad explícitos; 

ii) Búsqueda exhaustiva; 

iii) Evaluación del riesgo de sesgo;

iv) Análisis apropiados; 

v) Conclusiones apropiadas. 

En la iniciativa Systematic Reviewlution (https://systematicreviewlution.com/) encontramos categorizados los problemas en 4 tipos (Uttley, L., Quintana, D. S., Montgomery, P., Carroll, C., Page, M. J., Falzon, L., … & Moher, D. (2023). The problems with systematic reviews: a living systematic review. Journal of Clinical Epidemiology):

Presentación interactiva. Ve pulsando sobre la imagen de la izquierda y en el símbolo + de la derecha para ver la información.

Aquí te dejo un ejercicio interactivo para que compruebes lo que sabes de los principales problemas de las revisiones sistemáticas. ¿Jugamos?

Quizz interactivo de los problemas de las revisiones sistemáticas.

Recursos para buenas prácticas en revisiones sistemáticas y búsquedas para revisiones sistemáticas

CamposDeja un comentario

Muchas revisiones sistemáticas son metodológicamente defectuosas, sesgadas, redundantes o poco informativas. Los autores, los elaboradores de directrices, los revisores y los editores de revistas a menudo no tienen en cuenta las normas metodológicas actuales.

En la siguiente presentación he resumido las principales herramientas y recursos para las buenas prácticas en revisiones sistemáticas.

¿Cómo limitamos el resultado de una búsqueda bibliográfica a solo humanos?: recomendación para búsqueda en revisiones sistemáticas

CamposDeja un comentario

Es una práctica habitual y recomendada en la búsqueda de evidencia para documentos de síntesis de evidencia, limitar los resultados a estudios realizados solo en humanos.

¿Sabrías cómo hacerlo? Inténtalo:

¿CUÁL ES EL PROBLEMA?

Veamos los motivos por lo que la respuesta no es tan simple como a simple vista puede parecer.

Los dos primeros son comunes a toda búsqueda que realicemos con los descriptores o tesauro de indización de las bases de datos como MeSH o EMTREE. Si solo buscamos por estos descriptores, perderemos registros mal indizados y aquellos que no estén indizados, bien por ser muy recientes o por no asignar estos términos a alguna parte del contenido de la fuente. Esto último ocurre en PubMed, donde los registros procedentes de PMC o de otras colecciones que no son MEDLINE, nunca pasarán por el proceso de indización.

Pero es que, además, un hecho que muchas veces no tenemos en cuenta es que los humanos formamos parte del reino animal. Por lo tanto, la búsqueda por «Animals»[MeSH] recupera también los artículos asignados con los descriptores más específicos situados debajo de este árbol. Es decir, recuperaríamos también los humanos.

¿CUÁL ES LA SOLUCIÓN?

La mejor práctica consiste en identificar primero los estudios con animales y excluirlos de los resultados de la búsqueda (Usar la «DOBLE NEGACIÓN»).

SINTAXIS DE BÚSQUEDA EN DIFERENTES BASES DE DATOS/PLATAFORMAS

  1. PubMed

2. MEDLINE (Ovid)

3. EMBASE (Ovid)

4. EMBASE (Elsevier)

5. CINAHL (Ebsco)

6. SCOPUS

Y ahora, te dejo la tabla con el resumen de estos filtros para buscar humanos en las diferentes bases de datos/plataformas:

Cobertura y solapamiento de las bases de datos utilizadas en las revisiones sistemáticas de ciencias de la salud

Campos2 comentarios

Las revisiones sistemáticas son una herramienta valiosa para identificar y evaluar la evidencia existente sobre un tema en particular. Sin embargo, la realización de una revisión sistemática puede ser un proceso largo y laborioso que requiere una gran cantidad de tiempo y esfuerzo. Una de las tareas más importantes en este proceso es el de la búsqueda de evidencia.

En mi entrada anterior «En qué bases de datos debemos buscar para una revisión sistemática: La producción de una revisión sistemática requiere la búsqueda sistemática en varias bases de datos bibliográficas» hablé de la necesidad de que la búsqueda de estudios sea lo más amplia posible para reducir el riesgo de sesgo de publicación e identificar la mayor cantidad de evidencia relevante. También comenté la función del bibliotecario en determinar la combinación de bases de datos necesaria para que las búsquedas de revisiones sistemáticas proporcionen resultados eficientes y de cuáles elegir.

Conjunto principal de bases de datos de ciencias de la salud

Es importante evaluar la cobertura de cada base de datos para determinar si se están buscando en la fuente adecuada. Además, es importante evaluar el solapamiento entre las bases de datos, aunque hay que tener en cuenta que bastantes estudios van a estar presentes en varias fuentes.

Merece la pena examinar la cobertura de las bases de datos, porque esto determina los resultados de la búsqueda y tendrá un impacto directo en la revisión. Las bases de datos pueden tener solapamientos en el contenido, y cada base de datos también cubre algunos títulos exclusivos (únicos).

En cuanto a la cobertura y solapamiento de MEDLINE, CINHAL Complete, Embase.com y PsycINFO. tenemos que tener en cuenta lo siguiente:

  • PubMed cubre todos los registros de Medline, además de algunos otros materiales (aproximadamente el 15%).
  • Embase incluye casi todas las revistas de Medline, mientras que más de 2,900 revistas en Embase no están cubiertas por Medline.
  • Medline tiene una mejor cobertura de revistas estadounidenses, mientras que Embase tiene una mejor cobertura de revistas europeas.Medline tiene alrededor de 1/3 (aprox. 1,800 revistas) solapadas con CINAHL Complete.
  • PsycINFO tiene alrededor de 1/2 (aprox. 1,200) revistas únicas que NO están cubiertas por Medline, Embase y CINAHL Complete.
  • La Biblioteca Cochrane incluye 6 bases de datos:
    • La Base de Datos Cochrane de Revisiones Sistemáticas (CDSR) está completamente indexada por Medline.
    • El Registro Central Cochrane de Ensayos Controlados (CENTRAL) contiene casi 530,000 citas, de las cuales 310,000 (~58%) son de Medline, 50,000 (aprox. 10%) son de Embase, y las 170,000 restantes (aprox. 32%) son de otras fuentes (Manual Cochrane, 2011).
    • CENTRAL cubre todos los Ensayos Controlados Aleatorios (ECA) y Ensayos Clínicos Controlados (ECC) indexados en Medline.

Bases de datos multidisciplinares: WoS y SCOPUS

Sin embargo, todavía hay muchas revistas fuera de la «conjunto principal» de bases de datos en enfermería y ciencias de la salud. Es posible que también debas realizar una búsqueda en más bases de datos para asegurarte que tu búsqueda bibliográfica esté completa.

Entre ellas, podemos buscar en la Web of Science y Scopus, que son dos grandes bases de datos de citas multidisciplinares. Por este motivo, es bueno saber hasta qué punto las bases de datos principales se solapan con estas dos.

En cuanto a la cobertura y solapamiento de las bases de datos principales de ciencias de la saludcon WoS y Scopus tenemos que tener en cuenta lo siguiente

  • Web of Science (SSCI) tiene más de 2400 títulos en el área de ciencias sociales y alrededor del 70% de estos títulos NO están cubiertos por Medline, CINAHL Complete, Embase y PsycINFO. Por lo tanto, si tu tema de investigación está en el campo de las ciencias sociales, es necesario incluir Web of Science SSCI en tu búsqueda.
  • Web of Science (SSCI) tiene alrededor de 660 títulos en las áreas de psiquiatría y psicología. Alrededor de 50 títulos NO están cubiertos por PsycINFO. Por lo tanto, si tu tema de investigación se refiere a cuestiones de psicología, incluye Web of Science (SSCI) en tu búsqueda.
  • Scopus cubre (casi) todos los títulos en Medline, PsycINFO y Web of Science. CINAHL Complete tiene aproximadamente 2000 títulos que NO están cubiertos por Scopus. De estos títulos, más de la mitad son revistas, publicaciones comerciales, etc.

En resumen, la selección, cobertura y solapamiento de las principales bases de datos es una tarea crucial en el proceso de búsqueda de estudios para una revisión sistemática. Es importante evaluar la cobertura de cada base de datos, el solapamiento entre ellas y buscar en bases de datos complementarias para garantizar la inclusión de todos los estudios relevantes. Además, se recomienda documentar y justificar la selección de bases de datos para garantizar la transparencia y la replicabilidad de la revisión sistemática.

¿Qué es y qué no es la Declaración PRISMA?

Campos1 comentario

La Declaración PRISMA (acrónimo de Preferred Reporting Items of Systematic reviews and Meta-Analyses) es una guía para la elaboración, remisión para publicación y/o comunicación de revisiones sistemáticas y metanálisis. Esta sería la interpretación al español del término inglés reporting.

En 1999, un grupo internacional elaboró una guía denominada Declaración QUOROM (QUality Of Reporting Of Meta-analyses) para abordar el problema de la notificación deficiente de los metanálisis. Esta guía se centraba en la notificación de los metanálisis de ensayos controlados aleatorios. PRISMA fue publicada por primera vez en 2009, como una evolución de QUORUM (Quality Of Reporting Of Meta-analyses) y ha sido actualizada recientemente en 2020 (1).

PRISMA se diseñó para ayudar a informar de forma transparente, completa y precisa del por qué se realizó la revisión, qué hicieron los autores y qué encontraron y abordar el problema de la presentación de informes deficientes de revisiones sistemáticas.

En paralelo con el avance de los métodos de síntesis del conocimiento, se han publicado las siguientes extensiones de la Declaración PRISMA:

Asimismo, se ha traducido a diversos idiomas, entre ellos el español (https://www.prisma-statement.org/Translations/Translations).

Desde su publicación, el uso de la declaración PRISMA está asociado con informes más completos de #RevisionesSistemáticas @PRISMAStatement #SysRev

¿Por qué decimos PRISMA cuando queremos indicar la guía metodológica que hemos seguido en nuestra revisión sistemática?

Como dice la propia declaración PRISMA 2020, esta «no pretende guiar la realización de revisiones sistemáticas, para las cuales hay recursos integrales disponibles. Sin embargo, la familiaridad con PRISMA 2020 es útil al planificar y realizar revisiones sistemáticas para garantizar que se capture toda la información recomendada. PRISMA 2020 no debe utilizarse para evaluar la realización o la calidad metodológica de las revisiones sistemáticas; existen otras herramientas para este propósito».

Por lo tanto, queda claro que PRISMA son guías para informar/reportar/comunicar una revisión sistemática, pero NO son recomendaciones de cómo hacer una revisión sistemática (2).

PRISMA son guías para informar/reportar/comunicar una revisión sistemática, pero NO son recomendaciones de cómo hacer una #RevisiónSistemática @PRISMAStatement #RevSys

A pesar de ello, es una práctica habitual el que en el apartado de metodología de la revisión nos encontremos con la declaración de los autores de que han utilizado PRISMA como una guía metodológica para diseñar y realizar revisiones.

Dicho todo lo anterior, debemos distinguir entre realizar («conduct») e informar («report») una #RevisiónSistemática u otro documento de síntesis de la evidencia.

En la siguiente presentación os dejo los enlaces a diferentes guías, manuales y estándares para realizar y para reportar nuestra revisión.

BIBLIOGRAFÍA

  1. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, Shamseer L, Tetzlaff JM, Akl EA, Brennan SE, Chou R, Glanville J, Grimshaw JM, Hróbjartsson A, Lalu MM, Li T, Loder EW, Mayo-Wilson E, McDonald S, McGuinness LA, Stewart LA, Thomas J, Tricco AC, Welch VA, Whiting P, Moher D. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021 Mar 29;372:n71. doi: 10.1136/bmj.n71.
  2. Sarkis-Onofre R, Catalá-López F, Aromataris E, Lockwood C. How to properly use the PRISMA Statement. Syst Rev. 2021 Apr 19;10(1):117. doi: 10.1186/s13643-021-01671-z.

En qué bases de datos debemos buscar para una revisión sistemática: La producción de una revisión sistemática requiere la búsqueda sistemática en varias bases de datos bibliográficas.

Campos2 comentarios

¿Por qué hay que buscar en varias bases de datos?

Es esencial seleccionar múltiples fuentes porque una solo no puede contener toda la información que responde a nuestra pregunta. Es decir, una sola base de datos no representa todas las investigaciones potencialmente relevantes que existen. Si eligiéramos incluir solamente una base de datos, estaríamos introduciendo un sesgo de selección en una etapa temprana del proceso de revisión. 

En #RevisionesSistemáticas, la búsqueda de estudios debe ser lo más amplia posible para reducir el riesgo de sesgo de publicación e identificar la mayor cantidad de evidencia relevante. Estandar MECIR C24

¿En cuántas bases de datos hay que buscar?

Teniendo ya claro que hay que buscar en más de una base de datos (Bramer W, 3013 y 2016), hay que decir que se desconoce el número óptimo de bases de datos que hay que consultar y que no existe evidencia de la cantidad de bases de datos en las que se debe buscar (Ross-White A et al.).

Debido a la diversidad de preguntas abordadas por las revisiones sistemáticas, no puede haber un estándar acordado para lo que constituye una búsqueda aceptable en términos del número de bases de datos buscadas (CRD’s guidance, 2009).

Debemos tener presente que añadir múltiples bases de datos puede dará lugar a búsquedas con resultados muy elevados en los que, pasado un número de base de datos, resulten irrelevantes. Por otro lado, hay que tener en consideración las desventajas en el uso de múltiples bases de datos para los bibliotecarios. Resulta muy arduo y complicado traducir una estrategia de búsqueda a múltiples interfaces y sintaxis de búsqueda, ya que los diferentes códigos de campo, sintaxis de cada base de datos y plataforma, los operadores de proximidad que difieren entre interfaces y las diferencias en los términos del tesauro entre bases de datos añaden una carga importante. Además, para los revisores el proporcionarles el resultados de un exceso número de bases de datos les conlleva mucho tiempo ya que deben examinar un exceso de títulos y resúmenes, probablemente irrelevantes.

Es función del bibliotecario determinar la combinación de bases de datos necesaria para que las búsquedas de revisiones sistemáticas proporcionen resultados eficientes (es decir, para minimizar la carga de los investigadores sin reducir la validez de la investigación al omitir referencias relevantes).

Es función del bibliotecario determinar la combinación de bases de datos necesaria para que las búsquedas de #RevisionesSistemáticas proporcionen resultados eficientes.

Pero, ¿cuáles elegir?

Las bases de datos que utilicemos para localizar la evidencia va a depender del tema de revisión, de la posibilidad de acceso a las bases de datos y el presupuesto disponible para el equipo de revisión, y siempre dentro de la limitación de tiempo. Como norma general, hay que empezar por las fuentes de información que tienen mayor probabilidad de ser más productivas dentro del tema de nuestra revisión, ya que te proporcionarán la mayoría de los estudios. En caso de duda, recomiendo hacer pruebas de búsqueda de nuestro tema de revisión en varias bases de datos y seleccionar las que proporcionen mayores y mejores resultados.

¿Qué dicen los expertos?

Un estudio de Wilchor M. Bramer concluye que las búsquedas han de realizarse en Embase, MEDLINE (incluidas las publicaciones Epub ahead of print), Web of Science (Core Collection) y Google Académico (las 200 primeras referencias relevantes) como mínimo. Para temas especiales como enfermería y ciencias del comportamiento y mental se debe añadir bases de datos como CINAHL y PsycINFO, respectivamente. Para revisiones donde los ECA hay que buscar en CENTRAL. Si se ignora una o más de las bases de datos que identifican como las cuatro bases de datos clave dará lugar a búsquedas más precisas, con un menor número de resultados, pero los investigadores deben decidir si eso vale la pena por el aumento de una mayor probabilidad de pérdidas de referencias relevantes. Este estudio también destaca una vez más que buscar bases de datos solo no es suficiente para recuperar todas las referencias relevantes. (Bramer WM, et al.).

Recomendaciones del bibliotecario experto Wilchor Bramer (2017).

Si nuestra revisión fuera de intervenciones terapéuticas, habría que buscar en las bases de datos generales (MEDLINE y Embase) y CENTRAL. Además, se deben incluir las bases de datos relevantes para el tema de revisión (p. ej., CINAHL para temas relacionados con la enfermería, PsycINFO para intervenciones psicológicas).

Además de MEDLINE y Embase, que suelen considerarse las principales bases de datos internacionales sobre atención sanitaria general, muchos países y regiones producen bases de datos bibliográficas que se centran en la bibliografía producida en esas regiones y que suelen incluir revistas y otras publicaciones no indexadas en otros sitios, como el African Index Medicus y LILACS (para América Latina y el Caribe) (MECIR C24-25).

Para la búsqueda de estudios cualitativos, además de MEDLINE y Embase, hay que buscar en CINAHL y PsycINFO. A lo que habría que añadir Scopus, y ProQuest Dissertations & Theses Global. Agregar PubMed aumenta la recuperación a 93.1% (Frandsen TF et al.).

Para las revisiones de evaluaciones económicas, la combinación de las bases de datos Embase + Scopus + HTA Database + MEDLINE o PubMED (indistintamente) es la más eficiente (Arber M et al.).

Si el tema incluye la asistencia social, hay una serie de bases de datos disponibles, como ASSIA (Applied Social Sciences Index and Abstracts), CSA Sociological Abstracts y CSA Social Services Abstracts, que podrían utilizarse. Las bases de datos mencionadas anteriormente son todas temáticas, pero hay otras, como AgeInfo, Ageline y ChildData, que se centran en un grupo de población específico que podría ser relevante para el tema de la revisión.

En revisiones de ciencias sociales y humanas, Lluís Codina recomienda utilizar siempre Scopus + Web of Science del grupo general, así como Dialnet Plus y las bases de datos del CSIC si la investigación se va a presentar en una universidad española.

¿Si busco en Embase (Elsevier), es necesario buscar también en MEDLINE?

La búsqueda en Embase.com incluye MEDLINE. Sin embargo, debemos buscar en las dos bases de datos por separado, ya que Embase tiene un contenido significativo que no está disponible en PubMed/MEDLINE. Además, la indexación Emtree hace que incluso la información compartida por las dos bases de datos se pueda encontrar de forma exclusiva en Embase.

Razones por la que es necesario buscar en MEDLINE y en Embase.

¿Cómo incluye Embase el contenido de MEDLINE?

  • Más de 2800 revistas son exclusivas de Embase y 3000 títulos de revistas están cubiertos tanto por Embase como por MEDLINE. Ambos conjuntos están indexados por Embase usando Emtree.
  • 2500 revistas de MEDLINE no están indexadas por Embase usando Emtree, sino que están indexadas usando el MEDLINE thesaurus MeSH.
  • Estos registros indexados de MEDLINE se entregan a Elsevier diariamente. Después de la deduplicación, se incorporan a Embase para producir «registros exclusivos de MEDLINE». Elsevier no vuelve a indexar estos registros exclusivos de MEDLINE. Sin embargo, su indexación se asigna a los términos de Emtree. De esta manera, los términos de Emtree se pueden usar para buscar todos los registros de Embase, incluidos los de MEDLINE.

¿Si tengo acceso a SCOPUS, también necesito buscar en Embase y en la WoS?

Las búsquedas en Scopus se centran en resúmenes y citas, mientras que una búsqueda en Embase proporciona información adicional a partir de su indexación estructurada de texto completo con el tesauro EMTREE.

Dado que Scopus no utiliza Emtree para facilitar la asignación de sinónimos y las búsquedas jerárquicas, nuestra búsqueda puede recuperar un número significativamente menor de resultados que en Embase. Por ejemplo, una búsqueda en Scopus sobre «heart attack» omite los registros que mencionan «myocardial infarction» o los indizados utilizando el término Emtree «heart infarction».

Además, los subtítulos de Embase no están disponibles en Scopus, por lo que las búsquedas no pueden acotarse del mismo modo. Por ejemplo, no es posible limitar las búsquedas de fármacos a los registros centrados en los efectos adversos.

Razones por las que debo buscar en Embase y SCOPUS.

¿Es recomendable buscar en Google Académico?

Dado que Google Scholar indexa el texto completo de los artículos, la búsqueda en él añade artículos relevantes que no se encuentran en las otras bases de datos. Por lo tanto, encuentra artículos en los que el tema de investigación no se menciona en el título, el resumen o los términos del tesauro, sino que los conceptos sólo se tratan en el texto completo.

Sin embargo, la búsqueda en Google Académico supone un reto, ya que carece de las funciones básicas de las bases de datos bibliográficas tradicionales. Además, las estrategias de búsqueda están limitadas a un máximo de 256 caracteres, lo que significa que crear una estrategia de búsqueda exhaustiva puede resultar laborioso (Bramer W, 2017).

Wilchor Bramer recomienda limitar la búsqueda en Google Académico a las primeras 200 referencias relevantes.

Elección de la plataforma

Como es lógico, la búsqueda en diferentes bases de datos dará inevitablemente resultados diferentes al ser su cobertura distinta. Pero además, la búsqueda en la misma base de datos a través de diferentes interfaces o plataformas puede dar lugar a resultados diferentes. Por ejemplo, buscar en Embase a través de Embase.com o mediante OVID, o buscar en MEDLINE a través de Web of Science, EBSCO, OVID o incluso a través de PubMed. Y no solo porque las plataformas difieran en diferentes sintaxis y herramientas de búsqueda, sino que el contenido también puede diferir (PubMed vs MEDLINE/Ovid; Embase/Elsevier vs. Embase/Ovid).

¿MEDLINE vía PubMed u Ovid?

PubMed es considerado por algunos como más fácil de usar. Además, en búsquedas de revisiones sistemáticas, PubMed tiene una sensibilidad más alta que Ovid/MEDLINE con una precisión comparable y NNR (number needed to read) (Katchamart W et al.).

Por el contrario, muchos bibliotecarios eligen Ovid MEDLINE, ya que permite realizar una búsqueda más enfocada. Sus herramientas que permiten una sintaxis de búsqueda con, por ejemplo, operadores de adyacencia, que hacen que nuestro resultado sea más preciso que con PubMed.

Otros especialistas en información estaban a favor de buscar en ambas. Indicaban que merece la pena realizar una búsqueda complementaria de PubMed, además de la búsqueda principal en MEDLINE (Ovid) para una revisión sistemática, ya que se realiza rápidamente y si recupera estudios únicos, recientemente publicados, y ahead-of-print, mejorando la actualización de las revisiones sistemáticas. Sin embargo, tal como indica Wichor Bramer en su correo de 12 de diciembre de 2022 a la lista de distribución expertsearching@pss.mlanet.org, hoy en día buscar en PubMed no añade ningún valor cuando ya se ha buscado en MEDLINE a través de OVID u otra plataforma similar. La razón de por qué antes se recomendaba era porque había bastante retraso entre los artículos añadidos a PubMed y a MEDLINE, pero ya no es así. Hoy en día el retraso es solo de 1 o 2 días, por lo que se puede ignorar ya que esos días extra no suponen ninguna diferencia en nuestra revisión. (Más información en: https://wkhealth.force.com/ovidsupport/s/article/PubMed-vs-Ovid-s-Medline-1489081398582).

Hoy en día, buscar en PubMed no añade ningún valor cuando ya se ha buscado en MEDLINE a través de OVID u otra plataforma similar dado que el retraso en la indización es de solo 1 o 2 días. @wichor

Por contra del uso de PubMed estaría su problema de indización de revistas depredadoras (Ross-White A, et al.).

¿Embase vía Embase.com o Ovid?

No hay una diferencia notable entre Ovid y Embase.com en términos de resultados de búsqueda sin embargo, Embase.com fue calificado como más fácil de usar en comparación con Ovid (Fortier KJ et al.)

Aquí os dejo un Trivial interactivo para aprender las diferencias en la sintaxis de búsqueda entre plataformas.

Juego para ver las diferencias en la sintaxis de búsqueda.

BIBLIOGRAFÍA

Bramer WM, Rethlefsen ML, Kleijnen J, Franco OH. Optimal database combinations for literature searches in systematic reviews: a prospective exploratory study. Syst Rev. 2017;6(1):245. doi: 10.1186/s13643-017-0644-y. PMID: 29208034; PMCID: PMC5718002

Higgins JPT, Lasserson T, Chandler J, Tovey D, Thomas J, Flemyng E, Churchill R. Methodological Expectations of Cochrane Intervention Reviews. Cochrane: London, Version February 2022. Disponible en: https://community.cochrane.org/mecir-manual/standards-conduct-new-cochrane-intervention-reviews-c1-c75/performing-review-c24-c75

Bramer WM, Giustini D, Kramer BM, Anderson PF. The comparative recall of Google Scholar versus PubMed in identical searches for biomedical systematic reviews: a review of searches used in systematic reviews. Syst Rev. 2013;2:115.

Bramer WM, Giustini D, Kramer BMR. Comparing the coverage, recall, and precision of searches for 120 systematic reviews in Embase, MEDLINE, and Google Scholar: a prospective study. Syst Rev. 2016;5:39.

Centre for Reviews and Dissemination. Systematic reviews: CRD’s guidance for undertaking reviews in health care The Centre; 2009. Disponible en: https://www.york.ac.uk/crd/guidance/

Ross-White A, Godfrey C. Is there an optimum number needed to retrieve to justify inclusion of a database in a systematic review search? Health Inf Libr J. 2017;33:217–24.

Frandsen TF, Gildberg FA, Tingleff EB. Searching for qualitative health research required several databases and alternative search strategies: a study of coverage in bibliographic databases. J Clin Epidemiol. 2019 Jun 25;114:118-124. doi: 10.1016/j.jclinepi.2019.06.013. PMID: 31251982.

Arber M, Glanville J, Isojarvi J, Baragula E, Edwards M, Shaw A, Wood H. Which databases should be used to identify studies for systematic reviews of economic evaluations? Int J Technol Assess Health Care. 2018 Jan;34(6):547-554. doi: 10.1017/S0266462318000636. PMID: 30442221.

Codina, Lluís. Revisiones bibliográficas sistematizadas: Procedimientos generales y Framework para Ciencias Humanas y Sociales. Barcelona: Máster Universitario en Comunicación Social. Departamento de Comunicación. Universitat Pompeu Fabra, 2018 [documento en pdf, acceso: https://repositori.upf.edu/handle/10230/34497%5D

Elsevier. Learn and Support – Embase | Elsevier [Internet]. Elsevier.com. 2021 [consultado 19 dic 2022]. Disponible en: https://www.elsevier.com/solutions/embase-biomedical-research/learn-and-support#:~:text=Scopus%20searches%20focus%20on%20abstracts,significantly%20fewer%20results%20than%20Embase

Katchamart W, Faulkner A, Feldman B, Tomlinson G, Bombardier C. PubMed had a higher sensitivity than Ovid-MEDLINE in the search for systematic reviews. J Clin Epidemiol. 2011 Jul;64(7):805-7. doi: 10.1016/j.jclinepi.2010.06.004. PubMed PMID: 20926257.

Duffy S, de Kock S, Misso K, Noake C, Ross J, Stirk L. Supplementary searches of PubMed to improve currency of MEDLINE and MEDLINE In-Process searches via Ovid. J Med Libr Assoc. 2016 Oct;104(4):309-312. PMID: 27822154; PMCID: PMC5079494.

¿Sabes que en PubMed se indizan revistas fraudulentas? [Internet]. BiblioGETAFE. BiblioGETAFE; 2018 [consultado el 19 dic 2022]. Disponible en: https://bibliogetafe.com/2018/10/09/sabes-que-en-pubmed-se-indizan-revistas-fraudulentas/

‌Ross-White A, Godfrey CM, Sears KA, Wilson R. Predatory publications in evidence syntheses. J Med Libr Assoc. 2019 Jan;107(1):57-61. doi: 10.5195/jmla.2019.491. PMID: 30598649; PMCID: PMC6300240.

Fortier KJ, Kiss N, Tongbram V. What is the optimal search engine for results from Embase and Medline: Ovid or Embase.com? Value Health 2013;16(3):A25 doi: 10.1016/j.jval.2013.03.147

‌

En una revisión sistemática, ¿seleccionamos los estudios primero por el título y luego por el resumen o directamente por título y abstract?

CamposDeja un comentario

En un ensayo aleatorizado de 2 métodos diferentes de cribado de citas para la inclusión de artículos en una revisión sistemática de los efectos de la rehabilitación pulmonar en personas con EPOC.

Los autores asignaron aleatoriamente una base de datos de 1072 citas para que fueran cribadas por los mismos 2 revisores utilizando dos enfoques diferentes:

  1. Enfoque en dos fases: cribado del título seguido del cribado del título y el resumen
  2. Enfoque en una fase: Cribado de título y resumen simultáneamente.

El tiempo necesario para examinar 100 citas fue de 120 minutos con el proceso en una fase, frente a 170 minutos con el proceso en dos fases.

Conclusión: Los resultados sugieren que el cribado mediante el método en una fase requiere menos tiempo que un proceso en dos fases consistente en presentar el título seguido del resumen.

En #RevisionesSistemáticas, la selección mediante el método en el que los títulos y los resúmenes se presentan simultáneamente requiere menos tiempo que un proceso en dos fases consistente en cribar el título seguido del resumen.

Referencia:

Devane D, Clarke M, McCarthy B, Casey D. Citation screening in systematic reviews: two approaches, two authors and time taken (SWAR-1 (Study Within A Review 1)). In: Evidence-Informed Publich Health: Opportunities and Challenges. Abstracts of the 22nd Cochrane Colloquium; 2014 21-26 Sep; Hyderabad, India. John Wiley & Sons; 2014. Disponible en: https://abstracts.cochrane.org/2014-hyderabad/citation-screening-systematic-reviews-two-approaches-two-authors-and-time-taken-swar

¿Puede una sola persona hacer una revisión sistemática?

Campos1 comentario

A raíz de una conversación en Twitter en la que se planteaba la idoneidad de que los estudiantes de enfermería realicen una revisión sistemática como TFG o TFM, me he planteado aclarar por qué una revisión sistemática (RS) requiere un equipo de revisores.

Las razones más relevantes serían las dos siguientes:

  1. Son necesarios diversos conjuntos de conocimientos y habilidades para realizar una RS rara vez (o nunca) residen en una sola persona.
  2. Se necesita más de una persona para realizar verificaciones de confiabilidad entre evaluadores para garantizar la integridad de las decisiones clave, la extracción de datos y la codificación.

¿Y qué personas serían necesarias?

Expertos en la materia

Los expertos en la materia son necesarios para formular preguntas de revisión que sean significativas. Al poseer un conocimiento profundo del tema y de las cuestiones actuales en ese campo, los expertos en la materia pueden articular preguntas que son relevantes para el campo de la revisión y pueden conocer con anticipación los tipos de estudios que probablemente estén disponibles. 

Especialista en información (bibliotecario)

Los bibliotecarios, como especialistas de información que son, pueden diseñar, ejecutar y documentar estrategias de búsqueda que sean eficaces, eficientes, transparentes y reproducibles.

La mayoría de los estudiantes universitarios aprenden a utilizar cadenas de palabras clave y operadores booleanos para buscar en bases de datos bibliográficas, pero este nivel de conocimiento no es suficiente para las #RevisionesSistemáticas.

En las #RevisionesSistemáticas, los especialistas en información (#bibliotecarios) son esenciales en el diseño y la realización de estrategias eficaces y eficientes para encontrar estudios potencialmente relevantes. 

Metodólogo

Los metodólogos son importantes artífices de las RS, ya que pueden ayudar a establecer los criterios de inclusión de los estudios, los métodos de evaluación de los riesgos de sesgo y los planes de extracción, análisis y síntesis de los datos.

Estadístico experto en metaanálisis

La estadística y el metaanálisis deben utilizarse para analizar y sintetizar los resultados cuantitativos siempre que sea posible, por lo que la experiencia en esta área es importante en el diseño de las revisiones sistemáticas. Los metaanalistas pueden ayudar a diseñar formularios de extracción y codificación de datos para facilitar el análisis y la síntesis. 

Podemos concluir que las revisiones sistemáticas no deben realizarse como proyectos individuales.

Podemos concluir que las #RevisionesSistemáticas no deben realizarse como proyectos individuales. Es necesario la formación de un equipo que incluya expertos en la materia, #bibliotecario, metodólogo y estadístico.

 

BIBLOGRAFÍA

Littell, J. H., Valentine, J. C., & Pigott, T. D. Unit 1: Introduction. In J. C. Valentine, J. H. Littell, & S. Young (Eds.), Systematic reviews and meta-analysis: A Campbell Collaboration online course. Open Learning Initiative, 2022. Disponible en: https://oli.cmu.edu/courses/systematic-reviews-and-meta-analysis/

Puljak L. If there is only one author or only one database was searched, a study should not be called a systematic review. J Clin Epidemiol. 2017 Nov;91:4-5. doi: 10.1016/j.jclinepi.2017.08.002. PMID: 28823649.

Pacheco RL, Riera R, Santos GM, Martins Sá KM, Peres Bomfim LG, da Silva GR, de Oliveira FR, Martimbianco ALC. Many systematic reviews with a single author are indexed in PubMed. J Clin Epidemiol. 2023 Jan 27:S0895-4356(23)00007-0. doi: 10.1016/j.jclinepi.2023.01.007. PMID: 36716980.

Buscemi N, Hartling L, Vandermeer B, Tjosvold L, Klassen TP. Single data extraction generated more errors than double data extraction in systematic reviews. J Clin Epidemiol. 2005;59:697-703. doi:10.1016/j.jclinepi.2005.11.010.

Qué son los filtros de búsqueda y principales herramientas para su localización

Campos1 comentario

Volvemos a tratar el tema de los filtros de búsquedas en BiblioGETAFE (Qué son los filtros de búsqueda I, Qué son los filtros de búsqueda II, Qué límites y filtros podemos aplicar en búsquedas de información en cuidados y ¿Conoces la diferencia entre el uso de límites y filtros metodológicos en la búsqueda de evidencia para revisiones sistemáticas?

¿Qué son los filtros?

Los filtros de búsqueda (a veces denominados hedges en inglés) nos ayudan a perfeccionar la estrategia de búsqueda y están constituidos por una combinación de términos o descriptores y diseñadas para localizar tipos de estudios determinados. Pueden estar diseñados para recuperar registros de investigaciones que utilizan un diseño de estudio específico (por ejemplo, ensayo clínico) o por tema (por ejemplo, COVID-19) o por alguna otra característica de la pregunta de investigación (edad de la población).

Para su utilización hay que combinarlo con los resultados de una búsqueda por temas mediante el operador AND.

¿Por qué utilizar filtros de búsqueda?
La gran ventaja de su utilización es el de reducir significativamente el número de registros que los investigadores deben cribar. Sin embargo, los filtros de búsqueda no están disponibles para todos los tipos de estudios, todas las bases de datos o todas las interfaces de bases de datos.
Los filtros pueden tener un enfoque muy específico o pueden ser de alto nivel. Los filtros de búsqueda pueden estar diseñados para maximizar la sensibilidad (o la recuperación) o para maximizar la precisión (y reducir el número de registros irrelevantes que deben ser evaluados para su relevancia).
Los métodos utilizados para elaborar los filtros de búsqueda deben ser claramente descritos por los autores y también se requiere una evaluación crítica por parte de los usuarios. La calidad de los filtros de búsqueda puede valorarse mediante herramientas de valoración crítica que evalúan el enfoque del filtro, los métodos utilizados para crearlo y la calidad de las pruebas y la validación que se han llevado a cabo para garantizar su rendimiento con un nivel específico de sensibilidad, precisión o especificidad. También es importante conocer la fecha de creación del filtro para poder evaluar su vigencia.

Herramientas para localizar filtros

El ISSG SFR tiene como objetivo proporcionar un fácil acceso a los filtros de búsqueda publicados y no publicados diseñados para encontrar estudios con métodos específicos.

En su página The InterTASC Information Specialists’ Sub-Group Search Filter Resource (@ISSG_Filters) podemos encontrar una recopilación de diferentes filtros para diversas bases de datos y plataformas https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home

The InterTASC Information Specialists’ Sub-Group Search Filter Resource (@ISSG_Filters) disponible en: https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home

Otro recurso interesante de filtros es el CADTH (Canadian Agency for Drugs and Technologies in Health) Search Filters Database que recientemente su web ha sido renovada.  

Esta base de datos presenta una variedad de filtros de búsqueda desarrollados y mantenidos por el CADTH’s Research Information Services Filters Working Group. Estos filtros han sido ampliamente probados por este equipo y son utilizados habitualmente en los proyectos del CADTH. Algunos filtros han sido validados con un conjunto de artículos de referencia, mientras que otros han sido validados de forma pragmática.

Tiene la ventaja de que, además de poder navegar por los índices de categorías, base de datos y plataforma para explorar las colecciones, disponemos de una ventana de búsqueda básica y un formulario de búsqueda avanzada.

CADTH Search Filters Database. Ottawa: CADTH; 2022: https://searchfilters.cadth.ca. Accessed 2022-10-10.

Metaanálisis en red («Network Meta-Analysis»)

Campos1 comentario

Los metanálisis tradicionales (MT) se basan en comparaciones directas entre una intervención y un comparador (placebo o tratamiento estándar), con el propósito de analizar cuantitativamente e integrar los resultados disponibles en diferentes estudios de una intervención de interés. Estos tiene limitaciones:

  • No pueden comparar más de 2 tratamientos alternativos a la vez. Por lo tanto, en situaciones clínicas donde existen múltiples opciones de tratamientos que compiten entre sí, el MT tradicional no puede proporcionar información sobre los efectos relativos y potencial daño de todos los tratamientos de forma simultánea.
  • En los casos que no existen ensayos clínicos aleatorizados que comparen de forma directa 2 o más intervenciones.

Por eso, en 2002 se propuso los metaanálisis en red (MTR) como un procedimiento estadístico de síntesis de evidencia capaz de comparar diferentes alternativas terapéuticas a través de comparaciones directas e indirectas (Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med. 2002 Aug 30;21(16):2313-24. doi: 10.1002/sim.1201. PMID: 12210616.).

Definición de metaanálisis en red (Chaimani A, Caldwell DM, Li T, Higgins JPT, Salanti G. Chapter 11: Undertaking network meta-analyses. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Available from http://www.training.cochrane.org/handbook).
Diferencias entre los metaanálisis tradicionales y los metaanálisis en red.

Cualquier conjunto de estudios que vincule 3 o + intervenciones a través de comparaciones directas forma una red de intervenciones. En una red de intervenciones puede haber múltiples formas de hacer comparaciones indirectas entre las intervenciones. Estas son comparaciones que no se han realizado directamente dentro de los estudios y se pueden estimar mediante combinaciones matemáticas de las estimaciones disponibles del efecto directo de la intervención. La evidencia mixta es la surgida mediante la síntesis de evidencia directa e indirecta (basados en un comparador común).

Una red conectada de intervenciones implica que todas las comparaciones de tratamientos en una red están directa o indirectamente conectadas entre sí. Una intervención no puede incluirse en el modelo MTR si no se compara directamente con al menos otra intervención.

Diagrama de red. Ejemplos de tipos de geometrías de la red: a) modelo con red en cierre simple; b) modelo red con cierre en estrella; c) Modelo en red conectada; d) modelo en red con cierre complejo.

Para que un MTR sea válido tiene que darse 3 supuestos metodológicos o principios básicos para las comparaciones indirectas son: homogeneidad, transitividad y consistencia.

BIBLIOGRAFÍA

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

¿Merece la pena incluir los resúmenes de congresos en las revisiones sistemáticas?

CamposDeja un comentario

Las revisiones sistemáticas obligan a intentar reunir toda la evidencia, incluida la no publicada. Pero existe controversia relativa al esfuerzo y beneficio de incluir estudios presentados solo en conferencias.
En mi experiencia, los revisores suelen mostrarse escépticos de la necesidad de inclusión de este tipo de literatura gris. Por otro lado, los bibliotecarios nos encontramos con muchísimas dificultades para localizar el contenido completo de la comunicación de un congreso y el contacto con los autores suele ser frustrante por su escaso éxito.

¿Qué nos recomiendan las pautas existentes?

La Cochrane lo considera «altamente deseable» buscar fuentes de literatura gris relevantes al generar una revisión e indica que «Review authors should generally search sources such as dissertations and conference abstracts». La United States Agency for Health Care Research and Quality (AHRQ) recomienda que se consideren estas búsquedas «Reviewers should routinely consider searching conference abstracts and proceedings to identify unpublished or unidentified studies and should consult with their Technical Expert Panels for specific conferences to search». También señala»… dado el hecho de que solo el 60 % de los ensayos controlados aleatorios descritos en resúmenes de congresos alcanzan la publicación completa y la publicación completa está asociada con resultados que favorecen la intervención de prueba, entonces los resúmenes de congresos de las reuniones más probables que publiquen resúmenes de ensayos probablemente valga la pena buscarlos». El IOM describe que la literatura gris incluye registros de ensayos, resúmenes de conferencias, libros, disertaciones, monografías e informes en poder de la Administración de Drogas y Alimentos de los Estados Unidos (FDA) y otras agencias gubernamentales, académicas, comerciales e industriales. El estándar 3.2.1 recomienda que quienes realicen una revisión sistemática deben “buscar en bases de datos de literatura gris, registros de ensayos clínicos y otras fuentes de información no publicada sobre estudios».

Argumentos a favor y en contra de la inclusión de resúmenes de congresos

¿Cómo deben los revisores sistemáticos manejar los resúmenes de congresos?

Por un lado, en los estudios que comparan resúmenes de congresos y artículos publicados en su totalidad del mismo estudio solo encuentran diferencias menores. Otros estudios que han examinado las diferencias en las estimaciones del tratamiento de metanálisis con y sin resúmenes de congresos informan de cambios en la precisión, pero por lo general no en la estimación del efecto del tratamiento. Sin embargo, en algunos casos, la inclusión de resúmenes de congresos marcó una diferencia en la estimación del efecto del tratamiento, no solo en su precisión.
Antes de decidir arbitrariamente incluir o no resúmenes de congresos en una revisión sistemática, Scherer y Saldanha nos dan las pautas que deben considerar los revisores sistemáticos. Nos recomiendan que:

  1. Si la evidencia disponible es escasa o contradictoria, puede valer la pena incluir resúmenes de conferencias.
  2. Sin embargo, generalmente los resúmenes no proporcionan toda la información necesaria para evaluar el estudio y evaluar la elegibilidad para una revisión sistemática. Por lo tanto, si se incluyen los resultados de los resúmenes de congresos, es necesario hacer los esfuerzos que sean necesarios para contactar a los autores del resumen y examinar los registros de estudios como ClinicalTrials.gov y los protocolos publicados para obtener información adicional y confirmatoria sobre métodos y resultados.
  3. Además, para examinar el impacto de incluir los resúmenes, siempre se debe completar un análisis de sensibilidad con y sin resúmenes de congresos.
    También, nos proporcionan un diagrama de flujo que muestra sus sugerencias sobre cómo abordar el uso de resúmenes de congresos en la revisión sistemática.
Scherer, R.W., Saldanha, I.J. How should systematic reviewers handle conference abstracts? A view from the trenches. Syst Rev 8, 264 (2019). https://doi.org/10.1186/s13643-019-1188-0

BIBLIOGRAFÍA

Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Marshall C, Metzendorf M-I, Noel-Storr A, Paynter R, Rader T, Thomas J, Wieland LS. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Disponible en: www.training.cochrane.org/handbook.

Institute of Medicine (US) Committee on Standards for Systematic Reviews of Comparative Effectiveness Research. Finding What Works in Health Care: Standards for Systematic Reviews. Eden J, Levit L, Berg A, Morton S, editors. Washington (DC): National Academies Press (US); 2011. PMID: 24983062.

Balshem H, Stevens A, Ansari M, et al. Finding Grey Literature Evidence and Assessing for Outcome and Analysis Reporting Biases When Comparing Medical Interventions: AHRQ and the Effective Health Care Program. 2013 Nov 18. In: Methods Guide for Effectiveness and Comparative Effectiveness Reviews [Internet]. Rockville (MD): Agency for Healthcare Research and Quality (US); 2008-. Disponible en: https://www.ncbi.nlm.nih.gov/books/NBK174882/

Scherer, R.W., Saldanha, I.J. How should systematic reviewers handle conference abstracts? A view from the trenches. Syst Rev 8, 264 (2019). https://doi.org/10.1186/s13643-019-1188-0

Hackenbroich, S., Kranke, P., Meybohm, P. et al. Include or not to include conference abstracts in systematic reviews? Lessons learned from a large Cochrane network meta-analysis including 585 trials. Syst Rev 11, 178 (2022). https://doi.org/10.1186/s13643-022-02048-6