Manuales, guías y estándares para revisiones sistemáticas de precisión de pruebas diagnósticas

En una entrada anterior comentaba los manuales, guías y estándares para hacer y reportar/informar una revisión sistemática.

Pero si estás interesado en las revisiones sistemáticas de precisión de pruebas diagnósticas, aquí tienes recopilados los principales recursos que has de conocer.

Si conoces alguno más te ruego me lo hagas llegar.

¿Es necesario la revisión por pares de la estrategia de búsqueda de una revisión sistemática?

Debido a la complejidad de la búsqueda de evidencia en las revisiones sistemáticas, se debe tener mucho cuidado en el desarrollo y ejecución de las estrategias de la búsqueda electrónica. Se han detectado frecuentes errores en las estrategias de búsqueda tales como errores de ortografía, errores de truncamiento, error de operador lógico, referencias de líneas de consulta incorrectas, redundancia sin justificación, la falta de términos tanto en lenguaje natural como en lenguaje controlado y aquellos relacionados con los MeSH, etc. (1-3).

Por este motivo, siempre que sea posible hay que realizar una revisión por pares de la estrategia para identificar los errores más habituales, mejorar la calidad y reducir no solo el riesgo de perder estudios relevantes, sino también el riesgo de identificar un número innecesariamente elevado de registros irrelevantes.

Recientemente se ha publicado las recomendaciones Cochrane para realizar revisiones rápidas (4) en las que, a diferencia de la guía MECIR (Methodological Expectations for Cochrane Intervention Reviews), recomiendan la revisión por pares de, al menos, una estrategia de búsqueda (por ejemplo, MEDLINE) (R12).

PRESS (Peer Review of Electronic Search Strategies (5) es un instrumento concebido y creado con el objetivo de realizar y evaluar estrategias de búsqueda para síntesis de evidencia. PRESS proporciona descripciones de seis dominios principales para su uso como pautas para las prácticas de los bibliotecarios y para los editores como instrumento para la evaluación metodológica general de las revisiones.

Los seis dominios principales de la lista de verificación de PRESS 2015 son:

  • Traducción de la pregunta de investigación.
  • Operadores booleanos y de proximidad.
  • Encabezamientos de materia.
  • Búsqueda de palabras de texto (texto libre).
  • Ortografía, sintaxis y números de línea.
  • Límites y filtros.

La revisión por pares de las búsquedas debe tener lugar en dos etapas importantes del proceso de síntesis de la evidencia: al comienzo del proyecto, antes de que se realicen las búsquedas, y en la etapa previa a la publicación (6).

BIBLIOGRAFÍA

  1. Elliott JH, Turner T, Clavisi O, Thomas J, Higgins JP, Mavergames C, Gruen RL. Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med. 2014 Feb 18;11(2):e1001603. doi: 10.1371/journal.pmed.1001603. eCollection 2014 Feb. PubMed PMID: 24558353; PubMed Central PMCID: PMC3928029. Disponible en: http://dx.plos.org/10.1371/journal.pmed.1001603
  2. Salvador-Oliván JA, Marco-Cuenca G, Arquero-Avilés R. Errors in search strategies used in systematic reviews and their effects on information retrieval. J Med Libr Assoc. 2019 Apr;107(2):210-221. doi: 10.5195/jmla.2019.567. PMID: 31019390; PMCID: PMC6466507.
  3. Spry C, Mierzwinski-Urban M. The impact of the peer review of literature search strategies in support of rapid review reports. Res Synth Methods. 2018 Dec;9(4):521-526. doi: 10.1002/jrsm.1330. PMID: 30408843.
  4. Garritty C, Gartlehner G, Nussbaumer-Streit B, King VJ, Hamel C, Kamel C, Affengruber L, Stevens A. Cochrane Rapid Reviews Methods Group offers evidence-informed guidance to conduct rapid reviews. J Clin Epidemiol. 2021 Feb;130:13-22. doi: 10.1016/j.jclinepi.2020.10.007. PMID: 33068715; PMCID: PMC7557165.
  5. McGowan J, Sampson M, Salzwedel DM, Cogo E, Foerster V, Lefebvre C. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. J Clin Epidemiol. 2016 Jul;75:40-6. doi: 10.1016/j.jclinepi.2016.01.021. PMID: 27005575.
  6. Lefebvre C, Duffy S. Peer review of searches for studies for health technology assessments, systematic reviews, and other evidence syntheses. Int J Technol Assess Health Care. 2021; 37(1):E64.

PubReMiner: Herramienta de minería de datos para desarrollar estrategias de búsquedas para revisiones sistemáticas y de alcance

PubReMiner (https://hgserver2.amc.nl/cgi-bin/miner/miner2.cgi) es un interface alternativo para buscar en PubMed, es decir, es un buscador que consulta la base de datos de PubMed de otra forma a la realizada por este motor de búsqueda y presentan los resultados en otro formato. Su principal ventaja es que nos permite analizar datos.

Para utilizarla escribimos nuestra búsqueda en la ventana de búsqueda y obtenemos el resultado en forma de tabla de frecuencias. Marcando en los recuadros nosotros podemos agregar o excluir términos a la consulta para optimizar los resultados.

De esta forma, con PubReMiner nos informa de las palabras que se utilizan con más frecuencia y nos proporciona una forma rápida de recopilar información adicional sobre el tema.

Las columnas que podemos visualizar y personalizar en la tabla de frecuencia son las siguientes:

  1. Año de publicación.
  2. Las revistas en las que más se publica su consulta.
  3. Los autores más activos en el campo de su consulta.
  4. Las palabras que más se han utilizado en el título y resumen de los artículos.
  5. Los campos de encabezamiento MESH (incluidos subencabezamientos).
  6. Supplementary Concept (Substances).
  7. Tipo de publicación.

Si por alguna razón deseamos adaptar nuestra consulta de una manera diferente a la que permite PubReMiner, podemos modificar la consulta de la forma que deseemos y presionar “Search with Manual Adjustment”. Una vez que hemos terminado con nuestra estrategia podemos pasar a ver los resultados en PubMed desde el botón “goto pubmed with query”.

PubReMiner nos ayuda a encontrar información relevante mediante sugerencias de palabras. Además de generar consultas eficientes, también puede ser útil en otras áreas como:

  • Seleccionar una revista para enviar nuestro manuscrito al mostrarnos en la tabla las revistas de investigación similar más frecuentes;
  • Encontrar expertos en un área de investigación al mostrarnos los autores que con mayor frecuencia publican del tema de nuestra consulta;
  • Si buscamos por un autor, encontramos los temas de interés de investigación de este al ver las palabras clave asociadas con ese autor;
  • Análisis bibliométricos de lo publicado sobre el tema de nuestra consulta;
  • Conviertir los resultados (todas nuestras publicaciones) en un CV en tiempo real con “Create CV output”

Por último, indicaros que podéis encontraros diferentes formas de llamar a esta herramienta como: PubReMiner, pubmed reminer, pub reminer, pubmed re-miner.

Sesgos en la localización de estudios para una revisión sistemática

Una de las características principales de los estudios de síntesis de evidencia es reducir el sesgo en todas las etapas del proceso de revisión. El sesgo se introduce potencialmente en cualquier etapa del proceso de la revisión sistemática, desde decidir cuál es su pregunta de investigación hasta cómo medir sus resultados y elegir qué hallazgos publicar.

Al buscar estudios relevantes para una revisión sistemática, son posibles muchos sesgos: Primero, incluir limitadores de búsqueda arbitrarios, como la ubicación geográfica del estudio o el año de publicación. La imposición de estas restricciones a la población de estudios potenciales producirá una muestra sesgada porque los autores están potencialmente ignorando un conjunto relevante de evidencia. En segundo lugar, los autores de la revisión pueden restringir su búsqueda solo a las principales bases de datos que conocen o no incluir completamente una representación de las bases de datos disponibles. Por ejemplo, una búsqueda en la base de datos utilizando solo MEDLINE arrojará el 30-80% de los ensayos relevantes (ver aquí). Tercero, el sesgo de publicación simplemente se refiere a la probabilidad de que aquellos estudios con efectos negativos o hallazgos no estadísticamente significativos no se publiquen (Rosenthal, 1979). Esto significa que la investigación disponible en revistas revisadas por pares está sesgada hacia la investigación con resultados positivos y puede no ser una representación precisa de la totalidad de la evidencia de investigación existente. 

Podemos resumir los sesgos en los siguientes tipos:

  • Limitación geográfica.
  • Limitación del tipo de documento (p.ej.. Cartas – Iansavichene AE, Sampson M, McGowan J, Ajiferuke IS. Should systematic reviewers search for randomized, controlled trials published as letters? Ann Intern Med. 2008 May 6;148(9):714-5. doi: 10.7326/0003-4819-148-9-200805060-00023. PMID: 18458294.).
  • Sesgo de idioma – ¿solo inglés?. Excluir idiomas no inglés no cambia la conclusión de la RS excepto para medicina alternativa/complementaria.
  • Sesgo de base de datos: Sesgo en PubMed geográfico y de idioma (Pilkington K, Boshnakova A, Clarke M, Richardson J. “No language restrictions” in database searches: what does this really mean? J Altern Complement Med. 2005 Feb;11(1):205-7. doi: 10.1089/acm.2005.11.205. PMID: 15750383).
  • Sesgo de texto completo (solo gratuito/Open Access/accesible).
  • Sesgo de literatura publicada (Arber 2013). Las búsquedas de artículos relevantes deben realizarse en múltiples fuentes de literatura comercial y gris, es imprescindible utilizar tantas bases de datos de temas relevantes como sea posible, no solo para garantizar que se hayan localizado los documentos relevantes, sino también para reducir el sesgo de selección (Dickersin et al. al., 1994). Para contrarrestar los efectos negativos del sesgo de publicación, se deben incluir varias fuentes de literatura gris. 
  • Sesgo de limitación temporal/fechas (pero hay que justificar). A veces es apropiado limitar la búsqueda a un idioma o marco de tiempo en particular si la revisión solo está interesada en estudios realizados en una determinada ubicación geográfica o durante un tiempo en particular.

Reproducibilidad de la búsqueda bibliográfica.

La búsqueda de estudios ha de informarse de modo transparente para que pueda ser reproducible. Nos tenemos que preguntar si cualquiera que acceda a las bases de datos puede repetir mi búsqueda y obtener los mismos o similares artículos. Si la respuesta es afirmativa, entonces está bien hecho. En caso contrario, hay que buscar que es lo que está mal.

Para todas las búsquedas en bases de datos debemos documentar lo siguiente:

  • Estrategia (search lines and strings).
  • Fecha de la búsqueda (día, mes y año).
  • Nombre de la base de datos, cobertura temporal, interface.
Traducido y adaptado de: Foster MJ, Jewell ST. Assembling the pieces of a systematic review: A guide for librarians. Lanham: Rowman & Littlefield, 2017.

Cualquiera que replique una estrategia debe llegar a un resultado similar. No será igual en los casos de:

  • Incorporación de nuevos registros a la base de datos.
  • Cambios en el tesauro.
  • Cambios de sintaxis, código de campos, …

Cuando se describa la búsqueda podemos guiarnos por el Manual Cochrane de Estilo (p.ej., con respecto al uso de abreviaturas de las bases de datos, el orden de las bases de datos en las que hayas buscado, etc.). También debemos seguir los estándares de la extensión PRISMA-S PRISMA Search Reporting Extension (Puedes descargar una versión Word; PDF; y Excel de la lista de verificación PRISMA-S en el sitio web de PRISMA y en https://osf.io/sfgvq/). (Rethlefsen, M.L., Kirtley, S., Waffenschmidt, S. et al. PRISMA-S: an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews. Syst Rev 10, 39 (2021). https://doi.org/10.1186/s13643-020-01542-z).

Guías, manuales y estándares para hacer y para reportar una revisión sistemática

En una entrada anterior daba cuenta de la actualización de la Declaración PRISMA Statements 2020. Hoy quiero comentaros la interesante entrada “Sobre el uso y mal uso de @PRISMAStatement https://rafabravo.blog/2021/04/22/sobre-el-uso-y-mal-uso-de-prisma/…

Y para mayor comodidad en su uso, en el blog de Rafa Bravo @PrimunNocere, se puede descargar la versión traducida al español aquí.

En esta entrada de su blog PRIMUM NON NOCERE, Rafa Bravo nos deja claro que la declaración @PRISMAStatement 2020 no es una guía para la realización de revisiones sistemáticas y tampoco debe utilizarse para evaluar la calidad metodológica de estas.

Además, la Declaración PRISMA no tiene la intención de aconsejar sobre la publicación de protocolos de Revisiones Sistemáticas, para los cuales se encuentra disponible una extensión separada: PRISMA for Protocols (PRISMA-P) 2015 Statement.

El número de revisiones sistemáticas (RS) ha aumentado sustancialmente durante los últimos 20 años, sin embargo, muchas RS continúan realizándose y notificándose de manera deficiente, y todavía es común ver artículos que usan la Declaración PRISMA y otras pautas de presentación de informes de manera inapropiada. La Declaración PRISMA y sus extensiones son un conjunto mínimo de recomendaciones basadas en la evidencia, diseñadas principalmente para fomentar la presentación de informes transparentes y completos de los RS. Es decir, es una hoja de ruta para ayudar a los autores a describir mejor lo que se hizo, lo que se encontró y, en el caso de un protocolo de revisión, lo que planean hacer ( Sarkis-Onofre R).

Pero no es infrecuente leer en los manuscritos de las revisiones sistemáticas las siguientes frases: “Esta revisión de alcance se llevará a cabo de acuerdo con los elementos de la Declaración PRISMA-ScR”. O “Este protocolo se diseñó basándose en la Declaración PRISMA-P”.

Por lo tanto, hay que distinguir entre realizar (“conduct”) e informar (“report”) una #RevisiónSistemática u otro documento de síntesis de la evidencia. Aquí dejo diferentes guías, manuales y estándares:

Por lo tanto, lo adecuado en el informe de nuestra revisión podemos indicar:

  • “El informe de esta revisión sistemática se guio por los estándares dPRISMA”.
  • “Esta revisión de alcance se informó de acuerdo con los elementos de la extensión PRISMA-ScR”.
  • “El protocolo se informa de acuerdo con PRISMA-P”.

BIBLIOGRAFÍA:

Bravo R. Sobre el uso y mal uso de PRISMA [Internet]. Primum non nocere 2021; 2021 [consultado 27 de abril 2021]. Disponible en: https://rafabravo.blog/2021/04/22/sobre-el-uso-y-mal-uso-de-prisma/

Sarkis-Onofre R, Catalá-López F, Aromataris E, Lockwood C. How to properly use the PRISMA Statement. Syst Rev. 2021 Apr 19;10(1):117. doi: 10.1186/s13643-021-01671-z. PMID: 33875004; PMCID: PMC8056687. Disponible en: https://systematicreviewsjournal.biomedcentral.com/articles/10.1186/s13643-021-01671-z

¿Sabes cuantos ensayos clínicos que empiezan y llegan a terminarse nunca se publican?

Una diferencia de las revisiones sistemáticas frente a las narrativas es que tratan de revisar TODA la investigación realizada sobre un tema.

Las revisiones sistemáticas de intervenciones, han de incluir los resultados de todos los ensayos clínicos. Y es aquí donde hay un problema: ¿Sabes cuantos ensayos clínicos que empiezan y llegan a terminarse nunca se publican? #RevisionSistemática #RevSys

El Registro de ensayos Clínicos de la UE (EU Clinical Trials Register (EUCTR)) tiene identificados más de 39.67 ensayos clínicos. Según un estudio de Goldacre y cols. solo el 49% han publicado sus resultados. Los autores de este estudio han desarrollado un sitio web interactivo en línea (http://eu.trialstracker.net/) que presenta la tasa de notificación general de todos los ensayos vencidos, las tasas de notificación de cada patrocinador, los rangos de estas tasas de notificación y los detalles de los ensayos individuales informados y no informados de cada patrocinador.

Sitio web interactivo en línea (http://eu.trialstracker.net/)

Las cifras son solo ligeramente superiores (59%) en EEUU (http://fdaaa.trialstracker.net/).

Photo by cottonbro on Pexels.com

Como vemos, las empresas e instituciones públicas incumplen las leyes europeas que obligan, desde el 21 de diciembre de 2016, a publicar todos los resultados, sean positivas o negativas, un año después de haber finalizado.

Las revisiones sistemáticas no solo se basan en los ensayos clínicos publicados ya que los que se han quedado por el camino no ha sido por un proceso aleatorio: Los ensayos clínicos sin beneficio demostrado tienen menos probabilidad de publicarse. Esto es lo que se conoce como sesgo de publicación (definido por RJ Sterling a mediados del siglo XX), es un tipo de alteración de los resultados de la investigación debido a la publicación o no publicación de los hallazgos de la investigación, según la naturaleza y la dirección de los resultados.

Photo by cottonbro on Pexels.com

Localizar estudios no publicados, e incluirlos en una revisión sistemática cuando son elegibles y apropiados es importante para disminuir los sesgos. ¿Qué podemos hacer los bibliotecarios/documentalistas? Podemos rastrear en los registros de ensayos clínicos, e identificar todos los ensayos clínicos que se han realizado sobre el tema de la revisión sistemática.

Los bibliotecarios/documentalistas podemos localizar estudios no publicados para su inclusión en una revisión sistemática cuando son elegibles y apropiados, lo que es importante para disminuir los sesgos. #RevisionSistemática #RevSys #Bibliotecarios

BIBLIOGRAFÍA

Goldacre B, DeVito NJ, Heneghan C, Irving F, Bacon S, Fleminger J, Curtis H. Compliance with requirement to report results on the EU Clinical Trials Register: cohort study and web resource. BMJ. 2018 Sep 12;362:k3218. doi: 10.1136/bmj.k3218. PMID: 30209058; PMCID: PMC6134801.

Sterling RJ. Publication decisions and their possible effects on inferences drawn from test of significance or viceversa. J Am Stat Assoc. 1959; 54: 30-4. 

¿Hay que eliminar los estudios publicados en una revista depredadora de nuestra revisión sistemática?

La publicación en revistas depredadora es una preocupación cada vez mayor por su impacto en la comunidad investigadora. Son revistas fraudulentas que publican artículos sin aplicar los estándares de calidad que se espera de las genuinas revistas académicas. Además, los investigadores desconocen este problema, por lo que son susceptibles a ser engañados.

Las #RevistasDepredadoras son aquellas que publican artículos cobrando honorarios sin proporcionar los servicios editoriales y procedimientos de calidad. Su finalidad es económica http://bit.ly/3utDDX1

Los autores de revisiones sistemáticas deben estar atentos a los artículos publicados en revistas depredadoras que puedan parecer legítimos. El uso de una lista de verificación o una herramienta de evaluación crítica para garantizar que solo se incluyan artículos de alta calidad en una síntesis de la investigación reducirá el riesgo de incluir investigación de mala calidad y de posibles cambios de resultados sobre esa base. Esta herramienta de verificación debe aplicarse tanto para la investigación de mala calidad publicada en revistas de alta calidad como de la investigación de mala calidad publicada en revistas predatorias.

En mi caso, compruebo que ninguno de los estudios incluidos en la revisión sistemática está publicado en una revista depredadora.

Hacen falta más estudios para comprender el impacto potencial de los ensayos controlados aleatorios publicados en publicaciones depredadoras y, como resultado, el impacto potencial en la evidencia de revisiones sistemáticas que incluyen estos estudios.

Las publicaciones depredadoras presentan desafíos para aquellos investigadores que realizan síntesis de evidencia. Preguntas como ¿qué hacer con la evidencia en las revistas depredadoras cuando realiza una revisión sistemática? ¿Cuál es su impacto?

Si recibes un correo solicitando el envío rápido de un manuscrito sigue estos pasos para comprobar si se trata de una revista depredadora:

  1. Comprueba si el editor es miembro de organizaciones editoriales de renombre, de las cuales algunos ejemplos son la Asociación Mundial de Editores Médicos (WAME), el Comité de Ética de Publicaciones (COPE) y la Academia Internacional de Editores de Enfermería (INANE)
  2. Confirma que los sitios web de las revistas contienen información precisa y actual de una fuente independiente (por ejemplo, si el sitio web indica que la revista tiene Factor de Impacto entra en Journal Citation Reports).
  3. Consulta MIAR http://miar.ub.edu (Matriz de Información para el Análisis de Revistas).
  4. Busca la revista en DOAJ https://doaj.org (Directory of Open Access Journals).

Y ojo, no te fíes por encontrar la revista en bases de datos “tradicionales” como SCOPUS o PubMed, están indizadas en ellas. En este último caso debes conocer las diferencias entre PubMed y MEDLINE y lo que significa que una revista esté indexada en MEDLINE en lugar de aparecer en PubMed.

BIBLIOGRAFÍA

Ross-White A, Godfrey CM, Sears KA, Wilson R. Predatory publications in evidence syntheses. J Med Libr Assoc. 2019;107(1):57-61. doi:10.5195/jmla.2019.491

Singh Chawla D. Hundreds of ‘predatory’ journals indexed on leading scholarly database. Nature. 2021 Feb 8. doi: 10.1038/d41586-021-00239-0. PMID: 33558751.

Dadkhah M, Lagzian M, Borchardt G. Questionable papers in citation databases as an issue for literature review. J Cell Commun Signal. 2017 Jun;11(2):181–5. doi: 10.1007/s12079-016-0370-6.

‌Macháček V, Srholec M. Predatory publishing in Scopus: evidence on cross-country differences. Scientometrics. 2021 Feb 7:1-25. doi: 10.1007/s11192-020-03852-4. PMID: 33583977; PMCID: PMC7867864.

¿Qué son los filtros metodológicos de búsqueda? II

En una anterior entrada ya he tratado el tema de los filtros metodológicos de búsqueda (¿Qué son los filtros de búsqueda? I). Son muy importantes, ya que nos ayudan a encontrar artículos de manera eficiente y son una herramienta de gran valor cuando realizamos documentos de síntesis de evidencia científica como son las revisiones sistemáticas.

Los filtros metodológicos de búsqueda nos ayudan a perfeccionar la estrategia de búsqueda y están constituidos por una combinación de términos o descriptores y diseñadas para localizar tipos de estudios determinados. https://bibliogetafe.com/2021/02/24/que-son-los-filtros-metodologicos-de-busqueda-ii/

El Subgrupo de Especialistas en Información de InterTASC (InterTASC Information Specialists’ Sub-Group (ISSG) da apoyo a las evaluaciones de tecnología al Instituto Nacional para la Excelencia en Salud y Atención (NICE) del Reino Unido.

Trabajan de forma colaborativa para identificar, evaluar y examinar filtros de búsqueda diseñados para recuperar la investigación por diseño o enfoque del estudio. El ISSG SFR tiene como objetivo proporcionar un fácil acceso a los filtros de búsqueda publicados y no publicados diseñados para encontrar estudios con métodos específicos.

En la página The InterTASC Information Specialists’ Sub-Group Search Filter Resource (@ISSG_Filters) podemos encontrar una recopilación de diferentes filtros para diversas bases de datos y plataformas https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home https://bibliogetafe.com/2021/02/24/que-son-los-filtros-metodologicos-de-busqueda-ii/

Gracias al trabajo de @ISSG_Filters, tenemos a nuestra disposición una colección de filtros de búsqueda metodológicos (ISSG SFR) que se van actualizando mensualmente y disponibles en: https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home

Página The InterTASC Information Specialists’Sub-Group (ISSG)https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home?authuser=0

En la actualidad podemos encontrar más de 34 categorías de filtros, entre los que tenemos:

  • Efectos adversos;
  • Etiología;
  • Estudios de diagnóstico;
  • Evaluaciones económicas;
  • Guías;
  • Estudios no aleatorizados;
  • Estudios de resultados;
  • Estudios observacionales;
  • Punto de vista del público y problemas de los pacientes;
  • Ensayos Clínicos Aleatorizados;
  • Investigación cualitativa;
  • Revisiones sistemáticas;
  • Filtros por edades, geográficos, género, atención primaria, estudios en animales, etc.

Pero este sitio es más que una lista de filtros. También proporciona información y orientación sobre cómo evaluar críticamente los filtros de búsqueda, metodología de filtros, filtros por interfaces de búsqueda, listas de discusión y formación.

BIBLIOGRAFÍA

ISSG Search Filter Resource [Internet]. Glanville J, Lefebvre C, Manson P, Robinson S and Shaw N, editors. York (UK): The InterTASC Information Specialists’ Sub-Group; 2006 [updated 16 February 2021; cited 16 February 2021]. Available from https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/home

Actualización de la guía para la presentación de informes de revisiones sistemáticas: desarrollo de la declaración PRISMA 2020

En 2009, un grupo internacional presentó la declaración PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyzes), una guía diseñada para ayudar a los autores a preparar un informe completo de su revisión sistemática. Incluía 27 elementos de la lista de verificación que representan un conjunto mínimo de información para transmitir en un informe de revisión sistemática.

Ya han pasado suficiente tiempo para considerar que es el momento de actualizar la declaración de @PRISMAStatement 2009. 3 items a modificar son relativos a la búsqueda. J Clin Epidemiol. 2021. DOI: 10.1016/j.jclinepi.2021.02.003.

Para actualizar PRISMA 2009, Matthew J Page y cols., revisaron la bibliografía y analizaron 60 documentos con orientación sobre informes para revisiones sistemáticas a fin de generar modificaciones a la declaración PRISMA 2009. Además, invitaron a 220 metodólogos de revisión sistemática y editores de revistas a completar una encuesta sobre las modificaciones sugeridas. En septiembre de 2018 se celebró una reunión presencial de dos días en Edimburgo, para discutir el contenido del borrador y la redacción de la declaración PRISMA actualizada. Después redactaron el borrador de la declaración PRISMA 2020 y la perfeccionaron en función de los comentarios. https://osf.io/p93ge/

PRISMA 2020 está diseñado para uso en #RevisionesSistemáticas con o sin #metanálisis, y principalmente para revisiones que evalúan los efectos de las intervenciones, pero muchos elementos se aplican a revisiones con otros objetivos.

El resultado ha sido la recomendación de mantener 6  elementos de la lista de verificación original tal como estaban y modificar 15 de ellos utilizando la redacción sugerida.

PRISMA 2020 incluye orientación sobre cómo informar todas las secciones: objetivos, criterios de elegibilidad, búsqueda, selección de estudios, recopilación de datos, evaluación del riesgo de sesgo, síntesis, resultados, discusión y declaraciones.

En comparación con la declaración original, PRISMA 2020 incluye nuevos elementos sobre la evaluación de la certeza en el cuerpo de la evidencia, los intereses de los revisores y la disponibilidad de datos, códigos y otros materiales. También proporciona una guía novedosa sobre cómo informar del uso de herramientas de automatización en varios pasos del proceso de revisión, como la búsqueda, la selección de estudios y la recopilación de datos.

Las modificaciones relativas al proceso de búsqueda de estudios y su comparación con PRISMA 2009 son las siguientes:

ItemPRISMA 2009 checklist itemItem Prisma 2020 checklist item
MÉTODOS
7Describa todas las fuentes de información (por ejemplo, bases de datos con fechas de cobertura, contacto con los autores de los estudios para identificar estudios adicionales) en la búsqueda y la fecha de la última búsqueda.6Especifique todas las bases de datos, registros, sitios web, organizaciones, listas de referencias y otras fuentes buscadas o consultadas para identificar estudios. Especifique la fecha de la última búsqueda o consulta de cada fuente.
8Presente una estrategia de búsqueda electrónica completa para al menos una base de datos, incluidos los límites utilizados, de modo que pueda repetirse.7Presente las estrategias de búsqueda completas para todas las bases de datos, registros y sitios web, incluidos los filtros y límites utilizados.
RESULTADOS
17Proporcione el número de estudios seleccionados, evaluados para la elegibilidad e incluidos en la revisión, con los motivos de las exclusiones en cada etapa, idealmente con un diagrama de flujo16aDescriba los resultados del proceso de búsqueda y selección, desde el número de registros identificados en la búsqueda hasta el número de estudios incluidos en la revisión, idealmente utilizando un diagrama de flujo.
Modificaciones relativas al proceso de búsqueda de estudios y su comparación con PRISMA 2009

En comparación con la declaración original, PRISMA 2020 incluye nuevos elementos. En este enlace tenéis ejemplos de cómo reportar cada ítem https://www.bmj.com/highwire/filestream/1045546/field_highwire_adjunct_files/0/pagm061901.w1.pdf

También tenéis disponible el checklist aquí: https://prisma.shinyapps.io/checklist/

También han modificado la plantilla de diagrama de flujo PRISMA para incorporar una guía actualizada sobre cómo informar los resultados del proceso de búsqueda y selección, y proporcionar plantillas específicas para revisiones sistemáticas originales y revisiones sistemáticas actualizadas.

Los diagramas de flujo de PRISMA 2020 se pueden generar utilizando una aplicación Shiny desarrollada por @nealhaddaway disponible en https://www.eshackathon.org/software/PRISMA2020.html

Hay que recordar, que hay desarrollada una extensión de PRISMA para el proceso de búsqueda, PRISMA-S que complementa la Declaración de PRISMA proporcionando una lista de verificación para ser utilizada por autores, editores y revisores para verificar que cada componente de una búsqueda esté completamente informado y, por lo tanto, sea reproducible.

El documento de explicación y elaboración de PRISMA 2020 en @bmj_latest explica por qué se recomienda informar de cada elemento, presenta viñetas que detallan las recomendaciones y ejemplos de las revisiones publicadas (1).

El documento de desarrollo PRISMA 2020 en @JClinEpi describe los pasos tomados para actualizar la declaración PRISMA 2009 y proporciona la justificación para las modificaciones a los elementos originales (2).

Hay programado un interesante seminario web sobre la declaración PRISMA 2020: [Apr 28] TI Methods Speaker Series: The PRISMA 2020 Statement https://www.ti.ubc.ca/2021/03/23/apr-28-prisma-2020-statement/

BIBLIOGRAFÍA

  1. Page MJ, Moher D, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, Shamseer L, Tetzlaff JM, Akl EA, Brennan SE, Chou R, Glanville J, Grimshaw JM, Hróbjartsson A, Lalu MM, Li T, Loder EW, Mayo-Wilson E, McDonald S, McGuinness LA, Stewart LA, Thomas J, Tricco AC, Welch VA, Whiting P, McKenzie JE. PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ. 2021 Mar 29;372:n160. doi: 10.1136/bmj.n160. PMID: 33781993.
  2. Matthew J Page, Joanne E McKenzie, Patrick M Bossuyt, Isabelle Boutron, Tammy C Hoffmann, Cynthia D Mulrow, Larissa Shamseer, Jennifer M Tetzlaff, David Moher, Updating guidance for reporting systematic reviews: development of the PRISMA 2020 statement, J Clin Epidemiol. 2021;134:103-112. https://doi.org/10.1016/j.jclinepi.2021.02.003. Disponible en: (https://www.sciencedirect.com/science/article/pii/S0895435621000408)
  3. Rethlefsen ML, Kirtley S, Waffenschmidt S, Ayala AP, Moher D, Page MJ, Koffel JB; PRISMA-S Group. PRISMA-S: an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews. Syst Rev. 2021 Jan 26;10(1):39. doi: 10.1186/s13643-020-01542-z. PMID: 33499930; PMCID: PMC7839230.

¿Conoces la herramienta para decidir que tipo de revisión es la más adecuada?: What Review is Right for You?

Por mi experiencia, la mayoría de las personas que desean realizar una síntesis de la evidencia piensan únicamente en la posibilidad de realizar una revisión sistemática, cuando a veces esta no es la mejor de las opciones.

La revisión sistemática es el “estándar de oro” de las revisiones, pero dentro de la familia de revisiones podemos diferenciar varios tipos llegándose a identificar 20 o más métodos únicos (Sutton y cols. 2019, Tricco y cols 2018 y 2016, Grant y cols. 2019).

La selección del método de síntesis específico a utilizar debe basarse en la pregunta que los autores buscan responder. Será más apropiado seguir un método diferente según la pregunta y los objetivos. 

Para ayudarnos a tomar la decisión adecuada, disponemos de una herramienta en línea (https://whatreviewisrightforyou.knowledgetranslation.net/) (Munn y cols. 2018). Está diseñada para proporcionar orientación y material de apoyo sobre los métodos para la realización y presentación de informes de síntesis de conocimientos. Como proyecto piloto, la versión actual de la herramienta solo identifica métodos para la síntesis de conocimientos de estudios cuantitativos aunque sus autores tienen pensado desarrollar una herramienta para la síntesis de evidencia cualitativa.

https://whatreviewisrightforyou.knowledgetranslation.net/

BIBLIOGRAFÍA

Grant MJ, Booth A. Atypology of reviews: an analysis of 14 review types and associated methodologies. Health Info Libr J. 2009 Jun;26(2):91-108. doi: 10.1111/j.1471-1842.2009.00848.x. PMID: 19490148. Disponible en: https://onlinelibrary.wiley.com/doi/full/10.1111/j.1471-1842.2009.00848.x

Munn Z, Stern C, Aromataris E, Lockwood C, Jordan Z. What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences. BMC Med Res Methodol. 2018 Jan 10;18(1):5. doi: 10.1186/s12874-017-0468-4. PMID: 29316881; PMCID: PMC5761190. Disponible en:  https://bmcmedresmethodol.biomedcentral.com/articles/10.1186/s12874-017-0468-4

Sutton A, Clowes M, Preston L, Booth A. Meeting the review family: exploring review types and associated information retrieval requirements. Health Info Libr J. 2019 Sep;36(3):202-222. doi: 10.1111/hir.12276. PMID: 31541534.

Tricco AC, Soobiah C, Antony J, Cogo E, MacDonald H, Lillie E, Tran J, D’Souza J, Hui W, Perrier L, Welch V, Horsley T, Straus SE, Kastner M. A scoping review identifies multiple emerging knowledge synthesis methods, but few studies operationalize the method. J Clin Epidemiol. 2016 May;73:19-28. doi: 10.1016/j.jclinepi.2015.08.030. PMID: 26891949.

Tricco AC, Zarin W, Ghassemi M, Nincic V, Lillie E, Page MJ, Shamseer L, Antony J, Rios P, Hwee J, Veroniki AA, Moher D, Hartling L, Pham B, Straus SE. Same family, different species: methodological conduct and quality varies according to purpose for five types of knowledge synthesis. J Clin Epidemiol. 2018 Apr;96:133-142. doi: 10.1016/j.jclinepi.2017.10.014. PMID: 29103958.

¿Qué nivel de evidencia aportan las diferentes tipos de artículos?

Los estudios clínicos suponen un nivel de evidencia diferente, en función del diseño pudiendo diferenciar cuatro grandes grupos de estudios: experimentales, observacionales, de revisión y de consenso o posicionamiento.

Los estudios experimentales se caracterizan por tener un grupo llamado «intervención», que se somete a un tratamiento, mientras que los estudios observacionales se caracterizan por observar y examinar la relación entre los factores específicos de un grupo de población y los factores o marcadores de salud o enfermedad. Dentro de los primeros destaca los ensayos clínicos y en los segundos tenemos los estudios de cohortes, los estudios de caso-control y los transversales.

En los estudios de revisión nos encontramos con una amplia familia que va desde las revisiones narrativas a las revisiones sistemáticas y metanálisis.

Tipos y características de las revisiones (presentación interactiva)

Teniendo en cuenta lo anterior el nivel de evidencia de los tipos de documentos se suele representar con una pirámide en cuya cúspide se encuentran los metanálisis y las revisiones sistemáticas.

El nivel de evidencia de los tipos de documentos se suele representar con una pirámide en cuya cúspide se encuentran los metanálisis y las revisiones sistemáticas. https://view.genial.ly/5fbe54c4f8178210592bbc82/horizontal-infographic-review-jerarquia-por-tipo-de-articulo

Infografía interactiva de jerarquía de la evidencia por tipo de artículo

Novedades de la Cochrane Library: 3/5 Mejoras de navegación y mayor contenido enlazado.

Siguiendo con las principales mejoras de la Cochrane Library nos encontramos con novedades relativas a la navegación y enlazado de contenido.

Entre las mejoras de navegación nos encontramos con el acceso a todo el contenido en una sola barra y las siguientes novedades:

Pestañas de la nueva barra de navegación de la Cochrane Library

Nueva barra de navegación en @CochraneLibrary. Una vez que hemos realizado una búsqueda, el contenido, al que se accede a través de pestañas separadas, incluye: revisiones Cochrane, protocolos Cochrane, ensayos, editoriales, colecciones especiales, respuestas clínicas y otras revisiones, como se muestra a continuación para entrar a @Epistemonikos @EpistemonikosEs

Mejoras de navegación de las revisiones dentro de la Biblioteca Cochrane
Mejora de acceso desde dispositivos móviles a la Cochrane Library

Las siguientes mejoras hacen referencia al contenido enlazado de la Cochrane Library y en los que destaco las siguientes novedades:

Contenido enlazado mejorado en la Cochrabe library

Entre las mejoras de la @CochraneLibrary encontramos el contenido enlazado a CENTRAL, Cochrane Clinical Answers, Google Académico, @Epistemonikos, ….

CENTRAL

El campo de fuente CENTRAL se ha ampliado para capturar los ensayos que se han recopilado de los registros de ensayos, incluidos ClinicalTrials.gov y el Portal internacional de ensayos clínicos de la OMS (ICTRP). Los usuarios ahora pueden identificar fácilmente los ensayos con un registro de registro de ensayos asociado tanto desde la página de búsqueda como desde la página de registro, y filtrar los resultados para incluirlos o excluirlos. Los usuarios de CENTRAL ahora pueden buscar en la base de datos números de registro de prueba (TN) específicos para devolver registros individuales asociados con ese número.

Ahora es posible ver todos los estudios incluidos en una revisión Cochrane en una única búsqueda CENTRAL mediante un enlace de la sección Referencias. Esto brinda a los usuarios la capacidad de exportar, filtrar o manipular los estudios mediante la interfaz de búsqueda de ensayos, así como combinar estudios de múltiples revisiones Cochrane.

Además, CENTRAL se ha ampliado para incluir alrededor de 14.000 referencias a ensayos controlados aleatorios identificados en CINAHL (literatura de enfermería y salud). Podemos utilizar la búsqueda de ensayos o el campo Fuente CENTRAL (tanto de la página de búsqueda como de la página de registro) para identificar fácilmente los ensayos de CINAHL.

Revisiones Cochrane

Mejoras de contenido enlazado en las Revisiones Cochrane 1
Mejoras de contenido enlazado en las Revisiones Cochrane 2

Google Académico

Se ha actualizado el atributo de metadatos de las revisiones Cochrane para vincularlo a la versión ReadCube del PDF. Esto significa que los usuarios que acceden al PDF directamente desde servicios como Google Académico vinculados a la versión correcta.

Vinculación de Cochrane Library a Google Académico

EPISTEMONIKOS

Ahora podemos buscar en la base de datos de Epistemonikos en “Other reviews” usando los campos: ‘Title Abstract’, ‘Record Title’, ‘Author’, ‘Source’ and ‘Digital Object Identifier (DOI)’, y podemos combinar varios términos utilizando operadores booleanos (AND, OR, NOT). También puede buscar Epistemonikos a través de la interfaz de búsqueda avanzada.

También podemos desde la pantalla de resultados ir por todo el contenido en la nueva barra de navegación. Una vez que haya realizado una búsqueda, el contenido, al que se accede a través de pestañas separadas, incluye: revisiones Cochrane, protocolos Cochrane, ensayos, editoriales, colecciones especiales, respuestas clínicas y otras revisiones, como se muestra a continuación para entrar a Epistemonikos:

Acceso a Epistemonikos desde la Cochrane Library

Es importante indicar que Epistemonikos no está indizada con el MeSH, por lo que hay que tenerlo en cuenta cuando buscamos en búsquedas avanzadas por este tesauro.

Novedades de la Cochrane Library: 1/5 Búsqueda por Respuestas Clínicas

Recientemente, la Cochrane Library ha agregado nuevas funciones y actualizado otras. Entre ellas destacan:

Veamos la primero de estas novedades.

Las Respuestas Clínicas Cochrane (en inglés Cochrane Clinical Answers; CCA) están escritas por médicos para médicos. Su función es la de proporcionar un resumen ameno, asequible y enfocado desde el punto de vista clínico a la investigación rigurosa a partir de las Revisiones Cochrane. Estas respuestas se diseñan para ser útiles e informar la toma de decisiones en el lugar de asistencia.

Las Respuestas Clínicas (Cochrane Clinical Answers) proporcionan un resumen ameno, asequible y enfocado a la investigación procedente de las Revisiones Cochrane @cochranecollab. Están diseñadas para ser útiles en la toma de decisiones clínica.  

Cada CCA contiene una pregunta clínica, una pregunta corta y los datos de los resultados de una Revisión Cochrane considerados más relevantes para la práctica de los profesionales sanitarios. La evidencia se muestra en un formato tabulado fácil de usar que incluye textos, datos y enlaces a gráficos. Aquí podemos ver una CCA:

Acceso a Clinical Answers de Cochrane Library

Revisiones sistemáticas: Programas para la extracción de datos de las figuras

Los autores de revisiones sistemáticas necesitan extraer los datos numéricos de los estudios, generalmente de los artículos de revistas, pero en muchas ocasiones estos datos se presentan solo en los gráficos y no están disponibles en otro lugar.

Los autores pueden solicitar los datos a los investigadores de los estudios pero raramente obtienen respuesta. Otra opción es extraer los datos de las figuras y gráficos de forma manual o mediante el uso de software.

Los autores de revisiones sistemáticas necesitan extraer los datos numéricos de los estudios pero en muchas ocasiones estos se presentan solo en los gráficos. En estos casos la extracción puede hacerse de forma manual o mediante el uso de software. #SysRev

El uso de programas para este fin es más conveniente, rápido y preciso que la estimación manual (1-2). Sin embargo, solo el 20.5% de los investigadores usan software para extraer datos de figuras y gráficos (3).

Solo el 20.5% de los autores de las revisiones sistemáticas usan software para extraer datos de figuras y gráficos de los estudios. #SysRev

Para este proceso, hay disponibles herramientas, muchas gratuitas, como las siguientes:

El software funciona tomando una imagen de una figura y luego digitalizando los puntos de datos fuera de la figura usando los ejes y escalas establecidos por los usuarios.

El capítulo 5 del Manual Cochrane y los nuevos estándares metodológicos para las revisiones sistemáticas Cochrane indican que la metodología para la extracción de datos debe indicarse (6). Sin embargo, solo el 5.6% de los protocolos Cochrane mencionó en la sección de Métodos cómo se realizará la extracción de datos de las cifras (7).

El capítulo 5 del Manual Cochrane para las revisiones sistemáticas Cochrane indican que la metodología para la extracción de datos debe indicarse. #SysRev

Bibliografía

  1. Gross A, Schirm S, Scholz M. Ycasd – a tool for capturing and scaling data from graphical representations. BMC Bioinformatics. 2014 Jun 25;15:219. doi: 10.1186/1471-2105-15-219. PMID: 24965054; PMCID: PMC4085079.
  2. Jelicic Kadic A, Vucic K, Dosenovic S, Sapunar D, Puljak L. Extracting data from figures with software was faster, with higher interrater reliability than manual extraction. J Clin Epidemiol. 2016 Jun;74:119-23. doi: 10.1016/j.jclinepi.2016.01.002. Epub 2016 Jan 11. PMID: 26780258.
  3. Giang HTN, Ahmed AM, Fala RY, Khattab MM, Othman MHA, Abdelrahman SAM, Thao LP, Gabl AEAE, Elrashedy SA, Lee PN, Hirayama K, Salem H, Huy NT. Methodological steps used by authors of systematic reviews and meta-analyses of clinical trials: a cross-sectional study. BMC Med Res Methodol. 2019 Jul 26;19(1):164. doi: 10.1186/s12874-019-0780-2. PMID: 31349805; PMCID: PMC6659247.
  4. Gheibi S, Mahmoodzadeh A, Kashfi K, Jeddi S, Ghasemi A. Data Extraction from Graphs Using Adobe Photoshop: Applications for Meta-Analyses. Int J Endocrinol Metab. 2019 Oct 8;17(4):e95216. doi: 10.5812/ijem.95216. PMID: 31998381; PMCID: PMC6942170.
  5. Shadish WR, Brasil ICC, Illingworth DA, White KD, Galindo R, Nagler ED, Rindskopf DM. Using UnGraph to extract data from image files: verification of reliability and validity. Behav Res Methods. 2009 Feb;41(1):177-183. doi: 10.3758/BRM.41.1.177. PMID: 19182138.
  6. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0 (updated July 2019). Cochrane, 2019. Available from http://www.training.cochrane.org/handbook.
  7. Vucic K, Jelicic Kadic A, Puljak L. Survey of Cochrane protocols found methods for data extraction from figures not mentioned or unclear. J Clin Epidemiol. 2015 Oct;68(10):1161-4. doi: 10.1016/j.jclinepi.2014.11.016. Epub 2014 Dec 18. PMID: 25577327.

Nueva versión de la guía EUnetHTA del proceso de búsqueda de información en revisiones sistemáticas y evaluación de tecnología

EUnetHTA

Ya en 2015 daba cuenta de la Guía metodológica EUnetHTA desarrollada por el Institute for Quality and Efficiency in Health Care (IQWiG) / Germany y cuyo objetivo es proporcionar una visión general, actualizada y transparente de todo el proceso de recuperación de la información.

Ahora está disponible la versión 2.0 de diciembre de 2019 de la directriz metodológica EUnetHTA sobre “Proceso de recuperación de información para revisiones sistemáticas y evaluaciones de tecnología de salud sobre efectividad clínica” actualizada por IQWiG junto con el NIPH (Noruega) y AETSA (España).

Podéis descargar esta nueva versión en:

https://eunethta.eu/wp-content/uploads/2020/01/EUnetHTA_Guideline_Information_Retrieval_v2-0.pdf

Citar como:

EUnetHTA JA3WP6B2-2 Authoring Team. Process of information retrieval for systematic
reviews and health technology assessments on clinical effectiveness. Methodological
Guidelines. Diemen (The Netherlands): EUnetHTA; 2019. Available from
https://www.eunethta.eu/