El pasado martes tuve el placer de impartir el curso “Fundamentos metodológicos de revisiones sistemáticas”, organizado por BiblioSalud, la red de bibliotecarios y profesionales de la información en ciencias de la salud de España. Esta sesión formativa, dirigida especialmente a bibliotecarios médicos, se centró en los aspectos clave que debemos conocer para comprender y acompañar con rigor el desarrollo de una revisión sistemática.
En esta entrada del blog quiero comenzar a compartir una selección de las herramientas y recomendaciones prácticas que utilizo habitualmente en mi trabajo diario con documentos de síntesis de evidencia.
El objetivo es ofrecer una guía no exhaustiva, hay muchas y variadas (ver figura) pero con recomendaciones y herramientas útiles y basada en mi experiencia, que sirva tanto a quienes empiezan como a quienes ya participan en revisiones sistemáticas desde las bibliotecas.
Voy a dividir las herramientas en varios apartados según su uso:
Recolección de términos controlados y libres.
Proceso de búsqueda y cribado.
Chatbots e inteligencia artificial para apoyar la confección de estrategias booleanas.
Herramientas para la búsqueda complementaria.
Otras herramientas recomendadas para las revisiones sistemáticas.
En esta entrada veremos las primeras de estas herramientas y recomendaciones para la recolección de términos.
Recolección de términos
Uno de los pasos más críticos en cualquier revisión sistemática es la correcta identificación de términos controlados y palabras clave. Una estrategia de búsqueda bien construida comienza con una recolección exhaustiva de términos y para ello contamos con una serie de recursos imprescindibles:
1.1. Entry Terms de MeSH Database.
La herramienta clásica para explorar la jerarquía de los Medical Subject Headings (MeSH). Nos permite ver la definición de cada término, sus sinónimos, su posición dentro del árbol jerárquico, subencabezamientos permitidos y términos relacionados o «Entry Terms». Fundamental para identificar los términos controlados exactos que se deben utilizar en PubMed y para entender el enfoque conceptual con el que el sistema indexa los documentos.
1.2. Sinónimos de Emtree de EMBASE
El Emtree es el tesauro específico de la base de datos Embase. Su lógica es similar al MeSH pero tiene su propia estructura y contiene más términos, especialmente útiles para temas en farmacología o dispositivos médicos. Conviene hacer búsquedas paralelas en MeSH y Emtree para comparar coberturas y encontrar sinónimos o variantes terminológicas que pueden enriquecer la estrategia.
Esta herramienta permite comparar los términos MeSH asignados, los términos empleados en el título y resumen así como las palabras clave de los autores a un conjunto de artículos. Es especialmente útil para detectar patrones o términos recurrentes en la literatura más relevante sobre tu tema. Solo necesitas extraer los PMIDs de los artículos clave y el analizador los agrupa mostrando visualmente los MeSH comunes. Ideal para verificar si estás pasando por alto términos relevantes o para ajustar tu estrategia inicial.
Esta herramienta permite analizar la frecuencia de palabras en títulos y resúmenes de los resultados de una búsqueda bibliográfica. Solo necesitas copiar y pegar el listado de referencias (por ejemplo, desde PubMed) y Word Freq generará un listado de términos ordenados por frecuencia. Es especialmente útil para:
Identificar términos clave y sinónimos que puedes haber pasado por alto.
Detectar conceptos emergentes o patrones de lenguaje en la literatura.
Afinar tu estrategia de búsqueda ajustando los términos libres.
Una herramienta sencilla pero muy eficaz para enriquecer la fase exploratoria de cualquier revisión sistemática.
Es una potente herramienta para realizar minería de datos sobre resultados de PubMed. Introduciendo una lista de PMIDs o haciendo una búsqueda directa, puedes ver las frecuencias de palabras en títulos, resúmenes y términos MeSH. También puedes analizar la aparición de autores, revistas, años de publicación… Es perfecta para afinar términos libres y obtener una imagen más clara del contexto bibliográfico.
Desarrollado por la National Library of Medicine, este recurso es especialmente útil cuando partimos de un texto breve (como el resumen de un protocolo o el título de un artículo). Solo tienes que copiar el contenido y MeSH on Demand te devuelve sugerencias de términos MeSH relevantes. Es una excelente forma de inspirarte cuando aún estás perfilando la estrategia inicial.
1.7. Asistente de inteligencia artificial MeshMaster
MeSHMaster es un chatbot especializado que utiliza inteligencia artificial para ayudarte a construir estrategias de búsqueda booleanas, combinando términos MeSH y palabras clave libres. A partir de una descripción breve del tema o una pregunta clínica, el asistente sugiere:
Términos MeSH relevantes y sinónimos.
Combinaciones booleanas iniciales (AND, OR, NOT).
Variantes terminológicas en inglés que pueden enriquecer la sensibilidad de la búsqueda.
Es una herramienta especialmente útil en las primeras fases de diseño de la estrategia, cuando se busca inspiración o una validación rápida de conceptos clave. Aporta rapidez sin perder la lógica estructural que requiere una buena estrategia de búsqueda.
Te invito a seguir mis próximas entradas para descubrir cómo integrar estas herramientas en tu revisión sistemática.
La evaluación de la calidad de la evidencia en revisiones sistemáticas (RS) es esencial para la toma de decisiones. Aunque el sistema GRADE (Grading of Recommendations Assessment, Development and Evaluation) ofrece un enfoque consolidado para calificar el nivel de evidencia, su aplicación es compleja y requiere mucho tiempo. La inteligencia artificial (IA) puede utilizarse para superar estas barreras.
En este contexto, acaba de publicarse un estudio experimental analítico que busca desarrollar y evaluar la herramienta URSE basada en IA para la semiautomatización de una adaptación del sistema de clasificación GRADE, determinando niveles de evidencia en RS con metaanálisis compilados de ensayos clínicos aleatorizados (1).
Las conclusiones de este estudio revelan que el rendimiento del sistema GRADE automatizado URSE es insatisfactorio en comparación con los evaluadores humanos. Este resultado indica que el objetivo de utilizar la IA para GRADE no se ha alcanzado.
Las limitaciones del sistema GRADE automatizado URSE reforzaron la tesis de que las herramientas potenciadas por IA deben utilizarse como una ayuda para el trabajo humano y no como un sustituto del mismo. En este contexto, el sistema GRADE automatizado URSE puede utilizarse como segundo o tercer revisor, lo que mejora la objetividad de las dimensiones GRADE, reduce el tiempo de trabajo y resuelve discrepancias.
Los resultados demuestran el uso potencial de la IA en la evaluación de la calidad de la evidencia. Sin embargo, considerando el énfasis del enfoque GRADE en la subjetividad y la comprensión del contexto de producción de evidencia, la automatización completa del proceso de clasificación no es oportuna. No obstante, la combinación del sistema GRADE automatizado URSE con la evaluación humana o la integración de esta herramienta en otras plataformas representa direcciones interesantes para el futuro.
En el siguiente enlace encontrarás un resumen del artículo:
https://hacia-la-automatizacion--1z75d14.gamma.site/
BIBLIOGRAFÍA
Oliveira dos Santos A, Belo VS, Mota Machado T, et al. Toward automating GRADE classification: a proof-of-concept evaluation of an artificial intelligence-based tool for semiautomated evidence quality rating in systematic reviews. BMJ Evidence-Based Medicine. 2025. doi: 10.1136/bmjebm-2024-113123
Características de las búsquedas para revisiones sistemáticas
Las revisiones sistemáticas requieren estrategias de búsqueda rigurosas (que identifiquen todos los registros relevantes, pero no tan amplia como para que haya demasiados artículos irrelevantes), transparentes y reproducibles (documentando los pasos que se dieron durante la búsqueda) de tal forma que permita que los futuros equipos de investigación se basen en el trabajo de la revisión sistemática (RS), así como también lo evalúen, valoren y critiquen.
Las revisiones sistemáticas requieren una búsqueda sistemática. Dada la complejidad de los lenguajes y reglas de indexación de las diversas bases de datos, la mejor manera para que el equipo de investigación asegure el rigor de la búsqueda es incluir un bibliotecario en el equipo de revisión.
Retos en la búsqueda de evidencia
El primer elemento de una revisión sistemática es la propia pregunta. La pregunta determinará el desarrollo de la estrategia de búsqueda y qué tipo de estudios se encontrarán. Si la pregunta no es lo suficientemente clara en este punto, es posible que no se detecten artículos que puedan ser de interés o que se encuentren muchos artículos que no son lo que se quiere.
Traslado de la pregunta de investigación a la estrategia de búsqueda. La pregunta es el punto de partida para estructurar una estrategia de búsqueda, es la de identificar los principales conceptos de la pregunta clínica (generalmente en un formato PICO para revisiones de intervención y PEO para revisiones de factores de riesgo). Los errores más comunes para traducir una pregunta de investigación en un plan de búsqueda incluyen perder un concepto importante y agregar demasiados conceptos. (ver entrada «¿Debo incluir los Resultados (Outcomes) en la estrategia de búsqueda de una revisión sistemática?«).
Aplicar límites. de forma segura para evitar sesgos y disminución de la sensibilidad. Los límites más empleados son los límites temporal, de idiomas o de acceso al texto completo gratuito pero estos solo se deben incluir en la estrategia si está justificado metodológicamente. La mejor manera de aplicar límites es hacerlo de tal manera que la búsqueda incluya registros indexados por un límite deseado sin faltar registros que cumplan con esa misma descripción pero que no se indexan de esa manera. Esto se puede lograr mediante el uso cuidadoso del operador booleano NOT (por ejemplo, para eliminar estudios animales y quedarnos solo con estudios en humanos). Ver entrada «¿Cómo limitamos el resultado de una búsqueda bibliográfica a solo humanos?: Recomendación para búsqueda en revisiones sistemáticas«. También debemos tener presente la utilización de los llamados filtros de búsqueda (ver entrada: «Qué son los filtros de búsqueda y principales herramientas para su localización«).
Errores comunes en las estrategias de búsqueda en revisiones sistemáticas
Errores en la selección de las fuentes de búsqueda
La producción de una revisión sistemática requiere la búsqueda sistemática en varias bases de datos bibliográficas. Se desconoce el número óptimo de bases de datos que hay que consultar, sin embargo, buscar en una sola base de datos no es suficiente, aunque no existe evidencia de la cantidad de bases de datos en las que se debe buscar. Una sola base de datos no representa todas las investigaciones potencialmente relevantes que existen. Al elegir incluir solamente una base de datos, el revisor está introduciendo un sesgo de selección en esta etapa temprana del proceso de revisión. La búsqueda solo de PubMed y Embase recupera el 71.5% de las publicaciones incluidas, mientras que agregar bases de datos adicionales a las estrategias de búsqueda aumenta la recuperación al 94.2% (el 5.8% de las referencias no se recuperan en ninguna base de datos) (Frandsen TF, Moos C, Linnemann Herrera Marino CI, Brandt Eriksen M, Supplementary databases increased literature search coverage beyond PubMed and Embase, Journal of Clinical Epidemiology (2025), doi: https://doi.org/10.1016/j.jclinepi.2025.111704.). Ver entrada «En qué bases de datos debemos buscar para una revisión sistemática: La producción de una revisión sistemática requiere la búsqueda sistemática en varias bases de datos bibliográficas.»En qué bases de datos debemos buscar para una revisión sistemática: La producción de una revisión sistemática requiere la búsqueda sistemática en varias bases de datos bibliográficas» y «Cobertura y solapamiento de las bases de datos utilizadas en las revisiones sistemáticas de ciencias de la salud«).
La búsqueda ha de realizarse en bases de datos automatizadas, pero también ha de incluirse búsquedas que complementen esta, como es la búsqueda de literatura gris. Si uno realmente quiere localizar toda la evidencia que hay no puede detenerse en la búsqueda de las principales bases de datos.
Insuficiente amplitud o sensibilidad de la búsqueda
La estrategia de búsqueda ha de ser una combinación de términos del lenguaje natural (campo de título y abstract) y el vocabulario controlado de las bases de datos consultadas (Leblanc V, Hamroun A, Bentegeac R, Le Guellec B, Lenain R, Chazard E. Added Value of Medical Subject Headings Terms in Search Strategies of Systematic Reviews: Comparative Study. J Med Internet Res. 2024 Nov 19;26:e53781. doi: 10.2196/53781.).
Debemos hacer balance entre la precisión y exhaustividad pero teniendo en cuenta que el objetivo de una búsqueda para una RS es identificar todos los estudios pertinentes (maximizar la sensibilidad pero con una precisión razonable). Una de las cuestiones más complicadas es cuando dar por finalizada la búsqueda. Una de las cuestiones más complicadas es cuando dar por finalizada la búsqueda.
Representación visual de precisión y sensibilidad al realizar una búsqueda de literatura de una revisión sistemática. Modificada y traducida de: Kumar V, Barik S, Raj V, Varikasuvu SR. Precision and Sensitivity: A Surrogate for Quality of Literature Search in Systematic Reviews. Clin Spine Surg. 2025;38(1):34-6.
Salvador-Oliván y cols., encontraron que, de las estrategias de búsqueda, el 92,7% contenían algún tipo de error. Para facilitar su presentación, los errores se agruparon en 2 categorías: los que afectan al recuerdo y los que no, siendo más frecuentes los primeros (78,1%) que los segundos (59,9%). La tabla siguiente presenta la frecuencia de los distintos tipos de errores.
Errores más comunes en las búsquedas en revisiones sistemáticas. Fuente: Salvador-Oliván JA, Marco-Cuenca G, Arquero-Avilés R. Errors in search strategies used in systematic reviews and their effects on information retrieval. J Med Libr Assoc. 2019 Apr;107(2):210-221. doi: 10.5195/jmla.2019.567.
Más recientemente, Rethlefsen y cols. encontraron que el 56.0% (163/291) de todas las búsquedas de bases de datos contenía al menos un error (Rethlefsen ML, Brigham TJ, Price C, Moher D, Bouter LM, Kirkham JJ, Schroter S, Zeegers MP. Systematic review search strategies are poorly reported and not reproducible: a cross-sectional metaresearch study. J Clin Epidemiol. 2024 Feb;166:111229. doi: 10.1016/j.jclinepi.2023.111229.).
Son relativamente fácil de tener errores con palabras mal escritas (3,8%) y errores en la sintaxis del sistema que no se encuentran fácilmente mediante la revisión ortográfica.
Es frecuente cometer errores en la aplicación de operadores booleanos (por ejemplo, OR puede haber sido sustituido involuntariamente por AND (o viceversa), o AND puede haberse utilizado para vincular frases o palabras (por ejemplo, como una conjunción) en lugar de como un operador booleano) y, más a menudo, olvidar usarlos son comunes. La mayoría de las bases de datos asumirán un AND cuando falte un operador, lo que reducirá en gran medida la sensibilidad y la precisión de su búsqueda. Por otro lado, algunas plataformas de búsqueda ignora los operadores booleanos cuando se escriben en minúscula aplicando el operador AND automáticamente al ser el operador por defecto. Esto ocurre en PubMed por lo que es recomendable escribir los operadores booleanos siempre en mayúscula.
Otro error común es la falta de precisión en la combinación con los operadores booleanos de los números de línea correcta. Por eso es muy recomendable verificar cada número de línea y combinaciones de números de línea para asegurarse de que la lógica de búsqueda se implementó correctamente.
Para intentar paliar estos errores de ejecución, es recomendable revisar la búsqueda y asegurarse de que el uso del anidamiento entre paréntesis sea lógico y se haya aplicado correctamente. También hay que tener en cuenta si el uso de un operador de proximidad o adyacencia en lugar de AND podría aumentar la precisión. Si se utilizan operadores de proximidad, considere si la amplitud elegida es demasiado reducida para capturar todos los casos esperados de los términos de búsqueda, que pueden variar dependiendo de si la base de datos en la que se busca reconoce o no palabras vacías. Considere si la amplitud es demasiado extensa. Y si se incluyen límites (por ejemplo, humanos o población de ancianos), debemos asegurarnos de que se haya utilizado la construcción adecuada.
De las diferentes formas de construcción de la estrategia de búsqueda, recomiendo la búsqueda por bloques, es decir, una línea por cada concepto de búsqueda partiendo de nuestra pregunta estructurada (PICOs) para intentar minimizar los errores antes descritos. De esta forma, la búsqueda se corresponderá con el marco de nuestra pregunta del que partimos en nuestra revisión. (ver entrada «Cómo estructurar la estrategia de búsqueda para revisiones sistemáticas: tres enfoques diferentes pero complementarios»).
Los términos de texto libre se utilizan normalmente para cubrir los encabezamientos de materia que faltan en la base de datos, recuperar registros no indizados o mal indizados. Debemos considerar los elementos del uso del texto libre, como demasiado restringido o demasiado amplio, la relevancia de los términos y si se han incluido sinónimos o antónimos.
Con respecto al uso de descriptores o encabezamientos de materia, hemos de comprobar si faltan encabezamientos o si son incorrectos los que utilizamos en nuestra estrategia, analizar la relevancia/irrelevancia de los términos y el uso correcto de la búsqueda ampliada para incluir términos relevantes más específicos.
Debemos considerar que el uso de subencabezamientos flotantes que en la mayoría de los casos son preferibles al uso de subencabezamientos ligados a encabezados de materias específicas.
Adaptación entre bases de datos y plataformas
Una vez hemos realizado la búsqueda en una base de datos debemos trasladar la estrategia a la siguiente base de datos. Esto significa que el vocabulario controlado, los términos del lenguaje natural y todas las demás etiquetas y operadores de campo utilizados deben ser lo más similar posible.
Deficiencias en la documentación de las estrategias de búsqueda de evidencia
Las búsquedas de revisión sistemática deben ser reproducibles, pero la mayoría no lo son. Rethlefsen y cols. encontraron que solo el 1% de las revisiones sistemáticas eran completamente reproducibles para todas las búsquedas de bases de datos. Además, las búsquedas de revisión sistemática siguen informándose mal. La gran mayoría de las revisiones sistemáticas (91%) ni siquiera proporciona suficientes detalles para identificar las bases de datos/plataformas utilizadas para todas las búsquedas de bases de datos (Rethlefsen ML, Brigham TJ, Price C, Moher D, Bouter LM, Kirkham JJ, Schroter S, Zeegers MP. Systematic review search strategies are poorly reported and not reproducible: a cross-sectional metaresearch study. J Clin Epidemiol. 2024 Feb;166:111229. doi: 10.1016/j.jclinepi.2023.111229.).
Recomendaciones para mejorar las estrategias de búsqueda en revisiones sistemáticas
Para intentar minimizar los errores en la búsqueda en revisiones sistemáticas, es recomendable que un segundo bibliotecario haga la revisión por pares de la búsqueda utilizando la herramienta PRESS (Peer Review of Electronic Search Strategies (McGowan J, Sampson M, Salzwedel DM, Cogo E, Foerster V, Lefebvre C. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. J Clin Epidemiol. 2016 Jul;75:40-6. doi: 10.1016/j.jclinepi.2016.01.021. PMID: 27005575.) justo antes de finalizar el protocolo y antes de hacer las búsquedas definitivas de la revisión.
Y por último, para la mejora de las estrategias de búsqueda y su informe transparente es necesario implicar a los bibliotecarios, los equipos de revisión sistemática, los revisores por pares y los editores de revistas.
La revisión sistemática es una de las metodologías más robustas dentro de la síntesis de la evidencia científica. Su objetivo principal es recopilar, evaluar y sintetizar los resultados de múltiples estudios para responder a una pregunta de investigación específica. Una vez finalizadas las búsquedas en bases de datos y literatura gris los investigadores realizar la fase de selección de los estudios a incluir en la revisión.
La selección de estudios consiste en identificar, entre una gran cantidad de documentos encontrados durante la búsqueda bibliográfica, aquellos que cumplen con los criterios de inclusión previamente establecidos en el protocolo de la revisión. Este paso debe asegurar que solo se incluyan estudios relevantes que cumplan con los criterios de elegibilidad y contribuyan a responder la pregunta de investigación de manera rigurosa.
En esta entrada, vamos a explorar cómo se lleva a cabo esta etapa y qué aspectos debes considerar para lograr una revisión sistemática sólida.
La unidad de interés son los estudios, no los informes. Dado que cada estudio puede haber sido informado en varios artículos, resúmenes u otros informes, una búsqueda exhaustiva de estudios para la revisión puede identificar muchos informes para cada estudio potencialmente relevante. Hay que identificar las publicaciones duplicadas, desde manuscritos idénticos hasta informes que describen diferentes resultados del estudio o resultados en diferentes puntos temporales. La publicación duplicada puede introducir sesgos sustanciales si los estudios se incluyen inadvertidamente más de una vez en un meta-análisis. El número de participantes puede diferir en las distintas publicaciones. Puede ser difícil detectar la publicación duplicada y puede ser necesaria cierta «labor detectivesca» por parte de los revisores. Se deben cotejar varios informes del mismo estudio, de modo que cada estudio, y no cada informe, sea la unidad de interés de la revisión.
Criterios de inclusión predefinidos. Estos criterios de elegibilidad (inclusión y exclusión) de los estudios deben estar predefinidos, es decir, indicados en el protocolo antes de iniciar las búsquedas.
Etapas del proceso de selección de los estudios:
Fusión de los resultados de la búsqueda procedentes de distintas fuentes mediante un programa informático de gestión de referencias y eliminación de los registros duplicados del mismo informe (p. ej.: Zotero, Mendeley, EndNote).
Cribado inicial por título y resumen. En esta etapa, se revisan los títulos y resúmenes para descartar informes irrelevantes. Aunque esta tarea puede ser realizada por una sola persona, es recomendable que al menos dos revisores participen en las etapas posteriores.
Recuperar el texto completo de los informes potencialmente relevantes.
Relacionar varios informes de un mismo estudio.
Evaluación del texto completo. Los informes que pasen el cribado inicial deben ser evaluados en profundidad para determinar si cumplen con los criterios de elegibilidad.
En caso de dudas o datos incompletos, se puede contactar a los autores para solicitar información adicional sobre métodos o resultados que falten.
Tomar las decisiones finales sobre la inclusión de los estudios y proceder a la recogida de datos.
Revisión independiente. Al menos dos personas han de examinar los estudios para determinar si cumplen los criterios de inclusión/exclusión de forma independiente. En primer lugar, deben examinar los títulos y resúmenes (aunque es aceptable que esta selección inicial de títulos y resúmenes sea realizada por una sola persona) y, a continuación, pasar a examinar el texto completo (obligatorio) en busca de artículos que no puedan considerarse que cumplen con todos los criterios de inclusión. Duplicar el proceso de selección de estudios reduce tanto el riesgo de cometer errores como la posibilidad de que la selección se vea influida por los sesgos de una sola persona.
Resolución de discrepancias. Establecer cómo se resolverán los desacuerdos del proceso de selección. Pueden resolverse mediante discusión entre las dos personas que han participado en el proceso. Otra posibilidad es el arbitraje de otra persona. Si este desacuerdo ocurre en la primera fase del cribado frente al título/resumen, se clasifica el estudio en su revisión como pendiente de evaluación («Dudosos/Maybe») hasta que se obtenga la información adicional con el texto completo. Si ocurre en la segunda fase del cribado por falta de información en el informe del estudio, se ha de esperar a recibir la respuesta obtenida de los autores o investigadores del estudio.
Directrices PRISMA 2020 para documentar el proceso de selección de los estudios en la revisión. Para ello se debe llevar un registro del número de referencias y, posteriormente, del número de estudios, de las decisiones y las razones de la exclusión. En metodología del protocolo y del informe de la revisión hay que documentar: el proceso de valoración de títulos/abstract, textos completos (p. ej.: cribado por 2 personas, quienes son estas personas, cómo se evaluarán (en el protocolo) y se han evaluado (en la revisión) los desacuerdos, y si la selección es ciega. Cualquier otro método utilizado para seleccionar los estudios (incluido el uso de programas informáticos). En los resultados del informe de la revisión hay que documentar: los resultados de la búsqueda en todas las fuentes, el número de estudios incluidos/excluidos en cada etapa, la tabla de «características de los estudios excluidos» en la selección con los textos completos detallando al menos una razón de exclusión (en anexos del informe) y el diagrama de flujo PRISMA.
La falta de cumplimiento de un solo criterio de elegibilidad es suficiente para que un estudio sea excluido de una revisión. Por lo tanto, la primera respuesta negativa de un criterio de elegibilidad es motivo para la exclusión del estudio, y no es necesario evaluar los criterios restantes.
Es recomendable que antes del cribado el equipo de revisión establezca una lista de comprobación con de criterios de elegibilidad predefinidos. Es útil ordenar los criterios de más relevantes a menos o por pragmatismo, de esta forma es más rápido el proceso de exclusión.
Es recomendable realizar una prueba piloto de los criterios de elegibilidad en una muestra de informes (aproximadamente de 5 a 10). La prueba piloto puede utilizarse para refinar y aclarar los criterios de elegibilidad, formar a las personas que los aplicarán y garantizar que los criterios pueden ser aplicados de forma coherente por más de una persona.
Uso de herramientas tecnológicas. Para el cribado pueden utilizarse programas informáticos de cribado de referencias como EndNote, EndnoteWeb, Mendeley o Zotero, o utilizar programas informáticos de cribado de revisiones sistemáticas facilitan un proceso de selección por múltiples revisores de manera concurrente e independiente). Además, herramientas basadas en inteligencia artificial, como ChatGPT, están emergiendo como opciones prometedoras para automatizar partes del proceso.
Los bibliotecarios tenemos poco control sobre la terminación de los proyectos de revisiones sistemáticas. Sin embargo, dado que la mayor parte del trabajo del bibliotecario se realiza al comienzo del proyecto, el tiempo y esfuerzo invertido es con frecuencia el mismo, independientemente de que el proyecto de revisión consiga publicarse o sea abandonado. Esta situación plantea importantes reflexiones sobre la naturaleza de nuestro trabajo, ya que, a pesar de la falta de control en los resultados finales, nuestro papel es fundamental para la calidad de la revisión. Además, nuestra capacidad para colaborar con investigadores y académicos desde el inicio del proceso no solo mejora la metodología, sino que también contribuye a establecer estándares que pueden influir en el éxito del proyecto. Por lo tanto, aunque los resultados puedan variar, la dedicación y el esfuerzo que aportamos son de enorme valor y forman parte integral del proceso de investigación.
Por eso, es importante tener presente la siguiente lista de comprobación o checklist antes de comprometer nuestra participación del bibliotecario en una revisión sistemática:
¿Pueden los investigadores describir claramente la pregunta de investigación?
¿Han establecido los investigadores criterios de inclusión y exclusión?
¿Parece que el alcance de la pregunta de investigación es manejable (no es probable que se obtengan demasiados estudios elegibles)?
¿Parece que la pregunta de investigación merece la pena (no es probable que no haya o que haya muy pocos estudios elegibles)?
¿Se ha preparado un protocolo?
¿Conocen y planea el equipo de revisión seguir las normas de buenas prácticas?
¿Está de acuerdo el equipo revisor con un enfoque de búsqueda exhaustivo (por ejemplo, búsqueda en todas las bases de datos clave, empleo de estrategias de búsqueda relativamente amplias)?
¿El proceso de selección, extracción de datos y evaluación del riesgo de sesgo-calidad implicará la decisión de dos revisores de manera independiente?
¿Parece el proyecto de investigación manejable para el número de miembros del equipo de revisión?
¿Son realistas y viables los plazos de revisión?
Bibliografía
Campos Asensio, C. (2024). Papel estratégico del bibliotecario en las revisiones sistemáticas. CLIP De SEDIC: Revista De La Sociedad Española De Documentación E Información Científica, (90), 19–32. https://doi.org/10.47251/clip.n90.150
McKeown S, Ross-White A. Building capacity for librarian support and addressing collaboration challenges by formalizing library systematic review services. J Med Libr Assoc. 2019 Jul;107(3):411-419. doi: 10.5195/jmla.2019.443.
Las revisiones del JBI se distinguen en el componente de búsqueda por su proceso de búsqueda explícito en 3 pasos. Este enfoque metodológico asegura una revisión exhaustiva y sistemática de la evidencia relevante, mejorando la calidad y la fiabilidad de los resultados de la revisión.
Paso 1: Búsqueda exploratoria inicial
El primer paso es una búsqueda exploratoria inicial para encontrar «referencias semilla», es decir, registros de estudios que cumplan los criterios de inclusión para la pregunta de la revisión. Tras estas búsquedas exploratorias iniciales, se recogen las palabras clave del título y el resumen, junto con los términos de indización (también denominados términos MeSH en MEDLINE, Tesauro, Vocabulario controlado, descriptores o encabezamientos de materia) de las referencias semilla. Se debe consultar con el equipo de revisión para recopilar otras palabras clave y términos indexados.
En esta fase utilizaremos las siguientes herramientas:
Bases de datos, generalmente MEDLINE y CINAHL.
Herramientas adicionales como Google, Google Académico y herramientas de descubrimiento de bibliotecas (PRIMO, OneSearch, SumSearch, etc.).
Herramientas de IA generativa(p. ej.: ChatGPT). Pueden ser útiles para encontrar estas referencias iniciales. Sin embargo, en el caso de las fuentes encontradas a través de ChatGPT, es importante verificar que no sean alucinaciones.
Paso 2: Desarrollo de la estrategia de búsqueda exhaustiva
El segundo paso consiste en desarrollar una estrategia de búsqueda exhaustiva utilizando estas palabras clave recolectadas y los términos de indización en la base de datos primaria/clave definida en nuestro Protocolo de revisión.
El desarrollo de una búsqueda exhaustiva es un proceso iterativo que implica probar combinaciones de palabras clave y términos indizados y comprobar que la estrategia de búsqueda recupera las referencias iniciales.
Una vez desarrollada la estrategia de búsqueda en la base de datos primaria, se traslada a otras bases de datos.
Paso 3: Búsqueda complementaria
El tercer paso es la búsqueda complementaria en la literatura gris, la búsqueda de citas y la búsqueda manual. La Declaración TARCiS (Terminology, Application and Reporting of Citation Searching) proporciona orientación sobre cuándo y cómo realizar búsquedas de citas como técnica de búsqueda complementaria en la síntesis de la evidencia y, lo que es más importante, cómo informar de ello (Hirt et al. 2024).
Para las preguntas de revisión que son complejas, la búsqueda de citas hacia delante y hacia atrás (forward and backward citation searching) se considera obligatoria.
Una revisión sistemática refleja las limitaciones de los estudios que incluye; por lo tanto, cada estudio elegible para su inclusión en una revisión sistemática requiere una evaluación crítica para determinar si el estudio no ha respondido correctamente a su pregunta de investigación de una manera libre de sesgos.
Lared LATITUDES nos proporciona una visión general de la calidad de los estudios y relación entre los distintos componentes de la calidad. Enfatiza los 3 componentes principales de la calidad del estudio: validez interna, validez externa y calidad del informe/reporte.
El proceso de evaluación del riesgo de sesgo implica una valoración crítica y un juicio relativo a la existencia de riesgos potenciales de sesgo en el estudio. Un sesgo es un «error sistemático, o desviación de la verdad, en los resultados o inferencias» y esto puede conducir a hallazgos que no reflejen el resultado real. El sesgo (por ejemplo, las limitaciones del estudio) se refiere al riesgo de que los estudios sobrestimen o subestimen sistemáticamente el verdadero efecto de la intervención en función de un error en su realización o diseño.
El sesgo es distinto del concepto de calidad
Un estudio con «alta calidad metodológica» puede tener un «alto riesgo de sesgo» como, por ejemplo, cuando el cegamiento es imposible. Por otro lado, no todas las debilidades metodológicas introducen sesgos. Así, ciertos indicadores de «baja calidad metodológica» tienen poca probabilidad de influir en el riesgo de sesgo, como, por ejemplo, la no predeterminación del tamaño muestral.
Herramientas para la evaluación de la calidad
Hay muchas escalas escalas de calidad y listas de verificación (checklists) disponibles. Las revisiones Cochrane no las utilizan dado que no hay evidencia empírica que avale su uso, diferentes escalas llegan a diferentes conclusiones, la ponderación numérica no está justificada y las puntuaciones difíciles de interpretar por los lectores.
Herramientas para la evaluación del riesgo de sesgo
La RoB 2 de Cochrane se utiliza para la evaluación de ensayos clinicos. Valora 7 dominios (Generación de la secuencia aleatoria; Ocultamiento de la asignación; Cegamiento de los participantes y del personal; Cegamiento de los evaluadores del resultado; Datos de resultado incompletos; Notificación selectiva de los resultados; y Otras fuentes de sesgo) siendo la valoración de los revisores como de «bajo riesgo de sesgo» , «alto riesgo de sesgo» o «riesgo de sesgo poco claro«.
Para los estudios no aleatorizados también hay que evaluar el riesgo de sesgo: ROBINS (acrónimo de Risk Of Bias In Non-Randomized Studies). En la actualidad, existen dos versiones de esta herramienta: ROBINS-I, para estudios no aleatorizados de intervenciones y la recientemente lanzada ROBINS-E, que evalúa el efecto de una exposición en estudios de cohortes.
Además de las herramientas para estudios aleatorizados y no aleatorizados, se dispone de herramientas específicas para la evaluación de RoB en informes de casos y series de casos y diseños experimentales de caso único.
Estas herramientas proporcionan marcos estructurados para evaluar la calidad de diferentes tipos de estudios. Cada herramienta está diseñada para abordar las características únicas y los posibles sesgos asociados con diseños de estudio específicos. Por ejemplo, RoB 2 se centra en los ensayos controlados aleatorios, evaluando aspectos como el proceso de aleatorización y el cegamiento, mientras que ROBINS-I se utiliza para estudios de intervención no aleatorizados, considerando factores como el control de confusores.
Si los tipos de diseño de estudios incluidos en mi revisión sistemática son diferentes (p. ej.: EC, estudio de cohortes, …), ¿es mejor utilizar una herramienta genérica o elegir diferentes según el tipo de estudio?
Los autores de revisiones sistemáticas deben examinar los aspectos de riesgo de sesgo (RoB) específicos del diseño de cada estudio primario que incluyan como evidencia. Es poco probable que una única herramienta de valoración de los criterios de RoB sea adecuada para todos los diseños de investigación. Si utilizamos herramientas específicas según el diseño del estudio, nos aseguramos de que la evaluación de calidad se alinea con las consideraciones únicas y los sesgos asociados con cada diseño de estudio. Pero el uso de múltiples herramientas puede aumentar la complejidad y requerir una mayor familiaridad con cada herramienta específica.
La utilización adecuada de estas herramientas permite a los investigadores realizar evaluaciones de calidad más precisas y estandarizadas, mejorando la confiabilidad y la comparabilidad de las síntesis de evidencia. Es importante que los investigadores se familiaricen con la herramienta apropiada para su tipo de estudio y la utilicen de manera consistente en todo el proceso de síntesis de evidencia.
El diagrama de flujo proporcionado por LATITUDES es una guía valiosa en este proceso de selección de la herramienta, pero es importante complementarlo con un conocimiento profundo de las características de cada herramienta y las especificidades del estudio en cuestión. Una selección cuidadosa asegura que todos los aspectos relevantes de la calidad del estudio sean evaluados adecuadamente, fortaleciendo así la validez de la síntesis de evidencia.
Cómo evaluar el riesgo de sesgo
Hay que predefinir en la fase de Protocolo cómo se va a considerar el riesgo de sesgo en el análisis (definir si se va a meta-analizar los estudios con riesgo de sesgo alto o incierto). Al menos debe realizarse por 2 evaluadores de manera independiente siendo conveniente hacer un pilotaje con 3-6 estudios. Además, debemos definir en el Protocolo cómo se van a resolver los desacuerdos y aclarar la información que falta o no está clara en la publicación (por ejemplo, yendo al protocolo del estudio y/o contactar con los autores).
¿Cómo representa la evaluación del riesgo de sesgo en su manuscrito de revisión?
Se ha de resumir el riesgo de sesgo de los estudios incluidos y de cada desenlace. En esta figura se muestra un ejemplo de un resumen de la evaluación del riesgo de sesgo según la herramienta Cochrane de riesgo de sesgo aplicada a 8 ensayos clínicos aleatorizados como parte de una revisión sistemática sobre el calostro humano y bovino para la prevención de la enterocolitis necrotizante.
Figura del riesgo de sesgo. Reproducido de Sadeghirad B, Morgan RL, Zeraatkar D, Zea AM, Couban R, Johnston BC, Florez ID. Human and Bovine Colostrum for Prevention of Necrotizing Enterocolitis: A Meta-analysis. Pediatrics. 2018 Aug;142(2):e20180767. doi: 10.1542/peds.2018-0767.
El resumen de las evaluaciones del riesgo de sesgo para los estudios incluidos en la revisión sistemática incluye tanto la identificación del estudio como los juicios realizados sobre la posibilidad de que se introduzca el sesgo dentro de cada dominio del instrumento de riesgo de sesgo. En esta figura, los círculos verdes que incluyen un carácter más («+») representan dominios con bajo riesgo de sesgo, mientras que los círculos rojos que incluyen un guión («-«) representan dominios con alto riesgo de sesgo.
Gráfico del riesgo de sesgo.
No debemos intentar resumir todos los resultado y todos los estudios a la vez. Hay que resumir por desenlace. Cada desenlace puede tener su evaluación propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto). Además, no todos los estudios aportan información a cada desenlace. Debemos empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios.
¿Debemos evaluar el riesgo de sesgo en las revisiones de alcance/scoping reviews?
Las revisiones de alcance no suelen incluir una evaluación del riesgo de sesgo. «Una diferencia clave entre las revisiones de alcance y las revisiones sistemáticas es que las primeras se realizan generalmente para proporcionar una visión general de la evidencia existente, independientemente de la calidad metodológica o del riesgo de sesgo. Por lo tanto, las fuentes de evidencia incluidas no suelen someterse a una valoración crítica en el caso de las revisiones de alcance» (Tricco).
¿Y fuera de ciencias de la salud?
Para disciplinas fuera de la medicina, el Critical Appraisal Skills Programme (https://casp-uk.net/casp-tools-checklists/) proporciona listas de comprobación que pueden aplicarse a diversos tipos de estudios, y la Mixed Methods Appraisal Tool puede ser un recurso útil si los estudios incluidos utilizan métodos mixtos y la JBI también incluye herramientas útiles.
Bibliografía
Whiting P, Wolff R, Savović J, Devine B, Mallett S, Introducing the LATITUDES Network: a Library of Assessment Tools and training to Improve Transparency, Utility and Dissemination in Evidence Synthesis, Journal of Clinical Epidemiology (2024), doi: https://doi.org/10.1016/j.jclinepi.2024.111486
Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC. Chapter 8: Assessing risk of bias in a randomized trial [last updated October 2019]. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.5. Cochrane, 2024. Disponible en www.training.cochrane.org/handbook.
Flemyng E, Moore TH, Boutron I, Higgins JP, Hróbjartsson A, Nejstgaard CH, et al. Using Risk of Bias 2 to assess results from randomised controlled trials: guidance from Cochrane. BMJ Evidence-Based Medicine [Internet]. 1 de agosto de 2023 [citado 14 de noviembre de 2024];28(4):260-6. Disponible en: https://ebm.bmj.com/content/28/4/260
Ciapponi A. Herramientas ROBINS para evaluar el riesgo de sesgo de estudios no aleatorizados. Evidencia – actualización En La práctica Ambulatoria. 2022;25(3):e007024. https://doi.org/10.51987/evidencia.v25i4.7024
Pon a prueba tu equilibrio y conocimientos de revisiones sistemáticas con este quiz interactivo inspirado en la «Jenga». Responde preguntas para mantener la torre en pie.
No hay consenso sobre si se debe incluir o no en las revisiones sistemáticas los resúmenes de congresos y otra literatura gris o resultados no publicados, que pueden no haber sido revisados por pares (1). Este conflicto surge debido a la contraposición de que:
(1) Excluirlos podría reforzar el sesgo de publicación;
(2) incluirlos puede llevar mucho tiempo y conlleva el riesgo de datos erróneos.
En general, se recomienda a los autores de las revisiones sistemáticas que se consideren la inclusión de tales publicaciones caso por caso, en función de las limitaciones de recursos y de un juicio a priori sobre la probabilidad de que la literatura gris revele estudios importantes.
¿Qué hacemos con los resúmenes de Congresos?
Sólo del 30-54% de las presentaciones orales y resúmenes de conferencias médicas fueron seguidos de publicación en revistas revisadas por pares dentro de 2-5 años, con tiempos de publicación que varían significativamente según la especialidad (2-13).
Determinados factores interactúan para influir en la probabilidad de que una presentación de conferencia se convierta en una publicación revisada por pares. La calidad y novedad de la investigación también son determinantes clave.
Existe un debate continuo sobre si se deben incluir estudios no publicados en revisiones sistemáticas, debido a preocupaciones sobre su posible menor rigor metodológico en comparación con los artículos revisados por pares (14). Los resúmenes y las actas de congresos son una fuente particularmente importante de literatura gris. Algunos de estos contenidos son indizados en bases de datos bibliográficas como Embase, aunque no en MEDLINE, y también se pueden encontrar en sitios web e impresos. En mi experiencia, los revisores suelen mostrarse escépticos de la necesidad de inclusión de este tipo de literatura gris. Por otro lado, los bibliotecarios nos encontramos con muchísimas dificultades para localizar el contenido completo de la comunicación de un congreso y el contacto con los autores suele ser frustrante por su escaso éxito.
El principal argumento para su inclusión en las revisiones es el sesgo de publicación. Omitir los resúmenes de congresos puede llevar a una sobrerrepresentación de estudios con resultados positivos en las revisiones sistemáticas, lo que genera un sesgo de publicación. Incluso en las mejores revistas, los resúmenes con resultados estadísticamente significativos tienen un 40% más de probabilidades de publicarse que los que informan resultados negativos.
Opiniones en contra argumentan que los resúmenes o presentaciones de congresos pueden carecen de la información completa requerida para su inclusión y que requiere mucho tiempo y esfuerzo el intentar conseguir el informe completo no publicado de los autores..
Dada esta controversia, los revisores que deseen realizar un análisis minucioso y establecer requisitos más estrictos para la inclusión de resúmenes de congresos, con el fin de garantizar que solo se consideren las fuentes más relevantes y de mayor calidad. Antes de decidir arbitrariamente incluir o no resúmenes de congresos en una revisión sistemática, Scherer y Saldanha (14) nos dan las pautas que deben considerar los revisores sistemáticos. Nos recomiendan que:
Si la evidencia disponible es escasa o contradictoria, puede valer la pena incluir resúmenes de conferencias.
Sin embargo, generalmente los resúmenes no proporcionan toda la información necesaria para evaluar el estudio y evaluar la elegibilidad para una revisión sistemática. Por lo tanto, si se incluyen los resultados de los resúmenes de congresos, es necesario hacer los esfuerzos que sean necesarios para contactar a los autores del resumen y examinar los registros de estudios como ClinicalTrials.gov y los protocolos publicados para obtener información adicional y confirmatoria sobre métodos y resultados.
Además, para examinar el impacto de incluir los resúmenes, siempre se debe completar un análisis de sensibilidad con y sin resúmenes de congresos.
Para mejorar la diseminación efectiva de la investigación médica, es crucial abordar con determinación los desafíos en el proceso de publicación. Esto implica impulsar la transparencia, mitigar los sesgos de publicación, fomentando la publicación de resultados negativos y nulos, y agilizar la transición de presentaciones de conferencias a artículos revisados por pares. La implementación de estas recomendaciones puede elevar significativamente la calidad de la síntesis de evidencia, beneficiando en última instancia la atención al paciente y el avance del conocimiento médico.
BIBLIOGRAFÍA
Khan NR, Thompson CJ, Taylor DR, Venable GT, Wham RM, Michael LM 2nd, Klimo P Jr. An analysis of publication productivity for 1225 academic neurosurgeons and 99 departments in the United States. J Neurosurg. 2014 Mar;120(3):746-55. doi: 10.3171/2013.11.JNS131708. PMID: 24359012.
Hallan DR, Nguyen AM, Liang M, McNutt S, Goss M, Bell E, Natarajan S, Nichol A, Messner C, Bracken E, Glantz M. Charting the course from abstract to published article. J Neurosurg. 2021 Oct 29;136(6):1773-1780. doi: 10.3171/2021.7.JNS2128. PMID: 34715672.
Grover S, Dalton N, Sarkar S. Publications after conference presentations: A systematic review of published studies. Indian J Med Ethics. 2021 Jan-Mar;VI(1):1-18. doi: 10.20529/IJME.2020.106. PMID: 34080994.
Elliott, C.A., Mehta, V., Poon, C., Oliver, M. and Gourishankar, S. The Fate of Abstracts Presented at the Annual Meeting of the Congress of Neurologic Surgeons. Open J Mod Neurosurg. 2016;6:1-8. http://dx.doi.org/10.4236/ojmn.2016.61001
Patel AJ, Cherian J, Fox BD, Whitehead WE, Curry DJ, Luerssen TG, Jea A. Publication patterns of oral and poster presentations at the annual meetings of the Congress of Neurological Surgeons and the American Association of Neurological Surgeons. J Neurosurg. 2011 Dec;115(6):1258-61. doi: 10.3171/2011.7.JNS101538. PMID: 21961894.
Jasko JJ, Wood JH, Schwartz HS. Publication rates of abstracts presented at annual musculoskeletal tumor society meetings. Clin Orthop Relat Res. 2003 Oct;(415):98-103. doi: 10.1097/01.blo.0000093902.12372.76. PMID: 14612635.
Sanders DS, Carter MJ, Hurlstone DP, Lobo AJ, Hoggard N. Research outcomes in British gastroenterology: an audit of the subsequent full publication of abstracts presented at the British Society of Gastroenterology. Gut. 2001 Jul;49(1):154-5. doi: 10.1136/gut.49.1.154a. PMID: 11444234; PMCID: PMC1728360.
Gowd AK, Liu JN, Cabarcas BC, Cvetanovich GL, Garcia GH, Verma NN. Analysis of Publication Trends for the 2011-2015 American Orthopaedic Society for Sports Medicine Annual Meeting Abstracts. Orthop J Sports Med. 2018 Sep 7;6(9):2325967118792851. doi: 10.1177/2325967118792851. PMID: 30211245; PMCID: PMC6130091.
Ramos MB, Matté Dagostini C, Rabau O, Navarro-Ramirez R, Ouellet JA, Falavigna A, Teles AR. Publication rate of abstracts presented at the annual meetings of the AANS/CNS Section on Disorders of the Spine and Peripheral Nerves. J Neurosurg Spine. 2020 Aug 21;33(6):854-861. doi: 10.3171/2020.5.SPINE20466. PMID: 32823260.
Herrmann LE, Hall M, Kyler K, Cochran J, Andrews AL, Williams DJ, Wilson KM, Shah SS; Pediatric Research in Inpatient Settings (PRIS) Network. The Pipeline From Abstract Presentation to Publication in Pediatric Hospital Medicine. J Hosp Med. 2018 Feb 1;13(2):90-95. doi: 10.12788/jhm.2853. Epub 2017 Oct 4. PMID: 29069116.
Czorlich P, Regelsberger J, Meixensberger J, Westphal M, Eicker SO. From Abstract to Publication in a Peer-Reviewed Journal: Evaluation of the 63rd Annual Meeting of the German Society of Neurosurgery. J Neurol Surg A Cent Eur Neurosurg. 2016 Jan;77(1):46-51. doi: 10.1055/s-0035-1558822. PMID: 26444960.
Bonfield CM, Pellegrino R, Berkman J, Naftel RP, Shannon CN, Wellons JC. Oral presentation to publication: publication rates of abstract presentations across two pediatric neurosurgical meetings. J Neurosurg Pediatr. 2018 Jun;21(6):650-654. doi: 10.3171/2017.11.PEDS17458. Epub 2018 Mar 9. Erratum in: Neurosurgery. 2018 Dec 1;83(6):1341. doi: 10.1093/neuros/nyy532. PMID: 29521604.
Yoon PD, Chalasani V, Woo HH. Conversion rates of abstracts presented at the Urological Society of Australia and New Zealand (USANZ) Annual Scientific Meeting into full-text journal articles. BJU Int. 2012 Aug;110(4):485-9. doi: 10.1111/j.1464-410X.2011.10879.x. PMID: 22300438.
Scherer, R.W., Saldanha, I.J. How should systematic reviewers handle conference abstracts? A view from the trenches. Syst Rev 8, 264 (2019). https://doi.org/10.1186/s13643-019-1188-0
La revisiónes paraguas, que a veces las encontraremos como Revisión de revisiones o Umbrella review y Overview of review en inglés, son una solución eficiente para navegar el creciente volumen de revisiones sistemáticas en salud y son de gran valor para la toma de decisiones de atención médica al combinar grandes volúmenes de datos de revisiones sistemáticas (RS) en una sola síntesis.
Origen
Surgen por el desafío de la sobrecarga de Información debido al incremento de estudios y de las revisiones sistemáticas que los sintetizan. Además, muchas de estas revisiones son conflictivas, es decir, arrojan resultados opuestos.
Por otro lado, existe la imperiosa necesidad de abordar preguntas amplias presentando una visión general sobre un tema, en lugar de estrechar el enfoque a una sola intervención. Por último, evita derrochan recursos de llevar a cabo nuevas revisiones en lugar de aprovechar las existentes.
¿Qué es una Revisión Paraguas?
Los Overviews son revisiones sistemáticas de revisiones sistemáticas existentes sobre un tema de salud específico. A diferencia de las revisiones sistemáticas, la unidad de análisis son las revisiones sistemáticas y no los estudios primarios. Es decir, buscar e incluye solo revisiones sistemáticas (con o sin metanálisis) y recopila, analiza y presenta los datos de las revisiones sistemáticas incluidas.
Por lo tanto, un requisito previo para realizar una revisión paraguas es la disponibilidad de múltiples revisiones sistemáticas actualizadas de alta calidad que cubran todas las intervenciones de interés. Las revisiones paraguas no deben buscar e incluir revisiones narrativas, capítulos de libros de texto, informes gubernamentales, guías de práctica clínica o cualquier otro informe resumido que no se ajuste a su definición predefinida de revisión sistemática.
Las Overviews no son apropiadas para identificar brechas en la investigación, clasificar intervenciones o hacer comparaciones indirectas.
También se desaconsejas las comparaciones indirectas en las revisiones paraguas. Por ejemplo, imaginemos un Overview que incluya dos revisiones sistemáticas. La revisión sistemática 1 incluye estudios que comparan la intervención A con la intervención B, y concluye que A es más eficaz que B. La revisión sistemática 2 incluye estudios que comparan la intervención B con la intervención C, y concluye que B es más eficaz que C. Sería tentador para los autores del resumen concluir que A es más eficaz que C. Sin embargo, esto requeriría una comparación indirecta, un procedimiento estadístico que compara dos intervenciones (es decir, A frente a C) a través de un comparador común (es decir, B) a pesar de que las dos intervenciones nunca se han comparado directamente entre sí dentro de un estudio primario (Glenny et al 2005).
Beneficios de las Revisiones Paraguas
Visión Amplia: Proporciona una perspectiva general sobre un tema de salud complejo. Identifica áreas de consenso y controversia en la evidencia disponible.
Ahorro de Tiempo: Ofrece una síntesis rápida para la toma de decisiones con plazos ajustados. Evita la duplicación innecesaria de esfuerzos en la revisión de evidencia.
Calidad de la Evidencia: Se basa en revisiones sistemáticas, que ya han pasado por un riguroso proceso. Permite una evaluación crítica de la calidad de múltiples revisiones.
Características
Búsqueda y fuentes de información para las revisiones paraguas
Como en las revisiones sistemáticas, la búsqueda bibliográfica que ha de ser exhaustiva y reproducible.
En general, MEDLINE/PubMed y Embase indexan la mayoría de las revisiones sistemáticas. Los autores también pueden buscar en bases de datos regionales y temáticas adicionales (por ejemplo, LILACS, CINAHL, PsycINFO) y en repositorios de revisiones sistemáticas como la Cochrane Library, Epistemonikos y KSR Evidence.
En la búsqueda en bases de datos generales se debe utilizar filtros validados para solo recuperar revisiones sistemáticas.
Solapamiento de revisiones sistemáticas
Un paso importante una vez que los autores tienen su lista final de revisiones sistemáticas incluidas es evaluar el solapamiento, es decir, determinar qué estudios primarios están incluidos en qué revisiones sistemáticas.
Cochrane recomienda crear una matriz de citas similar a la tabla para demostrar visualmente la cantidad de solapamientos. Los autores también deben describir narrativamente el número y el tamaño de los estudios primarios que se solapan, así como la ponderación que aportan a los análisis. Pieper et al (Pieper D, Antoine S, Mathes T, Neugebauer E, Eikermann M. Systematic review finds overlapping reviews were not mentioned in every other overview. Journal of Clinical Epidemiology 2014; 67: 7.) proporciona instrucciones detalladas para crear matrices de citas, describir el solapamiento y calcular el área cubierta corregida.
Calidad metodológica o el riesgo de sesgo de las revisiones sistemáticas incluidas en las síntesis
La herramienta AMSTAR 2 (Shea BJ, Reeves BC, Wells G, Thuku M, Hamel C, Moran J, Moher D, Tugwell P, Welch V, Kristjansson E, Henry DA. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ 2017; 358: j4008.) está diseñada para evaluar la calidad metodológica de las revisiones sistemáticas de ensayos controlados aleatorizados, y hasta la fecha ha sido la herramienta más utilizada en los Overviews. Se puede utilizar para evaluar la calidad metodológica de las revisiones sistemáticas que incluyen estudios aleatorizados y no aleatorizados de intervenciones sanitarias. Esta proporciona orientación para calificar la confianza general en los resultados de una revisión (alta, moderada, baja o críticamente baja en función del número de defectos críticos y/o debilidades no críticas).
Otra herramienta disponible para evaluar el riesgo de sesgo de las revisiones sistemáticas en los resúmenes pueden utilizar la herramienta ROBIS disponible en el sitio web de ROBIS (https://www.bristol.ac.uk/population-health-sciences/projects/robis/). Este sitio web también contiene formularios de extracción de datos y tablas de presentación de datos.
Mañana, 17 de abril de 2024, impartir el Taller de revisiones de alcance («scoping reviews») dentro de las XXV Jornadas de Gestión de la Información» de la SEDIC.
Aquí os dejo una práctica que he confeccionado para la definición de este tipo de revisiones:
Al final del taller, haremos el siguiente juego para evaluar lo aprendido:
BIBLIOGRAFÍA
Munn Z, Pollock D, Khalil H, Alexander L, McInerney P, Godfrey CM, et al. What are scoping reviews? Providing a formal definition of scoping reviews as a type of evidence synthesis. JBI Evid Synth 2022;20 (4):950–952.
Munn Z, Peters MDJ, Stern C, Tufanaru C, McArthur A, Aromataris E. Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. BMC Med Res Methodol 2018;18 (1):143.
Peters MDJ, Godfrey C, McInerney P, Khalil H, Larsen P, Marnie C, et al. Best practice guidance and reporting items for the development of scoping review protocols. JBI Evid Synth 2022;20 (4):953–958.
Khalil H, Peters MDJ, Tricco AC, Pollock D, Alexander L, McInerney P, et al. Conducting high quality scoping reviews-challenges and solutions. J Clin Epidemiol 2021;130:156–160.
Peters MDJ, Marnie C, Tricco AC, Pollock D, Munn Z, Alexander L, et al. Updated methodological guidance for the conduct of scoping reviews. JBI Evid Implement 2021;19 (1):3–10.
PRISMA extension for Scoping Reviews (PRISMA-ScR): checklist and explanation. Ann Intern Med 2018;169 (7):467–473.Pollock D, Peters MDJ, Khalil H, McInerney P, Alexander L, Tricco AC, et al. Recommendations for the extraction, analysis, and presentation of results in scoping reviews. JBI Evidence Synthesis [Internet]. 2022 Sep 8 [cited 2022 Sep 9];Publish Ahead of Print. Available from: https://journals.lww.com/jbisrir/Fulltext/9900/Recommendations_for_the_extraction,_analysis,_and.76.aspx
Una revisión sistemática típica tarda varios meses en completarse. Aunque el alcance de una revisión sistemática estará determinado en gran medida por la pregunta de investigación que se haya formulado, puede haber oportunidades para ampliar o restringir una pregunta de investigación en un intento de hacer que la revisión planificada sea manejable dentro del tiempo y los recursos disponibles.
Una vez estamos planteándonos nuestra pregunta de investigación y antes de darla por establecida esta, así como los criterios de elegibilidad/inclusión, debemos realizar una búsqueda inicial para analizar el alcance de nuestra revisión.
¿Debería ser nuestra revisión amplia o reducida?
Podemos encontrarnos con dos escenarios:
Una pregunta de investigación amplia;
No todos los tipos de preguntas son adecuados para las revisiones sistemáticas. Muchas de las preguntas que inicialmente son ideadas por los grupos de usuarios son de marco abierto, ya que carecen de especificación o definición de algunos de los componentes clave. Normalmente, estas preguntas no pueden responderse en un único estudio experimental y, por tanto, tampoco mediante una síntesis de estudios similares.
Es posible desglosar de las preguntas de marco abierto para identificar las de marco cerrado. En la siguiente figura vemos un ejemplo de cómo pasar de una pregunta en exceso amplia a una reducida:
Una pregunta de investigación reducida:
Ventajas de una revisión amplia
En el siguiente ejemplo vemos cómo pasar de una pregunta en exceso amplia a una pregunta más reducida
Son aplicables a una variedad más amplia de entornos o contextos, o poblaciones, o intervenciones o resultados, y ofrece un mayor potencial para explorar la coherencia de los resultados de la investigación, con menos oportunidades de hallazgos fortuitos.
Los resultados de las revisiones sistemáticas sean más accesibles para los responsables de la toma de decisiones, que a menudo tienen que elegir y tomar una decisión entre una variedad de intervenciones para poblaciones diferentes.
Inconvenientes de una revisión amplia
Una revisión más amplia daría como resultado una revisión de un mayor volumen de evidencia.
Supondría más trabajo (más análisis, más extracción de datos, más análisis que realizar, más resultados que debatir).
Habría que considerar las posibilidades de generalización de los resultados obtenidos de esta amplia población a la subpoblación de interés primario para esta revisión. Una revisión más amplia tendrá más datos de estudios adicionales, lo que permitirá realizar análisis de subgrupos significativos.
Ventajas de una revisión reducida
Cuando los recursos son limitados, una revisión más restringida (o una «división» de la revisión) puede hacer que la finalización sea más factible.
La mayor homogeneidad de los estudios incluidos puede proporcionar una respuesta más centrada a la pregunta de investigación específica (restringida).
Una revisión centrada en un único enfoque será más concisa y de mayor interés para los lectores interesados en este enfoque específico.
Inconvenientes de una revisión reducida
La limitación a poblaciones muy concretas podría dar lugar a una revisión bastante «estrecha», y quedarían excluidos grandes volúmenes potenciales de pruebas procedentes de otros pacientes.
Limitar la revisión a un único enfoque específico no responde a la pregunta clínica relativa a los efectos relativos de los diferentes enfoques.
Veamos un ejemplo (Pollock, 2018):
Una revisión amplia sería: En pacientes con accidente cerebrovascular con movilidad reducida, ¿es algún enfoque específico de fisioterapia más beneficioso que ninguna fisioterapia o cualquier otro enfoque de fisioterapia para mejorar la dependencia en las actividades de la vida diaria y la velocidad de desplazamiento?
Una revisión más concisa sería: En pacientes con un accidente cerebrovascular reciente (menos de seis semanas) con movilidad reducida, ¿es el método Bobath más beneficioso que el método de aprendizaje motor para mejorar la independencia en actividades de la vida diaria y la velocidad de la marcha?
Ventajas e inconvenientes:
Una revisión ampliada supondría más trabajo (más análisis, más extracción de datos, más análisis que realizar, más resultados que debatir).
Habría que considerar las posibilidades de generalización de los resultados obtenidos de esta amplia población a la subpoblación de interés primario para esta revisión (pacientes con apoplejía durante las últimas seis semanas).
Una revisión centrada en un único enfoque fisioterapéutico (por ejemplo, el enfoque Bobath) será más concisa y de mayor interés para los lectores interesados en este enfoque específico.
La limitación a los pacientes que han sufrido un ictus en las últimas 6 semanas podría dar lugar a una revisión bastante «estrecha», y quedarían excluidos grandes volúmenes potenciales de pruebas procedentes de otros pacientes. Una revisión más amplia daría como resultado una revisión de un mayor volumen de evidencia.
La evaluación de los efectos de diferentes enfoques fisioterapéuticos (no solo el enfoque Bobath) será clínicamente relevante para los médicos, que tienen que considerar todos los enfoques disponibles a la hora de tomar una decisión terapéutica. Limitar la revisión a un único enfoque específico (por ejemplo, el enfoque Bobath) no responde a la pregunta clínica relativa a los efectos relativos de los diferentes enfoques.
La consideración de otros grupos de control, además del grupo de control «sin fisioterapia» reflejará la elección a la que se enfrentan muchos médicos, que tienen que elegir entre dos o más enfoques diferentes, en lugar de entre un enfoque o sin fisioterapia.
Una revisión más amplia tendrá más datos de estudios adicionales, lo que permitirá realizar análisis de subgrupos significativos.
BIBLIOGRAFÍA
Pollock A, Berge E. How to do a systematic review. Int J Stroke. 2018 Feb;13(2):138-156. doi: 10.1177/1747493017743796. PMID: 29148960.
Hay veces que no disponemos de los recursos o el tiempo para hacer una revisión sistemática. Otras veces puede ser que lo que queremos es hacer una revisión narrativa. Si nos encontramos en cualquiera de estos casos, lo deseable es realizar una revisión con alguna parte del proceso sistematizado.
Este tipo de revisión tradicional con algún grado de aproximación sistematizada (Codina, 2024) nos las podemos encontrar como «revisiones bibliográficas estructuradas», «revisiones sistematizadas de la literatura» y «revisiones de aproximación sistemática» («systematic approach», Booth, 2012).
¿Qué son?
Son un tipo de revisión bibliográfica que utiliza determinados pasos de un proceso de revisión sistemática. Sus ventajas frente a la revisión narrativa tradicional es su reproducibilidad, transparencia, reducción de sesgos pero sin los requisitos de las revisiones sistemáticas (por ejemplo, tiempo). Para llevarlas a cabo hay que realizar un plan de investigación definido en una fase temprana para orientar la investigación y la redacción. No es tan exhaustiva como una revisión sistemática, pero mejora la calidad y la amplitud de la revisión narrativa tradicional.
Sin embargo, este tipo de revisión no son adecuadas cuando necesitamos una revisión de toda la literatura publicada y gris existente para fundamentar la toma de decisiones.
¿Para qué son útiles?
Resumir los trabajos en un área de investigación;
Explicar por qué su investigación es importante y cómo encaja en el panorama de la investigación;
Identificar y evaluar los avances en el campo o las lagunas en el conocimiento;
En TFG, TFM o tesis que necesita hacer una revisión bibliográfica.
¿Qué pasos podemos «tomar prestados» de las revisiones sistemáticas?
BIBLIOGRAFÍA
Booth, Andrew; Papaionnou; Sutton, Anthea. Systematic Approaches to a Successful Literature Review. London: Sage, 2012.
Bahureksa, Lindsay. Systematic Reviews Of The Literature Vs. Reviewing Literature Systematically: What’s The Difference?. (2024). https://hdl.handle.net/1813/114387
Los autores de revisiones sistemáticas deben hacer una evaluación del riesgo de sesgo (RoB) para cada estudio primario que incluyan como evidencia. No existe una única herramienta de evaluación de los RoB que sea adecuada para todos los diseños de investigación. Además de herramientas para estudios aleatorizados y no aleatorizados, existen herramientas específicas para la evaluación de la RoB en informes de casos y series de casos y diseños experimentales de caso único.
Al igual que ocurre en otros pasos de las revisiones, la incomprensión de las herramientas para evaluar el RoB así como su aplicación incorrecta son problemas generalizados. Además, el tiempo y el esfuerzo necesarios para aplicar los estándares metodológicos recomendados por las principales organizaciones (Cochrane RoB-2 para ECA (1) y ROBINS-I (2) para intervenciones no aleatorizadas), puede hacer que los autores no sigan sus orientaciones y empleen métodos desaconsejados o anticuados. Por ejemplo, la escala Newcastle-Ottawa (NOS) es una herramienta comúnmente utilizada para valorar estudios no aleatorizados.
Wells y cols. (2) propusieron una escala para evaluar la calidad de los estudios no aleatorizados publicados en metaanálisis denominada Newcastle-Ottawa-Scale (NOS). Esta herramienta puede utilizarse como lista de comprobación o como escala.
Muchos autores justifican su selección de esta herramienta haciendo referencia justamente a una publicación que describe la falta de fiabilidad de la NOS y desaconseja su uso (3).
En esta publicación Stang señala:
«Creo que Wells et al. proporcionan una puntuación de calidad que tiene una validez desconocida en el mejor de los casos, o que incluye elementos de calidad que incluso no son válidos. La versión actual parece inaceptable para la clasificación de la calidad tanto de estudios de casos y controles como de estudios de cohortes en metaanálisis. El uso de esta puntuación en revisiones basadas en la evidencia y metaanálisis basados en la evidencia puede producir resultados muy arbitrarios«.
BIBLIOGRAFÍA
Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4894.
Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355:i4919.
Wells GA, Shea B, O’Connell D, Peterson J, Welch V, Losos M, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality if nonrandomized studies in meta-analyses. Disponible en: URL: http://www.ohri.ca/programs/clinical_epidemiology/oxford.htm
Stang A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies in meta-analyses. Eur J Epidemiol 2010;25(9):603–605.
biblioGETAFE 