Metaanálisis en red («Network Meta-Analysis»)

Los metanálisis tradicionales (MT) se basan en comparaciones directas entre una intervención y un comparador (placebo o tratamiento estándar), con el propósito de analizar cuantitativamente e integrar los resultados disponibles en diferentes estudios de una intervención de interés. Estos tiene limitaciones:

  • No pueden comparar más de 2 tratamientos alternativos a la vez. Por lo tanto, en situaciones clínicas donde existen múltiples opciones de tratamientos que compiten entre sí, el MT tradicional no puede proporcionar información sobre los efectos relativos y potencial daño de todos los tratamientos de forma simultánea.
  • En los casos que no existen ensayos clínicos aleatorizados que comparen de forma directa 2 o más intervenciones.

Por eso, en 2002 se propuso los metaanálisis en red (MTR) como un procedimiento estadístico de síntesis de evidencia capaz de comparar diferentes alternativas terapéuticas a través de comparaciones directas e indirectas (Lumley T. Network meta-analysis for indirect treatment comparisons. Stat Med. 2002 Aug 30;21(16):2313-24. doi: 10.1002/sim.1201. PMID: 12210616.).

Definición de metaanálisis en red (Chaimani A, Caldwell DM, Li T, Higgins JPT, Salanti G. Chapter 11: Undertaking network meta-analyses. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Available from http://www.training.cochrane.org/handbook).
Diferencias entre los metaanálisis tradicionales y los metaanálisis en red.

Cualquier conjunto de estudios que vincule 3 o + intervenciones a través de comparaciones directas forma una red de intervenciones. En una red de intervenciones puede haber múltiples formas de hacer comparaciones indirectas entre las intervenciones. Estas son comparaciones que no se han realizado directamente dentro de los estudios y se pueden estimar mediante combinaciones matemáticas de las estimaciones disponibles del efecto directo de la intervención. La evidencia mixta es la surgida mediante la síntesis de evidencia directa e indirecta (basados en un comparador común).

Una red conectada de intervenciones implica que todas las comparaciones de tratamientos en una red están directa o indirectamente conectadas entre sí. Una intervención no puede incluirse en el modelo MTR si no se compara directamente con al menos otra intervención.

Diagrama de red. Ejemplos de tipos de geometrías de la red: a) modelo con red en cierre simple; b) modelo red con cierre en estrella; c) Modelo en red conectada; d) modelo en red con cierre complejo.

Para que un MTR sea válido tiene que darse 3 supuestos metodológicos o principios básicos para las comparaciones indirectas son: homogeneidad, transitividad y consistencia.

BIBLIOGRAFÍA

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

Labarca G, Uribe JP, Majid A, Folch E, Fernandez-Bussy S. Como interpretar una revisión sistemática con comparaciones múltiples o network metaanálisis. Rev Med Chil. 2020 Jan;148(1):109-117. doi: 10.4067/S0034-98872020000100109. PMID: 32730443.

¿Merece la pena incluir los resúmenes de congresos en las revisiones sistemáticas?

Las revisiones sistemáticas obligan a intentar reunir toda la evidencia, incluida la no publicada. Pero existe controversia relativa al esfuerzo y beneficio de incluir estudios presentados solo en conferencias.
En mi experiencia, los revisores suelen mostrarse escépticos de la necesidad de inclusión de este tipo de literatura gris. Por otro lado, los bibliotecarios nos encontramos con muchísimas dificultades para localizar el contenido completo de la comunicación de un congreso y el contacto con los autores suele ser frustrante por su escaso éxito.

¿Qué nos recomiendan las pautas existentes?

La Cochrane lo considera «altamente deseable» buscar fuentes de literatura gris relevantes al generar una revisión e indica que «Review authors should generally search sources such as dissertations and conference abstracts». La United States Agency for Health Care Research and Quality (AHRQ) recomienda que se consideren estas búsquedas «Reviewers should routinely consider searching conference abstracts and proceedings to identify unpublished or unidentified studies and should consult with their Technical Expert Panels for specific conferences to search». También señala»… dado el hecho de que solo el 60 % de los ensayos controlados aleatorios descritos en resúmenes de congresos alcanzan la publicación completa y la publicación completa está asociada con resultados que favorecen la intervención de prueba, entonces los resúmenes de congresos de las reuniones más probables que publiquen resúmenes de ensayos probablemente valga la pena buscarlos». El IOM describe que la literatura gris incluye registros de ensayos, resúmenes de conferencias, libros, disertaciones, monografías e informes en poder de la Administración de Drogas y Alimentos de los Estados Unidos (FDA) y otras agencias gubernamentales, académicas, comerciales e industriales. El estándar 3.2.1 recomienda que quienes realicen una revisión sistemática deben “buscar en bases de datos de literatura gris, registros de ensayos clínicos y otras fuentes de información no publicada sobre estudios».

Argumentos a favor y en contra de la inclusión de resúmenes de congresos

¿Cómo deben los revisores sistemáticos manejar los resúmenes de congresos?

Por un lado, en los estudios que comparan resúmenes de congresos y artículos publicados en su totalidad del mismo estudio solo encuentran diferencias menores. Otros estudios que han examinado las diferencias en las estimaciones del tratamiento de metanálisis con y sin resúmenes de congresos informan de cambios en la precisión, pero por lo general no en la estimación del efecto del tratamiento. Sin embargo, en algunos casos, la inclusión de resúmenes de congresos marcó una diferencia en la estimación del efecto del tratamiento, no solo en su precisión.
Antes de decidir arbitrariamente incluir o no resúmenes de congresos en una revisión sistemática, Scherer y Saldanha nos dan las pautas que deben considerar los revisores sistemáticos. Nos recomiendan que:

  1. Si la evidencia disponible es escasa o contradictoria, puede valer la pena incluir resúmenes de conferencias.
  2. Sin embargo, generalmente los resúmenes no proporcionan toda la información necesaria para evaluar el estudio y evaluar la elegibilidad para una revisión sistemática. Por lo tanto, si se incluyen los resultados de los resúmenes de congresos, es necesario hacer los esfuerzos que sean necesarios para contactar a los autores del resumen y examinar los registros de estudios como ClinicalTrials.gov y los protocolos publicados para obtener información adicional y confirmatoria sobre métodos y resultados.
  3. Además, para examinar el impacto de incluir los resúmenes, siempre se debe completar un análisis de sensibilidad con y sin resúmenes de congresos.
    También, nos proporcionan un diagrama de flujo que muestra sus sugerencias sobre cómo abordar el uso de resúmenes de congresos en la revisión sistemática.
Scherer, R.W., Saldanha, I.J. How should systematic reviewers handle conference abstracts? A view from the trenches. Syst Rev 8, 264 (2019). https://doi.org/10.1186/s13643-019-1188-0

BIBLIOGRAFÍA

Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Marshall C, Metzendorf M-I, Noel-Storr A, Paynter R, Rader T, Thomas J, Wieland LS. Chapter 4: Searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022). Cochrane, 2022. Disponible en: www.training.cochrane.org/handbook.

Institute of Medicine (US) Committee on Standards for Systematic Reviews of Comparative Effectiveness Research. Finding What Works in Health Care: Standards for Systematic Reviews. Eden J, Levit L, Berg A, Morton S, editors. Washington (DC): National Academies Press (US); 2011. PMID: 24983062.

Balshem H, Stevens A, Ansari M, et al. Finding Grey Literature Evidence and Assessing for Outcome and Analysis Reporting Biases When Comparing Medical Interventions: AHRQ and the Effective Health Care Program. 2013 Nov 18. In: Methods Guide for Effectiveness and Comparative Effectiveness Reviews [Internet]. Rockville (MD): Agency for Healthcare Research and Quality (US); 2008-. Disponible en: https://www.ncbi.nlm.nih.gov/books/NBK174882/

Scherer, R.W., Saldanha, I.J. How should systematic reviewers handle conference abstracts? A view from the trenches. Syst Rev 8, 264 (2019). https://doi.org/10.1186/s13643-019-1188-0

Hackenbroich, S., Kranke, P., Meybohm, P. et al. Include or not to include conference abstracts in systematic reviews? Lessons learned from a large Cochrane network meta-analysis including 585 trials. Syst Rev 11, 178 (2022). https://doi.org/10.1186/s13643-022-02048-6

Decidir qué tipo de revisión es el más adecuado

Existen múltiples tipos de revisiones de síntesis. Una paso inicial antes de comenzar nuestra revisión sistematizada es seleccionar qué tipo de revisión es la más adecuada a nuestros objetivos y tipo de pregunta de investigación.


Para ayudarnos en este proceso disponemos de la herramienta Right Review (https://whatreviewisrightforyou.knowledgetranslation.net/), antes conocida como «What Review is Right for You?».

Página de inicio de «Rigth Review»https://whatreviewisrightforyou.knowledgetranslation.net/

Esta herramienta está diseñada para proporcionar orientación y material de apoyo a los revisores sobre métodos para realizar y reportar la síntesis de conocimiento. Su propósito es ayudar a los usuarios a seleccionar cuál de las 41 síntesis de conocimientos cuantitativas o cualitativas (https://whatreviewisrightforyou.knowledgetranslation.net/site/methods) incluidas sería apropiada para su pregunta de investigación a través de un conjunto de preguntas simples.

Otro recurso interesante es diagrama de flujo o árbol de decisiones de metodología de revisión de la Biblioteca de la Universidad de Cornell.

BIBLIOGRAFÍA

Sutton, A., Clowes, M., Preston, L., & Booth, A. (2019). Meeting the review family: exploring review types and associated information retrieval requirements. Health Information & Libraries Journal, (3), 202. https://doi.org/10.1111/hir.12276

Gough, D., Thomas, J., & Oliver, S. (2012). Clarifying differences between review designs and methods. Systematic Reviews , 1, 28. doi:10.1186/2046-4053-1-28 https://systematicreviewsjournal.biomedcentral.com/articles/10.1186/2046-4053-1-28

Moher, D., Stewart, L., & Shekelle, P. (2015). All in the Family: systematic reviews, rapid reviews, scoping reviews, realist reviews, and more. Systematic Reviews , 4, 183 https://systematicreviewsjournal.biomedcentral.com/track/pdf/10.1186/s13643-015-0163-7

Grant MJ, Booth A. A typology of reviews: an analysis of 14 review types and associated methodologies. Health Info Libr J. 2009 Jun;26(2):91-108. doi: 10.1111/j.1471-1842.2009.00848.x. PMID: 19490148.

Cómo estructurar la estrategia de búsqueda para revisiones sistemáticas: tres enfoques diferentes pero complementarios

La lógica booleana es el enfoque establecido por la práctica para construir la estructura de las estrategias de búsqueda generales y para las revisiones de ciencias de la salud (1). Aun así, existen diversos enfoques para la construcción de nuestra estrategia de búsqueda experta para revisiones sistemáticas. Dado que no hay ningún consejo en PRESS, PRISMA, MECIR o PRISMA-S que nos recomiende seguir uno u otro de los enfoques, es necesario que el bibliotecario conozca las principales construcciones y los utilice o combine según las necesidades. Por ello, la entrada del blog de Farhad Shokraneh (@FarhadShokrane) (2) me ha parecido de gran interés, ya que resume y describe lo que él considera los 3 tipos o enfoques para estructurar las estrategias de búsqueda:

  • Construcción línea a línea;
  • Búsqueda por bloques; y
  • Construcción en una única línea (párrafo).

Existen diversos enfoques para la construcción de nuestra estrategia de búsqueda experta para #RevisionesSistemáticas (por líneas, bloques o párrafo). El bibliotecario debe conocerlos y utilizar o combinar según las necesidades.

En la siguiente presentación resumo estos tres enfoques, en qué consisten, ejemplos de ellos, ventajas e inconvenientes, así como recomendaciones de uso.

A la hora decidir que enfoque utilizar tengo que tener en consideración desde el objetivo/propósito de nuestra búsqueda, nuestras preferencias y las del usuario. Además, la búsqueda en sí misma y su complejidad puede ser necesario utilizar un enfoque u otro e incluso una mezcla de varios en la misma estrategia de búsqueda. Por último, hay que tener en cuenta que no todas las interfaces de búsquedas/plataformas/bases de datos permiten los tres enfoques.

La estructura de la estrategia de búsqueda para #RevisionesSistemáticas dependerá del propósito de la presentación de la estrategia de búsqueda, preferencias, complejidad de la búsqueda y las posibilidades de búsqueda de la base de datos.

Tabla resumen de los principales enfoques utilizados en las estrategias de búsqueda para revisiones sistemáticas, adaptado de Farhad (2).

En mi caso, suelo preferir la búsqueda por bloques, es decir, una línea por cada concepto de búsqueda partiendo de nuestra pregunta estructurada (PICOs). De esta forma, la búsqueda se corresponderá con el marco de nuestra pregunta del que partimos en nuestra revisión (3). Sin embargo, en búsquedas complejas puede que no sea posible dividir las búsquedas en bloques de un solo concepto y que algunos bloques pueden tener subbloques y o que sea necesario una combinación de las tres estructuras.

BIBLIOGRAFÍA

  1. MacFarlane A, Russell-Rose T, Shokraneh F. Search Strategy Formulation for Systematic Reviews: issues, challenges and opportunities. Intelligent Systems with Applications. 2022: 200091.
  2. Shokraneh, Farhad. Structure of Search Strategies for Systematic Reviews: Line by Line versus Block by Block versus Single-Line. Medium 6 June 2021; [Revisado 9 June 2021]. Disponible en: https://farhadinfo.medium.com/structure-of-search-strategies-for-systematic-reviews-line-by-line-versus-block-by-block-versus-d59aae9e92df
  3. Campos-Asensio C. Cómo elaborar una estrategia de búsqueda bibliográfica. Enferm Intensiva. 2018 Oct-Dec;29(4):182-186. English, Spanish. doi: 10.1016/j.enfi.2018.09.001. PMID: 30291015.

Persecución de citas «hacia delante» y «hacia atrás» en una revisión sistemática (‘citation chasing’, ‘citation searching’, ‘citation tracking’, ‘snowballing’, ‘pearl growing’, ‘footnote chasing’, ‘reference scanning’, ‘reference checking’, ‘bibliographic checking’, ‘citation mining’ o ‘reference harvesting’)

Al buscar artículos de investigación para, por ejemplo, una revisión sistemática o una revisión de alcance, debemos ir más allá de la búsqueda automatizada en bases de datos a partir de nuestra búsqueda del tema.

Una de las técnicas de búsqueda que se realiza tras seleccionar los estudios a incluir en nuestra revisión, consiste en obtener las listas de artículos que citan a estos y las referencias que citan nuestros estudios seleccionados. Este método de seguimiento de citas es simplemente otra forma de buscar en bases de datos para encontrar fuentes y artículos relevantes. También llamada ‘citation chasing’, ‘citation searching’, ‘citation tracking’, ‘snowballing’, ‘pearl growing’, ‘footnote chasing’, ‘reference scanning’, ‘reference checking’, ‘bibliographic checking’, ‘citation mining’ o ‘reference harvesting’. Con esta técnica encontramos investigaciones específicas y relevantes mediante las citas hacia atrás en el tiempo (un artículo inicial hace referencia a un conjunto de artículos publicados previamente) y hacia adelante en el tiempo (los artículos publicados después del artículo inicial lo incluyen en sus listas de referencia).

Tradicionalmente, el proceso de búsqueda de artículos citados («hacia atrás») se realizaba manualmente revisando el apartado de bibliografía y los registros resultantes debían verificarse uno por uno con los estudios incluidos en una revisión para identificar registros potencialmente relevantes que deberían incluirse en una revisión. Otra opción es utilizar alguna de las muchas bases de datos, mantienen una lista de las fuentes que cita el artículo mostrado.

La búsqueda de citas «hacia adelante» requiere el uso de herramientas que rastrean las citas a medida que se indexan los registros de citas. Los tres recursos se han utilizado con mayor frecuencia en la búsqueda de citas (tanto hacia adelante como hacia atrás) hasta la fecha: Web of Science, Scopus y Google Scholar.

CitationChaser

Últimamente, he utilizado la herramienta CitationChaser (https://estech.shinyapps.io/citationchaser/) y puedo deciros que me ha facilitado mucho esta tarea y ahorra mucho tiempo.

CitationChaser utiliza el agregador de base de datos bibliográfico Lens.org, que recopila contenido de cinco recursos bibliográficos: Microsoft Academic Graph (MAG), CrossRef, CORE, PubMed y PubMedCentral (https://www.lens.org/lens/search/scholar/structured). En enero de 2022 Lens.org contenía más de 245 millones de registros académicos.

Podemos pegar identificadores directamente en los campos de entrada del artículo en la pestaña «Article input». Citationchaser acepta identificadores de objetos digitales (DOI), COREID (los identificadores del repositorio CORE), MAGID (identificadores de Microsoft Academic Graph), PMID (identificadores de PubMed) y PMCID (identificadores de PubMed Central). Una actualización reciente permite buscar varias identificaciones al mismo tiempo pegándolas en el cuadro correspondiente en la pestaña «Article input».

Como primer paso, debemos comprobar que los registros que introducimos se identificaron correctamente en la base de datos de The Lens.org. La tabla de registros iniciales recuperados se puede descargar como un archivo RIS. Una vez hecho esto procedemos a ir a las pestañas de backward citation chasing y/o citaciones (forward citation chasing). Para cada uno, obtenemos la opción de un resumen textual debajo del botón de acción que resume la cantidad de registros obtenidos, el conjunto de registros únicos (es decir, deduplicados) recuperados de la búsqueda de citas y la cantidad de registros que se muestran en la tabla y que se pueden descargar como un archivo RIS.

En un paso adicional, los usuarios pueden visualizar su red de citas utilizando la pestaña ‘Network’, que proporciona una visualización interactiva de qué artículos recuperados que son citados por (puntos rojos) y citan (puntos azules) los artículos iniciales (puntos negros).  Podemos acercar y alejar, y al hacer clic en un artículo, podemos navegar al registro relevante en The Lens.org en una nueva pestaña del navegador.

BIBLIOGRAFÍA

1. Cooper C, Booth A, Britten N, Garside R. A comparison of results of empirical studies of supplementary search techniques and recommendations in review methodology handbooks: a methodological review. Syst Rev. 2017;6(1):234. doi: 10.1186/s13643-017-0625-1 . [Disponible texto completo

2. Robinson KA, Dunn AG, Tsafnat G, Glasziou P. Citation networks of related trials are often disconnected: implications for bidirectional citation searches. J Clin Epidemiol. 2014;67(7): 793-799. 

3. Horsley T, Dingwall O, Tetzlaff JM, Sampson M. Checking reference lists to find additional studies for systematic reviews. Cochrane Database Syst Rev. 2009(1):MR000026 . [Disponible texto completo

4. Preston L, Carroll C, Gardois P, Paisley S, Kaltenthaler E. Improving search efficiency for systematic reviews of diagnostic test accuracy: an exploratory study to assess the viability of limiting to MEDLINE, EMBASE and reference checking. Syst Rev. 2015;4:82. [Disponible texto completo]

5. Chapman AL, Morgan LC, Gartlehner G. Semi-automating the manual literature search for systematic reviews increases efficiency. Health Info Libr J. 2010;27(1):22-7. [Disponible texto completo]

6. Papaioannou D, Sutton A, Carroll C, Booth A, Wong R. Literature searching for social science systematic reviews: consideration of a range of search techniques. Health Info Libr J. 2010;27(2):114-22. [Disponible texto completo]

7. Westphal A, Kriston L, Holzel LP, Harter M, von Wolff A. Efficiency and contribution of strategies for finding randomized controlled trials: a case study from a systematic review on therapeutic interventions of chronic depression. J Public Health Res. 2014;3(2):177. [Disponible texto completo]

8. Wright K, Golder S, Rodriguez-Lopez R. Citation searching: a systematic review case study of multiple risk behaviour interventions. BMC Med Res Methodol. 2014;14:73. [Disponible texto completo]

9. Linder SK, Kamath GR, Pratt GF, Saraykar SS, Volk RJ. Citation searches are more sensitive than keyword searches to identify studies using specific measurement instruments. J Clin Epidemiol. 2015;68(4):412-7. [Disponible texto completo]

10. Sampson M, Shojania KG, McGowan J, Daniel R, Rader T, Iansavichene AE, et al. Surveillance search techniques identified the need to update systematic reviews. J Clin Epidemiol. 2008;61(8):755-62. 

11. Sampson M. Complementary approaches to searching MEDLINE may be sufficient for updating existing systematic reviews. J Clin Epidemiol. 2016;78:108-15. 

12. Waffenschmidt S, Janzen T, Hausner E, Kaiser T. Simple search techniques in PubMed are potentially suitable for evaluating the completeness of systematic reviews. J Clin Epidemiol. 2013;66(6):660-5.

13. Littlewood A, Kloukos D. Searching the literature for studies for a systematic review. Part 5: Beyond the standard electronic databases. Am J Orthod Dentofacial Orthop. 2019  Jun;155(6):894-895. doi: 10.1016/j.ajodo.2018.12.016. PubMed PMID: 31153512.

14. Haddaway NR, Grainger MJ, Gray CT. Citationchaser: A tool for transparent and efficient forward and backward citation chasing in systematic searching. Res Synth Methods. 2022 Jul;13(4):533-545. doi: 10.1002/jrsm.1563. PMID: 35472127.

Si estoy planificando una revisión de alcance ¿debo escribir a priori un protocolo y registrarlo?

Recientemente, unos investigadores que tienen previsto realizar una revisión de alcance me han preguntado si deben hacer un protocolo y dónde pueden registrarlo. Les he remitido al artículo de Peters y col. en el que nos detalla el propósito y la importancia de desarrollar un protocolo de revisión de alcance realizado a priori, antes de realizar una revisión completa. Además, detallan los elementos o secciones recomendados que idealmente deberían incluirse en el protocolo de una revisión del alcance.

Contenido del protocolo de una revisión de alcance

El protocolo debe definir la pregunta, los objetivos, criterios de elegibilidad así como la metodología que vamos a seguir en cada fase de nuestra revisión.

Los criterios de inclusión y exclusión determinan después de establecer la pregunta de investigación y antes de ejecutar la búsqueda. Se pueden utilizar muchos factores diferentes como criterios de inclusión o exclusión.

Los más frecuentes son:

  • Fecha (solo si está justiticado: p. ej. si queremos actualizar una RS existente o por el tema)
  • Idioma. Como norma general, no debe aplicarse límites de idioma, fecha de publicación, tipos de publicación y el estado de la publicación en la búsqueda para revisiones sistemáticas, ya que se pueden dejar de recuperar registros relevantes.
  • Conceptos principales: Si los participantes en el estudio deben tener una condición particular para que el estudio sea incluido. Ej.: se le dio un medicamento en particular, tener un nivel de la enfermedad en un grado determinado. La revisión puede estar limitada a estudios en adultos, en niños o a grupos de una determinada edad. También puede incluir el sexo y otros factores relevantes apropiados para el objetivo de la revisión y la(s) pregunta(s) de revisión. Definir a los participantes per se no siempre es necesario. Por ejemplo, una revisión de alcance con el objetivo de describir los detalles de los diseños de investigación utilizados en un área específica de estudio puede no necesitar detallar los tipos de participantes involucrados en esa investigación. Los resultados también pueden ser un componente del concepto de una revisión de alcance y deben estar vinculados a las preguntas de la revisión objetiva.
  • Contexto: El contexto de una revisión de alcance variará según el objetivo y la(s) pregunta(s), y puede incluir detalles sobre la ubicación geográfica (p. ej., un país o región en particular) y/o factores sociales, culturales o sexuales específicos. Puede ser la localización geográfica del estudio: Puede ser necesario limitar la revisión solo a los estudios dirigidos al mismo grupo de población de interés o a países que tienen factores demográficos o económicos similares con el grupo que se va a estudiar. El estudio puede incluirse o excluirse según dónde se encuentren los participantes. Por ejemplo, escuela, hospital, paciente interno o externo, etc.). El contexto también puede incluir aspectos específicos del entorno (p. ej., atención aguda, atención primaria de salud, la comunidad). Especificar el contexto ayudará a refinar el alcance de la revisión, por ejemplo, centrándose únicamente en países específicos o entornos de atención médica particulares.
  • Tipo de publicación: Las revisiones sistemáticas suelen buscar estudios originales. Algunas veces, en las revisiones sistemáticas, excluyen aquellos estudios o publicaciones no revisadas por pares. En las revisiones de alcance no se limita por tipo de publicación debido a que las revisiones de alcance son susceptibles de incluir todas las metodologías, así como fuentes que no son de investigación, como documentos de políticas o sitios web. En las revisiones de alcance, la literatura gris –como informes técnicos o guías clínicas- puede ser importante para estudiar ciertas cuestiones. 

La selección de los estudios debe ser pre-especificada en el protocolo y basada en los criterios de inclusión y exclusión. El primer paso consiste en una selección basada en el título y abstract seguido de la selección frente al texto completo de los estudios usando los criterios de inclusión. En la sección de resultados de nuestra revisión de alcance este proceso se debe reportar de forma narrativa y mediante un diagrama de flujo indicando el número de estudios incluidos y excluidos en cada etapa según indica la extensión PRISMA-ScR. Además, en los anexos, se debe incluir una tabla de «caracteristicas de los estudios excluidos» que recoja los estudios excluidos con el motivo principal de exclusión.

El proceso de extracción de datos debe involucrar al menos a dos revisores para reducir la posibilidad de errores y sesgos. Se debe mantener un registro cuidadoso a través de un formulario o tabla estandarizados. JBI ofrece un ejemplo de un formulario de extracción de datos estandarizado que pueden utilizar todos los autores para minimizar el sesgo potencial. Sin embargo, estos formularios deben individualizarse para satisfacer las necesidades de cada revisión de alcance. Se recomienda que el formulario estandarizado de extracción de datos se pruebe con dos o más miembros del equipo en al menos dos o tres estudios antes de su uso para garantizar que todos los datos necesarios se capturen adecuadamente. La extracción de datos en las revisiones de alcance puede ser un proceso iterativo, que a menudo requiere múltiples refinamientos para poder cumplir mejor con los objetivos y las preguntas de investigación de la revisión de alcance. Por ejemplo, se puede haber señalado como importante una lista inicial de características de la investigación (p. ej., año de investigación, ubicación, resultados). Sin embargo, después de leer varios artículos, los autores pueden querer enumerar cómo se midieron esos resultados para obtener una comprensión profunda de cómo los investigadores los aplicaron y llegaron a los resultados posteriores.

Disponemos de una lista de verificación rellenable con los elementos enumerados para un protocolo de revisión de alcance.

Dónde registrar el protocolo de una revisión de alcance

Actualmente, las revisiones de alcance no se pueden registrar en el Registro Prospectivo Internacional de Revisiones Sistemáticas (PROSPERO). Sin embargo, los autores que realicen una revisión de alcance deben considerar publicar, registrar o hacer que su protocolo esté disponible a través de plataformas como Figshare, Open Science Framework, ResearchGate, Research Square, o similar para que esté disponible gratuitamente. La revista JBI Evidence Synthesis es una vía para publicar protocolos de revisión de alcance (y sus revisiones posteriores) que siguen la metodología de JBI.

BIBLIOGRAFÍA

Peters MDJ, Godfrey C, McInerney P, Khalil H, Larsen P, Marnie C, Pollock D, Tricco AC, Munn Z. Best practice guidance and reporting items for the development of scoping review protocols. JBI Evid Synth. 2022 Apr 1;20(4):953-968. doi: 10.11124/JBIES-21-00242. PMID: 35102103.

Diseño de búsquedas expertas para revisiones sistemáticas y otros documentos de síntesis

Tal como ayer anunciaba, hoy he estado impartiendo la Sesión en el Hospital Universitario de Puerta de Hierro-Majadahonda de título: «Diseño de búsquedas expertas para revisiones sistemáticas y otros documentos de síntesis«.

Aquí os dejo un breve resumen de lo tratado en la Sesión que he impartido en el #HospitalPuertaHierro de título: «Diseño de búsquedas expertas para revisiones sistemáticas y otros documentos de síntesis de evidencia»
#RevSys #RevisionesSistemáticas

Hemos empezado hablando de los pasos a seguir en la búsqueda de evidencia y que, en esquema, vemos en la siguiente figura:

Pasos de la búsqueda de evidencia para revisiones sistemáticas

Lo primero es la búsqueda de revisiones sistemáticas sobre el tema del que deseamos hacer nuestra revisión. Aquí tenéis alguno de los sitios útiles para esta búsqueda.

Fuentes útiles para identificar revisiones sistemáticas

Otro paso necesario es ir recolectando los términos con los que construir la búsqueda y les he dado mis 4 consejos particulares.

Les he explicado el porqué es necesario combinar la búsqueda en texto libre en los campos de título y resumen con los términos del tesauro, si la fuente dispone de este.

He dado mis particulares consejos de búsqueda en PubMed:

También nos ha dado tiempo de mencionar las principales guías y estándares metodológicos para realizar revisiones de síntesis de evidencia:

En el turno de preguntas he recalcado la necesidad de realizar un protocolo previo a nuestra revisión, de para qué sirve y dónde registrarlo.

Y les he mostrado alguna de las herramientas disponibles y recursos para buscarlas:

8 puntos clave para las búsquedas de evidencias en las revisiones sistemáticas de precisión de pruebas diagnósticas

Las estrategias de búsqueda para las revisiones de estudios de precisión de pruebas diagnósticas (PPD) pueden ser particularmente complejas. Los estudios de PPD tienden a informarse de manera deficiente y buscarlos puede ser problemático debido a este informe inadecuado y terminología inconsistente, la ausencia de términos de indexación apropiados en algunas bases de datos para este tipo de publicación y el uso inconsistente de términos de indexación adecuados donde están disponibles.

Es conocida la existencia de debilidades en los resúmenes de los informes de los estudios de precisión diagnóstica. Un estudio exploratorio que evaluó la exhaustividad de los informes en los resúmenes de 12 revistas de alto impacto encontró que el 50 % de los artículos no identificaba el estudio como un estudio de precisión diagnóstica en el título y el 65 % incluía las estimaciones de sensibilidad y/o especificidad en el resumen (13). Además, la aplicación de la indexación disponible puede no ser coherente en las bases de datos y no se debe confiar en ella. Un estudio informó que la sensibilidad de tres encabezados clave de Emtree, incluida la etiqueta de verificación diagnostic test accuracy study», se encontró individualmente por debajo del 50 % y solo alcanzó el 72,7 % cuando se usaron juntos.

Aquí os dejo una infografía con el resumen de los 8 puntos clave para la búsqueda en este tipo de revisiones.

Resumen de los 8 puntos clave para la búsqueda en este tipo de revisiones sacadas del borrador del capítulo 7 del Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

BIBLIOGRAFÍA

Spijker R, Dinnes J, Glanville J, Eisinga A. Chapter 7: Searching for and selecting studies. Draft version (7 February 2022) for inclusion in: Deeks JJ, Bossuyt PM, Leeflang MM, Takwoingi Y, editor(s). Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy Version 2. London: Cochrane. 

Glanville J, Higgins C, Holubowich C, Spijker R, Fitzgerald A. Diagnostic accuracy. Last updated 24 October 2021. In: SuRe Info: Summarized Research in Information Retrieval for HTA. Disponible en: https://www.sure-info.org//diagnostic-accuracy 

Korevaar DA, Cohen JF, Hooft L, Bossuyt PMM. (2015). Literature survey of high-impact journals revealed reporting weaknesses in abstracts of diagnostic accuracy studies. J Clin Epidemiol. 68(6): 708-715. Disponible en: https://www.jclinepi.com/article/S0895-4356(15)00022-0/fulltext

Gurung P, Makineli S, Spijker R, Leeflang MMG. The EMTREE term «Diagnostic Test Accuracy Study» retrieved less than half of the diagnostic accuracy studies in EMBASE. J Clin Epidemiol. 2020; 126 :116-21. Disponible en: https://www.jclinepi.com/article/S0895-4356(20)30132-3/fulltext

Cómo buscar Guías de Práctica Clínica en PubMed

Las GPC son una herramienta de ayuda a los profesionales sanitarios para la toma de decisiones, que pueden reducir la variabilidad de la práctica clínica y mejorar la calidad y seguridad de los pacientes.

Hay una especial dificultad en localizar GPC dado que muchas de ellas se publican como “literatura gris” (generalmente por instituciones y asociaciones profesionales) y no se indexaban en las bases de datos bibliográficas tradicionales.

Pero para aquellas guías que se publican como artículos de revistas de repercusión internacional, pueden buscarse en bases de datos bibliográficas, como PubMed y Embase, utilizando términos de búsqueda controlados («Practice Guideline» [Publication Type] en MEDLINE o ‘practice guideline’/exp en Embase). Para buscar guías de práctica en CINAHL (EBSCO) escribimos el tema (como una condición, síntoma o procedimiento clínico) en el cuadro de búsqueda en la página de Búsqueda avanzada. Si ya conoce el nombre de la guía, haga una búsqueda por título. Seleccione «Practice Guidelines» en el menú «Tipo de publicación» en la sección Búsqueda avanzada o Límites.

En la siguiente presentación vemos la estrategia de búsqueda en PubMed para de GPC de vacunas de la hepatitis a:

Pero para una búsqueda más sensible disponemos de filtros metodológicos desarrollados para recuperar guías en diferentes bases de datos.

Aquí vemos el filtro CADTH’s para GPC en PubMed (última actualización el 2 de abril de 2020, disponible en: https://www.cadth.ca/strings-attached-cadths-database-search-filters):

«Clinical protocols»[MESH] OR «Consensus»[MESH] OR «Consensus development conferences as topic»[MESH] OR «Critical pathways»[MESH] OR «Guidelines as topic» OR «Practice guidelines as topic»[MESH] OR «Health planning guidelines»[MESH] OR «Clinical Decision Rules»[MESH] OR «guideline»[pt] OR «practice guideline»[pt] OR «consensus development conference»[pt] OR «consensus development conference, NIH»[pt] OR position statement*[tiab] OR policy statement*[tiab] OR practice parameter*[tiab] OR best practice*[tiab] OR standards[TI] OR guideline[TI] OR guidelines[TI] OR standards[ot] OR guideline[ot] OR guidelines[ot] OR guideline*[cn] OR standards[cn] OR consensus*[cn] OR recommendat*[cn] OR practice guideline*[tiab] OR treatment guideline*[tiab] OR CPG[tiab] OR CPGs[tiab] OR clinical guideline*[tiab] OR guideline recommendation*[tiab] OR consensus*[tiab] OR ((critical[tiab] OR clinical[tiab] OR practice[tiab]) AND (path[tiab] OR paths[tiab] OR pathway[tiab] OR pathways[tiab] OR protocol*[tiab] OR bulletin[tiab] OR bulletins[tiab])) OR recommendat*[ti] OR recommendat*[ot] OR (care[tiab] AND (standard[tiab] OR path[tiab] OR paths[tiab] OR pathway[tiab] OR pathways[tiab] OR map[tiab] OR maps[tiab] OR plan[tiab] OR plans[tiab])) OR (algorithm*[tiab] AND (screening[tiab] OR examination[tiab] OR test[tiab] OR tested[tiab] OR testing[tiab] OR assessment*[tiab] OR diagnosis[tiab] OR diagnoses[tiab] OR diagnosed[tiab] OR diagnosing[tiab])) OR (algorithm*[tiab] AND (pharmacotherap*[tiab] OR chemotherap*[tiab] OR chemotreatment*[tiab] OR therap*[tiab] OR treatment*[tiab] OR intervention*[tiab]))

En la siguiente presentación vemos como sería la búsqueda en PubMed aplicando el filtro anterior de CADTH.

Consejos de búsqueda experta: Blog UX Caucus Database Tip Sheet team

Los bibliotecarios y especialistas en información contamos con una nueva fuente muy valiosa, el blog que el UX Caucus Database Tip Sheet team ha lanzado para ayudar a difundir consejos y sugerencias de búsqueda experta en bases de datos y otras herramientas.

La dirección es: https://uxcaucustips.blogspot.com/

Las entradas disponibles hasta la fecha, con un pequeño resumen, son las siguientes:

Sugerencia n.º 1: Exportación masiva desde Google Scholar.

Mediante la herramienta Harzing’s Publish or Perish  es posible la exportación masiva desde Google Scholar.

Y siempre teniendo presente las pautas del gran Wichor Bramer, que sugiere limitar la recuperación de los primeros 100-200 resultados.

Sugerencia n.º 2: Verifique si hay indexación computerizada errónea en Embase.

A diferencia de MEDLINE, donde los registros en proceso aún no tienen MeSH asignado, en Embase los registros recién agregados se indexan computarizadamente con EMTREE. Si bien para artículos de revista esta indexación es revisada y corregida por un indexador humano, la indexación de actas de conferencias nunca se somete a revisión humana. Por este motivo, los resultados recientes y los resúmenes de conferencias tendrán una gran cantidad de falsos positivos debido a la indexación automatizada incorrecta, y la asignación de términos del EMTREE solo es de confianza para artículos de revistas completamente indexadas.

Consejo n.º 3: Modos de búsqueda en EBSCO CINAHL.

Contrariamenta a lo que podemos estar esperando, si escribimos nuestros términos individuales de búsqueda (p. ej.: ginger pregnancy nausea recupera 7 referencias) la base de datos no los combina automáticamente con el operador AND. Hay dos soluciones: la primera consistiría en añadir los operadores booleanos entre los términos (p. ej.: ginger AND pregnancy AND nausea recupera 130 referencias); la segunda forma sería ajustar el modo de búsqueda a «Buscar todos mis términos de búsqueda» que aplicará automáticamente AND a todos los términos individuales y devolverá el mismo conjunto de resultados que con la primera opción.

Ajuste de modo de búsqueda a «Buscar todos mis términos de búsqueda».

Sugerencia n.º 4: Adyacencia de Ovid MEDLINE y etiquetas de campo.

En el MEDLINE de Ovid la búsqueda por adyacencia en el campo .kw. solo funciona si las palabras están en diferentes líneas, pero NO recupera artículos si los términos forman parte de un mismo encabezamiento MeSH. La solución si queréis usar la búsqueda por adyacencia dentro de un solo encabezamiento de palabra clave, será usar la etiqueta de campo .kf. en vez de .tw. (p. ej.: (surg* adj teach*).kf.).

Consejo n.º 5: El problema con las comillas tipográficas.

Para evitar el mensaje de error «unsupported characters» en MEDLINE de Ovid.

Cambios en las opciones de Word para evitar el mensaje de error «unsupported characters» en Ovid.

Consejo n.º 6: Uso de Covidence para rastrear e informar referencias de bola de nieve para el diagrama de flujo PRISMA 2020.

Sugerencia n.º 7: Exportación masiva desde ProQuest.

ProQuest proporciona una función de exportación para ayudar a aquellos que trabajan en grandes proyectos de revisión de literatura, como revisiones de alcance y revisiones sistemáticas. En esta entrada te enseñan como configurarlo, pero ojo, solo se puede solicitar esta exportación masiva DOS VECES al día.

Y, por último, si tiene un consejo inteligente o una solución para una base de datos, plataforma o herramienta puedes ponerte en contacto con Andy Hickner (alh4014@med.cornell.edu) o Kate Saylor (kmacdoug@umich.edu) y unirte al equipo del blogs o compartir sus consejos y ellas escriben la publicación por ti.

#MLAUXCaucus #SystematicReviews #medlibs #ExpertSearching

Aplicación de la inteligencia artificial en PubMed

Ante la sobreabundancia de información, las bases de datos y los motores de búsqueda están adoptando el aprendizaje automático. Introducen algoritmos para proporcionar resultados más rápidos y «relevantes». Veamos como PubMed incorpora varios de estos algoritmos:

  1. La sugerencia de consultas (autocompletar) que consiste en presentar al usuario consultas populares a medida que ingresa términos en el cuadro de búsqueda, lo que puede resultar en búsquedas con más éxito (https://www.ncbi.nlm.nih.gov/labs/pmc/articles/PMC2815412/). Esta característica ha sido muy utilizada en Google durante bastante tiempo. 

2. La expansión de consultas es cuando un algoritmo modifica ligeramente la consulta del usuario para corregir términos mal escritos o agregar opciones de vocabulario controlado. Esto incluye el mapeo automático de términos.

Aquí os dejo algunos ejemplos de mapeos incongruentes que nos podemos encontrar. Os recomiendo que siempre vayáis a «Details» en la pantalla de búsqueda avanzada.

Nursig mapea a «breast feeding»
PPE (abreviatura de personal protective equipment) mapea a la revista «Polit Philos econ»
St. Louis OR Saint Louis mapea a un investiador
Age spots mapea y busca age como revista y spots como exanthema y metrorrhagia

3. Para eliminar la ambigüedad del nombre del autor, utilizando información como los coautores y las fechas de publicación (https://www.ncbi.nlm.nih.gov/labs/pmc/articles/PMC5530597/).

4. Utilización del aprendizaje automático para indexar algunos artículos, lo que significa que a una parte de los artículos se les asignan términos MeSH sin intervención de personas a través de un algoritmo con un componente de aprendizaje automático. Esta indización pasará a ser automática a mediados de 2022. Más información en: https://www.nlm.nih.gov/pubs/techbull/nd21/nd21_medline_2022.html

5. Algoritmo Best Match de recuperación de la información que primero usa BM25 para procesar los resultados de la búsqueda y luego usa LambdaMART, un algoritmo L2R, para reclasificar los primeros 500 resultados (https://jmla.mlanet.org/ojs/jmla/article/view/1236).

La #IA en #PubMed nos ayudará a encontrar las respuestas que necesitan más rápidamente? ¿O el algoritmo sesgará sus resultados, lo que conducirá a la supresión potencial de resultados más recientes o relevantes?

Acceso gratuito a MEDLINE en todo el mundo: breve recorrido histórico

Hemos normalizado encender el ordenador y buscar MEDLINE en Internet de forma gratuita. Pero eso no siempre ha sido así. Por eso es bueno recordar la historia de cómo unos visionarios hicieron posible este enorme avance.

El Index Medicus fue desarrollado por John Shaw Billings, director de la Biblioteca de la Surgeon General’s Office, del Ejército de los Estados Unidos. Esta biblioteca más tarde se convirtió en la Biblioteca Nacional de Medicina de los Estados Unidos (NLM). Cuando trabajaba en su tesis doctoral descubrió que no había una biblioteca que tuviera los recursos necesarios para su investigación. Para solucionar esto, John Shaw Billings creó una colección y también creó catálogos de índices.

El Index Medicus comenzó a editarse en 1879. Tenía una periodicidad mensual. Existió otra versión acumulada anual, el Cumulated Index Medicus publicada en papel desde 1960 hasta 2004. También existió una versión reducida desde 1970 hasta 1997, llamada Abridge Index Medicus con la indización de revistas nucleares.

 Durante los 125 años que el Index Medicus se publicó en papel. El último número de Index Medicus se publicó en diciembre de 2004 (Volumen 45) siendo desplazado por los recursos en línea.

En 1957 el personal de la NLM comenzó a planificar la mecanización del Index Medicus, para poder manipular toda la información para producir productos auxiliares como índices impresos, catálogos y bibliografías temáticas. En la década de 1960, la NLM comenzó a computarizar el trabajo de indexación mediante la creación de MEDLARS: En 1960 se preparó un pliego de condiciones detalladas y para la primavera de 1961 se envió a 72 empresas una solicitud de propuestas para desarrollar el sistema. Como resultado, se adjudicó un contrato a la empresa General Electric. Nació MEDLARS en 1964 que tuvo un coste de $ 3 millones para su desarrollo y en el momento de su conclusión no permitía el acceso al público.

MEDLARS se convirtió en MEDLINE (MEDLARS OnLine) en 1971 cuando la NLM ofreció búsquedas de MEDLARS «en línea» a otras bibliotecas médicas y computadoras remotas capaces de iniciar sesión en NLM MEDLARS system. Rápidamente, la NLM puso a disposición de determinadas instituciones las cintas magnéticas con los datos del sistema disponible para establecer servicios descentralizados de búsqueda en todo el país. 

Pero para la búsqueda eficaz en los primeros MEDLINE hacía falta un entrenamiento especial en los encabezamientos de materia, los comandos de búsqueda y la lógica booleana. Además, la consulta era muy costosa pues se realizaba a través de módem telefónico. Por esto los bibliotecarios y especialistas en información buscaban por los investigadores y profesionales de la salud (búsquedas mediadas, con intermediario).

Cuando en 1984 Donald A. B. Lindberg MD prestó juramento como Director de la Biblioteca Nacional de Medicina norteamericana (NLM), MEDLINE era consultado fundamentalmente por bibliotecarios entrenados para usar su interfaz de lenguaje de comandos. Había tarifas por búsqueda, principalmente por el coste de usar redes comerciales de telecomunicaciones. 

Trece años más tarde, en 1997, MEDLINE pasó a ser gratuito para cualquier persona con conexión a Internet y un navegador web. Lindberg director de la Biblioteca Nacional de Medicina de EE. UU. (NLM) durante 30 años. El énfasis de Lindberg en el acceso abierto a la literatura biomédica se considera un ejemplo de apertura científica ética.

El año 1986 también fue el comienzo de importantes avances en el frente tecnológico de la NLM. El objetivo de Don Lindberg era poner más información médica al alcance de los profesionales de la salud. La NLM ofreció su base de datos MEDLINE a las empresas que distribuyen información en discos de video. Uno de los primeros jugadores en este campo del CD-ROM fue Cambridge Scientific Abstracts, que pronto fue seguido por otras 20 o más compañías. 

La Conferencia de la FNLM (Friends of the National Library of Medicine) en junio de 1996 sobre aplicaciones de atención médica de la autopista de la información presentó la oportunidad perfecta para presentar al Senador Frist el lanzamiento de Internet Grateful Med (IGM) e invitarle a realizar una búsqueda.

El 26 de junio de 1997 MEDLINE estuvo disponible de forma gratuita en Internet. El vicepresidente Gore, cuyos esfuerzos estaban centrados en promover la importancia de la “carretera digital” de la nación norteamericana,  participó en el lanzamiento de PubMed, un sistema que brindaría acceso gratuito a MEDLINE a través de la World Wide Web. El vicepresidente Al Gore sentado en Capitol Hill frente a un ordenador realizó la búsqueda gratuita inaugural de MEDLINE.

BIBLIOGRAFÍA

Kulikowski CA. Donald A. B. Lindberg: Inspiring Leader and Visionary in Biomedicine, Healthcare, and Informatics. Yearb Med Inform. 2020 Aug;29(1):253-258. doi: 10.1055/s-0040-1701972. PMID: 32303093; PMCID: PMC: 7442506.

Smith KA. Free MEDLINE Access Worldwide. Stud Health Technol Inform. 2022 Feb 1;288:167-177. doi: 10.3233/SHTI210992. PMID: 35102838.

Cravedi K. NLM’s Revolution in Consumer Health Information to Improve Patient Outcomes. Stud Health Technol Inform. 2022 Feb 1;288:245-254. doi: 10.3233/SHTI211000. PMID: 35102845.

Ayuda PubMed: Consejos de búsqueda en PubMed

En esta infografía encontrarás una ayuda para la búsqueda en PubMed:

PubMed contiene información de citas bibliográficas (por ejemplo, título, autor, revista, fecha de publicación) y los resúmenes de artículos y algunos libros. Incluye la base de datos de MEDLINE®; citas de artículos en el archivo PubMed Central (PMC) con textos completos de uso gratuito, incluso de artículos sobre informes de investigaciones financiadas por los Institutos Nacionales de Salud (NIH); y citas de libros Bookshelf del Centro Nacional para la Información Biotecnológica (NCBI) (www.ncbi.nlm.nih.gov/books).

Además, incluye enlaces al texto completo de otras fuentes, cuando están disponibles, tales como el sitio de la editorial, el archivo PubMed Central (PMC) y al texto completo de las revistas suscritas por tu Biblioteca.

En caso de duda, acude a tu Biblioteca donde te proporcionaremos más información y consejos que te ayudarán a sacar mayor partido de este recurso gratuito indispensable en ciencias de la salud.