En la anterior entrada hablamos de los sesgos en la búsqueda en revisiones sistemáticas y otros documentos de síntesis. Ahora vamos a tratar cómo evitar el sesgo de selección en revisiones sistemáticas.

Tras definir la estrategia de búsqueda y recuperar los registros de los estudios, la siguiente etapa crucial en una revisión sistemática es la selección de los documentos relevantes. En este paso hay que determinar que estudios cumplen los criterios de inclusión.

Uno de los riesgos metodológicos más significativos es el sesgo de selección, el cual puede afectar la solidez y la validez de los resultados, pero con un enfoque cuidadoso, es posible mitigarlo eficazmente.

¿Qué es el sesgo de selección? Existen dos tipos principales:

Selección intencionada o sesgada: se produce cuando quienes revisan incluyen o excluyen estudios voluntariamente para apoyar una hipótesis previa o una posición determinada. Este fenómeno se manifiesta en múltiples disciplinas, desde las ciencias sociales hasta la medicina, donde la objetividad en la revisión de la evidencia puede verse comprometida.

Es el fenómeno conocido como cherry-picking, estrechamente vinculado al sesgo de confirmación, es decir, seleccionar solo la evidencia que respalda una postura y descartar la que la contradice. Esta práctica no solo distorsiona los resultados de la investigación, sino que también puede llevar a conclusiones erróneas y decisiones mal fundamentadas, afectando así la integridad del conocimiento científico y la confianza del público en la investigación. Es crucial que los investigadores permanezcan conscientes de este sesgo y busquen un abordaje equilibrado y crítico al evaluar la evidencia, incluyendo datos que puedan desafiar sus propias suposiciones.

• Error aleatorio en la selección: aparece cuando los criterios son ambiguos o cuando influyen los conocimientos previos del revisor sobre el tema. Esta variabilidad subjetiva puede generar inconsistencias importantes, lo que dificulta la objetividad del proceso de selección. Cuando un revisor basa su juicio en conocimientos previos, corre el riesgo de sesgar la evaluación, llevando a un análisis que no refleja necesariamente la realidad del contexto actual. Además, la falta de claridad en los criterios puede crear más confusión y provocar decisiones arbitrarias que no se alinean con el propósito original de la selección. Por lo tanto, es esencial establecer definiciones claras y precisas que guíen a los revisores y minimicen el impacto de opiniones personales en el resultado final.

¿Cómo reducir el sesgo de selección?

Se recomienda actuar en dos niveles clave: los criterios de selección y el número de revisores implicados.

1. Definir criterios claros y a priori

• Los criterios deben ser explícitos, inequívocos y predefinidos. Todos los miembros del equipo deben compartir una comprensión común sobre qué se incluye y qué se excluye, lo que fomentará una alineación efectiva y minimizará la ambigüedad en la toma de decisiones. Una vez que se han establecido los criterios de inclusión y exclusión, es necesario redactar una lista de verificación con de criterios de elegibilidad. Esta guiará a los revisores a lo largo del proceso de selección, y una lista de verificación bien elaborada contribuirá a ahorrar tiempo y a minimizar errores durante el proceso de selección. Es recomendable ordenar los criterios de más relevantes a menos o por pragmatismo, de esta forma es más rápido el proceso de exclusión. La falta de cumplimiento de uno solo de los criterios basta para eliminar el estudio. Si hay un «no» no hay que seguir revisando el estudio.
• Se aconseja pilotar los criterios con una muestra de unos pocos artículos (aprox. 5 a 10) de títulos y resúmenes, con participación de todos las personas que van a cribar. Este pilotaje previo permite ver discrepancias de aplicación de los criterios de elegibilidad, afinar la aplicación de los criterios y detectar ambigüedades (1).
• Es importante evitar criterios excesivamente restrictivos. Como norma general, no debe aplicarse límites de idioma, fecha de publicación, tipos de publicación y el estado de la publicación en la búsqueda para revisiones sistemáticas, ya que se pueden dejar de recuperar registros relevantes. Estas restricciones pueden introducir sesgos significativos y limitar la generalización de los hallazgos.

2. Incorporar el doble cribado. Diversos estudios muestran que la criba por un único revisor tiende a omitir más estudios relevantes.

• Gartlehner et al. (2) observaron que el cribado individual de resúmenes omitía un 13% de los estudios relevantes, frente al 3% con cribado doble, lo que indica una diferencia significativa en la eficacia de ambos métodos de selección de literatura, resaltando la importancia del cribado doble para una revisión sistemática más exhaustiva y menor sesgo.
• Waffenschmidt et al. (3) encontraron una mediana de omisión del 5% en el cribado individual, con un rango muy amplio (hasta el 57,8%), dependiendo del grado de experiencia del revisor.
• El impacto de estos errores fue más significativo cuando las personas que realizaban el proceso de selección eran menos experimentados. Con revisores expertos, el efecto en los metaanálisis fue mínimo.

¿Cribado completo o limitado? Hay diferentes estrategias según la fase del cribado:

• El cribado completo (dos revisores independientes tanto para títulos/resúmenes como para texto completo) mejora la identificación de estudios pertinentes.
• El cribado dual limitado (un revisor para títulos/resúmenes y dos para textos completos) es más eficiente, pero algo menos exhaustivo. Este es el enfoque recomendado para las revisiones sistemáticas rápidas (1).
• Stoll et al. (4) concluyeron que el cribado completo permitió recuperar más artículos excluidos erróneamente (0,4% frente al 0,2% en la estrategia limitada).

Duplicar el proceso de selección de estudios reduce tanto el riesgo de cometer errores como la posibilidad de que la selección se vea influida por los sesgos de una sola persona. En los casos de cribado por dos personas independientes las discrepancias entre ellos puede resolverse tras discusión y consenso de los revisores o establecer un árbitro para ello.

En la siguiente tabla se recogen diversas estrategias para minimizar el sesgo de selección:

En la siguiente figura se resumen los 6 principios de la selección de estudios en una revisión sistemática:

Finalmente, aquí vemos 4 recomendaciones para optimizar el proceso de selección de estudios:

BIBLIOGRAFÍA

1. Garritty C, Gartlehner G, Nussbaumer-Streit B, et al. Cochrane Rapid Reviews Methods Group offers evidence-informed guidance to conduct rapid reviews. Journal of Clinical Epidemiology 2021;130:13–22; doi: 10.1016/j.jclinepi.2020.10.007.
2. Gartlehner G, Affengruber L, Titscher V, Noel-Storr A, Dooley G, Ballarini N, König F, Single-reviewer abstract screening missed 13 percent of relevant studies: a crowd-based, randomized controlled trial, Journal of Clinical Epidemiology (2020), doi: https://doi.org/10.1016/j.jclinepi.2020.01.005)
3. Waffenschmidt S, Knelangen M, Sieben W, et al. Single screening versus conventional double screening for study selection in systematic reviews: a methodological systematic review. BMC Med Res Methodol 2019;19(1):132; doi: 10.1186/s12874-019-0782-0.
4. Stoll CRT, Izadi S, Fowler S, et al. The value of a second reviewer for study selection in systematic reviews. Research Synthesis Methods 2019;10(4):539–545; doi: 10.1002/jrsm.1369.
5. Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, Chowdhury R, Franco OH. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol. 2020;35(1):49-60. doi: 10.1007/s10654-019-00576-5