Существует ли какое-либо исследование/исследование/обследование/…, которое пыталось бы оценить, сколько рефератов докладов медицинских исследователей читают при подготовке клинического систематического обзора?
Даже если это будет лишь частичный ответ, это может помочь “лучше понять процесс создания систематических обзоров”, как указано в комментариях.
Очевидно, что здесь можно дать один очевидный ответ: все аннотации следует читать, как только они окажутся “положительными” в рамках стратегии (пере)поиска литературы. В конце концов, они должны быть оценены на предмет включения или исключения.
Если исходный вопрос предназначен для того, чтобы задать среднее количество фактически использованных исследований, т.е. трудное количество включенных в рецензию статей, то ответ будет совершенно иным:
От Terri Pigott: Advances in Meta-Analysis, Springer, 2012:
Другой распространенный вопрос: Сколько исследований мне нужно для проведения мета-анализа? Хотя мы с коллегами часто отвечали “два” Valentine et al. 2010 ), более полный ответ заключается в понимании силы статистических тестов в мета-анализе. Я придерживаюсь подхода, изложенного в этой книге, согласно которому сила тестов в мета-анализе, как и сила любого статистического теста, должна быть априори рассчитана с использованием предположений о размере важного эффекта в данном контексте и типичных размеров выборки, используемой в данной области. Опять же, глубокое знание существа исследовательской литературы имеет решающее значение для рецензента, чтобы сделать разумные предположения о параметрах, необходимых для мощности. Следовательно, это зависит от того, насколько хорошо изучено и исследовано месторождение или исследовательский вопрос, из которых следует выбирать рецензируемые работы. Весьма модные темы с сопутствующими противоречиями будут иметь сотни или тысячи на выбор, нишевые интересы, невыгодные места, пожалуй, лишь некоторые из них. Запросить статистику по всем этим областям клинических систематических обзоров вполне возможно. Но одной из проблем, связанных с мета-анализом, является так называемая проблема “мусора в мешке”: такая задача - не только “оценить, сколько рефератов из работ медицинских исследователей читают при подготовке клинического систематического обзора”, но даже точно подсчитать это число - может оказаться под угрозой получения бессмысленных чисел, полезных только журналистам или политикам.
В одной статье, содержащей именно такой мета-анализ, перечисляется такое число, которое запрашивается в вопросе для подотрасли психологии: 51 (диапазон 5-81). (doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Эмпирический обзор статистической силы, ошибок типа I, размеров эффектов и выбор модели мета-анализа, опубликованной в области психологии. ) Но в нем также довольно хорошо освещены проблемы, присущие такому подходу:
- Размеры эффектов и гетерогенность в мета-анализе
- Выбор модели: Модели с фиксированными эффектами использовались с гораздо большей частотой, чем модели со случайными эффектами, часто без явного указания на то, что такая модель использовалась. С другой стороны, модели со случайными эффектами использовались с возрастающей частотой с течением времени. В будущих исследованиях следует более регулярно внедрять модели случайных эффектов, учитывая их большую валидность с точки зрения умозаключений.
Наконец, важно учитывать, что использование моделей со случайными эффектами в большинстве случаев (т.е. когда дисперсия между исследованиями больше нуля) будет иметь меньшую мощность при тестировании значимости.
В более общем плане, мы можем предостеречь от слепого доверия к обзорам или мета-анализу в целом. В настоящее время медицина стремится восстановить свои знания на доказательной основе, что, конечно, очень приветствуется. Но, преследуя эту цель с излишней уверенностью, концентрируясь на количественных данных и математических моделях, ребенок в ванной может пострадать. Название, использование или просто вера в любой “золотой стандарт” (или, по разному, даже платины) будет слишком много с одной стороны. Это изображено следующим образом:
Самая большая проблема с этой картиной заключается в том, что “фильтр” довольно плохо определен и регулярно проводятся исследования с более высокой статистической силой или большей значимостью. В то время как логическое звучание поначалу нарушает философские принципы, в принципе, такие как Принцип от Всего Доказательства “ Карнапа. Таким образом, это механистическое рассуждение вводит свой собственный набор систематических предубеждений.
Для устранения некоторых из этих известных опасностей, подводных камней и недостатков утверждение PRISMA является инициатива , по крайней мере, для стандартизации подходов и прозрачного документирования процедуры, выбранной для этих видов анализа.
Более эпистемологические проблемы конденсируются в Стегенга: "Является ли мета-анализ платиновым стандартом доказательств?” (2011):
[…] мета-анализы не в состоянии адекватно сдерживать межсубъектные оценки гипотез. Это связано с тем, что многочисленные решения, которые должны приниматься при проектировании и проведении мета-анализа, требуют личных суждений и опыта, а также позволяют личным предубеждениям и идиосинкразии рецензентов влиять на результаты мета-анализа. Неудача Объективность, по крайней мере, частично объясняет неудачу Constraint: то есть субъективность, необходимая для мета-анализа, объясняет, как многочисленные мета-анализы одних и тех же первичных доказательств могут прийти к противоречивым выводам относительно одной и той же гипотезы. […] Однако мое обсуждение многих конкретных решений, которые должны быть приняты при проведении мета-анализа, позволяет предположить, что такие улучшения могут зайти только до сих пор.
По крайней мере, для некоторых из этих решений выбор между имеющимися вариантами является полностью произвольным; различные предложения по повышению прозрачности отчетности о результатах мета-анализа в принципе не могут содержать ссылки на эти произвольные варианты. В более общем плане, эта реплика от защитников мета-анализа - что мы не должны полностью отказаться от техники - обосновывает сильную сторону аргументированного мною вывода, который заключается не в том, что мета-анализ - это утомительно плохой метод слияния доказательств, а в том, что мета-анализ не должен считаться лучшим видом доказательств для оценки причинно-следственных гипотез в медицине и социальных науках. Я не утверждал, что мета-анализ не может предоставить никаких убедительных доказательств, а, напротив, вопреки общепринятому мнению, я утверждал, что мета-анализ не является платиновым стандартом доказательств.
