A publikációs torzítás (más néven fiókeffektus vagy asztalfiók-effektus) egy, a tudományos kutatások publikációja terén előforduló torzítás. Akkor beszélünk publikációs torzításról, mikor egy kísérlet vagy kutatás eredménye befolyásolja azt, hogy publikálják vagy más módon terjesztik-e. A publikációs torzítás azért lényeges, mert egy adott hipotézist tárgyaló szakirodalmi összefoglalókban, metaanalízisekben is megjelenik a torzítás, ha a téma irodalmában jelen van.Rothstein, H., Sutton, A. J., Borenstein, M. (2005). Publication bias in meta-analysis: prevention, assessment and adjustments. Wiley, Chichester, England, Hoboken, NJ.
Több tényező is publikációs torzításhoz vezethet. A szignifikáns eredményt hozó kutatásokat háromszor olyan valószínűséggel jelentetik meg, mint a nem szignifikáns eredményűeket,Dickersin, K., Chan, S., Chalmers, T. C. et al. (1987). Publication bias and clinical trials. Controlled Clinical Trials, 8(4), 343–353. annak ellenére, hogy az utóbbiak ugyanolyan minőségűek lehetnek a kutatási design és a kivitelezés tekintetében, mint a szignifikáns eredménnyel záruló kutatások.Easterbrook, P. J., Berlin, J. A., Gopalan, R., Matthews, D. R. (1991). Publication bias in clinical research. Lancet, 337(8746), 867–872. Arra is van példa, hogy a publikációs gyakorlat a negatív eredmények felé torzít; ha egy tudományos eredmény már biztosan alátámasztott, hírértéke lehet az olyan kutatások publikációjának, melyek nem találtak hasonló eredményt.Luijendijk, H. J., Koolman, X. ( 2012). The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle. J Clin Epidemiol, 65(5), 488–92. Az érem másik oldala, hogy az ellentmondó eredményeket gyakorta azért nem publikálják, mert maguk a kutatók nem nyújták be azokat. Ennek oka például az, hogy a kutatók azt feltételezik, hogy hibáztak, mikor kutatásuk nem támasztott alá egy jól ismert eredményt; elvesztették érdeklődésüket a téma iránt vagy feltételezik, hogy másokat nem fog érdekelni a negatív eredmény.
A nem publikált munkák azonosítása gyakran nehézségekbe ütközik vagy egyenesen lehetetlen. A probléma megoldására több tudományos folyóirat a publikációra benyújtott kutatások előzetes regisztrációját vezette be, ez azt jelenti, hogy a kutatás tervét még az adatok gyűjtése és elemzése előtt közölni kell. Más ajánlott stratégia a publikációs torzítás felismerésére és kontrollálására a valószínűség-eloszlás elemzése és a kis, nem-randomizált kutatások kizárása az esetükben gyakori hibák és torzítások elkerülése végett.
Definíció Akkor beszélünk publikációs torzításról, mikor kutatási eredmények publikációja nem csak a kutatás minőségén, hanem a vizsgált hipotézisen és az eredmények irányán és statisztikai szignifikanciáján is múlik.Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. JAMA, 263(10), 1385–9. A fogalmat először Theodore Sterling statisztikus használta 1959-ben olyan tudományterületek tárgyalásakor, melyekben a „sikeres” kutatások nagyobb valószínűséggel jelennek meg. Ennek eredményeképpen „az ilyen területek irodalma lényeges mennyiségű hamis következtetést tartalmaz, melyek az elsőfajú hibából fakadnak”.Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54(285), 30–34.
A publikációs torzítást gyakran asztalfiók-hatásnak vagy Robert RosenthalRosenthal, R. (1979). File drawer problem and tolerance for null results. Psychol Bull,. 86, 638–41. nyomán az asztalfiók problémájának nevezik. Ezek az elnevezések arra utalnak, hogy egy adott hipotézist nem támogató eredmények gyakran a kutatók asztalfiókjában maradnak, mely torzításhoz vezet a megjelent irodalomban.Scargle, J. D. (2000). Publication bias: the "file-drawer problem" in scientific inference. Journal of Scientific Exploration, 14(2), 94–106.
A pozitíveredmény-torzítás a publikációs torzítás egy fajtája, mely abból fakad, hogy a szerzők és a folyóiratszerkesztők nagyobb hajlandóságot mutatnak pozitív eredmények benyújtására, valamint elfogadására, mint negatív vagy nem egyértelmű eredményekére.Sackett, D. L. (1979). Bias in analytic research. J Chronic Dis, 32(1–2), 51–63. Az eredményközlési torzítás akkor lép fel, mikor a kutatók több eredményt mértek és elemeznek, majd az eredmények ereje és iránya alapján döntenek arról, hogy melyiket közlik. Ezeket az úgynevezett post hoc döntéseket az angol nyelvű tudományos közvélemény a „hypothesizing after the results are known” (hipotézisalkotás az eredmények tudatában) angol kifejezés kezdőbetűiből HARKingnek („HARKolásnak”) nevezi.Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217.
Rizikótényezők John AntonakisAntonakis, J. (2017). On doing better science: From thrill of discovery to policy implications. The Leadership Quarterly, 28(1), 5–21. a tudományos gyakorlat problémáit játékosan a tudományt veszélyeztető öt betegségként foglalja össze: significosis, vagyis a szignifikáns eredményekre való túlzott fókuszálás; neophilia, az újdonságok iránti túlzó lelkesedés; theorrhea, az új elméletek hajszolása; arigorium, a fegyelem hiánya az elméleti és empirikus munkában, és végül a disjunctivitis, a nagy mennyiségű redundáns, triviális és inkoherens munka előállítása. Ezen tényezők kiválthatják vagy hozzájárulhatnak a publikációs torzításhoz.
John IoannidisIoannidis, J. (2005). Why most published research findings are false. PLoS Med, 2(8), 124. szerint a „kutatási eredmények sokszor csak pontos mérőeszközei a meglévő torzításoknak”. A következő tényezőket sorolja fel, melyek a pozitív eredménnyel bíró kutatások valószínűbb publikációjához vezetnek: a tudományterületen megjelenő kutatások kis elemszámúak alacsony hatásméret nagyszámú, előzetesen nem szűrt kapcsolat mérése kutatási dizájnok, definíciók, eredmények, elemzési módok rugalmas használata előzetes várakozások (pénzügyi vagy másmilyen érdek) verseny az adott kutatási területen; magas motiváció a szignifikáns eredmények közlésére Más ilyen tényező például a kísérletvezetői torzítás vagy az etikai vagy erkölcsi alapú torzítások.
Bizonyítékok bélyegkép|Metaanalízis: A sztereotípiaveszélyeztetés hatása a lányok matematikaeredményeire. Az eredmények a publikációs torzításra jellemző aszimmetriát mutatnak.Flore P. C., Wicherts J. M. (2015). Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol., 53, 25–44. A tudományos irodalomban jelenlévő publikációs torzítást az orvosbiológiai kutatásokban vizsgálták a legalaposabban. A klinikai vizsgálatokat az etikai bizottságokhoz való benyújtástól a publikációig követő kutatások azt mutatják, hogy a pozitív eredményeket nagyobb valószínűséggel közlik.Dickersin, K., Min, Y. I. (1993). NIH clinical trials and publication bias. Online J Curr Clin Trials, 50.Decullier, E., Lheritier V., Chapuis, F. (2005). Fate of biomedical research protocols and publication bias in France: retrospective cohort study. BMJ, 331, 19–22.Song, F., Parekh-Bhurke, S., Hooper, L., Loke, Y., Ryder, J., Sutton, A. et al. (2009). Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Med Res Methodol, 9, 79. Ezenkívül a publikált kutatások gyakran elhallgatják a negatív eredményeket, ahogy azt egy, a kutatási protokollokat a megjelent folyóiratcikkekkel összehasonlító kutatás megállapította.Chan, A. W., Altman, D.G. (2005). Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ, 330, 753.Riveros, C., Dechartres, A., Perrodeau, E., Haneef, R., Boutron, I., Ravaud, P. (2013). Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS Med, 10.
Ha jelen van a publikációs torzítás, a megjelent folyóiratcikkek nem jelentenek reprezentatív mintát az elérhető bizonyítékokra nézve. A torzítás hat a metaanalízisekre és a szisztematikus szakirodalmi összefoglalókra. Ez például azért jelent problémát, mert a bizonyítékokon alapuló orvoslás egyre inkább metaanalízisekre támaszkodik a bizonyítékok értékeléséhez.
A legnagyobb volumenű metaanalízis-vizsgálat orvosi kezeléseket vizsgáló kutatások szisztematikus elemzésében vizsgálta a publikációs torzítás jelenlétét a Cochrane-adatbázist használva.Kicinski, M., Springate, D. A., Kontopantelis, E. (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine, 34, 2781–93. A kutatás azt mutatta, hogy a pozitív, statisztikailag szignifikáns eredményeket 27%-kal nagyobb valószínűséggel közlik a kezelések hatásosságát tárgyaló metaanalízisek, mint másfajta eredményeket. A káros hatásokat nem találó kutatásokat 78%-kal nagyobb valószínűséggel tárgyalják a kezelések biztonságát vizsgáló kutatások, mint a statisztikailag szignifikáns, káros hatásokat mutató eredményeket, tehát a publikációs torzításra neves orvosi szakfolyóiratokban megjelent metaanalízisek esetén is vannak bizonyítékok.Kicinski, M. (2013). Publication bias in recent meta-analyses. PLoS ONE, 8.
A publikációs torzítás jelenléte egy úgynevezett tölcsérgrafikon elkészítésével is felmérhető: a folyóiratcikk által közölt hatásnagyság becslését egy pontosságot mérő változó vagy a mintaméret függvényében ábrázoljuk. Azt várjuk, hogy a grafikon pontjai tölcsér alakot rajzolnak majd ki, jelezve, hogy nincs összefüggés a hatásméret publikációja és a statisztikai szignifikanciája között.Debray, T. P. A., Moons, K. G. M., Riley, R. D. Detecting small-study effects and funnel plot asymmetry in meta-analysis of survival data: a comparison of new and existing tests. Research Synthesis Methods. Mikor azonban kis kutatások jellemzően egy irányba mutatnak (általában a nagy hatásméretek felé), aszimmetria lép fel, mely publikációs torzításra utalhat.Light & Pillemer (1984). Summing up: The science of reviewing research. Harvard University Press, Cambridge, MA.
A tölcsérgrafikonokat vizuálisan értelmezzük, ezért az értékelés elkerülhetetlenül szubjektív. A szubjektív ítéletek torzítását elkerülendő többféle teszt is rendelkezésre áll a grafikonok aszimmetriájának kimutatására.Zhi-Chao, J., Xiao-Hua, Z., Jia, H. (2015). Statistical methods for dealing with publication bias in meta-analysis. Statistics in Medicine. 34(2), 343–360.Rücker, G., Carpenter, J. R., Schwarzer, G. (2011). Detecting and adjusting for small-study effects in meta-analysis. Biometrical Journal, 53(2), 351–368. Ezek a tesztek gyakorta lineáris regresszión alapulnak, és egy többszörösítő vagy additív diszperziós paramétert használnak a kutatások heterogenitásának kiigazítására. Egyes megközelítések a publikációs torzítás (feltételezett) jelenlétét igyekeznek kiigazítani,Silliman, N. (1997). Hierarchical selection models with applications in meta-analysis. Journal of the American Statistical Association. 92(439), 926–936.Hedges, L., Vevea, J. (1996). Estimating effect size under publication bias: small sample properties and robustness of a random effects selection model. Journal of Educational and Behavioral Statistics, 21(4), 299–332. ami különösen hasznos a metaanalízisek eredményeire gyakorolt feltételezett hatás feltérképezésében.McShane, B. B., Böckenholt, U., Hansen, K. T. (2016). Adjusting for Publication Bias in Meta-Analysis. Perspectives on Psychological Science, 11(5), 730–749.Sutton, A. J., Song, F., Gilbody, S.M., Abrams, K. R. (2000). Modelling publication bias in meta-analysis: a review. Stat Methods Med Res., 9, 421–445.Kicinski, M. (2014). How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open, 4(8).
Példák