Dodržování publikačních standardů v časopisu Rozhledy v chirurgii


Adherence to reporting guidelines in Perspectives in Surgery

Introduction:
Reporting guidelines were established to improve the quality of scientific papers. Currently, the most common are CONSORT (Consolidated Standards of Reporting Trials), STROBE (Strengthening the Reporting of Observational Studies in Epidemiology) and CARE (Clinical Consensus-based Case Reporting Guideline). Spin can be defined as (un)intentionally biased interpretation of results aimed at convincing readers of a positive benefit of any given intervention. The aim of the study was to evaluate the adherence of papers published in Perspectives in Surgery to CONSORT, STROBE or CARE and to identify the frequency of spin.

Methods:
All articles published between 10/2014 and 9/2016 were analysed. Editorials and letters to editor were excluded. Original papers and case reports were assessed using 12 parameters. Any conclusion not corresponding to outcomes from pre-defined measurements was identified as spin. Descriptive statistics were used.

Results:
Of 210 articles, 144 (69%) were analysed – 67 (47%) retrospective studies, 3 (2%) prospective studies and 74 (51%) case reports. The studies showed the highest compliance in terms of reporting the cohort size (89%). On the other hand, study limitations were presented in 22%. Performed investigations and interventions were described in all (100%) case reports. Conversely, limitations were not mentioned in any. None of the analysed papers met all of the 12 monitored parameters. Spin was identified in 47 (67%) original articles.

Conclusion:
None of the evaluated papers adhered completely to the current reporting guidelines. Spin occurred in more than 2/3 of the publications.

Key words:
reporting guidelines − spin − CONSORT − STROBE − CARE


Autoři: O. Ryska
Působiště autorů: Ústav živočišné fyziologie a genetiky AV ČR, v. v. i., Liběchov ředitel: Ing. J. Kopečný, DrSc. ;  Royal Lancaster Infirmary, UHMB NHS Foundation Trust, Lancaster
Vyšlo v časopise: Rozhl. Chir., 2017, roč. 96, č. 3, s. 125-129.
Kategorie: Původní práce

Souhrn

Úvod:
Publikační standardy vznikly s cílem zlepšit kvalitu odborných článků. Aktuálně nejpoužívanější jsou CONSORT (Consolidated Standards of Reporting Trials), STROBE (Strengthening the Reporting of Observational Studies in Epidemiology) a CARE (Consensus-based Clinical Case Reporting Guideline). Spin představuje vědomě či nevědomě zkreslenou interpretaci výsledků, která má přesvědčit čtenáře o pozitivním přínosu hodnocené intervence. Cílem práce bylo zhodnotit kompliance prací publikovaných v časopise Rozhledy v chirurgii (RvCH) se standardy CONSORT, STROBE nebo CARE a identifikovat frekvenci výskytu spinu.

Metody:
Hodnoceny byly všechny články publikované v RvCH od 10/2014 do 9/2016. Vyřazena byla souhrnná sdělení, editorialy a zprávy. U původních prací a kazuistik bylo sledováno celkem 12 parametrů. Jakýkoliv závěr, který neodpovídal výsledkům předem definovaných sledovaných parametrů, byl označen jako spin. K hodnocení byla použita popisná statistika.

Výsledky:
Z 210 článků bylo hodnoceno 144 (69 %) publikací − 67 (47 %) retrospektivních studií, 3 (2 %) prospektivní studie a 74 (51 %) kazuistik. Studie vykazovaly nejvyšší kompliance u uvedení velikosti souboru (89 %). Na druhé straně limitace studie byly uvedeny u 22 % případů. Ve všech kazuistikách byla uvedena provedená vyšetření (100 %) a intervence (100 %). Naopak limitace nebyly uvedeny ani v jednom případě. Žádná z prací nesplňovala současně všech 12 sledovaných parametrů. Výskyt spinu byl zaznamenán u 47 (67 %) studií.

Závěr:
Žádný z hodnocených článků neodpovídal z formálního hlediska současným standardům. Spin se vyskytoval ve více než 2/3 publikací.

Klíčová slova:
publikační standardy − spin − CONSORT − STROBE − CARE

Úvod

Publikační standardy vznikly s cílem zlepšit kvalitu odborných článků. Tato doporučení jsou využívána většinou impaktovaných zahraničních časopisů a přispívají k přesnějšímu popisu metodiky, vyšší transparentnosti prezentovaných výsledků a snižují riziko chybné interpretace závěrů [1,2].

K nejpoužívanějším z nich patří Consolidated Standards of Reporting Trials (CONSORT) pro prospektivní randomizované studie [3], Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) pro retrospektivní a observační studie [4] a Consensus-based Clinical Case Reporting Guideline (CARE) pro publikaci kazuistik [5]. Bez ohledu na volnou dostupnost publikačních standardů vykazují odborné práce stále relativně nízkou kompliance s těmito doporučeními a celou řadu dalších nedostatků [6,7].

Jedním z problémů, na jehož vyhledávání a eliminaci se zaměřily některé ze současných prací, je tzv. spin [8]. Spin představuje vědomé či nevědomé zkreslení závěrů s cílem přesvědčit čtenáře o pozitivním přínosu hodnocené intervence [9]. Závěry odborné práce by měly odpovídat na předloženou hypotézu. Tato odpověď je podložena statistickým zhodnocením výsledků předem definovaných parametrů sledovaných na předem definovaném souboru. Jakékoliv narušení této posloupnosti může vést komu, že se autor vyjadřuje k hypotézám, které nebyly předmětem studie, nebo prezentuje výsledky selektivně (analýza podskupin, zdůraznění sekundárních cílů, zdůraznění pouze některých ze sledovaných parametrů). Spin byl identifikován v závěrech více než poloviny kontrolovaných studií s nesignifikantním výsledkem a jeho prevalence narůstá [10,11].

Časopis Rozhledy v chirurgii (RvCH) nemá v instrukcích pro autory zakomponována žádná ze zmiňovaných doporučení. Tento fakt je v současné době chápán jako nedostatek, který může vést k vyššímu riziku zkreslení výsledků a celkově horší kvalitě článků [12]. Z těchto důvodů je přínosné zjistit, zda publikace v RvCH odpovídají současným publikačním standardům.

Cílem práce bylo zhodnotit kompliance prací publikovaných v časopise RvCH se standardy CONSORT, STROBE nebo CARE a identifikovat frekvenci výskytu spinu.

Metody

Do retrospektivní analýzy byly zařazeny všechny články publikované v časopise RvCH v období od října 2014 do září 2016. Z tohoto souboru byly vybrány pouze původní práce a kazuistiky. Z analýzy byly vyřazeny publikace autora. U původních sdělení (prospektivní, retrospektivní, observační a kohortové studie) byla hodnocena kompliance s parametry odvozenými ze standardů CONSORT a STROBE. Mimo jiné bylo sledováno, zda byly v článku uvedeny cíle a design studie, popis souboru a statistické metody. Dále velikost souboru, popis sledovaných parametrů a jejich výsledky, limitace studie a závěr vycházející ze statistického hodnocení. Kazuistiky byly testovány podle systému CARE na přítomnost zdůvodnění výběru konkrétního případu, uvedení relevantních literárních odkazů v úvodu, popisu vyšetření, diagnostiky a časové osy případu včetně poslední kontroly. Dále uvedení limitací a shrnutí přínosu kazuistiky. Analyzován byl vždy celý text článku včetně souhrnu. Kompletní seznam parametrů je uveden v první tabulce (Tab. 1).

Tab. 1. Seznam sledovaných parametrů u původních prací a kazuistik Tab. 1: List of the parameters followed in original articles and case reports
Seznam sledovaných parametrů u původních prací a kazuistik
Tab. 1: List of the parameters followed in original articles and case reports

Všechny původní práce byly dále analyzovány na výskyt spinu. Ten byl definován jako jakéhokoliv tvrzení v závěru práce, které neodpovídalo statistickému hodnocení výsledků předem definovaných sledovaných parametrů. K prezentaci a hodnocení výsledků byla použitá popisná statistika a ke srovnání kompliance kazuistik a původních prací byl použit Mann-Whitney test.

Výsledky

Z celkových 210 příspěvků publikovaných za dané období bylo hodnoceno 144 článků (Schéma 1).

Schéma 1: Vývojový diagram shrnující výběr analyzovaných článků publikovaných v Rozhledech v chirurgii včetně důvodů k vyřazení Scheme 1: Flowchart for the selection and inclusion of articles from Perspectives in Surgery with reasons for exclusion
Schéma 1: Vývojový diagram shrnující výběr analyzovaných článků publikovaných v Rozhledech v chirurgii včetně důvodů k vyřazení
Scheme 1: Flowchart for the selection and inclusion of articles from Perspectives in Surgery with reasons for exclusion

Vzhledem k malému počtu prospektivních randomizovaných studií byly tyto příspěvky hodnoceny společně se všemi původními pracemi.

Žádná z původních prací (N=70) nesplňovala všech 12 sledovaných parametrů včetně absence spinu uvedených v metodice (Tab. 1). Publikace nejčastěji splňovaly v bodech uvedení velikosti sledovaného souboru (89 %), způsobu výběru souboru (78 %) a uvedení cílů studie (78 %). Spin byl identifikován celkem u 47 (67 %) původních prací (Graf 1).

Graf 1. Procentuálně vyjádřená kompliance původních prací s jednotlivými body doporučení a frekvence spinu (NÚ=nežádoucí účinky) Graph 1: The adherence of original articles to individual items of reporting guidelines and frequency of spin (NÚ=side effects)
Procentuálně vyjádřená kompliance původních prací s jednotlivými body doporučení
a frekvence spinu (NÚ=nežádoucí účinky)
Graph 1: The adherence of original articles to individual items of reporting guidelines and frequency of spin (NÚ=side effects)

Ani jedna z hodnocených kazuistik (N=74) nesplňovala všech 12 sledovaných parametrů (Tab. 1). Největší úspěšnost byla pozorována u popisu případu – popis vyšetření (100 %), popis intervencí (100 %). Naopak nejméně často obsahovaly kazuistiky testovatelnou hypotézu (12 %) a limitace práce nebyla uvedena ani u jednoho kazuistického sdělení (Graf 2).

Graf 2. Procentuálně vyjádřená kompliance kazuistik s jednotlivými body doporučení. Graph 2: Adherence (%) of case reports to individual items of the reporting guidelines.
Procentuálně vyjádřená kompliance kazuistik s jednotlivými body doporučení.
Graph 2: Adherence (%) of case reports to individual items of the reporting guidelines.

Rozložení počtu splněných sledovaných bylo u původních prací nehomogenní a nejčastěji bylo splněno 10/12 nebo 5/12. Kazuistiky naproti tomu vykazovaly rozložení homogenní s kulminací mezi 7/12 až 9/12 splněných parametrů (Graf 3). Nebyl pozorován signifikantní rozdíl mezi mediánem počtu splněných parametrů u původních prací – 7 (1−11) a kazuistik – 8 (4−10); p=0,34.

Graf 3. Rozložení hodnot podle počtu splněných parametrů u původních prací a kazuistik. Graph 3: Distribution of values based on the numbers of parameters met in original articles and case reports.
Rozložení hodnot podle počtu splněných parametrů u původních prací a kazuistik.
Graph 3: Distribution of values based on the numbers of parameters met in original articles and case reports.

Diskuze

Vzhledem k tomu, že se míra publikační aktivity stala základním měřítkem úspěšného výzkumu, přibývá každoročně počet odborných článků. Tento trend se týká i oboru chirurgie, ve kterém došlo za posledních 20 let nejen k nárůstu počtu publikací, ale i k jejich zkvalitnění především na poli prospektivních randomizovaných studií [13,14].

Na druhé straně vykazují chirurgické publikace stále velké množství formálních i obsahových nedostatků [15,16]. Toto tvrzení platí i u kazuistických sdělení [17]. Jednou z možností, jak tyto chyby eliminovat, je zavedení a dodržování publikačních standardů. Ty mohou mít podobu jednoduchého seznamu (checklist), diagramu nebo podrobnějšího textu. Toto doporučení definuje minimální požadavky, které by měl rukopis splňovat, aby čtenář pochopil nejenom princip a výsledky provedené studie, ale zároveň byl schopen identifikovat eventuální limitace nebo bias. Většina renomovaných a běžně používaných doporučení je založena na konsenzu expertů zahrnujících metodology a editory [18].

Metaanalýza z roku 2012 potvrdila, že zavedení publikačních doporučení minimálně v podobě seznamu parametrů, které má rukopis splňovat, zlepšuje kvalitu a kompletnost článků publikovaných v odborných lékařských časopisech [19].

Pro účely prezentované analýzy byly vybrány validované systémy STROBE pro observační studie, CONSORT pro randomizované prospektivní studie a CARE pro prezentaci kazuistik. Všechna tato doporučení jsou zakomponována v algoritmu poskytovaném v rámci mezinárodní iniciativy EQUATOR (Enhancing the QUAlity and Transparency Of health Research), podle kterého je možné identifikovat nejvhodnější doporučení podle konkrétního typu studie [20]. Vzhledem k tomu, že časopis RvCH nemá ani jedno z těchto doporučení zakomponované v instrukcích po autory, byly z kontrolních seznamů zmíněných standardů vybrány pouze základní položky.

Výsledky analýzy ukazují, že práce publikované v RvCH nesplňují kritéria nejčastěji užívaných publikačních doporučení. Kazuistická sdělení, která splňovala 67 % (33−83 %) ze sledovaných parametrů se v tomto ohledu zdají být na vyšší úrovni, i když rozdíl nebyl oproti původním pracím signifikantní – 58 % (8,3 až 92 %). Většina článků z obou kategorií nicméně splňovala více než polovinu kritérií. Podrobnější analýza ukazuje, že původní práce mají větší výkyvy v kvalitě příspěvků, než je tomu u kazuistických sdělení. Tento fakt může být dán tím, že kazuistiky mají principiálně jednodušší strukturu a naplnění požadovaných bodů není tak složité. Podobné výsledky přinesla studie z roku 2016, která hodnotila kompliance s jednotlivými body doporučení před, během a po implementaci publikačního standardu STROBE [21]. Před zavedením splňovaly články 68 % (44−88 %) z bodů doporučení. Autoři prokázali signifikantní zlepšení kompliance (o 13 %) jeden rok po zavedení standardů. K adekvátně lepším výsledkům dospěla analýza více než 1300 kazuistických sdělení z oboru akutní medicíny [22]. Popis případu, vyšetření a intervence obsahovala většina prací (99 %, 88 % a 80 %). Podobně jako u kazuistiky v RvCH byly pozorovány horší výsledky u diskutování možného zobecnění případu (29 %) nebo limitací publikace včetně možného alternativního postupu (37 %).

V případě spinu se jedná o specifičtější problém vedoucí k mylné interpretaci výsledků. Spin lze identifikovat v kterékoliv části publikace včetně názvu a může k němu dojít nevědomě špatnou formulací nebo záměrně při pokusu oklamat čtenáře s cílem zatraktivnit prezentovaný rukopis [9]. Existuje celá řada strategií, jak spinu dosáhnout. Nejjednodušší je označit hodnocenou novou metodu jako lepší bez ohledu na statistickou analýzu výsledků. Je možné se zaměřit pouze na statisticky signifikantní výsledky bez ohledu na cíle studie (analýza podskupin). Statisticky nesignifikantní výsledky mohou být interpretovány jako ekvivalentní a obě hodnocené metody jako stejně účinné a bezpečné [10]. Výskyt spinu je pochopitelně nejčastěji sledován u prospektivních randomizovaných studií. V prezentovaném souboru původních prací však převládaly observační většinou retrospektivní studie. Spin byl proto vyhledáván pouze v závěru práce a definice zjednodušena. Celkem u 67 % článků obsah závěrečné kapitoly neodpovídal výsledkům. Nejčastěji se jednalo o obecné konstatování, které chybně označovalo hodnocenou metodu za účinnou nebo bezpečnou bez ohledu na to, že nebyl prokázán statisticky významný rozdíl v efektivitě anebo množství komplikací oproti jiné technice. Studie hodnotící 128 nerandomizovaných studií publikovaných v BMC Medical Series identifikovala spin v 84 % případů [23]. Tento výsledek je alarmující, uvážíme-li fakt, že spin byl vyhledáván pouze v textu souhrnu. Autoři obdobně označili jako největší problém kauzální tvrzení v závěru práce, ke kterému nerandomizovaná nebo observační studie většinou neopravňuje.

Mezi limitace této práce patří fakt, že analýza byla provedena pouze jedním pozorovatelem, což mohlo ovlivnit objektivitu výsledků. Hodnocená kritéria byla na druhou stranu poměrně přesně definována, což riziko chyby snížilo. V souboru navíc nebyly hodnoceny žádné z publikací samotného autora. Limitujícím může být i společné hodnocení souhrnu a celého článku textu. Podle doporučení by sám souhrn měl splňovat takřka všechny sledované parametry. Po zhodnocení prvních 40 souhrnů byla však celková kompliance minimální, proto se autor rozhodl analyzovat článek vždy jako celek.

Závěr

Žádná z hodnocených původních prací a kazuistik publikovaných v RvCH neodpovídala z formálního hlediska současným publikačním doporučením. Spin se vyskytoval ve více než 2/3 publikovaných původních prací. Vytvoření konkrétních standardů pro potřeby RvCH by mohlo vést ke zvýšení kvality příspěvků.

Seznam zkratek

CARE Consensus-based Clinical Case Reporting Guideline

CONSORT Consolidated Standards of Reporting Trials

EQUATOR Enhancing the QUAlity and Transparency Of health Research

NÚ Nežádoucí účinky

RvCH Rozhledy v chirurgii

STROBE Strengthening the Reporting of Observational Studies in Epidemiology

Konflikt zájmů

Autor článku prohlašuje, že není v souvislosti se vznikem tohoto článku ve střetu zájmů a že tento článek nebyl publikován v žádném jiném časopise.

MUDr. Ondřej Ryska, Ph.D.

Biskupcova 89

130 00 Praha 3

e-mail: ondrejryska@centrum.cz


Zdroje

1. Simera I, Moher D, Hirst A, et al. Transparent and accurate reporting increases reliability, utility, and impact of your research: reporting guidelines and the EQUATOR Network. BMC Med 2010;8:24.

2. Simera I, Moher D, Hoey J, et al. The EQUATOR Network and reporting guidelines: Helping to achieve high standards in reporting health research studies. Maturitas 2009;63:4–6.

3. Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMC Med 2010;8:18–25.

4. von Elm E, Altman DG, Egger M, et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Ann Intern Med 2007;147:573−7.

5. Gagnier JJ, Kienle G, Altman DG, et al. The CARE guidelines: consensus-based clinical case reporting guideline development. BMJ Case Rep 2013;7:23.

6. Hopewell S, Altman DG, Moher D, et al. Endorsement of the CONSORT Statement by high impact factor medical journals: a survey of journal editors and journal ‚Instructions to Authors‘. Trials 2008;9:20.

7. Smith TA, Kulatilake P, Brown LJ, et al. Do surgery journals insist on reporting by CONSORT and PRISMA? A follow-up survey of “instructions to authors”. Ann Med Surg 2015;4:17–21.

8. Ochodo EA, De Haan MC, Reitsma JB, et al. Overinterpretation and misreporting of diagnostic accuracy studies: evidence of “spin”. Radiology 2013;267:581–8.

9. Fletcher RH, Black B. “Spin” in scientific writing: scientific mischief and legal jeopardy. Med Law 2007;26:511−25.

10. Boutron I, Dutton S, Ravaud P, et al. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA 2010;303:2058–64.

11. Vera-Badillo FE, Shapiro R, Ocana A, et al. Bias in reporting of end points of efficacy and toxicity in randomized, clinical trials for women with breast cancer. Ann Oncol 2013;24:1238–44.

12. Sims MT, Henning NM, Wayant CC. Do emergency medicine journals promote trial registration and adherence to reporting guidelines? A survey of „Instructions for Authors“. Scand J Trauma Resusc Emerg Med 2016;24:137.

13. Ahmed Ali U, van der Sluis PC, Issa Y, et al. Trends in worldwide volume and methodological quality of surgical randomized controlled trials. Ann Surg 2013;258:199−207.

14. Wells CI, Robertson JP, O‘Grady G, et al. Trends in publication of general surgical research in New Zealand, 1996–2015. ANZ J Surg 2016;87:76−9.

15. Knobloch K, Vogt PM. Adherence to CONSORT abstract reporting suggestions in surgical randomized-controlled trials published in Annals of Surgery. Ann Surg 2011;254:546−7.

16. Camm CF, Agha RA, Edison E. CONSORT adherence in journals is still far from perfect. Ann Surg 2015;261:e38.

17. Agha RA, Fowler AJ, Lee SY, et al. Systematic review of the methodological and reporting quality of case series in surgery. Br J Surg 2016;103:1253−8.

18. Moher D, Schulz KF, Simera I et al. Guidance for developers of health research reporting guidelines. PLoS Med 2010;7:e1000217.

19. Turner L, Shamseer L, Altman DG, et al. Consolidated standards of reporting trials (CONSORT) and the completeness of reporting of randomised controlled trials (RCTs) published in medical journals. Cochrane Database Syst Rev 2012;11:MR000030.

20. EQUATOR Network website: Introduction to reporting guidelines. Available from http://www.equator-network.org.

21. Agha RA, Fowler AJ, Limb C, et al. Impact of the mandatory implementation of reporting guidelines on reporting quality in a surgical journal: A before and after study. Int J Surg 2016;30:169−72.

22. Richason TP, Paulson SM, Lowenstein SR, et al. Case reports describing treatments in the emergency medicine literature: missing and misleading information. BMC Emerg Med 2009;9:10−5.

23. Lazarus C, Haneef R, Ravaud P, et al. Classification and prevalence of spin in abstracts of non-randomized studies evaluating an intervention. BMC Med Res Methodol 2015;15:85.

Štítky
Chirurgie všeobecná Ortopedie Urgentní medicína

Článek vyšel v časopise

Rozhledy v chirurgii

Číslo 3

2017 Číslo 3
Nejčtenější tento týden
Nejčtenější v tomto čísle
Kurzy Podcasty Doporučená témata Časopisy
Přihlášení
Zapomenuté heslo

Zadejte e-mailovou adresu, se kterou jste vytvářel(a) účet, budou Vám na ni zaslány informace k nastavení nového hesla.

Přihlášení

Nemáte účet?  Registrujte se