Dlaczego mam problem z badaniami naukowymi?
Zacznijmy od wyjaśnienia: nie mam problemu z nauką. Mam problem z ludźmi, którzy w każdej dyskusji rzucają „pokaż badanie” jak zaklęcie kończące rozmowę. A gdy sami wrzucają coś na podważenie czyjejś teorii, to nie otwierają nawet abstraktu. Bo gdyby otworzyli, zobaczyliby 34 badanych, 8 tygodni, kwestionariusz częstotliwości spożycia i sponsora, który akurat produkuje to, co wyszło skuteczne.
Przejdźmy teraz przez to po kolei.
Badania są trudne do przeprowadzenia
Niech pierwszy rzuci kamieniem, kto nigdy nie skłamał w kwestionariuszu zdrowotnym, nie ukrył przed lekarzem ominięcia dawki leku ani nie zataił przed dietetykiem wieczornej słodkiej przekąski. My sami widzimy to wśród naszych podopiecznych, podobnie jak zaprzyjaźnieni specjaliści, z którymi współpracujemy.
Teoretycznie, w ankiecie stylu życia wszystko wygląda idealnie. W wynikach badań krwi coś jednak mocno się nie zgadza. Dopiero podczas konsultacji, i gdy mocno ciągniemy za język, okazuje się, że trening wcale nie był regularny, sen zaczynał się jednak nieco później, a między posiłkami często wpadał jakiś knopersik.
Właśnie w tym tkwi problem – często takie badania bazują na deklaracji osób badanych. Nie twierdzę, że – jak to mawiał Doktor House – wszyscy kłamią, ale po prostu czasem pamięć jest ulotna i ktoś mógł zapomnieć, że przedwczoraj w biegu chwycił batona, nie chciało mu się pójść na trening albo zarwał nockę, bo wieczorne wyjście ze znajomymi skończyło się w pubie.
Dobór grupy badawczej to jeszcze inny temat. Zwykle nie jest tak, że grupa uczestników jest tak reprezentatywna, jak wymagałoby tego badanie. Ktoś może coś ukryć, o czymś nie wiedzieć albo zapomnieć o ważnym fakcie na temat swojego zdrowia, co skreślałoby go w danym badaniu.
Analiza danych z NHANES, największego amerykańskiego programu badań populacyjnych, pokazała, że większość uczestniczek deklarowała, że je mniej, niż potrzeba do utrzymania ich masy ciała. Jeżeli jadłyby tyle, ile podały w ankiecie, systematycznie chudłyby, a według deklaracji spożywały mniej kalorii niż wynosiła ich podstawowa przemiana materii niezbędna do przeżycia. Papier mówił „1300 kalorii”, a waga wskazywała coś zupełnie innego. Kobiety nie kłamały celowo – często po prostu nie potrafiły odtworzyć z pamięci, co jadły lub po prostu nie były świadome tak dużej kaloryczności niewinnych dodatków w postaci napojów, sosów, czy przekąsek. A właśnie na takim fundamencie stoi znaczna część wytycznych żywieniowych, które potem rzucane są w komentarzach.
Nie da się zaślepić przysiadu
Złoty standard badań naukowych to randomizowane badanie z podwójną ślepą próbą i placebo (RCT). Świetnie. Pokaż mi placebo dla treningu siłowego i jak udajesz, że ćwiczysz. Pokaż zaślepioną grupę kontrolną, która przez rok pości 16 godzin dziennie i nie wie o tym. Pokaż osobę badaną, która nie orientuje się, że od trzech miesięcy codziennie je 180 gramów białka.
W interwencjach stylu życia zaślepienie jest fizycznie niemożliwe, a mimo to dokładnie te obszary są najczęściej rozstrzeliwane argumentem „brak RCT”. Czyli: metodologia, której nie da się zastosować, staje się kryterium wiarygodności dla rzeczy, których nią nie da się zbadać. Wygodne.
Badania są drogie w realizacji
Nie ukrywajmy, że na badania naukowe stać tylko największych producentów leków, suplementów i żywności. Małe ośrodki naukowe, placówki akademickie czy prywatne firmy nie mają budżetu na przeprowadzenie badań, które w opinii ekspertów mogłyby być uznane za rzetelne (randomizowane z podwójną ślepą próbą i placebo). Mogą co najwyżej bazować na badaniach obserwacyjnych (ocena efektywności), które nie dostarczają wartości klinicznej w oczach specjalistów, w przeciwieństwie do badań eksperymentalnych (ocena skuteczności).
Kto płaci, ten wybiera pytanie
Sponsor rzadko fałszuje wyniki. Nie musi. Wystarczy, że wybierze pytanie, dawkę, formę, czas trwania i to, z czym porównuje dany produkt.
Cukrownicza branża w latach sześćdziesiątych sfinansowała przegląd, który przesunął uwagę z cukru na tłuszcze nasycone, a rachunek za tę operację poznaliśmy dekady później. Teraz nikt o tym nie pamięta, a dziś twórcy margaryn mogą robić dokładnie to samo. Producent suplementu przetestuje formę o najlepszej biodostępności, która da lepsze rezultaty badań, a na półce postawi tę tańszą. Badanie omega-3 dostanie placebo z oliwy z oliwek. Placebo ma z założenia nie robić nic, a tu grupa kontrolna dostaje tłuszcz, który sam poprawia profil lipidowy i obniża stan zapalny, czyli dokładnie to, co w badaniu mierzymy. Różnica między grupami topnieje i na koniec wychodzi, że omega-3 nie działa. Porównanie z konkurencją odbędzie się w dawce, w której konkurencja i tak nie działa.
To wszystko mieści się w granicach dobrej metodologii. Żaden recenzent tego nie zatrzyma.
Największe firmy spożywcze nawet się z tym nie kryją. Coca-Cola przez lata finansowała organizację naukową, która przekonywała, że w otyłości chodzi przede wszystkim o zbyt mało ruchu, a nie o to, co pijesz. Rozwiązano ją dopiero wtedy, gdy dziennikarze pokazali przelewy. Producenci słodkich napojów sfinansowali tyle analiz naukowych, że ktoś w końcu je policzył i wyszło, że przegląd opłacony przez branżę kilkukrotnie częściej nie znajduje związku między słodkimi napojami a otyłością. Producenci przekąsek, słodyczy i płatków śniadaniowych finansują badania nad własnymi surowcami, a potem cytują je w materiałach dla dietetyków.
Nikt nie sfinansuje dużego RCT dla okularów blokujących światło niebieskie, lampy na podczerwień czy kołdry obciążeniowej, bo nie da się tego opatentować. Nie mówiąc tu o spacerach, porcjach witaminy D3 albo elektrolitach. Brak badań nad czymś nie jest dowodem, że to nie działa. Jest dowodem na to, że nikt nie widział w tym zwrotu z inwestycji w takie badania.
Metaanaliza to nie wyrocznia
Metaanaliza to zsumowanie wyników wielu wcześniejszych badań w jeden wspólny rezultat. Uchodzi za najmocniejszy dowód, jaki można postawić na stole, bo brzmi poważnie: przeanalizowano czterdzieści badań na dwunastu tysiącach osób. Tyle że metaanaliza nie zbiera żadnych nowych danych. Przelicza cudze. Jeśli wchodzą do niej badania słabej jakości, wyjdzie z niej słaby wynik, tylko w ładniejszym opakowaniu.
Wrzuć do jednego worka badania na różnych formach substancji, w różnych dawkach, na różnych populacjach i o różnym czasie trwania, a dostaniesz uśrednione zero opatrzone bardzo poważnie wyglądającym przedziałem ufności.
Stąd biorą się nagłówki w rodzaju „magnez nie działa”, oparte na pracach z tlenkiem magnezu w dawce dobranej pod względem kosztów. Formy o lepszej przyswajalności nikt nie sprawdził, bo nikomu się to nie opłacało. Wróć do akapitu o pieniądzach.
Jajko zabija w co drugim badaniu
Weź z półki pierwszą lepszą książkę kucharską, otwórz na losowej stronie i wypisz składniki z przepisu. Dwoje badaczy zrobiło dokładnie to i sprawdziło, ile z nich ma w literaturze naukowej przypisany związek z rakiem. Z pięćdziesięciu składników badania miało czterdzieści. Chleb, jajka, mleko, ser, kawa, wino, pomidor, masło, cukier, sól. Dla większości istniały jednocześnie prace mówiące, że składnik ryzyko podnosi, i takie, że je obniża.
Spójrz, jak takie badanie powstaje. Dostajesz kwestionariusz z pytaniem, ile razy w ciągu ostatniego roku jadłeś czerwone mięso. Spróbuj sobie teraz odpowiedzieć uczciwie, choćby za ostatnie dwa tygodnie. Nasi podopieczni potrafią nie pamiętać, co dokładnie jedli przez cały poprzedni dzień. Właśnie taka niedokładna odpowiedź dołącza do modelu razem z kilkoma tysiącami innych i po roku wychodzi z tego ryzyko wyższe o 15%. Nagłówek pisze się sam: mięso zabija. Za dwa lata inny zespół, inne 15% i nagłówek odwrotny. Tym bardziej, że czerwone mięso to surowa wołowina duszona na parze w domu, jak i smażone mięso w burgerze jedzonym na mieście.
Do tego człowiek, który je dużo warzyw, zwykle też nie pali, rusza się, śpi i chodzi na badania kontrolne. Badanie mierzy wpływ brokuła, a widzi rezultat całego stylu życia. Potem to właśnie taki link wkleja Ci ktoś w komentarzu i dopisuje: pokaż Twoje badania.
Publikuje się to, co wyszło
Wynik pozytywny to publikacja i cytowania. Wynik negatywny to szuflada. Ta asymetria sprawia, że literatura naukowa nie jest reprezentatywną próbą rzeczywistości, tylko reprezentatywną próbą tego, co udało się opublikować. Nawet w tych opublikowanych wynikach odrzuca się przypadki, które nie pasują do całości obrazu i tylko wymienia się je na ulotce wśród całej listy działań niepożądanych.
Tak właśnie wygląda arsenał drobnych zabiegów: testowanie kilkunastu punktów końcowych i raportowanie tego jednego, który przekroczył magiczną granicę (p poniżej 0,05). Podział grupy na podgrupy do skutku. Dopisywanie hipotezy po zobaczeniu wyników. Zmiana pierwotnego punktu końcowego w trakcie badania, mimo że został wcześniej zarejestrowany – projekt COMPare pokazał, że robi to zdecydowana większość analizowanych badań w topowych czasopismach.
Nikt tu nikogo nie oszukuje. Wszyscy po prostu chcą mieć publikację.
Kryzys replikacji, o którym fanatyk badań nie chce rozmawiać
Kiedy zespół Amgen próbował powtórzyć 53 przełomowe prace z onkologii, udało się to w sześciu przypadkach. W psychologii powtórzenie stu głośnych eksperymentów dało wynik zbliżony do rzutu monetą. John Ioannidis opublikował w 2005 roku pracę pod tytułem „Dlaczego większość publikowanych wyników badań jest fałszywa” – i jest to jedna z najczęściej cytowanych prac w historii medycyny.
Czyli: najczęściej cytowany tekst mówi, że cytowanym tekstom nie należy ufać. Trudno o lepszy komentarz.
Peer review nie jest tym, za co go bierzesz
Recenzja to dwie-trzy osoby, które w wolnym czasie, za darmo, czytają tekst i sprawdzają, czy trzyma się kupy. Nie mają surowych danych. Nie powtarzają eksperymentu. Nie chodzą do laboratorium.
Fałszerstwa Boldta i Fujiiego przetrwały w literaturze przez setki prac. Sfabrykowane obrazy w badaniach nad amyloidem beta ukierunkowały prace nad chorobą Alzheimera na kilkanaście lat. Wykrywali to zwykle pojedynczy uparci ludzie z internetu, a nie system recenzji. Tak często działają najlepsi dietetycy – szukają niespójności w szeroko cytowanych popularnych badaniach.
Dziś oszustwa naukowe przestały być wybrykiem pojedynczych badaczy i stały się branżą. Fabryki artykułów sprzedają autorstwo na sztuki, dogadują się z redaktorami i przenikają do systemów wydawniczych szanowanych czasopism, żeby ominąć recenzję. Badacze, którzy prześledzili ten proceder, piszą wprost: liczba sfabrykowanych prac rośnie szybciej niż produkcja rzetelnej wiedzy.
Peer review to filtr na oczywiste bzdury, nie certyfikat prawdy.
Istotne statystycznie, czyli nieistotne dla Ciebie
Ulubiony numer nagłówków: „lek obniża ryzyko o 50%”. Zajrzyj do tabeli. Ryzyko spadło z 2 na 1000 do 1 na 1000. Redukcja względna: 50%. Redukcja bezwzględna: 0,1 punktu procentowego. Liczba osób, które trzeba objąć interwencją, żeby jedna odniosła korzyść: tysiąc.
Do tego surogaty. Badanie mierzy cholesterol całkowity, gęstość kości albo poziom innego parametru, bo to szybkie i tanie. Ciebie interesuje, czy będziesz żył dłużej i w sprawności. To nie jest ten sam punkt końcowy, a historia medycyny zna przypadki leków, które pięknie poprawiały jeden marker i jednocześnie zwiększały śmiertelność.
Torcetrapib podnosił „dobry” cholesterol HDL tak spektakularnie, że miał być przełomem dekady. Badanie przerwano, bo w grupie przyjmującej lek umierało więcej osób niż w grupie placebo. Leki antyarytmiczne podawane po zawale porządkowały zapis EKG dokładnie tak, jak chcieli kardiolodzy, a w badaniu CAST okazało się, że zwiększają liczbę zgonów. Marker wyglądał wzorowo. Pacjenci mniej.
Średni człowiek nie istnieje
RCT daje odpowiedź na pytanie, co dzieje się średnio w grupie. Ty nie jesteś grupą.
Badanie rekrutuje zdrowych mężczyzn 20-35 lat, bez chorób współistniejących, bez leków, bez nadwagi. Potem wnioski są stosowane wobec 58-letniej kobiety po menopauzie, przyjmującej trzy leki, z insulinoopornością i pracą zmianową. Taka osoba zostałaby z tego badania wykluczona już na etapie rekrutacji.
Kiedy Zeevi i wspólnicy podali tę samą porcję chleba kilkuset osobom, glikemia poszybowała u jednych, a praktycznie nie drgnęła u innych. Średnia z tego wykresu opisuje dokładnie nikogo.
Suplement lub lek, który w uśrednieniu nie działa, potrafi świetnie działać u jednej trzeciej badanych i szkodzić innej trzeciej. Uśrednianie zjada tę informację i nikt jej już nie odzyska. Wynik badania brzmi wtedy „bez istotnego wpływu”, choć ponad połowa uczestników coś poczuła.
Brak dowodu to nie dowód braku
Ulubiony chwyt fanatyków badań: „nie ma badań, więc to nie działa”. Tyle że nikt nigdy nie sprawdził w porządnym badaniu, czy spadochron chroni przy skoku z samolotu. Nikt też nie zgłosi się do grupy, która dostanie pusty plecak.
W 2018 roku grupa badaczy postanowiła to nadrobić. Zebrali dwadzieścia kilka osób, połowie dali spadochron, połowie pusty plecak i kazali wszystkim wyskoczyć z samolotu. Samolot stał na płycie lotniska. Nikomu nic się nie stało, a wniosek był formalnie bez zarzutu: spadochron nie daje żadnej przewagi nad pustym plecakiem.
Metodologia wzorowa, wynik do wyrzucenia. O tym, co wyjdzie z badania, decyduje najpierw to, kogo i w jakich warunkach się bada.
„Nie mamy dowodów” i „mamy dowody, że nie” to dwa zupełnie różne zdania. Fanatyk badań używa ich wymiennie i na tym polega cały jego problem. Do tego dochodzi arytmetyka: od pojawienia się solidnego dowodu do jego wejścia do codziennej praktyki mija średnio kilkanaście lat. Ktoś w tym czasie musi pracować z podopiecznymi, którzy mają problem dzisiaj.
Na końcu i tak liczy się praktyka
Nazywam się Kamil Lelonek i w branży zdrowotnej działam komercyjnie od 2015 roku. Wcześniej robiłem to hobbystycznie. Przez ten czas ukończyłem kilkanaście szkoleń, uczestniczyłem w kilkunastu konferencjach, przeczytałem dziesiątki książek i setki badań oraz pracowałem z ponad 700 podopiecznymi w praktyce. Poznałem wszystkie obozy, od wege, przez paleo i high carb, po carnivore. Spotkałem ludzi z różnych światów, rozmawiałem z tymi, którzy mają zupełnie inne podejście i uczyłem się od tych, którzy działają na tym rynku dłużej, niż ja żyję.
Czy jestem nieomylny? Z pewnością nie. Czy uważam się za eksperta? Cóż, jeszcze wiele muszę się nauczyć. Czy jestem skuteczny? Tak, chociaż nie w 100%.
Pozostaję otwarty na różne poglądy, a jednocześnie sam mam wiele ugruntowanych opinii bazujących na latach doświadczenia i własnej praktyki. Szanuję zdanie innych, mimo że mogę się z nim nie zgadzać, tak długo, jak ktoś pozostaje skuteczny. Nie wchodzę jednak w wojenki instagramowe, wyśmiewanie na TikToku i hejtowanie w komentarzach.
Nie twierdzę, że badania są bezwartościowe, bo bez nich zostaje anegdota. Publikacja nie jest jednak wyrocznią, tylko jednym z argumentów, który trzeba przeczytać w całości, a dowody czyta się razem z praktyką. Róbmy swoje – rezultaty dadzą dowód skuteczności.
Polecane produkty
Treść ma charakter edukacyjny i nie zastępuje porady lekarskiej. Przed wprowadzeniem zmian w odżywianiu, suplementacji lub stylu życia – zwłaszcza przy stosowaniu farmakoterapii, w ciąży, w okresie karmienia, u dzieci i osób z chorobami przewlekłymi – skonsultuj się z lekarzem prowadzącym.
Udostępnij na
Polecane produkty
Skomentuj