Πώς να διαβάζετε κριτικά μια επιστημονική μελέτη για την κάνναβη

Πρακτικός οδηγός για να αξιολογείτε μια επιστημονική μελέτη για την κάνναβη: peer review, μέγεθος δείγματος, ιεραρχία δεδομένων, συγκρούσεις συμφερόντων και τι κρύβεται πέρα από την περίληψη.

«Νέα μελέτη αποδεικνύει ότι...» Ο τίτλος είναι γνώριμος. Τον συναντάμε σχεδόν καθημερινά, και ειδικά γύρω από την κάνναβη, όπου κάθε νέα έρευνα ερμηνεύεται γρήγορα από τη μία ή την άλλη πλευρά. Το πρόβλημα είναι ότι όχι όλες οι μελέτες είναι ίσης αξίας, και ένας δυνατός τίτλος δεν σημαίνει δυνατά στοιχεία. Ο παρακάτω οδηγός δείχνει, βήμα προς βήμα, πώς να διαβάζετε μια επιστημονική μελέτη με κριτικό μάτι, χωρίς να χρειάζεστε πτυχίο.

Αυτό δεν παίρνει περισσότερο από 5 λεπτά ανά μελέτη μόλις το συνηθίσετε. Δεν χρειάζεται να γίνετε μεθοδολόγοι. Χρειάζεται μόνο να μάθετε πού να κοιτάτε και ποιες ερωτήσεις να κάνετε, με τη σειρά. Οι περισσότερες παραπλανητικές αναγνώσεις δεν προκύπτουν από κακοπιστία, αλλά από το ότι κανείς δεν προχώρησε πέρα από τον τίτλο.

Βήμα 1: Δείτε ποιος και πού τη δημοσίευσε

Πριν φτάσετε στα συμπεράσματα, κοιτάξτε το πλαίσιο. Η μελέτη δημοσιεύτηκε σε επιστημονικό περιοδικό με κριτική αξιολόγηση από ομοτίμους, αυτό που λέμε peer review; Αυτή η διαδικασία, όπου άλλοι ειδικοί ελέγχουν την εργασία πριν δημοσιευτεί, δεν εγγυάται την αλήθεια, αλλά φιλτράρει πολλά προφανή λάθη.

Έχει ενδιαφέρον ότι η ίδια η αξιολόγηση κάνει τους συγγραφείς πιο ειλικρινείς. Σε μία ανάλυση χειρογράφων πριν και μετά το peer review, οι αναφορές στους περιορισμούς μιας μελέτης αυξήθηκαν κατά μέσο όρο από περίπου 2,5 φορές σε σχεδόν 4 φορές ανά εργασία, ενώ ένα μέρος των κειμένων που αρχικά δεν παραδεχόταν κανέναν περιορισμό απέκτησε τουλάχιστον έναν μετά τον έλεγχο. Με άλλα λόγια, η διαδικασία δεν είναι τελετουργία· αφήνει ίχνη στο τελικό κείμενο.

Προσοχή στις περιπτώσεις όπου ένα εύρημα κυκλοφορεί ευρέως ενώ προέρχεται από ανακοίνωση συνεδρίου, από προδημοσίευση χωρίς έλεγχο (preprint) ή από πηγή που δεν αναφέρεται καθόλου. Η απουσία αξιολόγησης δεν σημαίνει ότι το εύρημα είναι λάθος, σημαίνει όμως ότι πρέπει να το αντιμετωπίσετε με μεγαλύτερη επιφύλαξη. Η ίδια λογική ισχύει και όταν αξιολογείτε όχι τη μελέτη αλλά τη δημοσιογραφική της μεταφορά, κάτι που εξετάζεται ξεχωριστά στον πρακτικό οδηγό αξιολόγησης μιας είδησης για την κάνναβη.

Βήμα 2: Κοιτάξτε το μέγεθος και το είδος του δείγματος

Πόσοι άνθρωποι συμμετείχαν; Αυτό είναι ίσως το πιο απλό και το πιο αποκαλυπτικό ερώτημα. Μια μελέτη σε 12 άτομα μπορεί να είναι ενδιαφέρουσα ως αρχική ένδειξη, αλλά δεν αρκεί για να βγάλει κανείς γενικά συμπεράσματα για έναν ολόκληρο πληθυσμό.

Όσο μεγαλύτερο και πιο αντιπροσωπευτικό το δείγμα, τόσο πιο αξιόπιστα τα αποτελέσματα. Προσέξτε επίσης ποιοι ήταν οι συμμετέχοντες. Ένα εύρημα σε νεαρούς υγιείς εθελοντές δεν μεταφέρεται αυτόματα σε ηλικιωμένους ασθενείς με χρόνιες παθήσεις. Το ποιον μελέτησε η έρευνα καθορίζει για ποιον ισχύει.

Εξίσου σημαντικό είναι το πού έγινε η μελέτη. Ένα πείραμα σε κύτταρα σε τρυβλίο ή σε ποντίκια απέχει πολύ από μια δοκιμή σε ανθρώπους. Τα προκλινικά ευρήματα είναι χρήσιμα ως πρώτο βήμα, αλλά δεν προδικάζουν τι θα συμβεί στο ανθρώπινο σώμα. Όταν ένας τίτλος για την κάνναβη παρουσιάζει ένα εργαστηριακό αποτέλεσμα σαν να αφορά ήδη τους ασθενείς, έχει κάνει ένα άλμα που η ίδια η έρευνα δεν δικαιολογεί.

Το μέγεθος και το είδος του δείγματος κρύβονται στη μεθοδολογία, όχι στον τίτλο.

Βήμα 3: Καταλάβετε την ιεραρχία των δεδομένων

Δεν είναι όλες οι μελέτες ίσης βαρύτητας, και υπάρχει ένας λόγος γι' αυτό. Η επιστήμη χρησιμοποιεί μια άτυπη ιεραρχία των δεδομένων που κατατάσσει τους τύπους έρευνας ανάλογα με το πόσο εύκολα μπορεί να τους ξεγελάσει ένα συστηματικό σφάλμα.

Πολύ απλοποιημένα, από τα πιο αδύναμα προς τα πιο ισχυρά:

Αυτή η κατάταξη δεν είναι άκαμπτος κανόνας· μια καλοσχεδιασμένη μελέτη παρατήρησης μπορεί να αξίζει περισσότερο από μια κακή δοκιμή. Σας δίνει όμως ένα γρήγορο μέτρο. Όταν ακούτε ότι «μια μελέτη έδειξε», η πρώτη χρήσιμη ερώτηση είναι: τι είδους μελέτη; Μία και μόνη μικρή έρευνα με 30 άτομα στην κορυφή του τίτλου σπάνια αξίζει όσο μια ανασκόπηση που συνθέτει δεκάδες μελέτες μαζί.

Βήμα 4: Ξεχωρίστε τη συσχέτιση από την αιτιότητα

Εδώ κρύβεται η πιο συχνή παγίδα. Το ότι δύο πράγματα εμφανίζονται μαζί δεν σημαίνει ότι το ένα προκαλεί το άλλο. Μια μελέτη μπορεί να βρει ότι όσοι κάνουν κάτι τείνουν να έχουν και κάποιο άλλο χαρακτηριστικό, αλλά αυτό δεν αποδεικνύει ποιο προκαλεί ποιο, ούτε αν κάποιος τρίτος παράγοντας ευθύνεται και για τα δύο.

Όταν μια έρευνα απλώς παρατηρεί έναν πληθυσμό, μιλάμε για συσχέτιση. Για να μιλήσουμε με ασφάλεια για αιτιότητα, χρειάζονται συνήθως πιο αυστηρά σχεδιασμένες μελέτες, με ομάδα ελέγχου και τυχαιοποίηση. Αν ένας τίτλος λέει «προκαλεί» ενώ η μελέτη απλώς «συσχετίζει», ο τίτλος προτρέχει.

Πάρτε ένα συγκεκριμένο παράδειγμα. Έστω μια μελέτη βρίσκει ότι οι χρήστες ενός προϊόντος αναφέρουν λιγότερο πόνο. Σημαίνει ότι το προϊόν μειώνει τον πόνο; Ίσως. Ή ίσως όσοι ένιωθαν ήδη καλύτερα ήταν πιο πρόθυμοι να το δοκιμάσουν, ή περίμεναν όφελος και το βίωσαν λόγω placebo. Η ίδια παρατήρηση συμβατή με τρεις διαφορετικές εξηγήσεις, και μόνο μία αφορά πραγματική δράση.

Στην κάνναβη ειδικά, αυτή η σύγχυση τροφοδοτεί και τις δύο πλευρές: άλλοι «αποδεικνύουν» όφελος και άλλοι «αποδεικνύουν» βλάβη, ξεκινώντας από δεδομένα που το μόνο που δείχνουν είναι μια συνύπαρξη.

Βήμα 5: Ψάξτε τη σύγκρουση συμφερόντων

Ποιος χρηματοδότησε την έρευνα; Η ερώτηση δεν είναι κυνική, είναι απαραίτητη. Συστηματικές ανασκοπήσεις έχουν βρει ότι οι μελέτες φαρμάκων χρηματοδοτημένες από τη βιομηχανία καταλήγουν σε ευνοϊκό αποτέλεσμα για τον χρηματοδότη περίπου στο 78% των περιπτώσεων, έναντι μόλις 48% στις ανεξάρτητα χρηματοδοτημένες δοκιμές. Μια μελέτη χρηματοδοτημένη από μια εταιρεία που πουλά το προϊόν το οποίο εξετάζεται δεν είναι αυτομάτως άκυρη, αλλά απαιτεί επιπλέον προσοχή. Το ίδιο ισχύει αντίστροφα: έρευνα από φορέα με δεδηλωμένη αντίθεση στην κάνναβη μπορεί επίσης να φέρει μια προδιάθεση.

Υπάρχει και ένα δεύτερο, λιγότερο γνωστό μοτίβο: οι δοκιμές χρηματοδοτημένες από τη βιομηχανία δημοσιεύονται μέσα σε 2 χρόνια από την ολοκλήρωσή τους πολύ πιο σπάνια από τις κρατικές ή μη κερδοσκοπικές, ένδειξη ότι τα δυσάρεστα αποτελέσματα μερικές φορές απλώς καθυστερούν να βγουν στο φως. Τα σοβαρά περιοδικά απαιτούν από τους συγγραφείς να δηλώνουν τις πηγές χρηματοδότησης και τυχόν συγκρούσεις συμφερόντων. Αυτή η δήλωση βρίσκεται συνήθως στο τέλος της εργασίας, σε ενότητες με τίτλους όπως «Funding» ή «Conflicts of interest». Διαβάστε την. Δεν ακυρώνει το εύρημα, αλλά σας βοηθά να καταλάβετε από ποια σκοπιά γράφτηκε.

Η δήλωση χρηματοδότησης βρίσκεται συνήθως στο τέλος της εργασίας. Αξίζει να τη διαβάσετε.

Βήμα 6: Διαβάστε πέρα από την περίληψη

Η περίληψη μιας μελέτης γράφεται για να συνοψίζει, και πολλές φορές τονίζει τα θετικά. Τα ενδιαφέροντα όμως κρύβονται στο κυρίως κείμενο, και ειδικά στην ενότητα των περιορισμών. Σχεδόν κάθε έντιμη μελέτη παραδέχεται τι δεν μπόρεσε να δείξει.

Αναζητήστε αυτές τις παραδοχές. Αν οι ίδιοι οι ερευνητές γράφουν ότι χρειάζεται περισσότερη έρευνα ή ότι τα αποτελέσματα είναι προκαταρκτικά, τότε οποιοσδήποτε τίτλος μιλά για οριστική απόδειξη παραποιεί την πραγματικότητα. Η επιστήμη προχωρά με επιφυλάξεις, και αυτές οι επιφυλάξεις είναι μέρος της αξίας της, όχι αδυναμία της.

Δύο πρακτικές λεπτομέρειες ακόμη. Πρώτον, κοιτάξτε αν η διαφορά που βρέθηκε είναι όντως σημαντική στην πράξη ή απλώς «στατιστικά σημαντική»: το συνηθισμένο κατώφλι είναι μια πιθανότητα τύχης κάτω από 5% (το γνωστό p<0,05), κάτι που μια μικρή αλλαγή σε μια κλίμακα πόνου μπορεί εύκολα να περάσει ενώ παραμένει αδιάφορη για τον ίδιο τον ασθενή. Δεύτερον, δείτε αν τα συμπεράσματα στη συζήτηση αντιστοιχούν σε αυτό που πραγματικά μετρήθηκε στα αποτελέσματα, ή αν έχουν διογκωθεί στην πορεία.

Μια μικρή λίστα για το χέρι σας

Δεν χρειάζεται να τα θυμάστε όλα. Πριν εμπιστευτείτε ένα εύρημα, περάστε το από αυτές τις ερωτήσεις:

• Δημοσιεύτηκε σε περιοδικό με peer review ή κυκλοφορεί χωρίς έλεγχο;
• Πόσοι συμμετείχαν και ποιοι ήταν;
• Πρόκειται για ανθρώπους ή για προκλινικά ευρήματα σε ζώα και κύτταρα;
• Μιλάει για συσχέτιση ή για αιτιότητα;
• Ποιος τη χρηματοδότησε;
• Τι παραδέχονται οι ίδιοι οι συγγραφείς ότι δεν ξέρουν;

Όσες περισσότερες ερωτήσεις μένουν αναπάντητες, τόσο πιο επιφυλακτικά αξίζει να διαβάσετε το εύρημα.

Το κριτικό βλέμμα είναι δεξιότητα

Δεν χρειάζεται να γίνετε ερευνητές για να διαβάζετε μια μελέτη με σύνεση. Αρκεί η συνήθεια να σταματάτε στον τίτλο και να κάνετε λίγες ερωτήσεις πριν σχηματίσετε γνώμη. Είναι μια δεξιότητα που χτίζεται με την επανάληψη, όχι ένα ταλέντο που το έχει κανείς ή όχι.

Σε ένα πεδίο όπως η κάνναβη, όπου τα ευρήματα στρατολογούνται συνεχώς από τη μία ή την άλλη πλευρά, αυτό το κριτικό βλέμμα είναι η καλύτερη άμυνα απέναντι στην παραπληροφόρηση. Δείτε το και αντίστροφα: αν αξιολογείτε προσεκτικά μια έρευνα πριν την πιστέψετε ή τη μοιραστείτε, ήδη συμβάλλετε σε μια πιο νηφάλια δημόσια συζήτηση. Πώς γίνεται αυτό στην πράξη, με σεβασμό και επιχειρήματα αντί για συνθήματα, το δείχνει ο οδηγός για τους τρόπους να συμβάλετε εποικοδομητικά στη συζήτηση. Μια καλή μελέτη αντέχει στην εξέταση. Αυτό ακριβώς θέλουμε να βρούμε.