‘Ερευνα: Μία καθόλου απλή ιστορία

Μετά την τελευταία αρνητική δημοσιότητα γύρω από τις δημοσκοπήσεις και τα exit polls των ευρωεκλογών, θυμήθηκα ένα πολύ ενδιαφέρον άρθρο του Scott Keeter, Director of Survey Research του Pew Research Center, με τίτλο «New Tricks for Old-and New-Dogs».

Οι έρευνες κοινής γνώμης, ποσοτικές και ποιοτικές είναι βασικό εργαλείο στο χώρο της επικοινωνίας και ειδικά στην πολιτική επικοινωνία οι –γνήσιες φυσικά – δημοσκοπήσεις είναι κύριο εργαλείο για τη χάραξη στρατηγικής.
Mε την διευρυνόμενη όμως χρήση νέων τεχνολογιών και κυρίως τις ευρύτερες αλλαγές του τρόπου ζωής,  οι μεθοδολογίες αλλάζουν και καλούνται να προσαρμοστούν στις νέες συνήθειες του πολίτη/καταναλωτή.  Στο άρθρο καταγράφονται πολύ διεξοδικά μερικά προβλήματα. Φυσικά αφορά τους τρόπους που η εταιρία κάνει έρευνες στις ΗΠΑ, αλλά πολλά από αυτά που επισημαίνει έχουν σημασία και για μας εδώ. Μερικά ενδιαφέροντα σημεία:

  • Η κλασσική ποσοτική έρευνα τυχαίου δείγματος (field research), παρουσιάζει προβλήματα λόγω μείωσης του ποσοστού ανταπόκρισης (ή αλλιώς αύξηση στα ποσοστά αρνήσεων). Οι πολίτες εμφανίζονται διστακτικοί να απαντήσουν, είναι πιο πολυάσχολοι και πιο ανήσυχοι σχετικά με θέματα ιδιωτικότητας και «εκνευρισμένοι» με την αύξηση των ερευνητών που τους χτυπoύν την πόρτα.  Η Pew αναφέρει ενδείξεις μείωσης της ανταπόκρισης από το 72% το 1979, στο 15-25% σήμερα.
  • Δεύτερο πρόβλημα είναι η αύξηση του ποσοστού των ερωτώμενων που δεν είναι προσβάσιμοι σε σταθερό τηλέφωνο, αλλά μόνο σε κινητό. Η εταιρία υπολογίζει ότι ένα 20% του πληθυσμού έχει μόνο κινητό και αυξάνεται με ρυθμό 2% κάθε 6 μήνες, ειδικότερα στις ηλικίες 18-29. Μέχρι στιγμής, το γεγονός αυτό δεν επηρεάζει ιδιαίτερα την αξιοπιστία των αποτελεσμάτων – αν και σταδιακά θα γίνει κι αυτό – αλλά επηρεάζει αρνητικά το κόστος των ερευνών (περίπου διπλάσιο). Στο άρθρο επισημαίνεται ότι στις αμερικανικές προεδρικές εκλογές, αν οι έρευνες είχαν γίνει μόνο σε δείγμα ατόμων με κινητό, τότε θα είχε προβλεφθεί μικρότερο προβάδισμα για τον Obama.
  • Στο επίμαχο θέμα των ερευνών online: Έχουν σαφές πλεονέκτημα σε κόστος (δεν χρειάζεται ερευνητής) και στη δυνατότητα ένταξης οπτικοακουστικού υλικού στο ερωτηματολόγιο. Το πρόβλημα φυσικά είναι η δειγματοληψία και η εταιρία αναφέρει τις αξιόλογες προσπάθειες της εταιρίας Knowledge Networks η οποία έχει στρατολογήσει ένα δείγμα νοικοκυριών (online panel) μέσω τηλεφωνικής έρευνας, δίνοντας ταυτόχρονα πρόσβαση στο ίντερνετ σε όσα δεν έχουν. Ακόμα κι αυτή η μέθοδος όμως υποφέρει από παρόμοια προβλήματα όπως η χαμηλή ανταπόκριση, η ατελής κάλυψη του πληθυσμού αλλά και τα συνηθισμένα προβλήματα των πάνελς, όπως η συνήθεια και η «φθορά». Σε γενικές γραμμές φαίνεται ότι υπάρχουν σοβαρά προβλήματα και η Procter and Gamble αναφέρεται σαν παράδειγμα δυσαρεστημένου πελάτη από την ποιότητα και αξιοπιστία των ερευνών αυτών. Μεθοδολογικά, η Pew εμφανίζεται σκεπτική για το κατά πόσο μπορείς να εξάγεις συμπεράσματα γενικού πληθυσμού από online έρευνες, μία εύλογη ανησυχία.
  • Το άρθρο επισημαίνει επίσης την ευρύτερη διάσταση του «τι σημαίνει ακριβώς μαζικό κοινό» σήμερα, στην εποχή των πολλών niche segments. Αναφέρεται στο γεγονός ότι υψηλός κατακερματισμός του κοινού δεν έχει συμβεί ακόμα δεδομένης της δύναμης της τηλεόρασης για παράδειγμα. Το πρόβλημα είναι τα μηνύματα που διαχέονται πια σε πολλαπλά μέσα.  Τον Δεκέμβριο του 2008 για πρώτη φορά το ιντερνετ ξεπέρασε τις εφημερίδες σαν κύριο μέσο ενημέρωσης. Που ίσως εξηγεί και τα προβλήματα των εφημερίδων. Βέβαια αν δούμε αθροιστικά πόσοι διαβάζουν τη «χάρτινη» εφημερίδα (30%) με την online έκδοσή της (14%), τότε το άθροισμα –χωρίς διπλοκαλύψεις- είναι 39% και η πτώση της αναγνωσιμότητας είναι μόνο 4% στην προηγούμενη διετία. Στις ηλικίες 18-29, το άθροισμα αυτό πλησιάζει την τηλεόραση (βλ. διάγραμμα κάτω). Και τα 2/3 των νέων δεν έρχονται από την «μπροστινή πόρτα» αλλά την «πλαινή» δηλ. μέσω blogs, emails κλπ. Όσον αφορά στην τηλεόραση, σε μια χώρα με ευρυζωνική διείσδυση 56%, πολλοί βλέπουν τηλεόραση οnline. Πχ το 45% των 18-29 βλέπει TV online κάποιες φορές ενώ τα 2/3 είδε προεκλογικά βίντεο οnline.

PEW-newsmedium

Τα προβλήματα λοιπόν σε μία έρευνα ερωτηματολογίου είναι πολλά δεδομένου ότι κάποιος που καταναλώνει με τόσους τρόπους ειδήσεις και πληροφορίες δεν είναι σίγουρο ότι θυμάται σωστά τι είδε, που και πως.

Για αυτό το λόγο, νέες μέθοδοι και τρόποι αναπτύσσονται όπως για παράδειγμα τα people meters της Arbitron, που είναι μικρές συσκευές που κάποιος έχει πάντα μαζί του και μεταδίδει αυτόματα πληροφορίες για το τι ραδιοσταθμούς ακούει. Αναμενόμενα προβλήματα κι εδώ με την ποιότητα του δείγματος, αντιπροσωπευτικότητα κλπ.  Η TiVo (digital video recorder) μπορεί να βλέπει τι προγράμματα παρακολουθεί κάποιος, ποιες διαφημίσεις κ.α.  Η Comscore αφού στρατολογήσει ένα δείγμα, τοποθετεί ένα πρόγραμμα στο PC του χρήστη και αυτό στέλνει online την συμπεριφορά περιήγησής του στο internet.

Εάν κάποιος συνδυάσει παρόμοιες πληροφορίες με στοιχεία και δεδομένα που υπάρχουν παντού (πιστωτικές κάρτες, databases πολιτικών κομμάτων κλπ), τότε εύκολα βλέπει ότι χρειάζεσαι υψηλού επιπέδου data mining skills για να εξάγεις χρήσιμα συμπεράσματα. Και βέβαια ο αρθρογράφος επισημαίνει πολύ σωστά το γεγονός ότι ακαδημαϊκοί και μη-κερδοσκοπικοί οργανισμοί δεν έχουν καμία πρόσβαση σε όλο αυτό το πολύτιμο υλικό.

Και κλείνω: Μήπως να αναλάβουν οι εταιρίες ερευνών να ασχοληθούν λίγο πιο σοβαρά με τη μεθοδολογική συζήτηση αντί να τσακώνονται δημοσίως με τα μέσα για το ποιος είχε το καλύτερο exit poll?

Monitor the American Presidential elections online

Where to go, which internet sources to follow in order to monitor the most internet heavy and savvy elections in history. By the way, to back this up, Pew Research has found that although television remains the dominant source of election news (although losing share of attention by 4%), the internet has tripled its significance since October 2004 (from 10% to 33% today) on a par with newspapers. Not surprisingly, the picture is different to the younger age groups (18-29 y.o.) where TV still comes first but three times as many mention the internet over newspapers as a main source of election news (49% vs.17%). The findings are here. Anyhow, here is my proposed list of internet sources which a lot of you may know already of course.

  • If you only need one single source, you can’t go wrong with the Perspctv, which aggregates mainstream and user-generated media. Polls, electoral maps, constantly updated news items, blog posts, diggs and tweets (watch them changing before your eyes) and many more in an impressive no gimmicks but user-friendly single entry point. See how Obama holds a decisive lead in every internet-related buzz factor, namely twitter mentions, blogosphere mentions, google search volume etc. The big next-day question here is of course how far will this buzz translate into actual votes (no doubt many books and articles are waiting in the printing press for this million dollar question).

  • A different kind of analysis made by PresidentialWatch08 is particularly interesting, since it tracks the internet share of voice for the two candidates. The researchers say that it may be a loose predictor of the final result, since in the case of the French presidential elections it yielded up to 1% accurate data in the days prior to the first round and those figures were almost identical with the actual ballot results. They admit of course that they do not yet propose this as a valid statistical model but as an indication. Nevertheless for the month of October, the result is 57,8% for Obama and 42,2% for McCain.

Early warning on the Bradley effect?

Almost 1 in 5 (21%) of american voters – whites or blacks, irrespective of age and gender – say that they know of somebody who will NOT vote for Obama because he is black! Particularly so, those that will vote for Obama compared to the ones that say will vote for McCain.  Could this be a sign of the now infamous Bradley effect? The finding is by the Pew Research Center.  (click to link to report) 

Αν δεν ξέρετε με ποιόν πολιτικό ταυτίζεστε.

To Glassbooth είναι ένα site στο οποίο ο πολίτης μπορεί να δει με ποιόν υποψήφιο στις Αμερικανικές προεδρικές εκλογές ταυτίζεται ή απλά συμφωνεί περισσότερο.

Επιλέγοντας ποιά από 14 διαφορετικά θέματα σε “εκπροσωπούν” περισσότερο (πχ Ιράκ, όπλα, αμβλώσεις, περιβάλλον, οικονομία κλπ)  μοιράζεις 20 συνολικά βαθμούς βαρύτητας στο καθένα. Στο επόμενο στάδιο, απαντάς μία σειρά από ερωτήσεις για το κάθε θέμα, που ανιχνεύουν τα πιστεύω σου. Στο τέλος, με βάση αυτά που υπέβαλλες, βλέπεις ποιός πολιτικός ταυτίζεται περισσότερο με σένα με βάση – προφανώς – τις επίσημες θέσεις του. Ο λόγος που αναφέρω πρώτο αυτό το site είναι κυρίως γιατί έχει ένα εξαιρετικό user interface, κάτι που συχνά παραβλέπεται και εξακολουθεί να είναι πλεονέκτημα των αμερικανών. Γι αυτό έχει και υψηλό funfactor (δοκιμάστε το). Το καλό user interface δεν είναι πολυτέλεια, σχετίζεται άμεσα με την “δημοκρατικότητα” του μέσου. Ένας τόπος που δεν είναι εύκολα “προσβάσιμος” ή απωθεί, δεν πετυχαίνει citizen involvement και προφανώς δεν πετυχαίνει το στόχο του ανεξάρτητα από τις καλές προθέσεις ή την back-end τεχνική του αρτιότητα.

Continue reading