Blog di Krugman
Argento sporco (23 marzo 2014)
Mar 23, 10:48 am
Tarnished Silver
Timothy Egan joins the chorus of those dismayed by Nate Silver’s new FiveThirtyEight. I’m sorry, but I have to agree: so far it looks like something between a disappointment and a disaster.
But I’d argue that many of the critics are getting the problem wrong. It’s not the reliance on data; numbers can be good, and can even be revelatory. But data never tell a story on their own. They need to be viewed through the lens of some kind of model, and it’s very important to do your best to get a good model. And that usually means turning to experts in whatever field you’re addressing.
Unfortunately, Silver seems to have taken the wrong lesson from his election-forecasting success. In that case, he pitted his statistical approach against campaign-narrative pundits, who turned out to know approximately nothing. What he seems to have concluded is that there are no experts anywhere, that a smart data analyst can and should ignore all that.
But not all fields are like that — in fact, even political analysis isn’t like that, if you talk to political scientists instead of political reporters. So, for example, before glancing at some correlation and asserting causation, you really should talk to the researchers.
Similarly, climate science has been developed by many careful researchers who are every bit as good at data analysis as Silver, and know the physics too, so ignoring them and hiring a known irresponsible skeptic to cover the field is a very good way to discredit your enterprise. Economists work hard on the data; on the whole you’re going to do better by tracking their research than by trying to roll your own, and you should be very wary if your analysis runs counter to what a lot of professionals say.
Basically, it looks as if Silver is working from the premise that the supposed experts in every field are just like the political analysts at Politico, and that there is no real expertise he needs to take on board. If he doesn’t change that premise, his enterprise is going to run aground very fast.
Argento sporco [1]
Timothy Egan si aggiunge al coro di coloro che sono smarriti dinanzi al nuovo FiveThirtyEight di Nate Silver. Sono spiacente, ma devo convenire: sinora assomiglia ad una via di mezzo tra una delusione ed un disastro.
Ma direi che molti critici stanno ponendo il problema nel modo sbagliato. Non si tratta di basarsi troppo su dati; i numeri possono essere una buona cosa e possono persino essere rivelatori. Ma i dati non ci raccontano mai una storia da soli. Hanno bisogno di essere scrutati attraverso le lenti di un modello di qualche genere, ed è molto importante fare del proprio meglio per scegliere un buon modello. E questo normalmente significa rivolgersi ad esperti, in qualsiasi campo vi stiate impegnando.
Sfortunatamente, Silver sembra aver capito in modo sbagliato la lezione derivante dal suo successo nelle previsioni elettorali [2]. In quel caso, egli lanciò il suo approccio statistico contro la storia della campagna elettorale raccontata dai commentatori, che si scoprì non ne sapevano più o meno niente. Egli sembra averne dedotto che non ci sono esperti da nessuna parte, che un intelligente analista di statistiche possa e debba ignorarli tutti.
Ma non tutte le discipline sono come quella – di fatto neanche l’analisi politica è come quella, se si parla con scienziati della politiche anziché con cronisti politici. Così, per esempio, prima di dare un’occhiata a qualche correlazione e di asserire una causa, sarebbe davvero meglio parlarne con dei ricercatori.
In modo simile, la scienza climatica è stata sviluppata da molti scrupolosi ricercatori e sono altrettanto bravi nell’analisi dei dati di Silver, e conoscono anche la fisica, dunque ignorarli ed assumere un noto scettico irresponsabile per coprire quel settore è un ottimo modo per screditare l’impresa.
Gli economisti lavorano duramente sui dati; nel complesso siete destinati a far meglio seguendo le loro ricerche piuttosto che cercando di muovervi per vostro conto, e dovreste essere molto cauti se la vostra analisi va contro quello che dicono molti professionisti.
Fondamentalmente, sembra che Silver stia lavorando sulla premessa che i presunti esperti in ogni disciplina siano esattamente come gli analisti politici di Politico [3], e che non ci sia alcuna vera esperienza della quale ha bisogno nella sua impresa. Se non cambia quella premessa, quell’impresa è destinata ad arenarsi in breve tempo.
[1] Il post torna sul tema della delusione provocata dalla prima uscita del tanto atteso nuovo blog di Nate Silver (vedi i post precedenti del 18 marzo). Ovviamente, il titolo è un gioco di parole, perché il cognome del giovane blogger significa Argento.
[2] Nell’autunno del 2012, Nate Silver ebbe molto apprezzamento da parte di Krugman, quando lavorava al New York Times e si occupava di previsioni elettorali nella campagna presidenziale. Silver aveva correttamente previsto il notevole vantaggio che i sondaggi indicavano a favore di Obama, e questo l’aveva posto al centro di una campagna assai aggressiva da parte della destra. Krugman in quell’epoca scrisse frequentemente sul tema, sia per sostenere la logicità delle previsioni di Silver, sia per esaminare il significato più profondo dell’atteggiamento “negazionista” dei Repubblicani che non potevano credere ala sconfitta imminente di Mitt Romney.
[3] Un blog anch’esso caratterizzato da una certa faciloneria.
By mm
E' possibile commentare l'articolo nell'area "Commenti del Mese"