Teori om en vetenskaplig revolution

Det nya sociologiska manuskriptet för den nuvarande vetenskapliga reformrörelsen slutar med en fördömande mening: ”Metascience har varit ett frenetiskt produktivt empiriskt fält utan teori. En sista fråga: Hur mycket längre kan det vara? ” Som jag har granskat någon annanstans tror jag att Peterson och Panofsky tar upp en giltig kritik av Metascience som ett område, särskilt tanken att alla rekommendationer skulle kunna gälla Allvetenskap (i motsats till bara strängar inom samhällsvetenskap och medicin). Har de rätt?

Tänk först på det normala mönstret för arbetande psykologer som försöker förstå något ämne. De börjar ofta med att publicera forskningsrapporter som rapporterar en effekt - som vi kan tänka oss som ett faktum om förhållandet mellan två saker. Aktivering av leende muskler ger dig till exempel ett bättre humör. Dessa fakta används sedan för att stödja bredare försök att bygga teori. Till exempel förstår vi hur uteslutning fungerar genom att titta på alla saker som uteslutning har visat sig påverka.

Om du läser en hel del psykologipapper hittar du att de i allmänhet har denna form. Du kan dra slutsatsen att vad psykologer försöker göra är att fastställa fakta och bygga en förståelse för hur dessa fakta passar ihop. Jag kommer att kalla dessa psykologers icke-angivna mål. Den nuvarande reformrörelsen, eftersom den har kommit nerifrån och upp från unga arbetande psykologers led, förstår dessa ostörda mål. I stället för att föreskriva vilka mål psykologer borde ha, tar reformrörelsen dessa som givet. Därefter undersöks hur framgångsrika forskningsmetoder tjänar dessa mål.

Ofta baseras denna utvärdering på statistik som tillämpas på de vanligaste experimentella designen. Psykologer säger att de använder tester med endast 5% falskt positivt, vilket tyder på att de fakta de fastställer bara kommer att vara fel 5% av tiden. Ändå Falsk positiv psykologi papper visade - med hjälp av både simuleringar och verkliga data som forskarna samlade in - att en kombination av vanligt förekommande statistiska "tweaks" kan leda till en falskt positiv andel på över 60%. Mer än hälften av tiden kunde forskare sätta upp experiment utan effekt, men ändå rapportera att de hittade ett. Som författarna av tidningen senare uttryckte det, "vi tyckte att det var som att vandra, men det var mer som att råna en bank."

Teorin är i detta fall att forskare vill använda sina normala statistiska metoder för att fastställa sanna fakta om världen. Matematiska simuleringar visar dock att dessa normala metoder leder till många fel. Teorin testas genom att gå ut och se om att göra om studier utan att möjliggöra sådana typer av statistiska justeringar - utan istället använda exakt det recept som föreskrivs i den publicerade litteraturen - leder till att många av dessa fakta visar sig vara opålitliga. År 2015 fann Open Science Collaboration att i fallet med 100 studier visade sig teorin vara rätt. Endast cirka 37% av resultaten replikerades.

Många invändningar framfördes mot denna slutsats och potentiella alternativa förklaringar att utesluta. Till exempel föreslog vissa forskare att det kan finnas skillnader i effektstorlekar på grund av de specifika laboratorier som kör studierna. Many Labs 2-projektet försökte ta itu med detta genom att köra 28 identiska replikationsstudier i 125 olika laboratorier. Det fanns mycket liten variation i den studerade effekten på de olika platserna.

Forskare som använder studenter på grundnivå i studier tycker ofta att studenter som anmäler sig till studier senare under terminen är mindre tillförlitliga, eftersom de inte är lika uppmärksamma på studieinstruktionerna. Kanske påverkade detta replikering. Many Labs 3-projektet tog upp detta och fann att när en person registrerade sig under en termin hade liten effekt på psykologiska effekter.

Vissa forskare tror att subtila faktorer som endast är kända för erfarna forskare inom en domän (och inte rapporteras i originalmanuskript) behövs för att få resultat att fungera. De många Labs 4 och 5-projekten granskade båda denna fråga genom att forskargrupper genomför studier med och utan samråd med experter. Resultaten i båda projekten indikerade att tillgång till expertråd hade liten effekt på om ett resultat replikerades eller inte.

Metascientists kunde ha framställt nya teoretiska invändningar under hela sitt senaste decennium av utredning.Bör psykologer verkligen spendera all sin tid på att skapa nya effekter, eller borde de istället noga leta efter matematiska modeller som förklarar exakt hur en effekt fungerar? Ska vi oroa oss för om etablerade effekter är tillförlitliga, eller ska vi istället överväga om vi mäter saker som spelar roll? Ska vi testa om det verkligen finns dolda trick erfarna forskare använder för att få studier att fungera, eller ska vi argumentera för att vetenskaplig felbehandling är att inte rapportera metoder som behövs för att få en studie att fungera?

I stället för att argumentera för vad psykologiforskningens mål ska vara, har den psykologifokuserade metascience-forskargruppen vid Center for Open Science (COS) försökt lyssna på och respektera de påståenden som görs av forskare i deras område och att genomföra studier som utvärderar dessa påståenden. Forskningsfrågor uppstod organiskt, ofta genom att ta hand om kritikernas oro. Denna arbetssätt visar att det (åtminstone inom psykologin) finns en teoretisk genomströmning till metascience. Det är ett tillvägagångssätt som bör vara bekant för antropologer och sociologer som bedriver etnografisk forskning: Lyssna på vad en gemenskap säger är viktigt och behandla detta som ditt studieobjekt.

Det finns definitivt utrymme att ställa bredare frågor om vad psykologiforskningens mål ska vara. Jag tror faktiskt att nästa våg av vetenskaplig reform sannolikt kommer att fokuseras på dessa djupare frågor. Det är också vettigt att ifrågasätta hur allmänt insikter från psykologi och medicin gäller andra vetenskaper. Men för att dra slutsatsen att Metascience är teoretisk (och därför är på väg mot en tågförlust) avfärdar arbetet från hundratals forskare som försöker bättre förstå och förbättra arbetet i sin egen vetenskapssamhälle.