Darpa vil bygge en BS-detektor for vitenskap.

Adam Russell, en antropolog og programleder ved Forsvarsdepartementets vitsvitenskapsdivisjon Darpa, ler pa forslaget om at han prover a bygge en ekte, levende bullshit-detektor. Men han synes egentlig ikke a tro det er morsomt. Den ganske alvorlige innkallingen av forslag Russell sendte ut pa Darpa-brevpapir og spor folk – noen! Selv deg! -for mater a bestemme hvilke funn fra sosiale og atferdsvitenskapene egentlig er, vet du, sant. Eller i sin konstruksjon: «troverdig.»

Selv for Darpa, det er en stor spor. DoD har mange gode grunner til a vite hva samfunnsvitenskap skal tro pa. Men det er mye mer pa spill her. Darpa ber om et system som kan lose en av de mest presserende filosofiske problemene i var tid: Hvordan vet du hva som er sant nar vitenskap, nyhetene og sosiale medier alle kjemper for feil, reklame, propaganda og logner?

Ta et vitenskapelig krav. Gjor noen form for operasjon pa den. Bestem om kravet er riktig nok til a fungere. Sa. en bullshit detektor?

«Jeg ville ikke karakterisere det pa den maten, og jeg synes det er viktig a ikke,» sier Russell. Han onsker ikke a bidra til kynisme som gjor at folk tror om vitenskapsmenn innrommer usikkerhet, det betyr at de ikke kan stole pa. «Jeg har en dyp tro pa at det er ekte vitenskap. Det er ikke at vi ikke vet noe om verden. «Vitenskap er fortsatt den beste maten a vite ting pa. Darpa vil bare vite hva ting vitenskapen er veldig sikker pa, og hvordan den vet det. Og hvordan det vet at det vet det.

Du kan forestille deg hvorfor Darpa og DoD onsker a kaste opp samfunnsvitenskapene. De onsker a forsta hvordan kollektiv identitet virker, eller hvorfor noen grupper (og nasjoner) er stabile og noen faller fra hverandre. Milit ret vil gjerne ha et bedre handtak pa hvordan mennesker gar sammen med maskiner for maskinene blir smartere og mer utnyttet. Hvordan fungerer radikalisering, spesielt pa nettet? Hvorfor samarbeider noen ganger noen ganger og konkurrerer med andre? Alle disse sporsmalene har to ting til felles: De er avgjorende for nasjonal sikkerhet, og ingen vet svaret.

Folkene som skal finne ut disse knutte problemene har sine egne problemer. Du har kanskje hort om «reproduserbarhetskrisen», bekymringen for at mange vitenskapelige funn, s rlig i psykologi og sosiologi, ikke overgar en grunnleggende validitetsprove – at etterfolgende forskere kan gjore det samme eksperimentet og fa de samme resultatene som de forste seg. Eller du kan v re kjent med «P-hacking» og pa andre mater kan noen forskere, under press for a publisere og fa tilskudd, kirseb r velge sine eksperimentelle resultater for a sikre utseendet av statistisk betydning.

Det handler ikke om hvorvidt et bestemt krav kan replikeres, ikke sant? Det er det kollektivt at kravene ikke gir mening.

Duncan Watts, Microsoft Research.

Disse problemene kommer opp i Darpas innkalling av forslag, men forskere innser at bekymringene ikke slutter der. «Hvis du spor en gruppe sosialforskere hvordan organisasjoner jobber, vil du ikke bare fa 20 forskjellige svar. Du kommer til a fa svar som ikke engang er sammenlignbare med hverandre, «sier Duncan Watts, en sosiolog ved Microsoft Research som skrev en bl rende kritikk av samfunnsvitenskapen (som han mener det) inkoherensproblem i januar 2017-utgaven av Nature Human Oppforsel . «Du leser ett papir og deretter et annet papir, og det har de samme ordene i tittelen, men forskjellige analysenheter, forskjellige teoretiske konstruksjoner, helt forskjellige begrep om arsakssammenheng. Nar du har gjort en litteraturgjennomgang, er du helt forvirret om hva du pa jorden selv tenker. Det handler ikke om hvorvidt et bestemt krav kan replikeres, ikke sant? Det er det kollektivt at kravene ikke gir mening. »

Men … Darpa, skjont, ikke sant? Umulige problemer! Her er et internett vi lagde deg! Darpa! Byraet har et overordnet program som heter Next Generation Social Science, satt opp i 2016 for a bruke okonomi, sosiologi, antropologi og sa videre for bedre a forsta alt fra terrorisme til spredning av propaganda online. Og ja, det er et umulig problem. «I nye felt begynner du a se utviklingen av standarder som et godt signal om at noe skjer der,» sier Russell. «Vi har absolutt ikke disse standardene i samfunnsvitenskap.»

Sa Darpa vil bygge dem. «Confidence Levels for Social and Behavioral Sciences» er den formelle tittelen pa byraets «foresporsel om informasjon», det byrakratiske samtalen for «vi har noen tilskuddspenger til a tildele; send oss dine plasser. «Men denne RFI er kapasitet i sin ambisjon, gar langt utover reproduserbarhet. Den navngjermer andre bulwarks av vitenskapelig validering-peer review, meta-analyser, statistiske teknikker, og enda mer moderne tiln rminger som effektfaktorer, referansebaner og ekspertvurderingsmarkeder. Men bare a si, innlemme disse og overga dem. Gode ting, gutter, veldig gode ting. Noe annet a pitche?

Fra dokumentet: «Det kan v re nye mater a lage automatiserte eller semi-automatiserte evner til raskt, noyaktig og dynamisk tildele konfidensnivaer til bestemte SBS-resultater eller krav.» («SBS» = «sosiale og atferdsvitenskapelige») Hjelpeksperter og ikke-eksperter skiller vitenskapelig hvete fra forfalsket kaf med bruk av maskinlesing, naturlig sprakbehandling, automatiserte meta-analyser, statistikk-kontrollalgoritmer, sentimentanalyse, crowdsourcingverktoy, datadeling og arkiveringsplattformer, nettverksanalyser etc. »

Klart det vi trenger her er en slags maskin med, for eksempel, et spor for foring i journalartikler. Og to lys pa forsiden: rod og gronn. Ping eller bzzzt.

Ja, men nei. «Jeg tror vi er mange ar fra det,» sier Matthew Salganik, en sosiolog ved Princeton som ikke planlegger a sende inn en ide til Darpa, men arbeider med relaterte valideringsproblemer. Selv om han vil tillate: «Noe som kan v re mer mulig, ville v re advarsellys for papirer fra et relativt lite antall tidsskrifter.» Kanskje bare begrense korpuset til de tre store vitenskapene, naturene og prosessene ved det nasjonale vitenskapsakademiet .

Egentlig, skjont, ingen vet hva et svar vil se ut. Faktisk er en av de forste som sender svar pa Darpa RFI, og ber om penger for a skissere en ut. «Den viktigste utfordringen med a gjore dette er at det ikke er en gullstandard for troverdighet. Vi har ikke et referansepunkt, sier University of Virginia psykolog Brian Nosek, leder av Center for Open Science og en av de viktigste aktorene i kampen for reproduserbarhet. Mange sier at de har mater a validere vitenskapelige resultater, sier Nosek. «Sa du ma spille dem mot hverandre. Vi tror alle disse ideene sier noe om troverdighet, sa la oss begynne a sammenligne dem. »

Den viktigste utfordringen med a gjore dette er at det ikke er en gullstandard for troverdighet. Vi har ikke et referanseindeks.

Brian Nosek, senter for apen vitenskap.

Noseks tonehoyde heter «Path to Iterative Confidence Level Evaluation» eller, sjarmerende, «Pickle.» Det foreslar at Darpa oppretter en konkurranse pa klassisk mate: La folk med troverdighetsvurderte modeller teste dem mot bestemte corpuses, som replikert studier. Da ville han bygge det som kalles et nomologisk nettverk, pitting ideene mot hverandre. «Den eneste maten a utvikle tilliten til beviset er a se pa problemet pa mange forskjellige mater og se hvor du begynner a fa konvergens,» sier Nosek. Med andre ord, etablere et rammeverk for a etablere troverdigheten til a etablere troverdighet. «Det er veldig meta,» sier han.

Andre fagomrader har sine egne problemer med replikabilitet og palitelighet. (Kreftfolket er freaking helt ut.) Men samfunnsvitenskapene har sitt eget spesielle epistemologiske problem. Darpas store hinder her er kanskje ikke samfunnsvitenskapelige svar, men samfunnsvitenskapelige sporsmal. «Datavitenskapsmenn er vant til a stille sporsmal hvor de lett kan bekrefte svaret, sier Salganik. Hvilket spamfilter filtrerer best spam? Her er 900.000 e-postmeldinger merket «spam» og «non-spam». Na er her en annen 100.000 e-postmeldinger. La 10 systemer merke dem, og vi far se hvilken som er mest riktig. Resultat: spamfilter. «Malet er eksplisitt om prediksjon, og prediksjonsproblemer er enkle a uttrykke kvantifiserbart,» sier Salganik. «Men mange samfunnsvitenskapelige sporsmal er forskjellige. De handler om a sporre hvorfor noe skjer. »

Grunnleggende beskrivende sporsmal kan v re nyttig for Darpa og dets milit re klienter. Men de er toffe a kvantifisere. «Dette gar virkelig utover bare statistisk betydning,» sier Salganik. Selv om du justerer den akseptable P-verdien, er en test av statistisk signifikans, fra 0,05 til 0,005, jo lavere er den, desto viktigere er dataene dine, som ikke vil handtere, la oss si, bias som folge av bedriftsfinansiering. (Partikkelfysikere krever en P-verdi under 0.0000003! Og du ma komme under 0.00000005 for en genomforskningsforening.)

Relaterte historier.

Debunkers of a Gay Marriage Study Bare Re-bunked Det, Sort Of.

Samfunnsvitenskap er busted. Men NIH har en plan som kan fikse det.

Psykologi er i krise over om det er i krise.

Sa hva er svaret? En tiln rming kan ga utover statistikk og reproduserbarhet for a legge til nye tillitverktoy til settet. Nosek senter for apen vitenskap tildeler «merker» til artikler for a forhandsregistrere en forskningsplan (for a avhende beskyldninger av P hacking) og lage fulle sett med data og koden som brukes til a analysere den tilgjengelig. Det er som LEED-sertifisering for miljovennlige bygninger.

Sosiale nettverk kan ogsa spille en positiv rolleverdi kan vise ikke bare hvor mange som er sitert eller knyttet til en studie, men hvordan de snakket om det. Blogginnlegg og tweets om et nytt funn i, som astronomi, kan nesten utgjore en slags peer review etter publisering der et helt vitenskapelig samfunn graver inn i et papir. Med andre ord, vet du hvem som skal redde vitenskapen? Trolls.

Russell virker som om han ville v re helt apen for det. Han vet ikke hvor mange ideer han skal finansiere. RFI er apen til midten av august, og han vet ikke hvor mye penger han vil kunne utove. «Den flotte tingen om Darpa er, hvis du har mange gode ideer og budsjetter er pakrevd for a gjore det, kan du gjore det argumentet, sier Russell. «I det lange lop er vi alle sammen i dette. Jo bedre vitenskapen er, desto bedre beslutninger kan vi gjore. »

Det er en vanskelig filosofi av vitenskapelig problem, med et vanskelig sporsmal om filosofi av vitenskap. «Det er litt sjokkerende pa noen mater at vi selv har denne samtalen na, at sa mange av oss vakner opp og innser at vi ikke er sa sikre pa vare metoder som vi trodde vi var,» sier Watts. «Det kommer til a v re en stor kollektiv innsats for a bare forbedre var evne til a si at vi faktisk tror pa dette resultatet, i motsetning til at vi ikke skal.» Du ma tro at vitenskapen kan fikse vitenskapen – med litt hjelp fra Darpa.

Relatert video.

Hvordan Darpa gjor Hacking til en tilskuersport.

DARPA, forsvarsdepartementet, forsoker a gjore sin storste hacking utfordring til en visuelt spennende konkurranse, komplett med fargekommentarer.

Mest popul r.

Slik ser Super Bowl, Kitten Bowl, eller Puppy Bowl Online (2018)

Chrome-utvidelsene den WIRED-staben kan ikke leve uten.

Era av Quantum Computing er her. Outlook: Skyet.

Sponsede historier.

EPA-nettstedet er & # x27; fortsatt oppdatering & # x27; Climate Change Info.

Hvordan utforme Beacons for Humanity ‘s Afterlife.

En families lop for a kurere en datters genetiske sykdom.

Kan vare telefoner spare oss fra vare telefoner?

Hvor Long Beach prover a kjole seg ned.

Mer vitenskap.

Era av Quantum Computing er her. Outlook: Skyet.

Nysgjerrighetsroveren snaps en Selfie pa Mars.

For a fremme Artificial Intelligence, Reverse-Engineer Brain.

The Dirty Secret of California’s Cannabis: Det er skittent.

Kan en vaksine beskytte fotballspillere fra hjernerystelser?

The Squishy Etikk av sex med roboter.

Vi anbefaler.

SpaceX Gears opp til slutt, faktisk starte Falcon Heavy.

Den WIRED Guide til Klimaendring.

Den krympende bygningen i * Ant-Man og Wasp * Ville forarsake massive problemer.

Det er tid for en alvorlig snakk om teknologien «Technique» Addiction & quot;

Kan et fly ta av pa en bevegelig bane?

Fa var nyhetsbrev.

WIREDs storste historier levert til innboksen din.

Bruk av dette nettstedet utgjor aksept av var brukeravtale (effektiv 3/21/12) og personvernpolicy (effektiv 3/21/12). Affiliate link policy. Dine personvernrettigheter i California. Materialet pa dette nettstedet ma ikke gjengis, distribueres, overfores, bufres eller brukes pa annen mate, unntatt med forhands skriftlig tillatelse fra Conde Nast.