Är AI-forskning en "Cesspit"?

Innehåll

• Nyckelord

Nyckelord

• Datorforskare oroar sig för de sociala effekterna av AI, som kan kränka integriteten eller skriva falska nyheter.
• Många tycker att peer review bör överväga sådana risker vid sidan av vetenskapliga meriter.
• Andra anser att forskare och ingenjörer bör sprida information fritt.

Nyligen Den nya Yorker publicerade en funktion som jag skrev om AI-etik, specifikt om huruvida peer review vid artificiell intelligens-konferenser (de viktigaste platserna för publicering inom området) bör överväga social påverkan utöver vetenskaplig och teknisk merit. Dess risker inkluderar att kränka integriteten och producera falskt innehåll. Något av det jag skrev var trimmat för rymden. Jag skulle vilja dela delar av det materialet nu.

Papper utöver de som nämns i artikeln har orsakat kontroverser. I maj förra året publicerade Harrisburg University ett pressmeddelande som meddelade en algoritm som påstås kunna förutsäga brottslighet från ansikten. Internet reagerade snart (en tweet kallade den "Phrenology 2.0"). I juni undertecknade hundratals forskare inom olika discipliner ett öppet brev där de bad att en uppsats som beskriver arbetet inte skulle publiceras.

Tidningen hade preliminärt accepterats till en konferens som heter CSCE, men slutligen avvisades. (Författarna till det öppna brevet hade uppenbarligen inte kontrollerat dess publiceringsstatus.) Hamid Arabnia, datavetare vid University of Georgia och konferensens huvudkoordinator, berättade för mig att de också avvisade en uppsats som föreslog teknik för cyberchikane. . Författarna hoppades att andra forskare skulle utveckla försvar. "Vi bestämde oss för att om denna uppsats läses av människor som tenderar att vara antisociala och lider av låg integritet, kommer de att använda den och attackera andra," sa han. "Så det slutade med att vi avvisade papperet, inte för att det tekniska innehållet i det var bristfälligt - det var faktiskt ett ganska bra papper - men på grund av vår oro avvisade vi det på ett trevligt sätt." Författarna instämde i dessa farhågor. De flesta forskare är medvetna om etiska frågor, sa Arabnia. ”Men tyvärr är de flesta av oss inte formellt utbildade inom det området. Därför använder vi våra sunt förnuft och domskall. Vi kunde göra bättre. ”

Även att veta när man ska ställa frågor om ett papper kan kräva att en granskare har en viss flyt med de relevanta frågorna. Alex Hanna, en sociolog på Google som studerar AI-etik, rekommenderar etikutbildning för alla AI-forskare och inte bara en veckolång workshop. ”Etikutbildning måste verkligen integreras från början,” sa hon till mig. Som ett steg i den riktningen integrerar Harvard Embedded EthiCS-programmet etik i läroplanen genom att filosofer undervisar moduler i datavetenskapskurser.

Förra året lade NeurIPS-konferensen till ett krav att artiklar diskuterar "den potentiella bredare effekten av deras arbete ... både positivt och negativt." Deras tillkännagivande väckte genast debatten. En forskare twittrade: ”Jag tror inte att det här är ett positivt steg. Samhällseffekter av AI är ett tufft område, och det finns forskare och organisationer som studerar det professionellt. De flesta författare har ingen expertis inom området och kommer inte att göra tillräckligt bra stipendium för att säga något meningsfullt. ” Andra attackerade: ”Så de flesta författare bör suga upp det och sluta skapa saker om de inte får den kompetensen. Det är så enkelt." ”Morellt vakuum vit kille kontingent hävdar att de inte har tillräckligt med” expertis ”för att överväga effekterna av sitt arbete! AI-forskning är en cesspit. ”

Medan man ifrågasätter en uppsats potentiella påverkan kan belysa försummade frågor, ibland kan människor vara för snabba för att bedöma ett projekts risk. I juli förra året beskrev en uppsats som godkändes för den internationella konferensen om intelligenta robotar och system (IROS) en algoritm för att uppskatta folkmassans densitet från drönare. "Borde konferenser ha en policy för tidningar som tydligt har skadliga tillämpningar?" skrev någon på Reddit. "Det här papperet jag såg idag ... kommer att visas i IROS, och det verkar som att det omöjligt kan användas för bra eller till och med andra relaterade problem." Någon annan svarade: "Att hantera folkmassans densitet och rörelse är ett giltigt behov för alla större offentliga evenemang som involverar folkmassor." En annan: "Om du letar efter skissartade papper är det inte det."

Andra har kritiserat beslut om att hålla tillbaka teknik. År 2019 beslutade OpenAI att inte omedelbart släppa sin GPT-2-språkmodell - programvara som skriver - av rädsla för att den skulle kunna ”skapa vilseledande, partisk eller kränkande språk i stor skala.” Vid AAAI-konferensen förra året sa Geoffrey Hinton, en av "gudfäderna" för modern AI, som bedriver forskning vid University of Toronto och Google Brain, att OpenAI: s drag verkade vara ett "publicitetsstunt", vilket motsvarar en populär känsla. (När jag frågade honom om Googles beslut, bara två veckor innan, att inte släppa en sofistikerad chatbot på grund av säkerhetsproblem, tillät han att OpenAI förmodligen också hade säkerhet i åtanke.)

"Att inta ståndpunkten att uppfinnare ska dölja vissa teknologier ur allmänhet är konstigt elitistiskt", berättade David Forsyth, en datavetare vid University of Illinois i Urbana – Champaign. ”Det antyder att det finns en anläggning som vet bättre. Denna tankegång har inte tenderat att sluta bra tidigare. Jag tror att vi oftast är bättre med att ha potentiellt irriterande, obekväm, olämplig eller stötande teknik ute i det fria och debatterat offentligt - i motsats till dolda i laboratorier och eventuellt utplacerade utan debatt av varken regeringar eller företag. ”

Michael Kearns, datavetare vid University of Pennsylvania, noterade en uppsats som hjälpte till att väcka larm om vad som är möjligt med AI. Michal Kosinski, professor i organisatoriskt beteende vid Stanford University, publicerade en tidskriftsartikel som visade att en algoritm, som inte använde mer än människors Facebook-gillanden, kunde förutsäga attribut inklusive droganvändning, sexuell läggning och till och med om ens föräldrar fortfarande var tillsammans när man vände sig 21. ”Människor förstod inte förrän på papperet att något de gör offentligt som de ansåg sig vara oskyldiga, som” Åh, jag gillar det här kattfotot ”, identifierar statistiskt många saker som de kanske hade velat hålla privata, ”Sa Kearns.

Ändå är många överens om att fältet behöver någon process som håller tillbaka vissa tekniker eller åtminstone utformar hur de presenteras. Var är det bästa stället att placera portvakter i ett forskningsprojekt? Ett alternativ är inte på nivån för peer review, utan på institutionella granskningsnämnder, innan ett projekt startar. Men det är inte perfekt. "Lagen som ligger till grund för vad IRB gör är skriven för andra discipliner, som medicin och psykologi och samhällsvetenskap, där det antas att du är i kontakt med de människor du experimenterar med," Ben Zevenbergen, forskare på Google, som var akademiker vid Oxford och Princeton University när vi pratade, berättade för mig.

Låt oss säga att du tränar din algoritm på ansikten som finns på internet, så kallade registrerades. ”Om du är i kontakt med [dessa människor],” sade Zevenbergen, “den registrerade kommer att behålla någon form av självbestämmande, eftersom de faktiskt kan förstå och ställa frågor om denna forskning och besluta om det är fördelaktigt för dem att delta , eller om det är något som de tycker är politiskt korrekt att göra. ” Han noterade några tweets om en algoritm som förutspår ansikten från röster, vilket väcker farhågor om transfobi, "de här frågorna kan dyka upp om forskarna bryr sig om att prata med de registrerade."

Det finns flera anledningar till att man kanske vill att de etiska portvakterna inte ska vara på institutionens nivå - vare sig det är en IRB eller en styrelse som är dedikerad till effekterna av AI - utan på publiceringsnivå. Det ena är att tidskrifter och konferenser kan sätta normer på fältet. "Datavetenskap görs på så många olika platser med riktigt olika etiska normer", berättade Katie Shilton, en informationsforskare vid University of Maryland. Med tanke på användningen av offentliga data, till exempel "Det är en mycket mer komplicerad bild i Kina." För det andra, om konferenser kräver att papper får godkännande från institutionella styrelser, kommer forskare från mindre skolor eller länder att missgynnas. För det tredje sa Kearns, "det är bättre på konferensnivå för det är där experterna är." Till och med en skola som Penn kanske inte har tillräckligt många personer med expertis inom etisk tillämpning av maskininlärning, plus dess mer tekniska aspekter, för att utgöra ett helpension.

"I en idealisk värld skulle vi hellre ha den här typen av diskussioner och överläggningar under hela forskningsprocessen", berättade David Danks, en filosof vid Carnegie Mellon som studerar maskininlärning och har varit chef för CMU: s IRB. ”En del av det som gör något till forskning är att vi inte vet hur det kommer att bli. Du kan inte fatta ett sådant beslut precis i början och sedan aldrig igen. Samtidigt, om du väntar tills forskningen är klar och du försöker publicera, är den berömda katten på många sätt ur påsen. ” Om han var tvungen att välja mellan att utvärdera påverkan på institutionens nivå innan forskningen startar eller på publiceringsnivån efter att den är klar, skulle han välja den förra. "En del av det beror på att det blir svårare att veta vad som utgör publicering", sa han. Om du cirkulerar ett arbetsdokument, eller skriver ett blogginlägg eller publicerar en PDF på förtrycksservern arXiv, räknas det som publicering? Dessa försäljningsställen undviker peer review helt.

Mycket forskning vid konferenser kommer från forskare vid teknikföretag som Google och Facebook och presenterar en annan möjlig kontrollpunkt för teknisk etik. Men företag kan vara rädda för att inkludera konsekvensbeskrivningar som väcker frågor om teknik i hjärtat av sina egna företag. Förra året förlorade Timnit Gebru sitt jobb som co-ledare för Googles AI-team eftersom företaget hade bett henne att hålla tillbaka en uppsats om riskerna med språkmodeller, och hon motstod. Google använder sådana modeller i sina sökalgoritmer.

Min artikel väckte en hel del bra diskussioner på Twitter och på andra håll. Jag hoppas att det fortsätter.