Nagroda Loebnera - Loebner Prize

Nagroda Loebner była coroczna rywalizacja w sztucznej inteligencji , która przyznaje nagrody do programów komputerowych uznawanych przez sędziów za najbardziej ludzko-podobne. Nagroda jest zgłaszana jako nieistniejąca od 2020 roku. Formuła konkursu była taka jak standardowy test Turinga . W każdej rundzie człowiek-sędzia jednocześnie prowadzi rozmowy tekstowe z programem komputerowym i człowiekiem za pośrednictwem komputera. Na podstawie odpowiedzi sędzia musi zdecydować, który jest który.

Konkurs został zainicjowany w 1990 roku przez Hugh Loebnera we współpracy z Cambridge Center for Behavioural Studies w Massachusetts , Stany Zjednoczone . Od 2014 roku jest organizowany przez AISB w Bletchley Park . Jest również związany z Uniwersytetem Flinders , Dartmouth College , Muzeum Nauki w Londynie , Uniwersytetem w Reading i Ulster University , Magee Campus w Derry , brytyjskim Miastem Kultury . W 2004 i 2005 roku odbyła się w mieszkaniu Loebnera w Nowym Jorku . W dziedzinie sztucznej inteligencji Nagroda Loebnera jest nieco kontrowersyjna; najwybitniejszy krytyk, Marvin Minsky , nazwał to chwytem reklamowym, który nie pomaga boisku.

W 2019 roku zmienił się format konkursu. Nie było panelu sędziowskiego. Zamiast tego chatboty były oceniane przez publiczność i nie było ludzkich konkurentów.

Nagrody

Pierwotnie przyznano 2000 dolarów za najbardziej ludzki program w konkursie. Nagroda wyniosła 3000 dolarów w 2005 roku i 2250 dolarów w 2006 roku. W 2008 roku przyznano 3000 dolarów.

Ponadto istnieją dwie jednorazowe nagrody, które nigdy nie zostały przyznane. 25 000 dolarów jest oferowane za pierwszy program, którego sędziowie nie mogą odróżnić od prawdziwego człowieka i który może przekonać sędziów, że człowiek jest programem komputerowym. 100 000 USD to nagroda za pierwszy program, którego sędziowie nie mogą odróżnić od prawdziwego człowieka w teście Turinga, który obejmuje rozszyfrowanie i zrozumienie tekstu, wejście wizualne i dźwiękowe. Gdy to zostanie osiągnięte, coroczny konkurs dobiegnie końca.

Zasady i ograniczenia konkurencji

Zasady zmieniały się na przestrzeni lat i we wczesnych konkursach odbywały się testy Turinga z konwersacją w ograniczonym zakresie, ale od 1995 roku dyskusja była nieograniczona.

W przypadku trzech zgłoszeń z 2007 r., Roberta Medekszy, Noah Duncana i Rollo Carpentera , sponsor wykorzystał kilka podstawowych „pytań przesiewowych”, aby ocenić stan technologii. Zawierały one proste pytania o czas, o to, jaka jest runda konkursu itp.; wiedza ogólna („Po co jest młotek?”); porównania („Co jest szybsze, pociąg czy samolot?”); oraz pytania demonstrujące pamięć do poprzedzających części tej samej rozmowy. „Wszystkie rzeczowniki, przymiotniki i czasowniki będą pochodzić ze słownika odpowiedniego dla dzieci i młodzieży w wieku poniżej 12 lat” Zgłoszenia nie musiały odpowiadać „inteligentnie” na pytania, które miały zostać przyjęte.

Po raz pierwszy w 2008 roku sponsor zezwolił na wprowadzenie do konkursu fazy wstępnej, otwierającej konkurs na wcześniej niedozwolone zgłoszenia internetowe, oceniane przez różnych zaproszonych przesłuchujących. Dostępne zasady nie określają, w jaki sposób wybiera się ani instruuje przesłuchujących. Przesłuchujący (oceniający systemy) mają ograniczony czas: 5 minut na podmiot w konkursie 2003, 20+ na parę w konkursach 2004–2007, 5 minut na prowadzenie jednoczesnych rozmów z człowiekiem i programem w latach 2008–2009, zwiększony do 25 minuty jednoczesnych rozmów od 2010 roku.

Krytyka

Nagroda od dawna jest pogardzana przez ekspertów w tej dziedzinie z różnych powodów.

Jest uważany przez wielu za chwyt reklamowy. Marvin Minsky zjadliwie zaoferował „nagrodę” każdemu, kto mógł powstrzymać konkurencję. W odpowiedzi Loebner żartobliwie zauważył, że zaoferowanie przez Minsky'ego nagrody za powstrzymanie konkursu skutecznie uczyniło go współsponsorem.

Regulamin konkursu zachęcił słabo wykwalifikowanych sędziów do szybkiego oceniania. Interakcje między sędziami a zawodnikami były początkowo bardzo krótkie, na przykład skutecznie 2,5 minuty przesłuchania, co pozwoliło tylko na kilka pytań. Zadawanie pytań ograniczało się początkowo do „kapryśnej rozmowy”, domeny pasującej do standardowych sztuczek chatbota.

Uczestnicy konkursu nie mają na celu zrozumienia ani inteligencji, ale uciekają się do podstawowych sztuczek w stylu ELIZA , a uczestnicy, którzy odnieśli sukces, odkrywają, że oszustwo i udawanie są nagradzane.

Relacje z corocznych zawodów często mylą test na imitację z inteligencją, czego typowym przykładem jest wstęp Briana Christiana do artykułu „Mind vs. Machine” w The Atlantic, marzec 2011, stwierdzający, że „w wyścigu o budowę komputerów, które potrafią myśleć jak ludzie , poligonem doświadczalnym jest test Turinga”.

Konkursy

2006

W 2006 roku konkurs zorganizowali Tim Child (CEO Televirtual) i Huma Shah. 30 sierpnia ogłoszono czterech finalistów:

  • Stolarz Rollo
  • Richard Churchill i Marie-Claire Jenkins
  • Noah Duncan
  • Robert Medeksza

Konkurs odbył się 17 września w teatrze VR w kampusie Torrington Place University College London . Wśród sędziów znaleźli się profesor cybernetyki z University of Reading , Kevin Warwick , profesor sztucznej inteligencji, John Barnden (specjalista w badaniach metafor na Uniwersytecie w Birmingham ), adwokat Victoria Butler-Cole i dziennikarz Graham Duncan-Rowe. Doświadczenia tego ostatniego z wydarzenia można znaleźć w artykule w Technology Review . Zwyciężyła „Joan”, oparta na Jabberwacky , obie stworzone przez Rollo Carpentera.

2007

Konkurs 2007 odbył się 21 października w Nowym Jorku. Jurorami byli: profesor informatyki Russ Abbott, profesor filozofii Hartry Field , adiunkt psychologii Clayton Curtis oraz wykładowca angielskiego Scott Hutchins .

Żaden bot nie zdał testu Turinga, ale sędziowie uszeregowali trzech zawodników w następujący sposób:

  • 1. Robert Medeksza, twórca Ultra Hal
  • 2: Noah Duncan, prywatny wpis, twórca Cletusa
  • 3. miejsce: Rollo Carpenter z Icogno, twórca Jabberwacky

Zwycięzca otrzymał 2250 dolarów i roczny medal. Zdobywcy drugiego miejsca otrzymali po 250 dolarów każdy.

2008

Konkurs 2008 został zorganizowany przez profesora Kevina Warwicka, koordynowany przez Huma Shaha i odbył się 12 października na Uniwersytecie w Reading w Wielkiej Brytanii . Po przeprowadzeniu testów przez ponad stu sędziów w fazie wstępnej, w czerwcu i lipcu 2008 r., sześciu finalistów zostało wybranych spośród trzynastu oryginalnych zgłoszeń - sztucznej jednostki konwersacyjnej (ACE). W finale rywalizowało pięć zaproszonych osób:

  • Brat Jerome, Peter Cole i Benji Adams
  • Elbot , Fred Roberts / Sztuczne rozwiązania
  • Eugene Goostman , Vladimir Veselov, Eugene Demchenko i Sergey Ulasen
  • Jabberwacky, Rollo Carpenter
  • Ultra Hal, Robert Medeksza

W finale każdy z jurorów otrzymał pięć minut na przeprowadzenie jednoczesnych rozmów na podzielonym ekranie z dwoma ukrytymi podmiotami. Elbot of Artificial Solutions zdobył brązową nagrodę Loebner Prize 2008 za najbardziej podobną do człowieka sztuczną jednostkę konwersacyjną, oszukując trzech z dwunastu sędziów, którzy przesłuchiwali ją (w porównaniach między ludźmi), aby uwierzyli, że jest człowiekiem. Zbliża się to do 30% tradycyjnie wymaganych do uznania, że ​​program rzeczywiście przeszedł test Turinga. Eugene Goostman i Ultra Hal oszukali jednego sędziego, że to człowiek.

Will Pavia, dziennikarz The Times , opisał swoje doświadczenia; sędzia finału Loebner, został oszukany przez Elbota i Eugene'a. Kevin Warwick i Huma Shah donieśli o równoległych testach Turinga.

2009

Konkurs o Nagrodę Loebnera 2009 odbył się 6 września 2009 r. w Brighton Centre w Brighton w Wielkiej Brytanii w połączeniu z konferencją Interspeech 2009. Wysokość nagrody za rok 2009 wyniosła 3000 dolarów.

Uczestnikami byli David Levy , Rollo Carpenter i Mohan Embar, którzy ukończyli w tej kolejności.

Pisarz Brian Christian wziął udział w konkursie Loebner Prize w 2009 roku jako konfederat ludzi i opisał swoje doświadczenia z konkursu w swojej książce The Most Human Human .

2010

Konkurs Loebner Prize 2010 odbył się 23 października na California State University w Los Angeles. Konkurs 2010 był jubileuszem XX edycji konkursu. Zwycięzcą został Bruce Wilcox z Suzette.

2011

Konkurs Loebner Prize 2011 odbył się 19 października na Uniwersytecie Exeter w Devon w Wielkiej Brytanii. Wysokość nagrody za 2011 rok wyniosła 4000 dolarów.

Czterej finaliści i ich czatboty to Bruce Wilcox (Rosette), Adeena Mignogna (Zoe), Mohan Embar (Chip Vivant) i Ron Lee (tutor), którzy ukończyli w tej kolejności.

W tym samym roku dołączył panel młodszych sędziów, a mianowicie Georgia-Mae Lindfield, William Dunne, Sam Keat i Kirill Jerdev. Wyniki konkursu juniorów znacznie różniły się od głównego konkursu, gdzie czatboty Tutor i Zoe remisowały na pierwszym miejscu, a Chip Vivant i Rosette zajęli odpowiednio trzecie i czwarte miejsce.

2012

Konkurs Loebner Prize 2012 odbył się 15 maja w Bletchley Park w Bletchley , Buckinghamshire , Anglia, z okazji obchodów stulecia Alana Turinga . Wysokość nagrody za 2012 rok wyniosła 5000 dolarów. Lokalnym organizatorem aranżacji był David Levy, który zdobył nagrodę Loebnera w 1997 i 2009 roku.

Czterej finaliści i ich czatboty to Mohan Embar (Chip Vivant), Bruce Wilcox (Angela), Daniel Burke (Adam), M. Allan (Linguo), którzy ukończyli w tej kolejności.

W tym samym roku zespół z wydziału informatyki Uniwersytetu Exeter (Ed Keedwell, Max Dupenois i Kent McClymont) przeprowadził pierwszą transmisję internetową rozmów na żywo.

2013

Konkurs Loebner Prize 2013 odbył się, po raz pierwszy na Wyspie Irlandii , 14 września na Uniwersytecie Ulster , Magee College , Derry , Irlandia Północna , Wielka Brytania.

Czterej finaliści i ich chatboty to Steve Worswick (Mitsuku), dr Ron C. Lee (tutor), Bruce Wilcox (Rose) i Brian Rigsby (Izar), którzy ukończyli w tej kolejności.

Jurorami byli: profesor Roger Schank (Socratic Arts), profesor Noel Sharkey ( Uniwersytet Sheffield ), profesor Minhua (Eunice) Ma ( Uniwersytet Huddersfield , a następnie Uniwersytet Glasgow ) oraz profesor Mike McTear ( Uniwersytet Ulster ).

W konkursie Junior Loebner Prize 2013 chatboty Mitsuku i Tutor zajęły pierwsze miejsce z Rose i Izarem odpowiednio na 3 i 4 miejscu.

2014

Konkurs Loebner Prize 2014 odbył się w Bletchley Park w Anglii, w sobotę 15 listopada 2014 r. Wydarzenie zostało sfilmowane na żywo przez Sky News. Sędzią gościnnym był prezenter telewizyjny i nadawca James May.

Po 2 godzinach oceniania zwycięzcą została „Rose” Bruce'a Wilcoxa. Bruce otrzyma czek na 4000 dolarów i brązowy medal. Szeregi przedstawiały się następująco:

Róża - Ranga 1 (4000 USD i Brązowy Medal); Izar - Ranga 2,25 (1500 USD); Uberbot — ranga 3,25 (1000 USD); i Mitsuku - Ranga 3.5 (500 USD).

Jurorami byli dr Ian Hocking, pisarz i starszy wykładowca psychologii, Christ Church College w Canterbury; dr Ghita Kouadri-Mostefaoui, wykładowca informatyki i technologii, University of Bedfordshire; pan James May, prezenter telewizyjny i nadawca; oraz dr Paul Sant, dziekan UCMK, University of Bedfordshire.

2015

W 2015 Loebner Prize Competition ponownie wygrała „Rose” Bruce'a Wilcoxa.

Sędziami byli Jacob Aaron, reporter nauk fizycznych w New Scientist; Rory Cellan-Jones, korespondent ds. technologii dla BBC; Brett Marty, reżyser i fotograf; Ariadna Tampion, pisarka.

2016

Nagroda Loebnera 2016 odbyła się w Bletchley Park 17 września 2016 r. Po 2 godzinach oceniania ogłoszono ostateczne wyniki. Szeregi przedstawiały się następująco:

  • 1 miejsce: Mitsuku
  • 2 miejsce: Korepetytor
  • 3 miejsce: Róża

Zwycięzcy

Oficjalna lista zwycięzców.

Rok Zwycięzca Program
1991 Józef Weintraub „Kapryśna rozmowa” ( terapeuta komputerowy )
1992 Józef Weintraub Terapeuta komputerowy
1993 Józef Weintraub Terapeuta komputerowy
1994 Thomas Whalen PORADY
1995 Józef Weintraub Terapeuta komputerowy
1996 Jason Hutchens Klątwa
1997 David Levy Rozmawiać
1998 Robby Garner Albert Jeden
1999 Robby Garner Albert Jeden
2000 Richard Wallace Sztuczny językowy komputer internetowy (ALICE)
2001 Richard Wallace Sztuczny językowy komputer internetowy (ALICE)
2002 Kevin Copple Ella
2003 Juergen Pirner Jabberwock
2004 Richard Wallace Sztuczny językowy komputer internetowy (ALICE)
2005 Stolarz Rollo Jerzy (Jabberwacki)
2006 Stolarz Rollo Joanna (Jabberwacki)
2007 Robert Medeksza Ultra Hal
2008 Fred Roberts Elbot
2009 David Levy Zrób-dużo-więcej
2010 Bruce Wilcox Suzette
2011 Bruce Wilcox Rozeta
2012 Mohan Embar Chip Vivant
2013 Steve Worswick Mitsuku
2014 Bruce Wilcox Róża
2015 Bruce Wilcox Róża
2016 Steve Worswick Mitsuku
2017 Steve Worswick Mitsuku
2018 Steve Worswick Mitsuku
2019 Steve Worswick Mitsuku

Zobacz też

Bibliografia

Zewnętrzne linki