Obliczenia oparte na ludziach - Human-based computation

Obliczenia oparte na człowieku ( HBC ), obliczenia wspomagane przez człowieka , wszechobecne przetwarzanie przez człowieka lub myślenie rozproszone (przez analogię do przetwarzania rozproszonego ) to technika informatyczna , w której maszyna wykonuje swoją funkcję, zlecając ludziom pewne czynności, zwykle jako mikropracę . Podejście to wykorzystuje różnice w zdolnościach i kosztach alternatywnych między ludźmi a agentami komputerowymi, aby osiągnąć symbiotyczną interakcję człowiek-komputer. W przypadku trudnych obliczeniowo zadań, takich jak rozpoznawanie obrazów, obliczenia oparte na ludziach odgrywają kluczową rolę w szkoleniu systemów sztucznej inteligencji opartych na głębokim uczeniu . W tym przypadku obliczenia oparte na ludziach zostały określone jako sztuczna inteligencja wspomagana przez człowieka .

W tradycyjnych obliczeniach człowiek wykorzystuje komputer do rozwiązania problemu; człowiek dostarcza komputerowi sformalizowany opis problemu i algorytm oraz otrzymuje rozwiązanie do interpretacji. Obliczenia oparte na ludziach często odwracają role; komputer prosi osobę lub dużą grupę ludzi o rozwiązanie problemu, a następnie zbiera, interpretuje i integruje ich rozwiązania. To zmienia hybrydowe sieci ludzi i komputerów w „sieci przetwarzania rozproszonego na dużą skalę”, w których kod jest częściowo wykonywany w ludzkich mózgach i na procesorach krzemowych.

Wczesna praca

Obliczenia oparte na ludziach (poza historycznym znaczeniem „komputera ”) badania wywodzą się z wczesnych prac nad interaktywnymi obliczeniami ewolucyjnymi (EC). Ideą interaktywnych algorytmów ewolucyjnych jest Richard Dawkins . W oprogramowaniu Biomorphs dołączonym do jego książki Ślepy zegarmistrz (Dawkins, 1986) preferencja ludzkiego eksperymentatora jest wykorzystywana do kierowania ewolucją dwuwymiarowych zestawów odcinków linii. Zasadniczo program ten prosi człowieka, aby był funkcją dostosowania algorytmu ewolucyjnego, tak aby algorytm mógł wykorzystywać ludzką percepcję wzrokową i osąd estetyczny, aby zrobić coś, czego normalny algorytm ewolucyjny nie może zrobić. Jednak trudno jest uzyskać wystarczającą liczbę ocen od jednego człowieka, jeśli chcemy wyewoluować bardziej złożone kształty. Victor Johnston i Karl Sims rozszerzyli tę koncepcję, wykorzystując siłę wielu ludzi do oceny sprawności (Caldwell i Johnston, 1991; Sims, 1991). W rezultacie ich programy mogły wyewoluować piękne twarze i dzieła sztuki atrakcyjne dla publiczności. Programy te skutecznie odwróciły powszechną interakcję między komputerami a ludźmi. W tych programach komputer nie jest już agentem swojego użytkownika, ale koordynatorem skupiającym wysiłki wielu ludzkich oceniających. Te i inne podobne prace badawcze stały się tematem badań nad selekcją estetyczną czy interaktywnymi obliczeniami ewolucyjnymi (Takagi, 2001), jednak zakres tych badań ograniczył się do oceny outsourcingu i w rezultacie nie w pełni wykorzystywał pełny potencjał outsourcing.

Koncepcja automatycznego testu Turinga zapoczątkowana przez Moni Naora (1996) jest kolejnym prekursorem obliczeń opartych na ludziach. W teście Naora maszyna może kontrolować dostęp ludzi i komputerów do usługi, rzucając im wyzwanie za pomocą problemu przetwarzania języka naturalnego (NLP) lub widzenia komputerowego (CV), aby zidentyfikować wśród nich ludzi. Zbiór problemów dobierany jest w taki sposób, że nie ma rozwiązania algorytmicznego, które w danej chwili jest jednocześnie skuteczne i wydajne. Gdyby istniał, taki algorytm mógłby być z łatwością wykonany przez komputer, pokonując w ten sposób test. W rzeczywistości Moni Naor był skromny, nazywając to automatycznym testem Turinga. Gra imitacja opisana przez Alana Turinga (1950) nie zaproponowali użycie problemów sercowo-naczyniowych. Proponował jedynie konkretne zadanie NLP, podczas gdy test Naora identyfikuje i bada dużą klasę problemów, niekoniecznie z dziedziny NLP, które można wykorzystać do tego samego celu zarówno w zautomatyzowanej, jak i niezautomatyzowanej wersji testu.

Wreszcie algorytm genetyczny oparty na ludziach (HBGA) zachęca człowieka do pełnienia wielu różnych ról. Ludzie nie są ograniczeni do roli ewaluatora lub innej z góry określonej roli, ale mogą zdecydować się na wykonanie bardziej zróżnicowanego zestawu zadań. W szczególności mogą wnosić swoje innowacyjne rozwiązania w proces ewolucyjny, wprowadzać stopniowe zmiany w istniejących rozwiązaniach i przeprowadzać inteligentną rekombinację. Krótko mówiąc, HBGA pozwala ludziom uczestniczyć we wszystkich operacjach typowego algorytmu genetycznego . Dzięki temu HBGA może przetwarzać rozwiązania, dla których nie ma dostępnych operatorów innowacji obliczeniowych, np. języki naturalne. W ten sposób HBGA wyeliminowało potrzebę stałego schematu reprezentacji, który był czynnikiem ograniczającym zarówno standardową, jak i interaktywną EC. Algorytmy te można również postrzegać jako nowatorskie formy organizacji społecznej koordynowane przez komputer (Kosorukoff i Goldberg, 2002).

Klasy obliczeń opartych na ludziach

Metody obliczeniowe oparte na ludziach łączą komputery i ludzi w różnych rolach. Kosorukoff (2000) zaproponował sposób opisu podziału pracy w obliczeniach, który grupuje metody oparte na ludziach na trzy klasy. Poniższa tabela wykorzystuje ewolucyjny model obliczeniowy do opisania czterech klas obliczeń, z których trzy opierają się na ludziach w jakiejś roli. Dla każdej klasy pokazano reprezentatywny przykład. Klasyfikacja dotyczy ról (innowacji lub selekcji) pełnionych w każdym przypadku przez ludzi i procesy obliczeniowe. Ten stół to kawałek stołu trójwymiarowego. Trzeci wymiar określa, czy funkcję organizacyjną pełni człowiek, czy komputer. Tutaj zakłada się, że jest to wykonywane przez komputer.

Podział pracy w obliczeniach
Agent innowacji
Komputer Człowiek

Agent selekcyjny
Komputer Algorytm genetyczny Testy komputerowe
Człowiek Interaktywny algorytm genetyczny Algorytm genetyczny oparty na człowieku

Klasy obliczeń opartych na ludziach z tej tabeli można odnieść do dwuliterowych skrótów: HC, CH, HH. Tutaj pierwsza litera określa rodzaj agentów dokonujących innowacji, druga litera określa rodzaj agentów selekcyjnych. W niektórych implementacjach ( najczęstszym przykładem jest wiki ) funkcjonalność selekcji opartej na ludziach może być ograniczona, może być pokazywana z małą literą h.

Metody obliczeń opartych na ludziach

  • (HC) Darwin (Vyssotsky, Morris, McIlroy, 1961) i Core War (Jones, Dewdney 1984) Są to gry, w których kilka programów napisanych przez ludzi rywalizuje w turnieju (symulacja obliczeniowa), w którym przetrwają najlepiej przystosowane programy. Autorzy programów kopiują, modyfikują i ponownie łączą udane strategie, aby zwiększyć swoje szanse na wygraną.
  • (CH) Interactive EC (Dawkins, 1986; Caldwell i Johnston, 1991; Sims, 1991) IEC umożliwia użytkownikowi tworzenie abstrakcyjnego rysunku tylko poprzez wybór jego ulubionych obrazów, więc człowiek wykonuje tylko obliczenia sprawnościowe, a oprogramowanie pełni innowacyjną rolę. [Unemi 1998] Symulowany styl hodowlany nie wprowadza wyraźnego przystosowania, a jedynie selekcję, która jest łatwiejsza dla ludzi.
  • (HH 2 ) Wiki (Cunningham, 1995) umożliwiało edycję treści internetowych wielu użytkownikom, tj. wspierało dwa rodzaje innowacji opartych na ludziach (wprowadzanie nowej strony i jej stopniowe edycje). Jednak mechanizm selekcji był nieobecny do 2002 roku, kiedy wiki zostało rozszerzone o historię zmian, pozwalającą na cofanie nieprzydatnych zmian. Zapewniło to możliwość wyboru spośród kilku wersji tej samej strony i przekształciło wiki w narzędzie wspierające ewolucję treści opartej na współpracy (zostałoby sklasyfikowane jako strategia ewolucji oparta na człowieku w kategoriach EC).
  • (HH 3 ) Algorytm genetyczny oparty na człowieku (Kosorukoff, 1998) wykorzystuje zarówno selekcję opartą na człowieku, jak i trzy rodzaje innowacji opartych na człowieku (przyczynianie się do nowej treści, mutacji i rekombinacji). W ten sposób wszystkie operatory typowego algorytmu genetycznego są zlecane ludziom (stąd pochodzenie oparte na człowieku ). Pomysł ten został rozszerzony na integrację tłumów z algorytmem genetycznym w celu badania kreatywności w 2011 roku (Yu i Nickerson, 2011).
  • (HH 1 ) Aplikacje do wyszukiwania społecznościowego przyjmują wkłady od użytkowników i próbują wykorzystać ludzką ocenę w celu wybrania najlepiej przystosowanych wkładów, które znajdą się na szczycie listy. Wykorzystują one jeden rodzaj innowacji opartych na ludziach. Wczesne prace zostały wykonane w kontekście HBGA. Digg i Reddit to ostatnio popularne przykłady. Zobacz także Filtrowanie grupowe .
  • (HC) Testy komputerowe. Komputer generuje problem i przedstawia go do oceny użytkownika. Na przykład CAPTCHA informuje użytkowników o programach komputerowych, przedstawiając problem, który podobno jest łatwy dla człowieka i trudny dla komputera. Chociaż CAPTCHA to skuteczne środki bezpieczeństwa zapobiegające zautomatyzowanym nadużyciom usług online, ludzki wysiłek poświęcony na ich rozwiązanie jest w inny sposób marnowany. System reCAPTCHA wykorzystuje te ludzkie cykle, aby pomóc w digitalizacji książek, prezentując słowa ze zeskanowanych starych książek, których optyczne rozpoznawanie znaków nie jest w stanie rozszyfrować. (von Ahn i in., 2008).
  • (HC) Interaktywne gry online: Są to programy, które w zabawny sposób wydobywają wiedzę od ludzi (Burgener, 1999; von Ahn 2003).
  • (HC) „Rój ludzi” lub „Rój społeczny” (Rosenberg, 2015). Platforma UNU dla roju ludzi tworzy systemy zamkniętej pętli czasu rzeczywistego wokół grup użytkowników sieci ukształtowanych na wzór rojów biologicznych, umożliwiając ludzkim uczestnikom zachowywanie się jak zunifikowana zbiorowa inteligencja .
  • (NHC) Natural Human Computation polega na wykorzystaniu istniejących ludzkich zachowań w celu wydobycia ważnej obliczeniowo pracy bez zakłócania tego zachowania. (Estrada i Lawhead, 2013) NHC różni się od innych form obliczeń opartych na ludziach tym, że zamiast angażować pracę obliczeniową do działalności człowieka poprzez proszenie ludzi o wykonanie nowych zadań obliczeniowych, obejmuje wykorzystanie wcześniej niezauważonego znaczenia obliczeniowego w istniejącym zachowaniu .

Zachęty do uczestnictwa

W różnych projektach obliczeniowych opartych na ludziach motywuje ludzi jeden lub więcej z poniższych.

  • Otrzymanie sprawiedliwego udziału w wyniku
  • Bezpośrednia rekompensata pieniężna (np. w Amazon Mechanical Turk , przewodnik ChaCha Search, członkowie Mahalo.com Answers)
  • Możliwość udziału w globalnej gospodarce informacyjnej
  • Chęć urozmaicenia swojej działalności (np. „ludzie nie są proszeni w codziennym życiu o kreatywność”)
  • Zadowolenie estetyczne
  • Ciekawość, chęć sprawdzenia, czy to działa
  • Wolontariat, chęć wsparcia sprawy projektu
  • Wzajemność, wymiana, wzajemna pomoc
  • Pragnienie rozrywki w duchu rywalizacji lub współpracy w grze
  • Chęć komunikacji i dzielenia się wiedzą
  • Chęć podzielenia się innowacją użytkownika, aby zobaczyć, czy ktoś inny może ją ulepszyć
  • Chęć gry w system i wpływania na wynik końcowy
  • Zabawa
  • Zwiększenie reputacji/rozpoznawania online

W wielu projektach badano różne kombinacje tych zachęt. Więcej informacji na temat motywacji uczestników tych projektów znajdziesz w Kosorukoff (2000) i von Hippel (2005).

Obliczenia oparte na człowieku jako forma organizacji społecznej

Postrzegane jako forma organizacji społecznej, obliczenia oparte na ludziach często zaskakująco okazują się bardziej niezawodne i wydajne niż tradycyjne organizacje (Kosorukoff i Goldberg, 2002). Te ostatnie zależą od obowiązku zachowania mniej lub bardziej stałej struktury, funkcjonalności i stabilności. Każdy z nich jest podobny do starannie zaprojektowanego mechanizmu, którego częścią są ludzie. Ogranicza to jednak wolność ich ludzkich pracowników i naraża ich na różnego rodzaju stresy. Większość ludzi, w przeciwieństwie do części mechanicznych, ma trudności z przystosowaniem się do pewnych stałych ról, które najlepiej pasują do organizacji. Ewolucyjne projekty obliczeniowe człowieka oferują naturalne rozwiązanie tego problemu. Dostosowują strukturę organizacyjną do ludzkiej spontaniczności, uwzględniają ludzkie błędy i kreatywność oraz wykorzystują je w konstruktywny sposób. Dzięki temu ich uczestnicy są zwolnieni z obowiązków bez narażania funkcjonalności całości, czyniąc ludzi szczęśliwszymi. Nadal istnieje kilka trudnych problemów badawczych, które należy rozwiązać, zanim będziemy mogli w pełni wykorzystać potencjał tego pomysłu.

Algorytmiczne techniki outsourcingu stosowane w obliczeniach opartych na ludziach są znacznie bardziej skalowalne niż techniki ręczne lub automatyczne stosowane do tradycyjnego zarządzania outsourcingiem. To właśnie ta skalowalność pozwala łatwo rozłożyć wysiłek pomiędzy tysiące uczestników. Ostatnio zasugerowano, że ten masowy outsourcing na tyle różni się od tradycyjnego outsourcingu na małą skalę, że zasługuje na nową nazwę crowdsourcing (Howe, 2006). Jednak inni twierdzili, że crowdsourcing należy odróżnić od prawdziwych obliczeń opartych na ludziach. Crowdsourcing rzeczywiście obejmuje rozłożenie zadań obliczeniowych na wielu ludzkich agentów, ale Michelucci twierdzi, że nie jest to wystarczające, aby uznać je za ludzkie obliczenia. Obliczenia wykonywane przez ludzi wymagają nie tylko rozdzielenia zadania na różnych agentów, ale także pomieszania zestawu agentów, na który jest rozdzielone zadanie : niektórzy z nich muszą być ludźmi, ale inni muszą być tradycyjnymi komputerami. To właśnie ta mieszanka różnych typów agentów w systemie obliczeniowym nadaje obliczeniom opartym na ludziach charakterystyczny charakter. Niektóre przypadki crowdsourcingu rzeczywiście spełniają to kryterium, ale nie wszystkie.

Human Computation organizuje pracowników poprzez rynek zadań z interfejsami API, cenami zadań i protokołami oprogramowania jako usługi, które umożliwiają pracodawcom/zleceniodawcom otrzymywanie danych wytworzonych przez pracowników bezpośrednio do systemów informatycznych. W rezultacie wielu pracodawców próbuje automatycznie zarządzać pracownikami za pomocą algorytmów, zamiast odpowiadać pracownikom na podstawie indywidualnych przypadków lub odpowiadać na ich obawy. Odpowiadanie pracownikom jest trudne do skalowania do poziomów zatrudnienia, które umożliwiają ludzkie platformy mikropracy obliczeniowej. Na przykład pracownicy w systemie Mechanical Turk zgłosili, że pracodawcy zajmujący się obliczeniami ludzkimi mogą nie reagować na ich obawy i potrzeby

Aplikacje

Pomoc człowieka może być pomocna w rozwiązaniu każdego problemu związanego ze sztuczną inteligencją , co z definicji jest zadaniem niewykonalnym dla komputerów, ale wykonalnym dla ludzi. Konkretne zastosowania praktyczne obejmują:

Krytyka

Obliczenia oparte na ludziach są krytykowane jako wyzyskujące i zwodnicze, które mogą podważyć zbiorowe działanie (Zittrain 2010; Jafarinaimi 2012).

W filozofii społecznej argumentowano, że obliczenia oparte na ludziach są niejawną formą pracy online (Mühlhoff 2019). Filozof Rainer Mühlhoff wyróżnia pięć różnych typów „maszynowego przechwytywania” ludzkiej mikropracy w „hybrydowych sieciach człowiek-komputer”: (1) grywalizacja, (2) „trapping and tracking” (np. CAPTCHA lub śledzenie kliknięć w wyszukiwarce Google), (3) wykorzystywanie społeczne (np. tagowanie twarzy na Facebooku), (4) eksploracja informacji i (5) praca z kliknięciami (np. na Amazon Mechanical Turk ). Mühlhoff twierdzi, że obliczenia oparte na ludziach często są wykorzystywane w systemach sztucznej inteligencji opartych na uczeniu głębokim , które to zjawisko analizuje jako „sztuczną inteligencję wspomaganą przez człowieka” (Mühlhoff 2019).

Zobacz też

Bibliografia

  • Turing, AM (1950). Maszyny komputerowe i inteligencja. Umysł, 59, 433-460.
  • Dawkins, R. (1986) Ślepy zegarmistrz, Longman, 1986; Książki o pingwinach 1988.
  • Caldwell, C. i Johnston VS (1991), Tracking a Criminal Suspect poprzez „Face-Space” z algorytmem genetycznym, w Proceedings of the Fourth International Conference on Genetic Algorithm, Morgan Kaufmann Publisher, s. 416-421, lipiec 1991. (Patent USA 5,375,195 złożony 1992.06.29) Patent USA 5,375,195
  • Dong, H., Hussain, FK, Chang, E.: Platforma usług semantycznych zorientowanych na człowieka dla środowiska ekosystemów cyfrowych. World Wide Web 13(1–2) (marzec 2010) s. 75–103
  • Dong, H., Hussain, FK, Chang, E.: UCOSAIS: Framework for user-centered web service search information. 14. Międzynarodowa Konferencja Inżynierii Systemów Informacji Internetowej (WISE 2013) (październik 2013) s. 267–276
  • Dong, H., Hussain, FK: Wybór usług i model rankingu zorientowany na użytkownika usług dla cyfrowych ekosystemów transportowych. Przetwarzanie danych. 97(1) (styczeń 2015), s. 79–102.
  • Sims, K. (1991) Sztuczna ewolucja grafiki komputerowej, grafiki komputerowej, 25(4) (SIGGRAPH'91), 319-328 (patent USA 6,088,510 złożony 1992.07.02) Patent USA 6,088,510
  • Herdy, M. (1996) Strategie ewolucji z subiektywną selekcją. W Parallel Problem Solving from Nature, PPSN IV, tom 1141 LNCS (str. 22–31)
  • Moni Naor (1996) Weryfikacja człowieka w pętli lub identyfikacja za pomocą testu Turinga, online .
  • Unemi, T. (1998) Projekt wielopolowego interfejsu użytkownika do symulacji hodowli, Proceedings of the Third Asian Fuzzy and Intelligent System Symposium, 489-494
  • Kosorukoff (1998) Alex Kosorukoff, Free Knowledge Exchange, ludzki algorytm genetyczny w opisie archiwum internetowego
  • Lillibridge, MD, i in. (1998) Metoda selektywnego ograniczania dostępu do systemów komputerowych, US Patent US Patent 6,195,698
  • Burgener (1999) Dwadzieścia pytań: sieć neuronowa na stronie archiwum internetowego
  • Kosorukoff, A. (2000) Struktury klasyfikacji społecznej. Optymalne podejmowanie decyzji w organizacji, Genetic and Evolutionary Computation Conference, GECCO-2000, Late breaking papers, 175–178 online
  • Kosorukoff, A. (2000) Algorytm genetyczny oparty na ludziach online
  • Cunningham, Ward i Leuf, Bo (2001): The Wiki Way. Szybka współpraca w sieci. Addison-Wesley, ISBN  0-201-71499-X .
  • Hideyuki Takagi (2001) Interactive Evolutionary Computation: Fusion of the Capabilities of EC Optimization and Human Evaluation, Proceedings of the IEEE, vol.89, no. 9, s. 1275–1296
  • Kosorukoff, A. (2001) Algorytm genetyczny oparty na ludziach. IEEE Transactions on Systems, Man, and Cybernetics, SMC-2001, 3464–3469
  • Kosorukoff, A. & Goldberg, DE (2001) Algorytmy genetyczne dla innowacji społecznych i kreatywności (raport nielegalny nr 2001005). Urbana, IL: Uniwersytet Illinois w Urbana-Champaign online
  • Kosorukoff, A., Goldberg DE (2002) Algorytm genetyczny jako forma organizacji, Proceedings of Genetic and Evolutionary Computation Conference, GECCO-2002, s. 965-972 online
  • Fogarty, TC, (2003) Automatic concept evolution, Proceedings of the Second IEEE International Conference on Cognitive Informatics.
  • Mühlhoff, R, (2019) Sztuczna inteligencja wspomagana przez człowieka: czyli jak przeprowadzać duże obliczenia w ludzkim mózgu? W kierunku socjologii mediów uczenia maszynowego, w New Media & Society. ISSN 1461-4448, s. 1-17, doi: 10,1177/1461444819885334 ( sagepub.com , philpapers.org preprint ).
  • von Ahn, L., Blum, M., Hopper, N. i Langford, J. (2003) CAPTCHA: Using Hard AI Problems for Security, w Advances in Cryptology, E. Biham, Ed., tom. 2656 Lecture Notes in Computer Science (Springer, Berlin, 2003), s. 294–311. online
  • von Ahn, L. (2003) Metoda oznaczania obrazów za pomocą gry komputerowej Zgłoszenie patentowe USA 10/875913
  • von Ahn, L. i Dabbish, L. (2004) Etykietowanie obrazów za pomocą gry komputerowej. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Association for Computing Machinery, New York, 2004), s. 319-326. online
  • Estrada, D. i Lawhead, J. (2014) Gaming the Attention Economy. W The Handbook of Human Computation, Pietro Michelucci (red.), (Springer, 2014) online
  • Fogarty, TC i Hammond, MO (2005) Spółdzielcza literatura generatywna OuLiPian z wykorzystaniem Human Based Evolutionary Computing, GECCO 2005, Washington DC.
  • Jafarinaimi, Nassim. „Odkrywanie charakteru uczestnictwa w mediach społecznościowych: przypadek Google Image Labeler”. Materiały z iKonferencji 2012. ACM, 2012. online
  • von Hippel, E. (2005) Demokratyzacja innowacji, MIT Press online
  • Gentry, C. i in. (2005) Secure Distributed Human Computation na dziewiątej międzynarodowej konferencji nt. kryptografii finansowej i bezpieczeństwa danych FC'2005 online
  • Howe, J. (2006) The Rise of Crowdsourcing, Wired Magazine, czerwiec 2006. online
  • von Ahn, L., Kedia, M. i Blum, M. (2006) Oznajmianie: gra do zbierania faktów zdroworozsądkowych, ACM CHI Notes 2006 online
  • von Ahn, L., Ginosar, S., Kedia, M. i Blum, M. (2006) Poprawa dostępności sieci za pomocą gry komputerowej, ACM CHI Notes 2006 online
  • Sunstein, C. (2006) Infotopia: How Many Minds Produce Knowledge, Oxford University Press, strona internetowa
  • Tapscott, D., Williams, AD (2007) Wikinomics, Portfolio w twardej oprawie internetowej
  • Shahaf, D., Amir, E. (2007) W kierunku teorii kompletności AI. Zdrowy rozsądek 2007, 8. Międzynarodowe Sympozjum na temat logicznych formalizacji rozumowania zdroworozsądkowego online .
  • von Ahn, L., Maurer, B., McMillen, C., Abraham, D. i Blum, M. (2008) reCAPTCHA: Human-Based Character Recognition via Web Security Measures. Science, 12 września 2008. Strony 1465–1468. online
  • Malone, TW, Laubacher, R., Dellarocas (2009) Wykorzystywanie tłumów: mapowanie genomu kolektywnej inteligencji w Internecie
  • Yu, L. i Nickerson, JV (2011) Cooks or Cobblers? Kreatywność tłumu dzięki połączeniu online
  • Zittrain, J., Minds for Sale., marzec 2010. online

Przypisy