Laboratórium teórií: kedy je skupina múdrejšia ako jej najmúdrejší člen

Prečo sme postavili Laboratórium teórií

Postavili sme malé výskumné laboratórium, v ktorom štyri tímy umelej inteligencie samy vymýšľajú, testujú a opravujú vedecké teórie. Počas jedného dňa prebehli tri vlny experimentu: 36 teórií, 41 volaní modelu Claude Opus a zhruba šesť hodín výpočtu za 63 dolárov. Výsledkom je laboratórium, ktorého spoločná odpoveď predpovedá lepšie ako klasické strojové učenie a zvyčajne aj lepšie ako najlepšia z jeho vlastných teórií.

Inšpiráciou bolo oznámenie startupu Physical Superintelligence (PSI) z novembra 2026. Jeho výskumný systém s neverejným modelom od Anthropicu podľa autorov dokázal matematickú domnienku z roku 2008. Dôkaz skontroloval Lean, program, ktorý overí každý logický krok. V čase oznámenia išlo o čerstvý preprint, nezávislé posúdenie ešte len prebiehalo.

Nás na tom zaujala hlavne metóda. AI v nej nikoho nepresviedčala rečami. Navrhovala a nezávislý, nepodplatiteľný sudca rozhodoval, čo platí. Princíp „generátor hypotéz + nezávislý sudca + opakované zlepšovanie“ je všeobecný.

Položili sme si preto otázku: funguje rovnaká slučka aj mimo matematiky? Teda tam, kde nijaký Lean neexistuje, napríklad v psychológii alebo vo filozofii?

V článku nájdete:

• akú otázku sme skúmali a čo o nej veda už vie,
• ako laboratórium funguje, krok za krokom a na príkladoch,
• tri vlny experimentu vrátane chýb, ktoré sme cestou urobili,
• nezávislú kritiku, ktorú sme dostali, a čo sme s ňou urobili,
• k čomu sme dospeli a čo to znamená pre tímy ľudí aj AI agentov.

Článok je dlhý, čítanie zaberie asi pol hodiny. Kto sa ponáhľa, môže rovno skočiť na kapitolu K čomu sme dospeli.

Interaktívny report: všetkých 36 teórií v plnom znení, grafy, štatistiky a každé rozhodnutie západky nájdete v interaktívnom reporte (v češtine).

Otázka: kedy je skupina múdrejšia ako jej najlepší člen

Skúmali sme jedinú otázku: za akých podmienok je skupina inteligentnejšia ako jej najinteligentnejší člen? Nepýtame sa, či je skupina lepšia ako priemerný člen. To býva ľahké. Pýtame sa, či dokáže poraziť toho najlepšieho, kto v nej sedí.

Predstavte si poradu piatich lekárov, z ktorých jeden je špičkový špecialista. Keď skupina len spriemeruje názory, slabšie hlasy špecialistu „rozriedia“. Aby ho skupina porazila, musí pridať niečo, čo on sám nemá: inú informáciu, iný uhol pohľadu alebo opravu jeho chyby.

Kedy skupiny vyhrávajú a kedy prehrávajú, ukazujú štyri bežné situácie:

• Skupina vyhrá: sto ľudí tipuje počet cukríkov v pohári. Priemer tipov býva bližšie k pravde ako takmer každý jednotlivec, pretože nadsadené tipy vyvážia tie podhodnotené.
• Skupina vyhrá: auto nechce naštartovať a porucha má tri príčiny. Elektrikár nájde chybný kábel, mechanik upchatý filter a programátor chybu v riadiacej jednotke. Nikto z nich by auto neopravil sám, spolu áno.
• Skupina prehrá: porota odpovedá na záludnú otázku, na ktorú väčšina ľudí intuitívne odpovie zle. Hlasovanie chybu nezruší, ale potvrdí.
• Skupina prehrá: na porade rozhoduje najhlasnejší a najsebavedomejší človek, nie ten najschopnejší. Skupina je potom múdra len natoľko, nakoľko jej status zodpovedá skutočnej kompetencii.

Otázka má dnes veľmi praktický rozmer, a to pri ľuďoch aj pri umelej inteligencii:

• Firmy a tímy riešia, kedy zvolať poradu, kedy nechať rozhodnúť experta a kedy jednoducho hlasovať.
• Vývojári AI dnes bežne skladajú viacero agentov dokopy: jeden píše, druhý kontroluje, tretí hlasuje. Kedy z toho vznikne niečo múdrejšie ako najlepší agent a kedy len drahý šum?
• Veda sa tu stretáva z troch strán: filozofia sa pýta, čo je kolektívne poznanie, psychológia skúma, ako skupiny rozhodujú, a informatika stavia systémy z mnohých modelov.

V našom experimente má „poraziť najlepšieho člena“ presný význam. Najlepší člen je ten so skutočne najvyššou kompetenciou a rieši rovnaké úlohy ako skupina, len sám. Skupina sama nemusí vedieť, kto to je. Vyhráva, keď má aspoň o jeden percentuálny bod vyššiu úspešnosť, pri odhadoch aspoň o 1 % menšiu chybu.

Čo o kolektívnej inteligencii už vieme

Veda pozná šesť mechanizmov, ktoré rozhodujú, či skupina svojho najlepšieho člena porazí. Všetky sme neskôr vložili do simulovaného sveta a tímy AI ich mali znovu objaviť bez toho, aby svet videli zvnútra.

1. Múdrosť davu a korelované chyby

V roku 1906 tipovalo na trhu s dobytkom v anglickom Plymouthe takmer 800 ľudí váhu vola. Prostredný tip sa od skutočnej váhy líšil o necelé 1 %. Priemer funguje, pretože nezávislé chyby sa navzájom rušia.

Háčik je v slove nezávislé. Keď všetci čítali rovnaký zavádzajúci článok, mýlia sa rovnakým smerom a priemer chybu nezruší. Matematicky: chyba priemeru sa zmenší na √(ρ + (1 − ρ) / n) pôvodnej chyby, kde n je veľkosť skupiny a ρ korelácia chýb.

• Deväť ľudí s nezávislými chybami (ρ = 0) zmenší chybu na tretinu.
• Deväť ľudí, ktorých chyby sú z polovice spoločné (ρ = 0,5), ju zmenší len na zhruba 75 %.
• A keď je jeden člen oveľa presnejší ako ostatní, priemer jeho presnosť naopak „rozriedi“.

2. Condorcetova veta a jej obrátenie

Markíz de Condorcet v roku 1785 ukázal, že väčšina môže byť múdrejšia ako jednotlivci. Ak má každý porotca pravdu s pravdepodobnosťou väčšou ako 50 % a rozhoduje nezávisle, väčšina má pravdu častejšie ako ktokoľvek z nich. Jedenásť porotcov, z ktorých každý má pravdu v 70 % prípadov, rozhodne väčšinou správne zhruba v 92 % prípadov.

Veta však platí aj obrátene. Vezmite si záludnú otázku: Pálka a loptička stoja spolu 1,10 €, pálka je o 1,00 € drahšia ako loptička. Koľko stojí loptička? Väčšina ľudí intuitívne odpovie 10 centov, správne je 5 centov. Keď má každý pravdu len v 40 % prípadov, väčšina jedenástich ľudí rozhodne správne len zhruba v 25 %. Hlasovanie chybu nezruší, ale zosilní.

3. Demonštrovateľnosť: pravda víťazí

Psychológ Patrick Laughlin rozlíšil úlohy podľa toho, či sa dá správna odpoveď predviesť. Pri matematickej úlohe alebo hádanke stačí, aby riešenie našiel jeden človek. Len čo ho vysloví, ostatní hneď spoznajú, že je správne, a „pravda víťazí“.

Pri iných úlohách to nejde. Ktoré logo je lepšie, ktorý uchádzač bude dobrým kolegom, aké víno je najlepšie? Tam správna odpoveď nepresvedčí sama osebe a rozhoduje väčšina alebo status.

4. Skryté profily: vedomosti, ktoré nikto nevysloví

Garold Stasser a William Titus v roku 1985 zistili, že skupiny sa v diskusii venujú hlavne informáciám, ktoré už pozná každý. Unikátna informácia, ktorú má len jeden človek, často vôbec nezaznie.

Príklad: výberová komisia vyberá medzi kandidátmi A a B. Každý člen pozná inú slabinu kandidáta A, takže každému osve vychádza A ako najlepší. Keby dali svoje vedomosti dokopy, jasne by vyhral B. Diskusia sa však točí okolo zdieľaných predností kandidáta A. Komplementárne vedomosti sú tak najsilnejším zdrojom výhody skupiny a zároveň najkrehkejším.

5. Status a viditeľnosť kompetencie

Skupiny počúvajú tých, ktorí pôsobia kompetentne: sú sebavedomí, majú vyššie postavenie, hovoria nahlas. Keď tento dojem zodpovedá skutočnej kompetencii, líder alebo vážená diskusia fungujú skvele. Keď nie, skupina nasleduje sebavedomého, ktorý sa mýli. Príklad: najskúsenejší inžinier v tíme je tichý, rozhoduje nový, sebaistý manažér.

6. Procesné straty a veľkosť skupiny

Ivan Steiner v roku 1972 zhrnul výkon skupiny ako potenciál mínus procesné straty. Straty vznikajú z koordinácie, z obmedzeného času, z konformity alebo z toho, že sa niekto „vezie“. Väčšia skupina má väčší potenciál, ale aj väčšie straty. Na hodinovej porade tridsiatich ľudí rozhodnutie v skutočnosti formuje len niekoľko najaktívnejších.

Žiadny z týchto mechanizmov sám otázku nerieši. Výsledok závisí od ich súhry, a to je presne úloha pre teóriu: spojiť ich tak, aby predpovedala aj situácie, ktoré nikto predtým nevidel.

Hlavná myšlienka: AI navrhuje, nezávislý sudca rozhoduje

Naša hlavná myšlienka je jednoduchá: model nesmie súdiť sám seba. Teórie navrhuje umelá inteligencia, ale o tom, či platia, rozhoduje nezávislý sudca, ktorého nemožno presvedčiť výrečnosťou.

Prečo nestačí, aby sa niekoľko chatbotov dohodlo? Jazykové modely sú presvedčivé a debata niekoľkých z nich smeruje k tomu, čo znie najlepšie, nie k tomu, čo je pravda. Hlasovanie modelov navyše naráža na Condorcetov problém z predchádzajúcej kapitoly. Keď majú všetky modely rovnaké slepé miesto, hlasovanie ho len potvrdí. Otázka, ktorú skúmame, sa tak týka aj našej vlastnej metódy.

V matematike je sudcom Lean. V psychológii nijaký Lean neexistuje a experimenty s ľuďmi sú pomalé a drahé. Postavili sme preto simulovaný svet: program, ktorý simuluje skupiny ľudí pri riešení úloh a v experimente hrá úlohu prírody. Tímy AI jeho kód nikdy nevidia, rovnako ako vedec nevidí zákony prírody. Poznajú len opis pokusu a jeho výsledky.

Je férové povedať, čo tým testujeme a čo nie. Simulátor obsahuje mechanizmy, ktoré sme doň vložili podľa učebníc. Netestujeme teda, či teórie platia o skutočných ľuďoch. Testujeme, či AI dokáže objaviť skryté pravidlá systému, do ktorého nevidí, vyjadriť ich ako teóriu a zovšeobecniť ich na situácie, ktoré nikdy nevidela.

Práve to je jedna z kľúčových schopností vedca. A test je čistý, pretože my poznáme správnu odpoveď a môžeme presne zmerať, čo AI našla a čo prehliadla.

Každý tím prejde slučkou trikrát: prvá verzia a dve revízie. Od druhej vlny o prijatí revízie rozhoduje západka, v tretej vlne sudca navyše testuje predikcie na nových experimentoch.

Simulovaný svet: kde skupiny riešia úlohy

Simulovaný svet je program, v ktorom skupiny virtuálnych ľudí riešia tisíce úloh a my meriame, či skupina porazila svojho najlepšieho člena. Každý pokus, ktorému hovoríme podmienka, je kombinácia typu úlohy, rozhodovacieho procesu a šiestich číselných parametrov.

Tri typy úloh

Hlavolam jednotlivec vyrieši len vtedy, keď pozná všetky potrebné kúsky. Skupina ho môže vyriešiť aj vtedy, keď každý pozná len niečo, ak sa vedomosti v diskusii naozaj stretnú.

Tri spôsoby rozhodovania

• Nezávisle: členovia spolu nehovoria a odpovede sa spoja mechanicky. Pri odhade priemerom, pri voľbe hlasovaním, pri hlavolame skupina odovzdá riešenie najrešpektovanejšieho z tých, ktorí si myslia, že ho vyriešili. Ako online anketa.
• Diskusia: voľná debata s obmedzeným časom, ktorá sa končí konsenzom. Ako porada.
• Líder: najrešpektovanejší člen sa poradí s niekoľkými ďalšími a rozhodne sám. Ako šéf, ktorý si vypočuje tím.

Šesť číselných parametrov

Čo sa meria

V každej podmienke skupina vyrieši 2000 úloh. Jej najlepší člen rieši rovnaké úlohy sám. Spočítame, o koľko bola skupina lepšia alebo horšia a či zvíťazila aspoň o jeden percentuálny bod.

V tretej vlne rieši každú podmienku desať rôznych skupín s rovnakými parametrami. Meriame potom podiel skupín, ktoré svojho najlepšieho člena porazili. Prečo to bolo nutné, vysvetlíme pri druhej vlne.

Čo je vnútri a tímy to nevidia

V simulátore sú zabudované konkrétne pravidlá, ktoré mali tímy AI objaviť. Napríklad:

• Úspešnosť pri voľbe je 0,3 + 0,65 × kompetencia. Najslabší členovia sa teda mýlia častejšie, ako keby hádzali mincou, a naletia na „návnadu“.
• Hlavolam vyžaduje 5 kúskov vedomostí. Vyslovený kúsok vedomostí skupina prijme s pravdepodobnosťou 0,5 + 0,5 × demonštrovateľnosť.
• V diskusii reálne hovorí len 6 najrešpektovanejších členov a líder sa radí najviac s piatimi ľuďmi. Pri odhade dáva líder vlastnému názoru váhu 70 %.
• Kto hlavolam nevyriešil, mylne verí opaku s pravdepodobnosťou 0,5 × (1 − demonštrovateľnosť). Takí „falošní riešitelia“ môžu prebiť skutočného.

Simulátor sme najprv overili desiatimi kontrolnými testami, napríklad či reprodukuje Condorcetovu vetu, múdrosť davu alebo škodlivosť korelovaných chýb. Až potom sme ho pustili k tímom.

Tímy AI vedcov, teórie ako kód a sudca

Štyri inštancie modelu Claude Opus 5.5 pracovali ako samostatné výskumné tímy, každá s inou odbornou optikou. Rôzne optiky sme zvolili z rovnakého dôvodu, pre ktorý fungujú rozmanité skupiny ľudí: rôzne pohľady robia rôzne chyby.

Tímy bežia bez nástrojov a bez prístupu k súborom, takže do simulátora fyzicky nemôžu nahliadnuť. Na začiatku dostanú len opis pokusu, svoju optiku a 60 pilotných riadkov dát. Každý riadok je jedna podmienka s parametrami a výsledkom.

Ako vyzerá teória

Každá teória má štyri časti:

1. Názov, napríklad „Skladanie dielikov proti zdieľanej slepote“.
2. Tvrdenie: 4 až 8 viet o tom, aké mechanizmy rozhodujú.
3. Tri falzifikovateľné predikcie: odvážne tvrdenia, ktoré môže experiment vyvrátiť.
4. Funkcia predict(c): krátky program v Pythone, ktorý pre ľubovoľnú podmienku vráti pravdepodobnosť, že skupina porazí svojho najlepšieho člena.

Prečo kód? Slová bývajú vágne: „skupiny zvyčajne vyhrávajú, keď sú rozmanité“ sa nedá zmerať. Kód dá číslo pre každú situáciu, a to sa už dá overiť. Je to náš ekvivalent formálneho dôkazu.

Ukážka skutočného riadku z teórie sociálneho psychológa z prvej vlny:

k_del = min(n - 1.0, 6.0)  # limited airtime: only ~6 other voices really heard

Komentár hovorí: „obmedzený čas, v skutočnosti je počuť len asi 6 ďalších hlasov“. Tím to odvodil z jediného slova v opise pokusu, že diskusia má „obmedzený čas“. Simulátor má skutočne nastavených 6 hovoriacich.

Sudca a Brier skóre

Sudca spustí kód teórie v izolovanom procese, kde je k dispozícii len matematická knižnica, žiadne súbory ani sieť. Pre každú podmienku porovná predpoveď so skutočnosťou a vypočíta Brier skóre.

Brier skóre poznáte z predpovede počasia. Meteorológ povie „pravdepodobnosť dažďa je 80 %“:

• keď prší, jeho chyba je (1 − 0,8)² = 0,04,
• keď neprší, jeho chyba je (0 − 0,8)² = 0,64,
• Brier skóre je priemer týchto chýb za všetky dni.

Nula znamená dokonalú predpoveď. Kto povie zakaždým „50 %“, dostane 0,25, teda úroveň hádzania mincou. Čím nižšie skóre, tým lepšie.

Tím potom dostane spätnú väzbu z tréningových dát: celkové skóre, rozpis podľa deviatich kombinácií úlohy a procesu a 30 najväčších omylov. Potom teóriu prepracuje. Každý tím mal dve kolá revízií, takže z každého tímu vznikli tri verzie teórie: r0, r1 a r2.

Učebnice, písomka a skúšky

Dáta sme rozdelili na štyri časti po 300 podmienok, podobne ako v škole:

Práve sada veľkých skupín je najtvrdšou skúškou. Teória, ktorá len napasovala čísla na tréning, tam zlyháva. Teória, ktorá zachytila skutočný mechanizmus, ho dokáže preniesť aj do neznámeho rozsahu.

Porovnanie so strojovým učením

Aby sme vedeli, či sú teórie vôbec dobré, porovnali sme ich s modelmi strojového učenia bez akejkoľvek teórie. Hovoríme im baseliny: gradient boosting (súbor rozhodovacích stromov), logistická regresia a priemer z tréningu. Baseliny sa učia zo všetkých 300 tréningových riadkov, tímy začínajú so 60. Keby teória neporazila obyčajné napasovanie krivky na dáta, nebola by to dobrá teória.

Prvá vlna: teórie porazili strojové učenie, revízie však škodili

V prvej vlne teórie, ktoré videli len 60 riadkov dát, predpovedali lepšie ako strojové učenie na 300 riadkoch. Každá ďalšia revízia ich však skôr zhoršila. Beh trval 148 minút, s neskorším doplnením 181 minút, a stál 18,21 dolára.

Nastavenie bolo najjednoduchšie možné. Každý tím napísal prvú verziu a dve revízie a každá revízia sa automaticky stala základom ďalšej. Každú podmienku riešila jedna skupina a naraz bežali štyri volania modelu.

Výsledky prvých verzií

Brier skóre, nižšie je lepšie:

Tri tímy zo štyroch porazili gradient boosting na teste, diverzita a minimalista štatisticky významne. Logistická regresia sa mimo rozsahu tréningu zrútila: na veľkých skupinách dopadla horšie ako obyčajný priemer z tréningu (0,247). Priamka napasovaná na skupiny s 3 až 12 členmi nedáva pre skupinu s 50 členmi zmysel.

Čo tímy objavili

Najviac nás prekvapilo, ako presne tímy odhadli skryté pravidlá simulátora. Štatistik zo 60 riadkov zrekonštruoval presný tvar rozdelenia kompetencií v skupine:

s = [min(0.99, max(0.0, m + 0.3 * sp * _ppf((i + 0.625) / (n + 0.25)))) for i in range(n)]
tau = 0.5 + 0.5 * dem  # chance a voiced piece is accepted

Simulátor používa priemer + 0,3 × nerovnosť × kvantil normálneho rozdelenia, teda rovnaký tvar aj rovnakú konštantu 0,3. Prijatie vysloveného kúska vedomostí 0,5 + 0,5 × demonštrovateľnosť zodpovedá simulátoru presne.

Ďalšie príklady:

• Sociálny psychológ odhadol, že v diskusii je počuť asi 6 hlasov. Skutočnosť: 6.
• Minimalista v druhej revízii zaviedol pri voľbe „základnú úroveň vedomostí 30 %“. Simulátor má úspešnosť 0,3 + 0,65 × kompetencia.
• Tri tímy odhadli, že líder dáva vlastnému názoru 65–67 % váhy. Skutočnosť: 70 %.
• Diverzita prišla na to, že diskusia pri odhadoch vyberá „najlepší odhad pre daný problém, nie najlepšieho človeka“. Presne tak simulátor funguje, keď sa dá správna odpoveď rozpoznať.

Naopak nikto neodhadol počet kúskov vedomostí pri hlavolame (skutočnosť 5, odhady 2 až 4) ani počet poradcov lídra. Kapacitné limity sa z dát o malých skupinách spoznávajú najťažšie.

Slučka vie vyvracať

Minimalista v prvej revízii zaviedol „strop schopností“: keď sú všetci veľmi schopní, najlepší sa nemá kam odtrhnúť. V druhej revízii napísal: „Strop dáta vyvrátili: pri priemernej kompetencii 0,81 priemerovanie prehralo o 17 %.“ A nahradil ho správnym vzťahom: chyba klesá s kompetenciou lineárne, takže medzi skúsenými je najlepší relatívne ešte presnejší.

Revízie však vedeli aj strácať. Štatistik aj sociálny psychológ mali v prvej revízii správne, že „falošných riešiteľov“ ubúda s demonštrovateľnosťou. V druhej revízii túto správnu závislosť obaja zrušili.

Revízie škodili

Prvá revízia zhoršila výsledok na teste pri všetkých štyroch tímoch, pri troch z nich významne:

Teórie pritom rástli: minimalistova z 873 na 1 406 uzlov syntaktického stromu, teda o 60 %. Spätná väzba „tu je 30 najväčších omylov“ zvádzala k záplatám na jednotlivé prípady namiesto lepších mechanizmov. Laboratórium navyše prijalo každú revíziu, aj horšiu, pretože nič ako Lean ho nezastavilo.

Kde teórie zlyhali

Na veľkých skupinách teórie nadhodnotili hlavolamy riešené diskusiou. Predpovedali 89–93 % výhier, skutočnosť bola 79 %. Uvažovali logicky, že viac členov prinesie viac vedomostí. V simulátore však hovorí len 6 najrešpektovanejších, takže väčšina vedomostí veľkej skupiny nikdy nezaznie.

Skupina teórií je múdrejšia ako najlepšia teória

Keď sme spriemerovali predpovede štyroch prvých teórií, dostali sme výsledok lepší ako najlepšia jednotlivá teória: 0,078 oproti 0,083 na teste a 0,098 oproti 0,108 na veľkých skupinách. Priemer všetkých 12 verzií dosiahol na veľkých skupinách dokonca 0,092. Laboratórium tak na vlastných teóriách predviedlo presne ten jav, ktorý skúma: rôzne optiky robia rôzne chyby a priemer ich ruší.

Technické problémy

• Zaseknuté volania: 4 z 13 volaní sa nevrátili. Časový limit na Windows ukončil len spúšťací skript, skutočný proces bežal ďalej a laboratórium naň čakalo.
• Chyba sandboxu: štatistikovu revíziu sudca odmietol, pretože kód použil štandardnú funkciu reversed, ktorú sme zabudli povoliť. Bola to naša chyba. Po oprave tá istá odpoveď prešla a nemuseli sme za ňu platiť znova.
• Doplnenie: dva tímy pre zaseknutie nedokončili revízie. Doplnili sme ich o dve hodiny neskôr: 3 volania, 33 minút, 5,83 dolára, tentoraz bez jediného zaseknutia.

Z prvej vlny sme si odniesli tri ponaučenia. Revízie potrebujú sudcu, ktorý horšiu verziu nepustí. Odpoveďou laboratória má byť skupina teórií, nie jedna teória. A štyri súbežné volania modelu sú priveľa.

Druhá vlna: západka a priemer teórií

V druhej vlne sa skupina teórií prvýkrát štatisticky významne ukázala múdrejšia ako jej najlepší člen. Nová „západka“, ktorá mala horšie revízie zastaviť, však rozhodovala skôr náhodne. Beh na nových dátach trval 96 minút a stál 24,67 dolára. Z 13 volaní sa nezaseklo ani jedno.

Čo sme zmenili

• Západka: pribudla validácia, 300 podmienok, ktoré tímy nevidia. Revízia prejde, len keď na nich zlepší Brier skóre aspoň o 0,005. Inak tím pokračuje zo svojej najlepšej verzie a dozvie sa len to, že revízia neprešla. Je to naša obdoba Leanu, ktorý prijme len platný krok.
• Odpoveď laboratória: už to nie je jedna teória, ale priemer predpovedí najlepších prijatých verzií všetkých tímov.
• Prevádzka: najviac dve volania naraz, každý tím absolvuje svoje kolá samostatne a časový limit ukončí celý strom procesov.

Výsledky

Odpoveď laboratória porazila gradient boosting o 0,056 na teste a o 0,054 na veľkých skupinách. Najlepšiu jednotlivú teóriu porazila o 0,018 a o 0,047. Oba rozdiely sú štatisticky významné na oboch sadách: 95-percentné intervaly spoľahlivosti z bootstrapu nezahŕňajú nulu.

Skupina teórií bola teda múdrejšia ako jej najlepší člen, a to tentoraz preukázateľne. Dôvod je rovnaký ako pri ľuďoch: každý tím sa mýli inde a priemer chyby ruší.

Západka rozhodovala podľa šumu

Západka spoľahlivo zastavila katastrofy. Všetky tri jasne horšie revízie zamietla (diverzita r1 a r2, minimalista r1). Pri jemnejších rozdieloch sa však mýlila:

• Prijala štatistika r1, pretože sa na validácii zlepšil o 0,016. Na teste aj na veľkých skupinách bol však horší ako predchádzajúca verzia (0,082 → 0,093 a 0,114 → 0,131).
• Zamietla štatistika r2, pretože sa na validácii zlepšil len o 0,001. Pritom to bola na teste najlepšia teória celého behu (0,070) a lepšia bola aj na veľkých skupinách.

Z ôsmich rozhodnutí boli tri správne, dve chybné a tri zmiešané. To nie je o veľa lepšie ako hádzanie mincou.

Prečo: šum v štítkoch

Hľadali sme príčinu a našli sme ju v samotnom meraní. Vzali sme 60 podmienok a každú nasimulovali s 20 rôznymi skupinami. Parametre boli rovnaké, líšilo sa len náhodné poradie statusu, teda kto je líder a kto hovorí.

Pri 15 zo 60 podmienok niektoré skupiny vyhrali a iné prehrali. Podiel výhier sa pohyboval od 5 do 95 %. Na väčšej vzorke 300 podmienok to bolo 18 až 20 %. Zhruba pri pätine podmienok je teda výsledok jednej skupiny takmer hod mincou.

Predstavte si učiteľa, ktorý hodnotí každého žiaka podľa jedinej otázky v písomke. Aj výborný žiak občas dostane päťku a slabý jednotku. Taký šum tvoril neodstrániteľnú chybu Brier skóre 0,025 až 0,032, teda viac ako väčšina rozdielov medzi teóriami. Západka s prahom 0,005 potom prijímala a zamietala podľa náhody.

Ponaučenie: sudca musí byť nielen nezávislý, ale aj presný. Lean sa pri matematickom dôkaze nemýli. Náš sudca sa pre šum mýlil často, a revízie preto nemohli spoľahlivo zlepšovať.

Jedna technická drobnosť: jedna odpoveď prišla orezaná, pretože rozhranie modelu vrátilo len posledný blok textu. Sudca ju odmietol pre formát a druhý pokus prešiel.

Nezávislá kritika: šesť návrhov a čo sme s nimi urobili

Po druhej vlne sme dali experiment nezávisle posúdiť a kritiku sme prijali celú. Posudok preveril simulátor, riadenie tímov aj uložené výsledky, znova spustil testy a prepočítal teórie. Každé tvrdenie, ktoré sa dalo overiť, sme overili sami. Všetky platili.

1. Skryté testy mohli presakovať

Sudca spúšťal kód teórie aj na skrytých dátach. Keď kód spadol, text chyby išiel späť tímu. Teória, ktorá by pri chybe vypísala celú podmienku, by tak prezradila parametre skrytých skúšok, napríklad že sú v nich skupiny so 40 členmi.

V prvých dvoch vlnách sa to nestalo, cesta však existovala. Oprava: skryté sady sa hodnotia až po uzamknutí všetkých teórií. Z validácie sa tím dozvie len „prijaté“ alebo „zamietnuté“ a chyby na skrytých dátach sa nikam nehlásia.

2. Jedna skupina je hlučný štítok

2000 úloh neznamená 2000 nezávislých skupín. Rešpekt, líder aj hovoriaci sa losujú raz pre celú podmienku. Posudok našiel 14 zo 60 podmienok, ktoré pri inom losovaní dali opačný výsledok. My sme namerali 15 zo 60.

Práve tento bod vysvetlil, prečo sa západka v druhej vlne mýlila. Oprava: každú podmienku rieši desať skupín a hodnotí sa podiel tých, ktoré vyhrali. Ukladá sa aj priemerný zisk a jeho rozptyl.

3. Slovné tvrdenia nikto nekontroloval

Sudca hodnotil len funkciu predict(c). Slovné predikcie mohli byť nepravdivé a nikto by to nespoznal. Príklad: diverzita v druhej vlne tvrdila, že „hlavolam s diskusiou nikdy nemá zisk nižší ako −0,01“. Tréningové dáta pritom obsahovali štyri protipríklady, najhorší so ziskom −0,199.

Oprava: každá predikcia je teraz strojovo čitateľná. Hovorí, pre akú oblasť parametrov platí, akú veličinu meria a aký prah musí splniť. Sudca v tej oblasti nasimuluje 40 nových podmienok a tvrdenie potvrdí, alebo vyvráti. Až tak dostáva slovo „falzifikovateľná“ praktický význam.

4. Staré výsledky sa miešali s novými pravidlami

Doplnený report prvej vlny označoval všetky verzie ako „prijaté“, hoci prvá vlna nijakú západku nemala. Napríklad štatistik sa na dodatočne dopočítanej validácii zhoršil z 0,073 na 0,085, a predsa stál v tabuľke ako prijatý. Posudok tiež upozornil, že opakované rozhodovanie podľa rovnakej validácie ju postupne „opotrebúva“. Preto je potrebný záverečný test, ktorý na rozhodovanie nikdy neslúži.

Oprava: starý report sme opravili. Každý beh teraz ukladá konfiguráciu, presné označenie modelu, všetky prompty, kópiu kódu a skutočné rozhodnutia západky. Test a veľké skupiny na rozhodovanie neslúžia nikdy.

5. Čo z laboratória skutočne pomáha?

Posudok navrhol porovnať s rovnakým rozpočtom štyri rôzne optiky, štyroch neutrálnych agentov a jedného agenta. Tiež upozornil, že porovnanie so strojovým učením nie je férové. Agent dostáva opis mechanizmov aj číselný zisk, kým klasifikátory sa učia len výsledok áno/nie.

Oprava: pridali sme silnejšie baseliny, logistickú regresiu s interakciami úloha × proces a gradient boosting učený na zisku. Porovnanie perspektív s neutrálnymi agentmi nás ešte len čaká.

6. Nech tímy navrhujú rozlišujúce experimenty

Najzaujímavejší návrh: po prvých teóriách vybrať podmienky, v ktorých sa ich predpovede najviac rozchádzajú, nasimulovať ich a výsledky vrátiť tímom. Tak pracuje skutočná veda: hľadá experiment, ktorý rozhodne medzi súperiacimi teóriami.

Zárodok toho má už tretia vlna: predikcie sú vlastne experimenty, ktoré si tím sám navrhne. Vlastný výber rozlišujúcich podmienok nás ešte len čaká.

K tomu posudok odporučil ukladať stav po každom kole, aby prerušený beh neprišiel nazmar. Aj to sme zapracovali.

Tretia vlna: presnejší sudca a testované predikcie

V tretej vlne revízie prvýkrát skutočne zlepšovali a odpoveď laboratória bola zďaleka najpresnejšia zo všetkých behov. Beh na nových dátach trval 81 minút a stál 20,55 dolára. Všetkých 12 volaní prešlo napoprvé.

Čo sme zmenili

• Desať skupín na podmienku: šum vo validácii klesol z 0,032 na 0,002, teda zhruba pätnásťkrát.
• Uzamknutie teórií: test a veľké skupiny sa vyhodnocujú, až keď všetky tímy skončia.
• Testované predikcie: každá teória má tri predikcie vo formáte JSON a sudca ich overí na nových experimentoch.
• Záznam behu: konfigurácia, prompty, kópia kódu a pokračovanie po prerušení.
• Silnejšie baseliny a skladanie celej odpovede zo všetkých blokov textu.

Ako vyzerá testovaná predikcia

Skutočná predikcia štatistika z jeho prvej revízie:

{"claim": "Obyčajný priemer odhadov porazí najlepšieho člena aj pri vysokej kompetencii a veľkej nerovnosti, ak je korelácia chýb veľmi nízka a skupina veľká.",
 "where": {"task": ["estimate"], "process": ["independent"], "skill_mean": [0.75, 1.0],
           "skill_spread": [0.4, 0.9], "correlation": [0.0, 0.1], "n": [9, 12]},
 "stat": "p_beats", "op": ">=", "value": 0.6}

Po ľudsky: pri odhadoch s priemerovaním, veľmi schopnými a nerovnými členmi, takmer nezávislými chybami a 9 až 12 členmi porazí najlepšieho člena aspoň 60 % skupín. Je to odvážne, pretože intuícia hovorí, že medzi expertmi priemer najlepšieho len „rozriedi“. Sudca nasimuloval 40 nových podmienok v tej oblasti a najlepšieho porazilo 100 % skupín. Predikcia platí.

Aby tímy nemohli pomocou predikcií nahliadnuť do záverečnej skúšky, smeli testovať len skupiny s 3 až 12 členmi.

Výsledky

Brier skóre voči podielu víťazných skupín. Čísla nie sú priamo porovnateľné s prvými dvoma vlnami, pretože cieľ obsahuje menej šumu.

Odpoveď laboratória porazila najlepšiu baseline podľa validácie, logistickú regresiu, o 0,054 na teste a o 0,138 na veľkých skupinách. Gradient boosting dopadol na veľkých skupinách lepšie (0,090), aj voči nemu je však náskok laboratória 0,053. Najlepšiu jednotlivú teóriu porazila o 0,010 na teste, ale len v bodovom odhade, nie štatisticky významne, a o 0,033 na veľkých skupinách, tam významne. Logistická regresia, najlepšia baseline na validácii, sa mimo rozsahu tréningu znova zrútila.

Revízie konečne pomáhajú

Brier skóre na teste po jednotlivých verziách:

Tri tímy zo štyroch sa v prvej revízii výrazne zlepšili. Štatistik sa na veľkých skupinách zlepšil z 0,106 na 0,046, teda o viac ako polovicu. Diverzita začínala horšie ako baseliny a po revízii patrila medzi najlepšie.

Druhá revízia väčšinou nepomohla: západka zamietla tri zo štyroch. Štatistikova r2 by na teste zhoršila skóre z 0,052 na 0,131. Bez západky by sa do odpovede laboratória dostala.

Západka rozhodla správne v 7 z 8 prípadov, v druhej vlne len v 3 z 8. Jediným zmiešaným rozhodnutím bolo zamietnutie minimalistovej r2, ktorá bola na teste horšia, ale na veľkých skupinách o kúsok lepšia. Odpoveď laboratória je vďaka revíziám významne lepšia ako priemer prvých verzií: o 0,033 na teste a o 0,020 na veľkých skupinách.

Predikcie, ktoré prešli, a tie, ktoré nie

Z 36 predikcií prešlo testom na nových experimentoch 33. Ukážky:

• Platí: „Diskusia pri hlavolame združuje kúsky vedomostí aj pri takmer nulovej demonštrovateľnosti. Skupiny s nízkou koreláciou a slabými až strednými členmi prevýšia najlepšieho člena najmenej o 0,2.“ (minimalista r1). Pozorovaný zisk: 0,33.
• Platí, a predpovedá prehru: „Líder pri voľbe sa riadi väčšinou poradcov. Pri silnej korelácii, nerovných zručnostiach a nízkej demonštrovateľnosti skupina prehráva s najlepším aspoň o 2 percentuálne body.“ (minimalista r1). Pozorované: −8 bodov.
• Neplatí, tesne: „Mechanické hlasovanie kopíruje typického člena, pri citeľnej nerovnosti najlepšieho neporazí takmer žiadna skupina (najviac 10 %).“ (diverzita r0). Pozorované: 16 %.
• Neplatí, dramaticky: štatistikova r2 tvrdila, že pri hlavolamoch s veľmi schopnými a nerovnými členmi vyhrá najviac 20 % skupín. Pozorované: 97 %.

Vyvrátené predikcie patrili verziám, ktoré boli slabšie aj podľa čísel. Dve patrili revíziám, ktoré západka zamietla. Tretia patrila prvej verzii diverzity, ktorú tím v ďalšej revízii opravil. Zlyhanie predikcie tak vypovedá o kvalite celej teórie.

Jedna výhrada: úspešnosť 92 % môže znamenať aj to, že tímy formulovali opatrné predikcie. Ich odvahu laboratórium zatiaľ nevie zmerať.

K čomu sme dospeli

Najdôležitejší výsledok: skupina teórií bola vo všetkých troch vlnách múdrejšia ako najlepšia jednotlivá teória vybraná podľa validácie, teda bez nahliadania do testu. Laboratórium tak na vlastnej práci predviedlo presne ten jav, ktorý skúma. Celkovo sme dospeli k siedmim záverom.

1. Skupina teórií porazí najlepšiu teóriu

Priemer predpovedí všetkých tímov bol vo všetkých troch vlnách lepší ako najlepšia jednotlivá teória vybraná podľa validácie. Spätne, s pohľadom do testu, sa dá nájsť verzia, ktorá bola v niektorej sade lepšia, napríklad zamietnutá štatistikova r2 v druhej vlne. Tú by však vopred nikto nevybral. Štatisticky významne v druhej vlne na oboch skrytých sadách a v tretej vlne na veľkých skupinách.

Dôvod poznáme z kapitoly o múdrosti davu. Štatistik, diverzita, sociálny psychológ a minimalista sa mýlili na rôznych miestach a priemer ich chyby rušil. Keby všetky tímy dostali rovnaké zadanie, ich chyby by boli viac korelované a výhoda by sa zmenšila. Túto hypotézu chceme otestovať nabudúce.

2. Teórie zovšeobecňujú, napasované krivky nie

Odpoveď laboratória porazila najlepšiu baseline vo všetkých troch vlnách. Najväčší náskok mala na veľkých skupinách, ktoré nikto nevidel: v tretej vlne 0,037 oproti 0,175 pri najlepšej baseline podľa validácie a oproti 0,090 pri gradient boostingu.

Mechanizmus ako „chyba priemeru sa zmenší na √(ρ + (1 − ρ) / n)“ platí pre skupinu 50 ľudí rovnako ako pre skupinu 5 ľudí. Priamka napasovaná na skupiny s 3 až 12 členmi mimo svojho rozsahu nedáva zmysel. Preto potrebujeme teórie, nie len dáta.

3. Iterácia funguje len s presným sudcom

V prvých dvoch vlnách revízie škodili. V tretej vlne, s pätnásťkrát menším šumom a s testovanými predikciami, zlepšovali a západka rozhodovala správne v 7 z 8 prípadov.

To je možno najvšeobecnejšie ponaučenie celého experimentu. Úzkym hrdlom slučky „navrhni, over, oprav“ nie je model, ale kvalita spätnej väzby. Model, ktorý dostáva hlučné hodnotenie, sa učí z náhody.

4. Západka je nutná aj s dobrým sudcom

Aj v tretej vlne bola druhá revízia väčšinou horšia ako prvá. Model po spätnej väzbe radšej prestavia celú teóriu, než by ju opatrne spresnil. Bez západky by sa dobré revízie stratili pod zlými.

5. AI vie objaviť skryté mechanizmy, kapacitné limity sú najťažšie

Tímy našli väčšinu pravidiel simulátora, niektoré vrátane presných konštánt: 0,3 × nerovnosť, 0,5 + 0,5 × demonštrovateľnosť, 6 hovoriacich, strop úspešnosti 0,95. Najhoršie odhadovali limity, ktoré sa prejavia až pri veľkých skupinách: počet kúskov vedomostí a počet poradcov lídra. Z dát o malých skupinách sa takmer nedajú spoznať.

6. Falzifikovateľné predikcie majú cenu

Tri vyvrátené predikcie patrili slabším verziám teórií. Predikcie dávajú sudcovi druhý, nezávislý kanál: nehodnotí len čísla, ale aj to, či teória hovorí pravdu o konkrétnych situáciách. A nútia ju povedať niečo, čo nemusí platiť.

7. Infraštruktúra je polovica výskumu

Zaseknuté volania, orezané odpovede, chyba sandboxu a možný únik dát zo skrytých testov: každá z týchto drobností mohla skresliť výsledok. Bez záznamu konfigurácie a možnosti pokračovať po prerušení by sa výsledky nedali zopakovať ani overiť.

Odpoveď simulovaného sveta na našu otázku

Na 4 500 podmienkach sme zmerali, ako jednotlivé faktory ovplyvňujú šancu skupiny poraziť najlepšieho člena:

Skupina teda porazí svojho najlepšieho člena, keď:

1. chyby a medzery vo vedomostiach členov nie sú korelované,
2. kompetencie nie sú príliš nerovné,
3. dá sa rozpoznať správna odpoveď alebo je vidieť, kto je kompetentný,
4. úloha vyžaduje skladať rôzne vedomosti.

Pri hlavolamoch skupina vyhráva v 68–94 % podmienok. Pri obyčajnom hlasovaní o otázke s dvoma možnosťami len v 10–21 %. Priemerná kompetencia a veľkosť skupiny majú celkovo len malý vplyv, v jednotlivých situáciách však veľký: väčšia skupina pomáha hlasovaniu, diskusii naopak škodí.

Pozor: tieto pravidlá sme do simulátora vložili my, podľa učebníc. Je to odpoveď nášho modelu sveta, nie nový objav o ľuďoch.

Čo to znamená pre AI agentov a pre ľudské tímy

Rovnaké pravidlá, ktoré rozhodujú, kedy skupina ľudí porazí svojho najlepšieho člena, rozhodujú aj o tom, kedy skupina AI agentov porazí najlepšieho agenta. Nasledujúce odporúčania vychádzajú z nášho experimentu a zodpovedajú aj odbornej literatúre.

Pre systémy s viacerými AI agentmi

1. Rozmanitosť namiesto klonov. Dajte agentom rôzne optiky, roly alebo aj rôzne modely. Klony sa mýlia rovnako a hlasovanie ani priemer im potom nepomôže. Naše štyri optiky vytvorili skupinu, ktorá porazila najlepšiu teóriu.
2. Nezávislé návrhy, potom priemer. Pri číselných a pravdepodobnostných výstupoch nechajte agentov pracovať nezávisle a ich odpovede spriemerujte. Spoločná debata vedie k stádovému správaniu: agenti sa priklonia k tomu najpresvedčivejšiemu.
3. Externý sudca. Testy, simulácie, formálna kontrola alebo merateľná metrika. Nenechávajte modely, aby hodnotili samy seba.
4. Najprv presné hodnotenie, potom viac iterácií. Hlučný hodnotiteľ robí z iterácií lotériu. Do kvality overovania sa oplatí investovať skôr ako do ďalších kôl.
5. Západka. Zmenu prijmite, len keď zlepší výsledok na dátach, ktoré agent nevidel, a to o rozumný kus. Vždy si držte najlepšiu verziu.
6. Overiteľné tvrdenia. Žiadajte od agentov konkrétne tvrdenia, ktoré sa dajú automaticky skontrolovať, a kontrolujte ich.
7. Prevádzka. Obmedzte počet súbežných volaní, zaznamenávajte konfiguráciu a prompty a píšte behy tak, aby sa dali po prerušení dokončiť.

Pre ľudské tímy

• Keď sa dá správna odpoveď predviesť, napríklad pri výpočte, kóde alebo testovateľnej diagnóze, diskutujte. Stačí jeden človek so správnym riešením, ak ho ostatní dokážu overiť.
• Pri odhadoch a úsudkoch, kde sa odpoveď predviesť nedá, zbierajte názory nezávisle pred diskusiou. Inak sa všetci ukotvia pri prvom čísle alebo pri najhlasnejšom človeku. Na tomto princípe stojí napríklad plánovací poker v agilných tímoch alebo metóda Delphi.
• Keď viete, kto je expert, nechajte rozhodnúť jeho po konzultácii s ostatnými. Keď to neviete, je priemer nezávislých názorov bezpečnejší ako líder vybraný podľa sebavedomia.
• Rôzne skúsenosti znižujú korelované chyby. Tím ľudí z tej istej školy, ktorí čítajú rovnaké správy, zdieľa aj rovnaké slepé miesta.
• Na veľkej porade väčšina vedomostí nezaznie. Zbierajte unikátne informácie písomne vopred a pýtajte sa každého, čo vie len on.
• Hlasovanie o záludných otázkach chybu zosilní. Kde môže väčšina naletieť na zavádzajúcu intuíciu, nerozhodujte jednoduchou väčšinou.

Obmedzenia: čo experiment nedokazuje

Experiment ukazuje, že AI dokáže objavovať a spresňovať teórie skrytého systému. Neukazuje nič nové o skutočných ľuďoch a má niekoľko slabín, o ktorých je férové vedieť.

• Svet je náš model. Pravidlá simulátora sme vzali z učebníc. Tímy mohli objaviť len to, čo sme doň vložili.
• Každá vlna je jeden beh na iných dátach. Rozdiely medzi vlnami môžu sčasti vyplývať z dát a zo šťastia tímov. Potrebujeme viac opakovaní.
• Tretia vlna zmenila niekoľko vecí naraz. Presnejší cieľ, testované predikcie v spätnej väzbe a ochrana skrytých dát prišli súčasne. Zatiaľ nevieme, ktorá zmena zlepšenie revízií spôsobila.
• Tímy majú náskok vo vedomostiach. Model pozná Condorceta aj Laughlina, baseliny nie. Porovnanie ukazuje hodnotu predchádzajúcich vedomostí a mechanizmov, nie všeobecnú prevahu jazykových modelov nad strojovým učením.
• Predikcie môžu byť opatrné. Úspešnosť 92 % je dobrá správa len vtedy, keď predikcie niečo riskujú. To zatiaľ nemeriame.
• Malé vzorky. Každá sada má 300 podmienok, takže rozdiely okolo 0,01 Brier skóre sú často v šume. Preto pri kľúčových porovnaniach uvádzame 95-percentné intervaly spoľahlivosti z bootstrapu.
• Jeden model. Všetky tímy bežali na Claude Opus 5.5. Iné modely alebo ich zmes sa môžu správať inak.

Čo ďalej

Najbližším krokom je zistiť, čo presne v tretej vlne zlepšenie spôsobilo. Potom chceme laboratórium pustiť na svet, ktorý sme sami nenaprogramovali.

1. Ablácia tretej vlny. Rovnaké laboratórium pustíme dvakrát: raz bez testovaných predikcií v spätnej väzbe a raz s jedinou skupinou na podmienku. Ukáže sa, či revízie zlepšil presnejší sudca, alebo predikcie. Odhadom 2 × 20 dolárov.
2. Perspektívy oproti neutrálnym agentom. Štyri rôzne optiky, štyria neutrálni agenti a jeden agent s rovnakým rozpočtom. Ak máme pravdu, že sila priemeru teórií pramení z rôznych chýb, neutrálni agenti budú mať chyby viac korelované a ich priemer bude slabší.
3. Rozlišujúce experimenty. Po prvých teóriách laboratórium nájde podmienky, kde sa ich predpovede najviac rozchádzajú, nasimuluje ich a výsledky vráti tímom. Časť rozpočtu pripadne na náhodný výber ako kontrolu.
4. Odvaha predikcií. Zmeriame, akú veľkú časť priestoru predikcia zakazuje, a odvážne predikcie, ktoré platia, budeme odmeňovať viac ako opatrné.
5. Viac opakovaní. Niekoľko behov každej verzie na rôznych dátach, aby sa dalo oddeliť šťastie od schopnosti.
6. Skutočné skupiny. Simulovaných členov nahradíme skupinami AI agentov, ktoré riešia skutočné úlohy: odhady, logické hádanky, faktické otázky. Svet potom nebude náš model a teórie môžu objaviť niečo, čo doň nikto nevložil. Neskôr by sa dali zapojiť aj skupiny ľudí, s informovaným súhlasom a etickým dohľadom.
7. Filozofia. Rovnakú slučku možno použiť aj na filozofické argumenty. Formálna logika overí, či záver z premís naozaj vyplýva. Pravdivosť premís však žiadny sudca neoverí, a práve o ňu sa vo filozofii zvyčajne vedie spor. AI by tu mohla aspoň systematicky odhaľovať skryté predpoklady, z ktorých jednotlivé závery vyplývajú.

Experiment v číslach

Všetky dáta, teórie a grafy nájdete v interaktívnom reporte (v češtine).

Slovníček pojmov

• Baseline: porovnávací model strojového učenia bez teórie, napríklad gradient boosting.
• Brier skóre: priemerná kvadratická chyba predpovedanej pravdepodobnosti. 0 je dokonalá predpoveď, 0,25 hádzanie mincou.
• Bootstrap a 95-percentný interval spoľahlivosti: opakované prevzorkovanie dát. Keď interval rozdielu nezahŕňa nulu, rozdiel je štatisticky významný.
• Demonštrovateľnosť: ako ľahko ostatní spoznajú, že vyslovená odpoveď je správna.
• Extrapolácia: predpoveď mimo rozsahu dát, z ktorých sa model učil.
• Falzifikovateľná predikcia: tvrdenie, ktoré môže experiment vyvrátiť.
• Korelácia chýb: ako veľmi sa členovia skupiny mýlia rovnako.
• Lean: program na formálne overovanie matematických dôkazov.
• p_beats: podiel skupín, ktoré porazili svojho najlepšieho člena.
• Sandbox: izolované prostredie, kde kód teórie beží bez prístupu k súborom a sieti.
• Validácia: dáta, podľa ktorých sa rozhoduje o prijatí revízie. Tím ich nikdy nevidí.
• Západka: pravidlo, ktoré prijme zmenu len vtedy, keď preukázateľne zlepší výsledok.