Co tři běhy ukázaly
- Odpověď laboratoře poráží všechny baseliny ve všech třech bězích.Průměr nejlepších teorií týmů je proti nejlepší baseline (vybrané podle validace) významně lepší na testu i na velkých skupinách v každém běhu. V běhu 3 má na velkých skupinách Brier 0,037 proti 0,175 logistické regrese s interakcemi, která mimo rozsah tréninku selhává.
- Skupina teorií je chytřejší než nejlepší teorie, tedy přesně to, co laboratoř zkoumá.Průměr finálních teorií byl lepší než nejlepší jednotlivá teorie vybraná podle validace ve všech třech bězích. Významně v běhu 2 (test −0,018, velké skupiny −0,047) a v běhu 3 na velkých skupinách (−0,033). Mechanismus je stejný jako v simulovaném světě: týmy s různými optikami dělají různé chyby a průměr je ruší.
- Ve verzi 3 revize konečně pomáhají.Tři ze čtyř týmů se v první revizi výrazně zlepšily na skrytém testu (statistik 0,086 → 0,052, diverzita 0,144 → 0,041, minimalista 0,072 → 0,041) a statistik i na velkých skupinách (0,106 → 0,046). Odpověď laboratoře je díky revizím proti průměru prvních verzí významně lepší (test −0,033, velké skupiny −0,020). V bězích 1 a 2 revize spíš škodily.
- Klíčem byl nejspíš šum ve štítcích.Ve verzích 1–2 nesla každá podmínka výsledek jediné skupiny a u pětiny podmínek je ten výsledek náhoda. Validace pak rozhodovala podle šumu: v běhu 2 rozhodla západka správně jen 3× z 8. Verze 3 hodnotí podíl z 10 skupin, šum ve validaci klesl z 0,032 na 0,002 a západka rozhodla správně 7× z 8. Verze 3 ale změnila i zpětnou vazbu (testované predikce), takže příspěvek jednotlivých změn zatím nejde oddělit.
- Druhá revize obvykle nepomůže.V běhu 3 západka zamítla tři ze čtyř druhých revizí; statistik r2 by na testu zhoršil skóre z 0,052 na 0,131. Jen diverzita se zlepšila dvakrát po sobě. Bez západky by laboratoř přijala i tyto horší verze, jako se to stalo v běhu 1.
- Predikce se dají falzifikovat a jejich selhání má výpovědní hodnotu.V běhu 3 prošlo testem 33 z 36 predikcí. Vyvrácené predikce patří verzím, které byly horší i podle čísel: dvě zamítnutým revizím r2 a jedna diverzitě r0, kterou tým v r1 opravil. Vysoká úspěšnost ale může znamenat i opatrné predikce; jejich odvahu laboratoř zatím neměří.
- Týmy objevují skryté mechanismy, některé i s přesnými konstantami.Už v běhu 1 statistik z 60 řádků zrekonstruoval přesný tvar rozložení kompetencí v simulátoru a sociální psycholog odhadl, že v diskusi je slyšet asi 6 hlasů (přesně 6). Nejhůř se poznávají kapacitní limity, které se projeví až u velkých skupin.
- Provoz se stabilizoval.Se 4 souběžnými voláními se v běhu 1 zasekla 4 ze 13. Se 2 souběžnými se v bězích 2 a 3 nezaseklo ani jedno z 25. Verze 3 navíc skládá odpovědi ze všech bloků textu, takže už žádná nepřišla useknutá.
Skupina poráží svého nejlepšího člena, když chyby a mezery ve znalostech členů nejsou korelované, když kompetence nejsou příliš nerovné, když jde správnou odpověď rozpoznat nebo je vidět, kdo je kompetentní, a když úloha vyžaduje skládat různé znalosti. U hlavolamů skupina vyhrává v 68–94 % podmínek, u prostého hlasování o otázce se dvěma možnostmi jen v 10–21 %.
Tyto mechanismy jsou do simulátoru vložené podle učebnic (Condorcet, moudrost davu, Steiner, Laughlin, skryté profily). Laboratoř tedy testuje, jestli je agenti dokážou objevit a zobecnit, ne jestli platí pro skutečné lidi.
Vývoj laboratoře
Každá verze laboratoře opravuje to, co ukázal předchozí běh nebo nezávislá kritika.
| Verze | Co se změnilo | Proč |
|---|---|---|
| v1 běh 1 + doplnění | Základní smyčka: 4 týmy, 60 pilotních řádků, teorie jako kód, soudce na tréninku, 2 kola revize. Každá revize se stala základem další. 4 volání najednou, jeden výsledek na podmínku. | První prototyp podle postupu PSI. |
| v2 běh 2 | Západka: revize projde, jen když zlepší validaci (300 podmínek) aspoň o 0,005. Odpověď laboratoře je průměr nejlepších teorií. Nejvýše 2 volání najednou, týmy bez čekání na kola, funkční limit volání, širší sandbox. | V běhu 1 revize škodily, průměr teorií byl nejlepší a 4 souběžná volání se zasekávala. |
| v3 běh 3 | 10 skupin na podmínku a cíl p_beats. Skryté testy až po uzamčení teorií. Predikce jako JSON, testované na nových experimentech. Konfigurace, kopie kódu a prompty v každém běhu. Pokračování přerušeného běhu. Silnější baseliny. Skládání všech bloků odpovědi. | Nezávislá kritika (únik přes chybová hlášení, šum ve štítcích, netestovaná slovní tvrzení) a běh 2 (západka rozhodovala podle šumu, useknutá odpověď). |
Jak laboratoř funguje
- 1 · světSimulované skupiny řeší úlohy
Každou podmínku řeší 10 skupin po 2000 problémech. Výsledkem je podíl skupin, které porazí svého nejschopnějšího člena (p_beats), průměrný zisk a jeho rozptyl.
- 2 · dataČtyři sady podmínek
Trénink, validace a test po 300 podmínkách (n 3–12), velké skupiny 300 podmínek (n 16–60, mimo rozsah tréninku).
- 3 · týmyČtyři instance Claude
Bez nástrojů a bez přístupu k souborům. Dostanou popis protokolu, svou optiku a 60 pilotních řádků.
- 4 · teorieText, kód a predikce
Tvrzení, funkce
predict(c)a 3 predikce ve formátu JSON: oblast parametrů, statistika a práh. - 5 · soudceTrénink a nové experimenty
Kód se hodnotí na tréninku, každá predikce na 40 nově nasimulovaných podmínkách v oblasti, kterou určí. Ze skrytých dat se tým nedozví nic.
- 6 · revizeZápadka
Dvě kola oprav. Revize projde, jen když zlepší validaci aspoň o 0,005; jinak tým pokračuje ze své nejlepší verze a dozví se jen, že neprošla.
- 7 · uzamčeníSkryté testy a odpověď
Po skončení všech týmů se teorie vyhodnotí na testu a velkých skupinách. Odpovědí laboratoře je průměr nejlepších přijatých teorií.
| PSI (matematika) | Laboratoř teorií | |
|---|---|---|
| Generátor | neveřejný model Anthropicu ve vlastním výzkumném systému | 4 týmy Claude Opus 5.5 (claude-opus-5-5), každý s jinou odbornou optikou |
| Ověřovatel | Lean 4 + Mathlib | simulovaný svět, sandbox a testy predikcí na nových experimentech |
| Co se ověřuje | logická platnost každého kroku důkazu | předpovědi na podmínkách, které tým neviděl, a platnost slovních tvrzení |
| Přijetí změny | Lean přijme jen platný krok | západka přijme jen revizi, která zlepší skrytou validaci |
Brier skóre je průměrná čtvercová chyba předpovězené pravděpodobnosti. V bězích 1–2 se počítalo proti jednomu výsledku (0/1), v běhu 3 proti podílu z 10 skupin, proto čísla běhu 3 nejdou přímo srovnávat s předchozími.
Simulovaný svět
Typy úloh
estimate: každý člen odhaduje neznámé číslo, hodnotí se absolutní chyba.
choice: otázka se dvěma možnostmi, jedna je správná, hodnotí se úspěšnost.
puzzle: problém vyžaduje zkombinovat několik různých kousků znalostí. Sám ho vyřeší jen člen, který má všechny.
Rozhodovací procesy
independent: členové spolu nemluví, odpovědi se spojí mechanicky (průměr, většina, odpověď nejrespektovanějšího „řešitele“).
deliberation: volná diskuse s omezeným časem, která končí konsenzem.
leader: nejrespektovanější člen rozhodne po konzultaci s několika dalšími.
| Parametr | Rozsah | Význam (tak ho dostaly týmy) |
|---|---|---|
n | 3–12 · 16–60 | velikost skupiny (trénink, validace a test · velké skupiny) |
skill_mean | 0–1 | průměrná kompetence členů |
skill_spread | 0–1 | nerovnost kompetence (0 = všichni stejní, 1 = nejlepší vyčnívá) |
correlation | 0–1 | jak podobné jsou chyby a mezery ve znalostech |
skill_visibility | 0–1 | jak přesně členové poznají, kdo je kompetentní |
demonstrability | 0–1 | jak snadno ostatní poznají, že vyslovená odpověď nebo znalost je správná |
Skryté mechanismy a konstanty simulátoru (týmy je nikdy neviděly)
Kompetence členů: průměr + 0,3 · spread · z, kde z jsou rovnoměrně rozložené kvantily normálního rozdělení, oříznuto do 0–1. Respekt: visibility · z + √(1 − visibility²) · šum; šum se losuje pro každou skupinu zvlášť, proto se skupiny se stejnými parametry liší vůdcem a mluvčími.
Odhad: směrodatná chyba 0,3 + 1,4 · (1 − kompetence), sdílená složka s podílem rozptylu correlation. Vůdce: 70 % vlastní odhad, 30 % průměr nejvýše 5 poradců. Diskuse: váhy mluvčích podle respektu a, při demonstrovatelnosti, podle přesnosti na konkrétním problému.
Volba: úspěšnost 0,3 + 0,65 · kompetence. Diskuse: správná odpověď vyslovená mluvčím vyhraje s pravděpodobností d, jinak rozhodne vliv vážený respektem.
Hlavolam: 5 kousků znalostí, každý člen drží kousek s pravděpodobností 0,35 + 0,6 · kompetence. Vyslovený kousek skupina přijme s pravděpodobností 0,5 + 0,5 · d. Nezávislý režim: kdo hlavolam nevyřešil, mylně věří opaku s pravděpodobností 0,5 · (1 − d).
Kapacitní limity: diskusi utváří jen 6 nejrespektovanějších členů, vůdce konzultuje nejvýše 5.
| Úloha | Proces | Malé skupiny (3–12) | Velké skupiny (16–60) | Změna |
|---|
U pětiny podmínek se výsledek liší podle toho, jak se skupina vylosuje (pořadí statusu, tedy vůdce a mluvčí). Proto verze 3 simuluje 10 skupin na podmínku. Svět ověřuje 10 kontrolních testů (Condorcet, moudrost davu, korelované chyby, sdílení znalostí, determinismus a další), všechny procházejí.
Výsledky jednotlivých běhů
| Model | Verze | Predikce | Velikost kódu | Cena | Trénink | Validace | Test | Velké skupiny |
|---|
Buňky: Brier / přesnost. ◆ = nejlepší ve sloupci. „finální“ = verze, kterou laboratoř použila v odpovědi (nejlepší přijatá). „zamítnuto“ = revize, kterou západka nepustila. V běhu 1 západka nebyla a finální je poslední verze.
Srovnání běhů
Brier skóre na skrytém testu / velkých skupinách. Běh 3 hodnotí podíl z 10 skupin, jeho čísla jsou proto nižší i díky menšímu šumu v cíli.
Které rozdíly jsou skutečné
Párový bootstrap přes podmínky (4 000 převzorkování). Záporný rozdíl znamená, že první model je lepší. ◆ = významně lepší, červeně = významně horší.
| Srovnání | Test: rozdíl | 95% interval | Velké skupiny: rozdíl | 95% interval |
|---|
Rozhodla západka správně?
Každá revize ve srovnání s verzí, ze které vycházela. Rozhodnutí je správné, když přijatá revize zlepšila obě skryté sady, nebo když zamítnutá revize obě zhoršila. Kladná změna Brier = zhoršení.
| Běh | Tým | Revize | Δ validace | Δ test | Δ velké skupiny | Rozhodnutí | Hodnocení |
|---|
Predikce testované na nových experimentech
Soudce pro každou predikci nasimuloval 40 nových podmínek v oblasti, kterou určila, a spočítal požadovanou statistiku. Výsledky dostal tým ve zpětné vazbě.
| Tým | Verze | Predikce | Oblast | Test | Pozorováno | Platí |
|---|
Kde teorie chybují
Brier skóre v každé kombinaci typu úlohy a procesu. Pod číslem je průměrná předpověď; porovnej ji se skutečností ve druhém sloupci. Čím tmavší buňka, tím větší chyba.
V bězích 1–2 teorie na velkých skupinách nadhodnocovaly hlavolamy: počítaly s tím, že víc členů přinese víc znalostí, ale v simulátoru diskutuje jen 6 lidí. Baseliny bez teorie naopak selhávají u odhadu a hlasování, kde se mechanismus jako √(ρ + (1−ρ)/n) dá extrapolovat.
Které skryté mechanismy týmy našly
Srovnání textů a konstant v kódu všech verzí běhu 1 se skutečným simulátorem. Hodnocení je moje.
| Mechanismus | Skutečnost | Statistik | Diverzita | Soc. psycholog | Minimalista |
|---|---|---|---|---|---|
| Korelované chyby omezují průměrování | √(ρ + (1−ρ)/n) | ✓ρσ̄² + (1−ρ)σ²/n | ✓sdílená slepá místa | ✓n/(1+(n−1)r) | ✓√(c + (1−c)/n) |
| Tvar rozložení kompetencí | průměr + 0,3 · spread · z | ✓přesně (r0) | ◐koeficient 0,35 | ◐pořadové statistiky | ◐logitová škála |
| Strop úspěšnosti | 0,95 | ✓0,95 | ◐0,97 | ✓0,95 | – |
| Obrácený Condorcet | úspěšnost 0,3 + 0,65 · s | ✓vědoucí a hádači | ✓návnady | ✓návnady | ✓základ 0,3 |
| Přijetí vysloveného kousku | 0,5 + 0,5 · d | ✓přesně (r0) | ◐d + (1−d)·status | ◐d^0,8 | ✓0,5 + 0,5 · d |
| Falešní řešitelé ubývají s demonstrovatelností | 0,5 · (1 − d) | ◐r2 závislost zrušil | ✓0,6 · (1 − d) | ◐r2 zrušil | ◐· (1 − d) |
| Vůdce váží vlastní odhad | 70 % | ✓2/3 | ✓2/3 | ◐bez čísla | ✓65 % |
| Omezený čas v diskusi | 6 mluvčích | – | ◐čas omezuje | ✓„asi 6 hlasů“ | – |
| Počet poradců vůdce | nejvýše 5 | ✗60–80 % | ✗60–75 % | ✗polovina | ◐3–4 |
| Počet kousků u hlavolamu | 5 | ✗3 | ✗2, pak 3 | ◐4, pak 3 | ✗3 |
Všech 36 verzí v plném znění
Průběh a náklady
Každý pruh je jedno volání Claude. V běhu 1 začínalo kolo až po skončení všech volání předchozího kola; od běhu 2 jede každý tým samostatně a najednou běží nejvýše 2 volání.
Ceníkové ceny vrácené CLI. Zaseklá volání v běhu 1 v součtu nejsou, protože se jejich cena nevrátila. Při předplatném se nic neplatí přímo, ale čerpají se limity plánu.
Kritika a reakce
Nezávislá kritika po běhu 1 navrhla šest vylepšení. Ověřitelná tvrzení jsem ověřil a všechna platila.
| Návrh | Ověření | Reakce | Stav |
|---|---|---|---|
| 1. Uzavřít únik ze skrytých testů | Platí: soudce spouštěl kód i na skrytých datech a text chyby šel zpět týmu. V bězích 1–2 se to nestalo, cesta ale existovala. | Skryté sady se hodnotí až po uzamčení teorií, z validace se tým dozví jen „přijato / zamítnuto“, chyby na skrytých datech se nehlásí. | v3 |
| 2. Měřit variabilitu mezi skupinami | Platí: 15 z 60 podmínek dalo při různých skupinách oba výsledky; šum ve štítcích tvořil Brier 0,025–0,032. | 10 skupin na podmínku, cílem je p_beats, ukládá se i průměrný zisk a jeho rozptyl. Šum ve validaci klesl na 0,002. | v3 |
| 3. Testovat slovní tvrzení | Platí: predikce „hlavolam s diskusí nikdy neprohraje“ měla v tréninku 4 protipříklady. | Predikce jako JSON, soudce je ověřuje na nových experimentech a výsledky vrací týmu. 33 z 36 platí. | v3 |
| 4. Oddělit historické výsledky | Platí: report doplněného běhu 1 označoval všechny verze „přijato“. | Report opraven. Každý běh ukládá konfiguraci, ID modelu, kopii kódu, prompty a rozhodnutí. Test a velké skupiny k rozhodování nikdy neslouží. | v3 |
| 5. Změřit, co pomáhá | Oprávněné: srovnání neizolovalo přínos perspektiv ani teorie. | Silnější baseliny (interakce úloha × proces, regrese na zisk) jsou hotové. Ablace perspektiv při stejném rozpočtu zbývá. | částečně |
| 6. Rozlišující experimenty | Oprávněné, nejzajímavější rozšíření. | Zárodek ve v3: predikce jsou experimenty, které si tým sám navrhne. Výběr podmínek, kde se teorie nejvíc rozcházejí, zbývá. | navrženo |
| Ukládání stavu a pokračování | Oprávněné: výsledky se psaly až na konci. | Stav po každé verzi (state.json), --resume dokončí přerušený běh. | v3 |
Omezení a další krok
- Svět je můj model. Teorie mohou objevit jen to, co do simulátoru vložil autor, takže výsledky nic neříkají o skutečných lidech.
- Verze 3 změnila několik věcí najednou (cíl z 10 skupin, testované predikce ve zpětné vazbě, ochranu skrytých dat). Zlepšení revizí proto nejde připsat jedné z nich.
- Každá verze má jeden běh s jinými daty. Rozdíly mezi běhy mohou zčásti plynout z dat a ze štěstí týmů.
- Vysoká úspěšnost predikcí může znamenat opatrné predikce. Laboratoř zatím neměří jejich odvahu.
- Týmy mají znalost literatury, baseliny ne. Srovnání ukazuje hodnotu předchozích znalostí a mechanismů, ne obecnou převahu AI nad strojovým učením.
Další krok
Ablace verze 3: stejná laboratoř jednou bez testovaných predikcí ve zpětné vazbě a jednou s jedním výsledkem na podmínku. Ukáže, co zlepšení revizí skutečně způsobilo.
Perspektivy proti neutrálním agentům: 4 různé optiky, 4 neutrální agenti a jeden agent se stejným rozpočtem. Ověří, jestli síla průměru teorií pochází z různých perspektiv.
Rozlišující experimenty: po prvních verzích nasimulovat podmínky, kde se teorie nejvíc rozcházejí, a vrátit je týmům; část rozpočtu ponechat náhodnému výběru jako kontrolu.
Odvaha predikcí: měřit, jak velkou část prostoru predikce zakazuje, a odměňovat odvážné predikce, které platí.
Zdroje: C:\Projekty\test\Theory lab\runs\ (20261107-125253, 20261107-183023, 20261107-210534). Kód: world.py, lab.py, test_world.py; každý běh verze 3 má i vlastní kopii kódu v code/.