Superforecasting v kostce
Toto je volný neoficiální překlad článku „Superforecasting in a nutshell“. Autor: Luke Muehlhauser.
Představte si, že chcete zjistit, jaká je pravděpodobnost, že inovativní nový produkt uspěje, že Čína v příští dekádě napadne Tchaj-wan, nebo že svět zasáhne globální pandemie — tedy otázky, u kterých nelze použít „prediktivní analytiku“, protože nemáte k dispozici obrovskou datovou sadu, kterou byste mohli vložit do statistických modelů, jako například Amazon při předpovídání, kdy vám dorazí balík.
Je možné vytvořit spolehlivé a přesné předpovědi pro takové otázky?
Kupodivu se zdá, že odpověď zní: „Ano, pokud to uděláte správně.“
Jednou z nadějných metod jsou predikční trhy, ty jsou ale většinou v USA nelegální a jejich přesnost zatím komplikují různé problémy s implementací. Naštěstí existuje také metoda zvaná superforecasting, která je zcela legální a velmi účinná.
Jak to funguje?
Základní princip je velmi jednoduchý. Kroky jsou následující:
- Začněte vůbec měřit přesnost předpovědí. Některá odvětví přesnost svých předpovědí pečlivě sledují, například hedgeové fondy. Ale většina odvětví, která se silně spoléhají na předpovědi, přesnost téměř neměří — například žurnalistika, filantropie, vědecký výzkum nebo americké zpravodajské služby.
- Identifikujte lidi, kteří jsou dlouhodobě přesnější než ostatní. Například ty, kteří se opakovaně dostávají mezi 0,1 % nejpřesnějších předpovědí po několik let za sebou (bez známek návratu k průměru). To jsou vaši „superpředpovídači“ (superforecasters).
- Pokládejte své předpovědní otázky těmto superpředpovídačům a použijte agregované výsledky jejich předpovědí.
Technicky vzato je běžná metoda o něco složitější, ale tyto tři kroky jsou jádrem metody superforecastingu.
Jak dobře to funguje?
Před několika lety americké zpravodajské služby tuto metodu otestovaly ve velkém, rigorózním turnaji v předpovědích, který zahrnoval několik randomizovaných kontrolovaných studií a produkoval více než milion předpovědí na více než 500 geopolitických otázek, například „Dojde v roce 2013 k násilnému incidentu v Jihočínském moři, který si vyžádá alespoň jednu oběť?“ Tento výzkum zjistil:
- Tato metoda produkovala velmi dobře kalibrované předpovědi. Předpovědi s 20% pravděpodobností se vyplnily ve 20 % případů, předpovědi s 80% pravděpodobností se vyplnily v 80 % případů, a tak dále. Nejde o křišťálovou kouli; metoda vám nemůže říct s jistotou, zda Čína v příští dekádě napadne Tchaj-wan, ale pokud uvede pravděpodobnost 10 %, můžete si být poměrně jisti, že šance jsou opravdu blízko 10 %, a podle této úrovně rizika můžete zvolit vhodnou politiku.
- Tato metoda byla mnohem přesnější než běžné předpovědi nebo jiné přístupy, které byly vyzkoušeny.
To jsou ohromující výsledky, a to z neobyčejně pečlivé a rigorózní studie!
Proč ji nepoužívá více organizací?
Možná byste si mysleli, že americké zpravodajské služby tuto metodu nadšeně přijaly, zejména proto, že studii financovaly právě za účelem zlepšení přesnosti svých zpravodajských odhadů pro politická rozhodnutí. Bohužel mám zkušenost, že jen velmi málo lidí v amerických zpravodajských a národněbezpečnostních komunitách o těchto výsledcích vůbec slyšelo, nebo dokonce zná termín superforecasting.
Jak ji implementovat?
Velká organizace, jako je CIA nebo Ministerstvo obrany, má dostatek lidí a vytváří dostatek předpovědí, aby mohla celý proces superforecastingu implementovat interně, pokud by chtěla. Menší organizace mohou jednoduše najmout již ověřené superpředpovídače, kteří poskytnou dobře kalibrované předpovědi na otázky nejdůležitější pro jejich rozhodování.
- Superpředpovídače, kteří v turnaji předčili zpravodajské analytiky, lze najmout prostřednictvím společnosti Good Judgment Inc.
- Další společnost, Hypermind, nabízí agregované předpovědi od „mistrů předpovědí,“ nejpřesnějších předpovídačů za téměř dvě desetiletí.
- Další projekty, například Metaculus, začínají také identifikovat předpovídače s neobvykle vysokou přesností.
Tyto společnosti mají své vlastní silné a slabé stránky a Open Philanthropy již v posledních letech zadalo předpovědi od všech tří. Pokud pracujete v malé organizaci, která pravidelně činí důležitá rozhodnutí na základě očekávání budoucího vývoje, doporučuji je vyzkoušet.
Pokud pracujete ve velké organizaci nebo s velmi citlivými informacemi, zvažte implementaci celého procesu superforecastingu interně. (Najmutí jedné nebo více zmíněných organizací může být levným způsobem, jak model nejprve otestovat.)
Poznámky a odkazy
Všechny poznámky a odkazy najdete na konci původního článku.