Raport badawczy Kalshi: W przewidywaniu CPI mądrość tłumu bije na głowę analityków z Wall Street

Oryginalny tytuł: Beyond Consensus: Prediction Markets and the Forecasting of Inflation Shocks

Oryginalne źródło: Kalshi Research

Oryginalne tłumaczenie: Azuma, Odaily Planet Daily

Uwaga redaktora: Wiodąca platforma rynku predykcyjnego Kalshi ogłosiła wczoraj uruchomienie nowej serii raportów badawczych, Kalshi Research, mającej na celu udostępnienie wewnętrznych danych Kalshi naukowcom i badaczom zainteresowanym tematami związanymi z rynkami predykcyjnymi. Opublikowano pierwszy raport badawczy z tej serii, a poniżej znajduje się oryginalna treść raportu, przetłumaczona przez Odaily Planet Daily:

Przegląd

Zazwyczaj w tygodniu poprzedzającym publikację ważnych danych ekonomicznych analitycy z dużych instytucji finansowych i starsi ekonomiści przedstawiają szacunki oczekiwanych wartości. Prognozy te, po zagregowaniu, są określane jako „oczekiwania konsensusu” i są powszechnie uważane za kluczowy punkt odniesienia dla wglądu w zmiany rynkowe i korekty pozycji.

W niniejszym raporcie badawczym porównujemy oczekiwania konsensusu z wyceną implikowaną rynku predykcyjnego Kalshi (czasami określaną jako „prognozy rynkowe”) w przewidywaniu rzeczywistej wartości tego samego kluczowego sygnału makroekonomicznego — rocznej stopy inflacji (YOY CPI).

Kluczowe wnioski

· Wyższa ogólna dokładność: We wszystkich środowiskach rynkowych (w tym w środowiskach normalnych i szokowych), przewidywany średni błąd bezwzględny (MAE) Kalshi jest o 40,1% niższy niż oczekiwania konsensusu.

· „Shock Alpha”: Podczas znaczących szoków (powyżej 0,2 punktu procentowego), w tygodniowym oknie prognozy, prognoza Kalshi ma o 50% niższy MAE w porównaniu z oczekiwaniami konsensusu; jeśli w dniu przed publikacją danych, MAE rozszerza się dalej do 60%; podczas umiarkowanych szoków (między 0,1 - 0,2 punktu procentowego), w tygodniowym oknie prognozy, prognoza Kalshi ma o 50% niższy MAE w porównaniu z „oczekiwaniami konsensusu”, rozszerzając się do 56,2% w dniu przed publikacją danych.

· Sygnał predykcyjny: Gdy odchylenie między prognozami rynkowymi a oczekiwaniami konsensusu przekracza 0,1 punktu procentowego, prawdopodobieństwo wystąpienia szoku w prognozie wynosi około 81,2%, wzrastając do około 82,4% w dniu przed publikacją danych. W przypadkach niespójności między prognozami rynkowymi a oczekiwaniami konsensusu, prognozy rynkowe są dokładniejsze w 75% przypadków.

Tło

Progności makroekonomiczni stoją przed nieodłącznym wyzwaniem: przewidywanie najbardziej krytycznych momentów — kiedy rynki są w rozterce, polityka się zmienia, a występują przerwy strukturalne — jest dokładnie tym, kiedy modele historyczne najprawdopodobniej zawiodą. Uczestnicy rynków finansowych zazwyczaj publikują prognozy konsensusu na kilka dni przed kluczowymi publikacjami danych ekonomicznych, agregując opinie ekspertów w oczekiwania rynku. Jednakże, choć te poglądy konsensusu są cenne, często dzielą podobne ścieżki metodologiczne i źródła informacji.

Dla inwestorów instytucjonalnych, menedżerów ryzyka i decydentów politycznych stawki dokładności prognoz są asymetryczne. W czasach niekwestionowanych, nieco lepsza prognoza oferuje tylko ograniczoną wartość; ale w czasach rozgardiaszu rynkowego — kiedy zmienność gwałtownie rośnie, korelacje się załamują lub relacje historyczne zawodzą — wyższa dokładność może przynieść znaczące zwroty Alpha i złagodzić spadki.

Dlatego zrozumienie, jak parametry zachowują się podczas turbulencji rynkowych, jest kluczowe. Skupiamy się na kluczowym wskaźniku makroekonomicznym — rocznym wskaźniku cen konsumpcyjnych (YOY CPI) — który jest podstawowym punktem odniesienia dla przyszłych decyzji dotyczących stóp procentowych i istotnym sygnałem zdrowia gospodarczego.

Porównujemy i oceniamy dokładność prognoz w wielu oknach przed oficjalną publikacją danych. Naszym kluczowym odkryciem jest to, że tak zwany „Shock Alpha” rzeczywiście istnieje — co oznacza, że w zdarzeniach ogonowych prognozy oparte na rynku mogą osiągnąć dodatkową precyzję predykcyjną w porównaniu z benchmarkami konsensusu. To lepsze wyniki nie są tylko przedmiotem zainteresowania akademickiego, ale są kluczowe w momentach, gdy błędy prognoz niosą najwyższe koszty ekonomiczne, znacząco poprawiając jakość sygnału. W tym kontekście, naprawdę ważne pytanie nie brzmi, czy rynki mają „zawsze rację” w prognozowaniu, ale czy dostarczają sygnał godny włączenia do tradycyjnych ram decyzyjnych, który oferuje zróżnicowaną wartość.

Metodologia

Dane

Analizujemy dzienne implikowane prognozy z rynków predykcyjnych na platformie Kalshi, obejmujące trzy punkty czasowe: tydzień przed publikacją danych (zgodnie z publikacją oczekiwań konsensusu), dzień przed publikacją i rano w dniu publikacji. Każdy użyty rynek jest lub był rynkiem realnie zbywalnym, odzwierciedlającym pozycje w prawdziwych pieniądzach na różnych poziomach płynności. W przypadku oczekiwań konsensusu zbieramy prognozy konsensusu YOY CPI na poziomie instytucjonalnym, zazwyczaj publikowane około tydzień przed oficjalnymi danymi z U.S. Bureau of Labor Statistics.

Okres próbny obejmuje czas od lutego 2023 r. do połowy 2025 r., obejmując ponad 25 miesięcznych cykli publikacji CPI w różnych środowiskach makroekonomicznych.

Klasyfikacja wpływu

Sklasyfikowaliśmy zdarzenia na trzy kategorie w oparciu o „wielkość zaskoczenia” w stosunku do poziomów historycznych. „Wpływ” definiuje się jako bezwzględną różnicę między oczekiwaniami konsensusu a faktycznie zgłoszonymi danymi:

· Zdarzenie normalne: Błąd prognozy dla YOY CPI jest mniejszy niż 0,1 punktu procentowego;

· Umiarkowany wpływ: Błąd prognozy dla YOY CPI wynosi od 0,1 do 0,2 punktu procentowego;

· Duży wpływ: Błąd prognozy dla YOY CPI przekracza 0,2 punktu procentowego.

Ta klasyfikacja pozwala nam zbadać, czy dokładność prognoz wykazuje systematyczne różnice w miarę zmiany trudności prognozowania.

Metryki wydajności

Aby ocenić wydajność predykcyjną, wykorzystujemy następujące metryki:

· Średni błąd bezwzględny (MAE): Główna metryka dokładności obliczana jako średnia z bezwzględnych różnic między wartościami przewidywanymi a wartościami rzeczywistymi.

· Wskaźnik wygranych: Gdy różnica między oczekiwaniami konsensusu a prognozami rynkowymi osiągnie lub przekroczy 0,1 punktu procentowego (zaokrąglone do jednego miejsca po przecinku), rejestrujemy, która prognoza jest bliższa ostatecznemu rzeczywistemu wynikowi.

· Analiza horyzontu prognozy: Śledzimy, jak dokładność szacunków rynkowych ewoluuje od tygodnia przed publikacją do dnia publikacji, ujawniając wartość ciągłego włączania informacji.

Wyniki: Wydajność prognozowania CPI

Ogólne prognozy oparte na rynku utrzymują przewagę

We wszystkich warunkach rynkowych prognozy CPI oparte na rynku wykazują średnio o 40,1% niższy średni błąd bezwzględny (MAE) w porównaniu z prognozami konsensusu. We wszystkich horyzontach czasowych MAE prognozy CPI opartej na rynku jest o 40,1% niższe niż oczekiwania konsensusu (tydzień wcześniej) do 42,3% niższe (dzień wcześniej).

Ponadto, w przypadkach, gdy istnieje rozbieżność między oczekiwaniami konsensusu a wartościami implikowanymi przez rynek, prognozy rynkowe Kalshi wykazują statystycznie istotny wskaźnik wygranych w zakresie od 75,0% tydzień wcześniej do 81,2% w dniu publikacji. Biorąc pod uwagę przypadki, w których prognoza jest powiązana z konsensusem (zaokrąglone do jednego miejsca po przecinku), prognozy oparte na rynku są zgodne z konsensusem lub przewyższają go w około 85% przypadków na tydzień przed publikacją.

Ta wysoka dokładność kierunkowa wskazuje: Gdy istnieje rozbieżność między prognozami rynkowymi a oczekiwaniami konsensusu, ta rozbieżność sama w sobie posiada znaczącą wartość informacyjną dotyczącą prawdopodobieństwa wystąpienia zdarzenia wpływu.

Istnienie „Impact Alpha”

Różnica w dokładności prognoz jest szczególnie wyraźna podczas zdarzeń wpływu. W przypadku umiarkowanego zdarzenia wpływu, średni błąd rynku (MAE) w porównaniu z oczekiwaniami konsensusu ma być o 50% niższy, gdy czas publikacji jest spójny, rozszerzając się do 56,2% lub więcej w dniu przed publikacją danych; w przypadku znaczącego zdarzenia wpływu, MAE rynku ma być również o 50% niższy niż oczekiwania konsensusu, gdy czas publikacji jest spójny, osiągając 60% lub więcej w dniu przed publikacją danych; podczas gdy w normalnym środowisku bez wpływu, wydajność prognozowania rynku jest mniej więcej równoważna oczekiwaniom konsensusu.

Chociaż wielkość próby zdarzeń wpływu jest mała (co jest rozsądne w świecie, w którym „wpływ jest z natury wysoce nieprzewidywalny”), ogólny wzorzec jest bardzo jasny: kiedy środowisko predykcyjne jest najbardziej wymagające, przewaga agregacji informacji rynku staje się najbardziej wartościowa.

Jednak jeszcze ważniejsze jest nie tylko to, że prognozy Kalshi działają lepiej w okresach wpływu, ale także to, że rozbieżność między prognozami rynkowymi a oczekiwaniami konsensusu sama w sobie może być sygnałem nadchodzącego wpływu. W przypadkach rozbieżności, prognoza rynku przewyższa oczekiwania konsensusu ze wskaźnikiem wygranych na poziomie 75% (w porównywalnym oknie czasowym). Ponadto analiza progowa wskazuje dalej, że gdy rynek odchyla się od konsensusu o więcej niż 0,1 punktu procentowego, prawdopodobieństwo wpływu predykcyjnego wynosi około 81,2%, co wzrasta do około 84,2% w dniu przed publikacją danych.

Ta znacząca różnica praktyczna wskazuje, że rynek predykcyjny może nie tylko służyć jako konkurencyjne narzędzie prognozowania obok oczekiwań konsensusu, ale także jako „meta-sygnał” dotyczący niepewności predykcyjnej, przekształcając rozbieżność rynku od konsensusu w mierzalny wczesny wskaźnik ostrzegający o potencjalnych nieoczekiwanych wynikach.

Dalsza dyskusja

Pojawia się oczywiste pytanie: Dlaczego w okresach wpływu prognozy rynkowe przewyższają prognozy konsensusu? Proponujemy trzy uzupełniające się mechanizmy wyjaśniające to zjawisko.

Heterogeniczność uczestników rynku i „mądrość tłumów”

Chociaż tradycyjne oczekiwania konsensusu integrują poglądy wielu instytucji, często dzielą podobne założenia metodologiczne i źródła informacji. Modele ekonometryczne, raporty badawcze z Wall Street i publikacje danych rządowych tworzą wysoce nakładającą się wspólną bazę wiedzy.

W przeciwieństwie do tego, rynek predykcyjny agreguje pozycje utrzymywane przez uczestników z różnymi bazami informacyjnymi: w tym własne modele, spostrzeżenia specyficzne dla branży, alternatywne źródła danych i intuicyjne osądy oparte na doświadczeniu. Ta różnorodność uczestników ma silne podstawy teoretyczne w teorii „mądrości tłumów”. Teoria ta sugeruje, że gdy uczestnicy posiadają istotne informacje, a ich błędy prognoz nie są w pełni skorelowane, agregowanie niezależnych prognoz z różnych źródeł często prowadzi do lepszych szacunków.

A w środowisku makro, podczas „przejścia stanu”, wartość tej różnorodności informacji jest szczególnie widoczna — jednostki z rozproszonymi, lokalnymi informacjami wchodzą w interakcje na rynku, ich fragmenty informacyjne łączą się, tworząc zbiorowy sygnał.

Różnice w strukturze zachęt uczestników

Na poziomie instytucjonalnym progności konsensusu często znajdują się w złożonym systemie organizacyjnym i reputacyjnym, który systematycznie odbiega od celu „czystego dążenia do dokładności prognoz”. Ryzyko zawodowe, z jakim borykają się progności, tworzy asymetryczną strukturę nagród — znaczący błąd prognozowania skutkuje zauważalnymi kosztami reputacyjnymi, a nawet jeśli prognoza jest wysoce dokładna, zwłaszcza jeśli znacząco odbiega od konsensusu rówieśników, niekoniecznie musi otrzymać proporcjonalną nagrodę zawodową.

Ta asymetria wywołuje „zachowanie stadne”, gdzie progności mają tendencję do grupowania swoich prognoz wokół wartości konsensusu, nawet jeśli ich prywatne informacje lub wyniki modelu sugerują inny rezultat. Powodem jest to, że w systemie zawodowym koszt „indywidualnego popełnienia błędu” jest często wyższy niż korzyść z „indywidualnego bycia właściwym”.

W ostrym kontraście, mechanizm zachęt, z jakim borykają się uczestnicy rynku predykcyjnego, osiąga bezpośrednie dopasowanie między dokładnością prognoz a wynikami ekonomicznymi — dokładne prognozowanie oznacza zysk, nieprawidłowe prognozowanie oznacza stratę. W tym systemie czynnik reputacji prawie nie istnieje, a jedynym kosztem odchylenia od konsensusu rynkowego jest strata ekonomiczna, całkowicie zależna od tego, czy prognoza jest poprawna. Ta struktura narzuca silniejszą presję selekcyjną na dokładność prognoz — uczestnicy, którzy potrafią systematycznie identyfikować błędy prognozowania konsensusu, będą stale gromadzić kapitał i zwiększać swój wpływ na rynek poprzez większe rozmiary pozycji; podczas gdy ci, którzy mechanicznie podążają za konsensusem, będą nadal ponosić straty, gdy konsensus okaże się błędny.

W okresach znacząco zwiększonej niepewności, kiedy koszt zawodowy prognoistów instytucjonalnych odchylających się od konsensusu ekspertów osiąga szczyt, to zróżnicowanie w strukturze zachęt jest często najbardziej wyraźne i ekonomicznie istotne.

Efektywność agregacji informacji

Godnym uwagi faktem empirycznym jest to, że nawet na tydzień przed publikacją danych — ten punkt czasowy pokrywa się z typowym oknem czasowym dla oczekiwań konsensusu — prognozy rynkowe nadal wykazują znaczącą przewagę dokładności. Sugeruje to, że przewaga rynkowa nie wynika wyłącznie z „przewagi szybkości pozyskiwania informacji”, do której zazwyczaj odwołują się uczestnicy prognoz rynkowych.

Wręcz przeciwnie, prognozy rynkowe mogą skuteczniej agregować te zbyt rozproszone, zbyt wyspecjalizowane lub zbyt niejasne fragmenty informacji, które są trudne do formalnego włączenia do tradycyjnych ram prognozowania ekonometrycznego. Względna przewaga prognoz rynkowych może nie leżeć we wcześniejszym dostępie do informacji publicznych, ale w ich zdolności do skuteczniejszego syntezowania heterogenicznych informacji w tej samej skali czasowej — podczas gdy mechanizmy konsensusu oparte na ankietach, nawet przy tym samym oknie czasowym, często z trudem przetwarzają te informacje efektywnie.

Ograniczenia i rozważania

Nasze wyniki badań muszą być zakwalifikowane z ważnym zastrzeżeniem. Ze względu na to, że ogólna próba obejmuje tylko około 30 miesięcy, zdarzenia o dużym wpływie są z definicji z natury rzadkie, co oznacza, że moc statystyczna pozostaje ograniczona dla większych zdarzeń ogonowych. Dłuższa seria czasowa zwiększyłaby przyszłe możliwości wnioskowania, chociaż obecne wyniki już silnie sugerują wyższość prognozowania rynku i odrębność sygnału.

Wniosek

Dokumentujemy wydajność predykcyjną rynku wykazującą znaczące i ekonomicznie istotne lepsze wyniki w stosunku do oczekiwań konsensusu ekspertów, zwłaszcza w kluczowych okresach dokładności prognozowania. Prognozy CPI oparte na rynku wykazują ogólny wskaźnik błędów o około 40% niższy, z redukcją błędów do około 60% w okresach głównych przesunięć strukturalnych.

Biorąc pod uwagę te ustalenia, kilka kluczowych obszarów dla przyszłych badań staje się szczególnie ważnych: po pierwsze, badanie, czy zdarzenia „Impact Alpha” same w sobie mogą być prognozowane przy użyciu wskaźników zmienności i rozbieżności prognoz w większej próbie obejmującej wiele wskaźników makroekonomicznych; po drugie, określenie, przy jakim progu płynności rynek predykcyjny może konsekwentnie przewyższać tradycyjne metody prognozowania; i po trzecie, badanie relacji między prognozami rynku predykcyjnego a tymi implikowanymi przez instrumenty finansowe handlu wysokiej częstotliwości.

W środowisku, w którym prognozy konsensusu w dużej mierze opierają się na silnie skorelowanych założeniach modelu i wspólnych zbiorach informacji, rynek predykcyjny oferuje alternatywny mechanizm agregacji informacji, który może wykrywać zmiany stanu wcześniej i skuteczniej przetwarzać heterogeniczne informacje. Dla podmiotów potrzebujących podejmować decyzje w środowisku gospodarczym charakteryzującym się rosnącą niepewnością strukturalną i częstotliwością zdarzeń ogonowych, „Impact Alpha” może stanowić nie tylko przyrostową poprawę zdolności predykcyjnej, ale powinna być również fundamentalną częścią ich solidnej infrastruktury zarządzania ryzykiem.

Oryginalny link do artykułu