Oblicz prawdopodobieństwo w Metropolis-Hastings: w jaki sposób ma on związek z opóźnieniem w analizie Bayesian?

Kim 05/06/2018. 2 answers, 175 views
bayesian mcmc metropolis-hastings

Podstawowe pytanie o algorytm MCMC Metropolis-Hastings. Próbuję zrozumieć algorytm Metropolis-Hastings i jego związek z analizą Bayesian. Załóżmy, że chcę zbudować algrorytm MCMC MH, aby ocenić moją dystrybucję tylną w mojej analizie Bayesian.

Patrzę na krok, w którym obliczane jest $ \ alpha $: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | \ textbf {Y})} $$ Tutaj mam (dla uproszczenia) założenie, że moja gęstość umiejscowienia w algorytmie MH jest symetryczna.

$ P (\ theta ^ * | \ textbf {Y}) $ to prawdopodobieństwo, że $ \ theta ^ * $ poda nasze dane. Więc zasadniczo przed algorytmem MH musimy założyć dystrybucję dla $ \ theta $, prawda? I czy $ P (\ theta ^ * | \ textbf {Y}) $ nasza dystrybucja tylna? Jak obliczyć $ P (\ theta ^ * | \ textbf {Y}) $ ?

Możesz również podać oral (słownie) wyjaśnienie $ P (\ theta ^ * | \ textbf {Y}) $ i jego połączenie z dystrybucją, którą chcemy obliczyć. Moje zamieszanie pojawia się wraz z faktem, że nie jesteśmy w stanie poznać naszej dystrybucji tylnej i to jest cały punkt MH. Więc jak wyliczyć prawdopodobieństwo ...

2 Answers


niandra82 05/06/2018.

Jest wiele zamieszania. Chcesz ocenić tylny $$ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y})} $$, gdzie używam $ f () $, aby wskazać gęstość, aby była jak najbardziej ogólna. Musisz zdecydować o prawdopodobieństwie swojego modelu, tj. $ F (\ mathbf {y} | \ theta) $, a wcześniej o wartości $ \ theta $, tj. $ F (\ theta) $. Innymi słowy, musisz przyjąć konkretną dystrybucję dla każdego z nich. Wtedy znasz funkcjonalne formy obu.

Aby uzyskać próbki od tyłu za pomocą MH, wybierasz początkową wartość $ \ theta $, którą nazywamy $ \ theta ^ 0 $. Proponujesz teraz wartość, z jakiegoś symetrycznego rozkładu (aby wszystko było tak proste, jak to tylko możliwe), oznaczoną $ \ theta ^ * $. Następnie obliczamy następujące $$ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ i próbujemy z jednolitej dystrybucji $$ u \ sim \ text {Unif} (0,1). $$ Teraz, jeśli $ u <\ alfa $ ustawisz $ \ theta ^ 1 = \ theta ^ * $, inaczej $ \ theta ^ 1 = \ theta ^ 0 $.

Następnie powtórz te same kroki, aby znaleźć wartości $ \ theta ^ 2, \ theta ^ 3, ... $, aż do konwergencji.


niandra82 05/11/2018.

Nadal masz wiele zamieszania. Spróbuję wyjaśnić na przykładzie.

Załóżmy, że $ \ mathbf {Y} = (y_1, \ dots, y_n) '$ i masz $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, z $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$, czyli model regresyjny. Wtedy twoje parametry to $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. Obserwacja podana $ \ theta $, są niezależne, a następnie prawdopodobieństwo wynosi $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ gdzie $ f (y_i | \ theta) $ jest normalne ze średnią $ \ beta_0 + \ beta_1x_i $ i wariancją $ \ sigma ^ 2 $.

Jak widzisz, możesz ogólnie obliczyć $ f (\ mathbf {Y} | \ theta) $, ponieważ jest to twój model, to jest to, co zakładasz.

Oczywiście musisz także wcześniej określić $ \ beta_0 $, $ \ beta_1 $ i $ \ sigma ^ 2 $, czyli $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) na przykład.

$ f (\ mathbf {Y} | \ theta) $ nie jest równe $ f (\ mathbf {Y}) $, ponieważ normalne prawdopodobieństwo zależy od parametrów $ theta $.

Teraz, jeśli chcesz mieć próbki tylne, $ f (\ theta | Y) $, zaczynasz definiować wartość początkową $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ i $ \ sigma ^ {2,0} $ , proponujesz kilka nowych wartości, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ i $ \ sigma ^ {2, *} $, i używając odpowiedzi, którą dałem wcześniej, możesz zaktualizować swoje parametry. Zauważ, że $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$, gdzie $ f (y_i | \ theta ^ *) $ jest normalne ze średnią $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ i wariancja $ \ sigma ^ {2, *} $.

BTW: nie musisz obliczać posterior, chodzi o pobranie próbek z psoterior $ f (\ theta | \ mathbf {Y}) $


HighResolutionMusic.com - Download Hi-Res Songs

1 The Chainsmokers

Beach House flac

The Chainsmokers. 2018. Writer: Andrew Taggart.
2 Anne-Marie

Rewrite The Stars flac

Anne-Marie. 2018. Writer: Benj Pasek;Justin Paul.
3 (G)I-DLE

POP/STARS flac

(G)I-DLE. 2018. Writer: Riot Music Team;Harloe.
4 Ariana Grande

​Thank U, Next flac

Ariana Grande. 2018. Writer: Crazy Mike;Scootie;Victoria Monét;Tayla Parx;TBHits;Ariana Grande.
5 Clean Bandit

Baby flac

Clean Bandit. 2018. Writer: Jack Patterson;Kamille;Jason Evigan;Matthew Knott;Marina;Luis Fonsi.
6 BTS

Waste It On Me flac

BTS. 2018. Writer: Steve Aoki;Jeff Halavacs;Ryan Ogren;Michael Gazzo;Nate Cyphert;Sean Foreman;RM.
7 Diplo

Close To Me flac

Diplo. 2018. Writer: Ellie Goulding;Savan Kotecha;Peter Svensson;Ilya;Swae Lee;Diplo.
8 Imagine Dragons

Bad Liar flac

Imagine Dragons. 2018. Writer: Jorgen Odegard;Daniel Platzman;Ben McKee;Wayne Sermon;Aja Volkman;Dan Reynolds.
9 Rita Ora

Cashmere flac

Rita Ora. 2018. Writer: Sean Douglas;Lindy Robbins.
10 Backstreet Boys

Chances flac

Backstreet Boys. 2018.
11 BlackPink

Kiss And Make Up flac

BlackPink. 2018. Writer: Soke;Kny Factory;Billboard;Chelcee Grimes;Teddy Park;Marc Vincent;Dua Lipa.
12 Billie Eilish

When The Party's Over flac

Billie Eilish. 2018. Writer: Billie Eilish;FINNEAS.
13 Nicki Minaj

No Candle No Light flac

Nicki Minaj. 2018. Writer: Denisia “Blu June” Andrews;Kathryn Ostenberg;Brittany "Chi" Coney;Brian Lee;TJ Routon;Tushar Apte;ZAYN;Nicki Minaj.
14 Fitz And The Tantrums

HandClap flac

Fitz And The Tantrums. 2017. Writer: Fitz And The Tantrums;Eric Frederic;Sam Hollander.
15 Little Mix

Woman Like Me flac

Little Mix. 2018. Writer: Nicki Minaj;Steve Mac;Ed Sheeran;Jess Glynne.
16 Brooks

Limbo flac

Brooks. 2018.
17 Zara Larsson

Ruin My Life flac

Zara Larsson. 2018. Writer: Delacey;Michael Pollack;Stefan Johnson;Jordan Johnson;Sermstyle;Jackson Foote.
18 Billie Eilish

Come Out And Play flac

Billie Eilish. 2018. Writer: FINNEAS;Billie Eilish.
19 Kelly Clarkson

Never Enough flac

Kelly Clarkson. 2018. Writer: Benj Pasek;Justin Paul.
20 Cher Lloyd

None Of My Business flac

Cher Lloyd. 2018. Writer: ​iamBADDLUCK;Alexsej Vlasenko;Kate Morgan;Henrik Meinke;Jonas Kalisch;Jeremy Chacon.

Related questions

Hot questions

Language

Popular Tags