Oblicz prawdopodobieństwo w Metropolis-Hastings: w jaki sposób ma on związek z opóźnieniem w analizie Bayesian?

Kim 05/06/2018. 2 answers, 175 views
bayesian mcmc metropolis-hastings

Podstawowe pytanie o algorytm MCMC Metropolis-Hastings. Próbuję zrozumieć algorytm Metropolis-Hastings i jego związek z analizą Bayesian. Załóżmy, że chcę zbudować algrorytm MCMC MH, aby ocenić moją dystrybucję tylną w mojej analizie Bayesian.

Patrzę na krok, w którym obliczane jest $ \ alpha $: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | \ textbf {Y})} $$ Tutaj mam (dla uproszczenia) założenie, że moja gęstość umiejscowienia w algorytmie MH jest symetryczna.

$ P (\ theta ^ * | \ textbf {Y}) $ to prawdopodobieństwo, że $ \ theta ^ * $ poda nasze dane. Więc zasadniczo przed algorytmem MH musimy założyć dystrybucję dla $ \ theta $, prawda? I czy $ P (\ theta ^ * | \ textbf {Y}) $ nasza dystrybucja tylna? Jak obliczyć $ P (\ theta ^ * | \ textbf {Y}) $ ?

Możesz również podać oral (słownie) wyjaśnienie $ P (\ theta ^ * | \ textbf {Y}) $ i jego połączenie z dystrybucją, którą chcemy obliczyć. Moje zamieszanie pojawia się wraz z faktem, że nie jesteśmy w stanie poznać naszej dystrybucji tylnej i to jest cały punkt MH. Więc jak wyliczyć prawdopodobieństwo ...

2 Answers


niandra82 05/06/2018.

Jest wiele zamieszania. Chcesz ocenić tylny $$ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y})} $$, gdzie używam $ f () $, aby wskazać gęstość, aby była jak najbardziej ogólna. Musisz zdecydować o prawdopodobieństwie swojego modelu, tj. $ F (\ mathbf {y} | \ theta) $, a wcześniej o wartości $ \ theta $, tj. $ F (\ theta) $. Innymi słowy, musisz przyjąć konkretną dystrybucję dla każdego z nich. Wtedy znasz funkcjonalne formy obu.

Aby uzyskać próbki od tyłu za pomocą MH, wybierasz początkową wartość $ \ theta $, którą nazywamy $ \ theta ^ 0 $. Proponujesz teraz wartość, z jakiegoś symetrycznego rozkładu (aby wszystko było tak proste, jak to tylko możliwe), oznaczoną $ \ theta ^ * $. Następnie obliczamy następujące $$ \ alpha = \ min (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ i próbujemy z jednolitej dystrybucji $$ u \ sim \ text {Unif} (0,1). $$ Teraz, jeśli $ u <\ alfa $ ustawisz $ \ theta ^ 1 = \ theta ^ * $, inaczej $ \ theta ^ 1 = \ theta ^ 0 $.

Następnie powtórz te same kroki, aby znaleźć wartości $ \ theta ^ 2, \ theta ^ 3, ... $, aż do konwergencji.


niandra82 05/11/2018.

Nadal masz wiele zamieszania. Spróbuję wyjaśnić na przykładzie.

Załóżmy, że $ \ mathbf {Y} = (y_1, \ dots, y_n) '$ i masz $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, z $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$, czyli model regresyjny. Wtedy twoje parametry to $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. Obserwacja podana $ \ theta $, są niezależne, a następnie prawdopodobieństwo wynosi $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ gdzie $ f (y_i | \ theta) $ jest normalne ze średnią $ \ beta_0 + \ beta_1x_i $ i wariancją $ \ sigma ^ 2 $.

Jak widzisz, możesz ogólnie obliczyć $ f (\ mathbf {Y} | \ theta) $, ponieważ jest to twój model, to jest to, co zakładasz.

Oczywiście musisz także wcześniej określić $ \ beta_0 $, $ \ beta_1 $ i $ \ sigma ^ 2 $, czyli $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) na przykład.

$ f (\ mathbf {Y} | \ theta) $ nie jest równe $ f (\ mathbf {Y}) $, ponieważ normalne prawdopodobieństwo zależy od parametrów $ theta $.

Teraz, jeśli chcesz mieć próbki tylne, $ f (\ theta | Y) $, zaczynasz definiować wartość początkową $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ i $ \ sigma ^ {2,0} $ , proponujesz kilka nowych wartości, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ i $ \ sigma ^ {2, *} $, i używając odpowiedzi, którą dałem wcześniej, możesz zaktualizować swoje parametry. Zauważ, że $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$, gdzie $ f (y_i | \ theta ^ *) $ jest normalne ze średnią $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ i wariancja $ \ sigma ^ {2, *} $.

BTW: nie musisz obliczać posterior, chodzi o pobranie próbek z psoterior $ f (\ theta | \ mathbf {Y}) $

Related questions

Hot questions

Language

Popular Tags