では、マルコフ連鎖モンテカルロ法(MCMC)とは何でしょうか。 簡単に言うと、
MC 法は、目的のパラメータの事後分布を、確率空間でのランダムサンプリングによって近似するために使われます。
この記事では、数学なしでその短い答えを説明します。 関心のあるパラメータとは、私たちが関心を持っている現象を要約した何らかの数値にすぎません。 一般に、我々はパラメータを推定するために統計学を使用します。 例えば、人間の成人の身長について知りたい場合、興味のあるパラメータは平均身長(インチ)であるかもしれません。 分布とは、パラメータのあらゆる可能な値を数学的に表現したもので、それぞれの値が観測される確率はどの程度か、というものです。 最も有名な例はベル曲線です:
ベイズ統計では、パラメータについての確信を表す分布を事前分布と言いますが、それはデータを見る前に確信を表すものであるためです。 尤度分布は、各パラメータが観測しているデータを説明する尤度を伴うパラメータ値の範囲を表すことで、観測されたデータが何を語っているかを要約するものである。 尤度分布を最大化するパラメータ値を推定することは、「どのようなパラメータ値であれば、観測されたデータを最もよく観測できるのか」という問いに答えることに他なりません。 しかし、ベイズ分析の鍵は、事前分布と尤度分布を組み合わせて、事後分布を決定することである。 これは、事前信念を考慮した上で、どのパラメータ値が、我々が行った特定のデータを観測する確率を最大化するかを教えてくれるものです。 我々の場合、事後分布は次のようになります:
上の赤い線が事後分布を表します。 事前分布と尤度分布の平均のようなものと考えることができます。 事前分布はより短く、より広がっているので、人間の平均身長の真の値について「より確かでない」信念の集合を表しています。 一方、尤度は比較的狭い範囲でデータを要約するので、真のパラメータ値について「より確かな」推測を表す。
事前分布を結合すると、巨人の間で育った仮想の個人の弱い事前信念はデータ(尤度で表される)に支配される。 その人はまだ人間の平均身長はデータが言っているよりも少し高いと信じているが、ほとんどデータに納得している。
2つのベル曲線の場合、事後分布を解くのは非常に簡単である。 両者を組み合わせる簡単な式がある。 しかし、事前分布と尤度分布がそれほどお行儀よくなかったとしたらどうでしょうか。 時には,都合の悪い形をした分布を使って,データや事前分布をモデル化することが最も正確な場合もあります. 尤度が2つのピークを持つ分布で最もよく表されるとして、何らかの理由で本当に奇妙な事前分布を考慮したいとしたらどうでしょう?
前と同様、それぞれのパラメーター値についての尤度を与えるある事後分布が存在するのですが、この事前分布は尤度が高くなりすぎています。 しかし、それがどのようなものか見るのは少し難しく、また解析的に解くことは不可能です。 MCMC法の登場です。
MCMC 法は、事後分布を直接計算できない場合に、その形状を推定することを可能にします。 MCMC がマルコフ連鎖モンテカルロ法の略であることを思い出してください。 その仕組みを理解するために、まずモンテカルロ・シミュレーションを紹介し、次にマルコフ連鎖について説明します
。