条件付確率(conditional probability)

定義:P(A|B)

  :確率空間(probability space)

  A,B∈ , P(B)>0とするとき、

  P(A|B)を以下のように定義する。

     P(A|B) ≡ P (A∩B) / P(B)
   (これが確率であるかどうかは、以下で検討)

定理:

  P(・|B)、B∈ ,P(B)>0は(Ω,)上の確率、

  (Ω, A, P(・|B) ), B∈A ,P(B)>0は確率空間(probability space)

  である。

  (proof)

  確率の定義(P1)-(P3)をP(・|B)が満たすことを示せばよい。

  (P1) 0≦P(A|B)≦1 ∀A∈A

  を示す。    

    ・A∩B⊂B。

      ∴ P(A∩B) ≦P(B)  ∵確率の単調性  

    確率の定義より、確率は少なくとも正なので、

     0≦P(A∩B) ≦P(B)

    両辺をP(B)>0で割って、

     0≦P(A∩B)/P(B)≦1

    ∴ 0≦P(A|B)≦1
    →矢野・田代『社会科学者のための基礎数学 改訂版』裳華房、1993年、p.151.

  (P2) P(B|B)=1

  を示す。

    P(B|B)=P(B∩B)/P(B)=P(B)/P(B)=1.
    →矢野・田代『社会科学者のための基礎数学 改訂版』裳華房、1993年、p.151.

  

  (P3) A1,A2,…∈A , Ai∩Aj=φ (i≠j)

    ⇒

  を示す。

  [前提]

   A1,A2,…∈A

   Ai∩Aj=φ (i≠j) [AiとAjは排反](*)

   B∈A ,P(B)>0

  

   (*)より、

   (Ai∩B)∩(Aj∩B)=φ(i≠j) [(Ai∩B)と(Aj∩B)は排反](**)

    ∵定義P(A|B)

       ∵集合の分配則

      

         ∵

           P(A|B)が確率であるかどうかは

          これから明らかにする問題だが、

          P(A)は確率として定義済み。

           したがって、

          これに確率の定義(P3)を適用できる。

           (**) (Ai∩B)∩(Aj∩B)=φ(i≠j)より、

            

       ∵四則演算の分配則

       ∵定義P(A|B)

   (証明終)

   →野田一雄・宮岡悦良『数理統計学の基礎』共立出版、1992年、pp.9-10.

定義:条件付確率(conditional probability given the event B)

  (Ω, A, P ):確率空間(probability space)

  A,B∈A ,P(B)>0とする。

 定義:事象Bが与えられたときの事象Aの条件付確率

   (conditional probability of the event A given the event B)

  P(A|B) ≡ P (A∩B) / P(B)は上記の定理より(Ω, A)上の確率であり、

  これを、事象Bが与えられたときの事象Aの条件付確率

   (conditional probability of the event A given the event B)

  とよぶ。

 定義:事象Bが与えられたときの条件付確率(測度)

   (conditional probability given the event B)

  P(・|B) は上記の定理より(Ω, A)上の確率であり、

  これを、Bが与えられたときの「条件付確率(測度)」

   (conditional probability given the event B)

  と呼ぶ。

定理:乗法法則(multiplication rule)

  P (A∩B) = P(B)P(A|B)  ∵P(A|B)の定義を移項しただけ。

定義:標本空間Ωの分割(partition of Ω)

 

定理:全確率の定理(total probability theorem)

 

定理:ベイズの定理(Bayes theorem)

 

定義:二つの事象の独立

 A‖B :事象AとBは互いに独立である。

  ⇔P(A|B)=P(A)⇔P(B|A)=P(B)⇔P(A∩B)=P(A)P(B)

   P(A)≠0,P(B)≠0

 (proof)

  P(A|B)=P(A)⇔P(B|A)=P(B)⇔P(A∩B)=P(A)P(B)となることの証明

  P(A|B)=P(A) 

  これは左辺P(A|B)の定義から以下と同じ。

  P(A∩B)/P(B)=P(A)

  これは、これの両辺にP(B)をかけた以下と同じ。

  P(A∩B)=P(A)P(B)

  これは、P(A)でこの両辺を割った以下とも同じ。

  P(A∩B)/P(A)=P(B)

  これはP(B|A)の定義から以下と同じ。

  P(B|A)=P(B)

 (注)

  本によって、

  P(A∩B)=P(A)P(B)を事象の独立の定義とするものと、

  P(A|B)=P(A)を独立の定義として、P(A∩B)=P(A)P(B)を独立の必要十分条件を与える定理とするものがある。

  前者では、P(A)=0,P(B)=0を排除せず、P(N)=0を満たす事象Nは任意の事象に対して常に独立であるという定理が提示される。

  後者では、そもそも、P(A)=0のときP(B|A)が定義されていない、P(B)=0のときP(A|B)が定義されていない、ということから、これらのケースが排除されたかたちで、独立が定義されている。

二事象の独立に関する定理

 事象AとBが独立であれば、AとBc、AcとB、AcとBcとは独立である。

 (proof)

   「事象AとBが独立である」とは、すなわち、

   P(A∩B)=P(A)・P(B)  −(1)

   が成立すること。

   事象AとBが独立であれば、(1)が成立する。

  

   P(A)・P(Bc)=P(A)・(1-P(B)) ∵余事象の確率

         =P(A)−P(A)・P(B)

         =P(A)−P(A∩B)   ∵ (1)

         =P(A∩Bc)    ∵ ベン図を描けばわかる

     ∴A‖Bc ∵ 独立の定義  

   P(Ac)・P(B)=(1−P(A))・P(B) ∵余事象の確率

         =P(B)−P(A)・P(B)

         =P(B)−P(A∩B)   ∵ (1)

         =P(B∩Ac)    ∵ ベン図を描けばわかる

     ∴Ac‖B ∵ 独立の定義

  

   P(Ac)・P(Bc)=(1−P(A))・(1−P(B)) ∵余事象の確率

         =1−P(A)−P(B)+P(A)・P(B)

         =1−P(A)−P(B)+P(A∩B)   ∵ (1)

         =1−{ P(A)+P(B)−P(A∩B)}

         =1-P(A∪B)    ∵確率の加法則

         =P(Ac∩Bc)

     ∴Ac‖Bc ∵ 独立の定義

 

複数の事象の独立

定義:対独立(pairwise independent)

 事象A1,…..,Anから、どの二つの事象をとっても独立であるとき、

 事象A1,…..,Anは、対独立(pairwise independent)と呼ばれる。

  →野田一雄・宮岡悦良『数理統計学の基礎』共立出版、1992年、p.13

   (例)三個の事象A,B,Cが、 A‖B、 B‖C、 C‖A。

定義:独立

 n個の事象{ A1,…..,An }について、

 任意にとられた1≦m≦n, 1≦i1<i2<…<im≦nに対し、

   

 が成り立つとき、事象系{ A1,…..,An }は独立であるとよばれる。

   (例)三個の事象A,B,Cが独立であるとは、

      P(A∩B)=P(A)P(B) (すなわちA‖B)

      P(A∩C)=P(A)P(C) (すなわちB‖C)

      P(B∩C)=P(B)P(C) (すなわちC‖A)

        (以上三行、すなわちA,B,Cは対独立)

      P(A∩B∩C)=P(A)P(B)P(C)

      の全てが成立すること。

* 事象A1,…Anが独立⇒事象A1,…Anは対独立(独立の定義から自明)。しかし逆は必ずしも成り立たない。

  

  ・A‖B、B‖C、C‖Aであっても、

    P(A∩B∩C)=P(A)P(B)P(C)は必ずしも成立しない。

 

  ・P(A∩B∩C)=P(A)P(B)P(C) であっても、

    A‖B、B‖C、C‖Aは必ずしも成立しない。

  →柳川堯『統計数学』近代科学社、1990, p.9.

(reference)

文献3. 鈴木武・山田作太郎『数理統計学―基礎から学ぶデータ解析―(第二版)』内田老鶴圃、1998年、pp. 12-15。

文献4. 矢野・田代『社会科学者のための基礎数学 改訂版』裳華房、1993年、p.150-155. 詳しくはないが、P(・|B)も確率測度であることを示す証明がついている。

文献5. 野田一雄・宮岡悦良『数理統計学の基礎』共立出版、1992年、p.9-13 。 わかりやすい。厳密であると同時に、わかりやすい解釈がつけられている。

文献6. 柳川堯『統計数学』近代科学社、1990, pp.6-9. 簡潔。複数の事象の間の独立については詳しく論じられている。