सशर्त पारस्परिक जानकारी

तीन चरों के लिए सूचना सैद्धांतिक उपायों का वेन आरेख $x$, $y$, और $z$, क्रमशः निचले बाएँ, निचले दाएँ और ऊपरी वृत्तों द्वारा दर्शाया गया है। सशर्त पारस्परिक जानकारी $I(x;z|y)$, $I(y;z|x)$ और $I(x;y|z)$ क्रमशः पीले, सियान और मैजेंटा क्षेत्रों द्वारा दर्शाया गया है।

संभाव्यता सिद्धांत में, विशेष रूप से सूचना सिद्धांत में, सशर्त पारस्परिक जानकारी, अपने सबसे बुनियादी रूप में, दो यादृच्छिक चर की पारस्परिक जानकारी का अपेक्षित मूल्य है जिसे एक तिहाई का मूल्य दिया जाता है।

परिभाषा

समर्थन सेट $X$, $Y$और $Z$ के साथ यादृच्छिक चर ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$ के लिए, हम सशर्त पारस्परिक जानकारी को इस प्रकार परिभाषित करते हैं

$I(X;Y|Z)=\int _{\mathcal {Z}}D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})dP_{Z}$

इसे अपेक्षा ऑपरेटर के संदर्भ में लिखा जा सकता है: $I(X;Y|Z)=\mathbb {E} _{Z}[D_{\mathrm {KL} }(P_{(X,Y)|Z}\|P_{X|Z}\otimes P_{Y|Z})]$.

इस प्रकार $I(X;Y|Z)$ अपेक्षित है (के संबंध में)। $Z$) सशर्त संयुक्त वितरण से कुल्बैक-लीब्लर विचलन $P_{(X,Y)|Z}$ सशर्त सीमांत के गुणनफल $P_{X|Z}$ और $P_{Y|Z}$ के लिए आपसी जानकारी की परिभाषा से तुलना करें।

असतत वितरण के लिए पीएमएफ के संदर्भ में

असतत यादृच्छिक चर के लिए $X$, $Y$, और $Z$ समर्थन के साथ (गणित) ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$, सशर्त पारस्परिक जानकारी $I(X;Y|Z)$ इस प्रकार है

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}$

जहां सीमांत, संयुक्त, और/या सशर्त संभाव्यता द्रव्यमान कार्यों को उचित उपस्क्रिप्ट के साथ $p$ द्वारा दर्शाया जाता है। इसे इस प्रकार सरल बनाया जा सकता है

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.$

निरंतर वितरण के लिए पीडीएफ के संदर्भ में

(बिल्कुल) निरंतर यादृच्छिक चर के लिए $X$, $Y$, और $Z$ समर्थन के साथ (गणित) ${\mathcal {X}}$, ${\mathcal {Y}}$ और ${\mathcal {Z}}$, सशर्त पारस्परिक जानकारी $I(X;Y|Z)$ इस प्रकार है

$I(X;Y|Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}}\right)p_{X,Y|Z}(x,y|z)dxdy{\bigg )}p_{Z}(z)dz$

जहां सीमांत, संयुक्त, और/या सशर्त संभाव्यता घनत्व कार्यों को दर्शाया जाता है $p$ उपयुक्त सबस्क्रिप्ट के साथ. इसे इस तरह सरल बनाया जा सकता है

$I(X;Y|Z)=\int _{\mathcal {Z}}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{Z}(z)p_{X,Y,Z}(x,y,z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}\right)p_{X,Y,Z}(x,y,z)dxdydz.$

कुछ पहचान

वैकल्पिक रूप से, हम संयुक्त और सशर्त एन्ट्रॉपी (सूचना सिद्धांत) के रूप में लिख सकते हैं

${\begin{aligned}I(X;Y|Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X|Z)-H(X|Y,Z)\\&=H(X|Z)+H(Y|Z)-H(X,Y|Z).\end{aligned}}$

आपसी जानकारी से इसका संबंध दिखाने के लिए इसे फिर से लिखा जा सकता है

$I(X;Y|Z)=I(X;Y,Z)-I(X;Z)$

आम तौर पर आपसी जानकारी के लिए श्रृंखला नियम के रूप में पुनर्व्यवस्थित किया जाता है

$I(X;Y,Z)=I(X;Z)+I(X;Y|Z)$

या

$I(X;Y|Z)=I(X;Y)-(I(X;Z)-I(X;Z|Y))\,.$

उपरोक्त का दूसरा समकक्ष रूप है

${\begin{aligned}I(X;Y|Z)&=H(Z|X)+H(X)+H(Z|Y)+H(Y)-H(Z|X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z|X)+H(Z|Y)-H(Z|X,Y)-H(Z)\end{aligned}}\,.$

सशर्त पारस्परिक जानकारी का एक और समकक्ष रूप है

${\begin{aligned}I(X;Y|Z)=I(X,Z;Y,Z)-H(Z)\end{aligned}}\,.$

पारस्परिक जानकारी की तरह, सशर्त पारस्परिक जानकारी को कुल्बैक-लीबलर विचलन के रूप में व्यक्त किया जा सकता है:

$I(X;Y|Z)=D_{\mathrm {KL} }[p(X,Y,Z)\|p(X|Z)p(Y|Z)p(Z)].$

या सरल कुल्बैक-लीब्लर विचलन के अपेक्षित मूल्य के रूप में:

$I(X;Y|Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y|z)\|p(X|z)p(Y|z)]$,

$I(X;Y|Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z|y)\|p(X|Z)p(Z|y)]$.

अधिक सामान्य परिभाषा

सशर्त पारस्परिक जानकारी की एक अधिक सामान्य परिभाषा, जो निरंतर या अन्य मनमाने वितरण के साथ यादृच्छिक चर पर लागू होती है, नियमित सशर्त संभाव्यता की अवधारणा पर निर्भर करेगी। होने देना $(\Omega ,{\mathcal {F}},{\mathfrak {P}})$ एक संभाव्यता स्थान बनें, और यादृच्छिक चर दें $X$, $Y$, और $Z$ प्रत्येक को बोरेल-मापने योग्य फ़ंक्शन के रूप में परिभाषित किया जाना चाहिए $\Omega$ टोपोलॉजिकल संरचना से संपन्न कुछ राज्य स्थान के लिए।

प्रत्येक बोरेल सेट को निर्दिष्ट करके परिभाषित प्रत्येक यादृच्छिक चर के राज्य स्थान में बोरेल माप (खुले सेट द्वारा उत्पन्न σ-बीजगणित पर) पर विचार करें ${\mathfrak {P}}$-इसकी प्रीइमेज को मापें ${\mathcal {F}}$. इसे पुशफॉरवर्ड माप कहा जाता है $X_{*}{\mathfrak {P}}={\mathfrak {P}}{\big (}X^{-1}(\cdot ){\big )}.$ एक यादृच्छिक चर के समर्थन को इस माप के समर्थन (माप सिद्धांत) के रूप में परिभाषित किया गया है, अर्थात। $\mathrm {supp} \,X=\mathrm {supp} \,X_{*}{\mathfrak {P}}.$ अब हम यादृच्छिक चर में से एक (या, गुणनफल टोपोलॉजी के माध्यम से, अधिक) के मान को देखते हुए सशर्त संभाव्यता वितरण को औपचारिक रूप से परिभाषित कर सकते हैं। होने देना $M$ का एक मापने योग्य उपसमुच्चय बनें $\Omega ,$ (अर्थात। $M\in {\mathcal {F}},$) और जाने $x\in \mathrm {supp} \,X.$ फिर, विघटन प्रमेय का उपयोग करते हुए:

${\mathfrak {P}}(M|X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M|X)=\int _{M}d{\mathfrak {P}}{\big (}\omega |X=X(\omega ){\big )},$

जहां खुले पड़ोस पर सीमा ले ली गई है $U$ का $x$, क्योंकि उन्हें सबसेट के संबंध में मनमाने ढंग से छोटा होने की अनुमति है।

अंत में हम लेब्सग्यू एकीकरण के माध्यम से सशर्त पारस्परिक जानकारी को परिभाषित कर सकते हैं:

$I(X;Y|Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega |X,Z)\,d{\mathfrak {P}}(\omega |Y,Z)}{d{\mathfrak {P}}(\omega |Z)\,d{\mathfrak {P}}(\omega |X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),$

जहां इंटीग्रैंड रेडॉन-निकोडिम व्युत्पन्न का लघुगणक है जिसमें कुछ सशर्त संभाव्यता उपाय शामिल हैं जिन्हें हमने अभी परिभाषित किया है।

नोटेशन पर नोट

जैसी अभिव्यक्ति में $I(A;B|C),$ $A,$ $B,$ और $C$ जरूरी नहीं कि इसे केवल व्यक्तिगत यादृच्छिक चर का प्रतिनिधित्व करने तक ही सीमित रखा जाए, बल्कि यह समान संभाव्यता स्थान पर परिभाषित यादृच्छिक चर के किसी भी संग्रह के संयुक्त वितरण का भी प्रतिनिधित्व कर सकता है। जैसा कि संभाव्यता सिद्धांत में आम है, हम ऐसे संयुक्त वितरण को दर्शाने के लिए अल्पविराम का उपयोग कर सकते हैं, उदाहरण के लिए $I(A_{0},A_{1};B_{1},B_{2},B_{3}|C_{0},C_{1}).$ इसलिए अर्धविराम (या कभी-कभी कोलन या यहां तक ​​कि वेज) का उपयोग किया जाता है $\wedge$) पारस्परिक सूचना प्रतीक के प्रमुख तर्कों को अलग करना। (संयुक्त एन्ट्रापी के प्रतीक में ऐसा कोई भेद आवश्यक नहीं है, क्योंकि किसी भी संख्या में यादृच्छिक चर की संयुक्त एन्ट्रापी उनके संयुक्त वितरण की एन्ट्रापी के समान है।)

गुण

गैर-नकारात्मकता

यह सदैव सत्य है

$I(X;Y|Z)\geq 0$,

असतत, संयुक्त रूप से वितरित यादृच्छिक चर के लिए $X$, $Y$ और $Z$. इस परिणाम का उपयोग सूचना सिद्धांत में अन्य असमानताओं को साबित करने के लिए एक बुनियादी निर्माण खंड के रूप में किया गया है, विशेष रूप से, जिन्हें शैनन-प्रकार की असमानताओं के रूप में जाना जाता है। कुछ नियमितता शर्तों के तहत निरंतर यादृच्छिक चर के लिए सशर्त पारस्परिक जानकारी भी गैर-नकारात्मक है।

इंटरैक्शन जानकारी

तीसरे यादृच्छिक चर पर कंडीशनिंग या तो आपसी जानकारी को बढ़ा या घटा सकती है: यानी अंतर $I(X;Y)-I(X;Y|Z)$, जिसे इंटरैक्शन जानकारी कहा जाता है, सकारात्मक, नकारात्मक या शून्य हो सकती है। यह तब भी स्थिति है जब यादृच्छिक चर जोड़ीवार स्वतंत्र होते हैं। ऐसी स्थिति तब होती है जब:

$$X\sim \mathrm {Bernoulli} (0.5),Z\sim \mathrm {Bernoulli} (0.5),\quad Y=\left\{{\begin{array}{ll}X&{\text{if }}Z=0\\1-X&{\text{if }}Z=1\end{array}}\right.$$

किस स्थिति में $X$, $Y$ और $Z$ जोड़ीवार स्वतंत्र हैं और विशेष रूप से $I(X;Y)=0$, लेकिन $I(X;Y|Z)=1.$

पारस्परिक जानकारी के लिए श्रृंखला नियम

श्रृंखला नियम (जैसा कि ऊपर बताया गया है) विघटित होने के दो तरीके प्रदान करता है $I(X;Y,Z)$:

${\begin{aligned}I(X;Y,Z)&=I(X;Z)+I(X;Y|Z)\\&=I(X;Y)+I(X;Z|Y)\end{aligned}}$

डेटा प्रोसेसिंग असमानता सशर्त पारस्परिक जानकारी से निकटता से संबंधित है और इसे श्रृंखला नियम का उपयोग करके सिद्ध किया जा सकता है।

बातचीत की जानकारी

Main article: Interaction information

सशर्त पारस्परिक जानकारी का उपयोग परस्पर क्रिया संबंधी जानकारी को आगमनात्मक रूप से परिभाषित करने के लिए किया जाता है, जो कि पारस्परिक जानकारी का सामान्यीकरण है, इस प्रकार है:

$I(X_{1};\ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}|X_{n+1}),$

कहाँ

$I(X_{1};\ldots ;X_{n}|X_{n+1})=\mathbb {E} _{X_{n+1}}[D_{\mathrm {KL} }(P_{(X_{1},\ldots ,X_{n})|X_{n+1}}\|P_{X_{1}|X_{n+1}}\otimes \cdots \otimes P_{X_{n}|X_{n+1}})].$

क्योंकि सशर्त पारस्परिक जानकारी अपने बिना शर्त समकक्ष से अधिक या कम हो सकती है, बातचीत की जानकारी सकारात्मक, नकारात्मक या शून्य हो सकती है, जिससे इसकी व्याख्या करना कठिन हो जाता है।