फिशर सूचना मीट्रिक

सूचना ज्यामिति में, फिशर सूचना मीट्रिक एक विशेष रिमेंनियन मीट्रिक है जिसे एक चिकनी सांख्यिकीय कई गुना, यानी पर परिभाषित किया जा सकता है, एक चिकनी कई गुना जिसके अंक एक सामान्य संभाव्यता स्थान पर परिभाषित संभाव्यता उपाय हैं। इसका उपयोग माप के बीच सूचनात्मक अंतर की गणना के लिए किया जा सकता है।

मीट्रिक कई मायनों में दिलचस्प है। चेंटसोव के प्रमेय के अनुसार, सांख्यिकीय मॉडल पर फिशर सूचना मीट्रिक एकमात्र रिमेंनियन मीट्रिक (पुनः स्केलिंग तक) है जो पर्याप्त आंकड़ों के तहत अपरिवर्तनीय है। इसे आपेक्षिक एन्ट्रापी (यानी, कुल्बैक-लीब्लर डाइवर्जेंस) के अतिसूक्ष्म रूप के रूप में भी समझा जा सकता है; विशेष रूप से, यह विचलन का हेसियन मैट्रिक्स है। वैकल्पिक रूप से, चर के उचित परिवर्तन के बाद, इसे समतल स्थान यूक्लिडियन मीट्रिक द्वारा प्रेरित मीट्रिक के रूप में समझा जा सकता है। जब इसे जटिल प्रक्षेपी हिल्बर्ट अंतरिक्ष में विस्तारित किया जाता है, तो यह फ़ुबिनी-अध्ययन मीट्रिक बन जाता है; जब मिश्रित अवस्था (भौतिकी) के संदर्भ में लिखा जाता है, तो यह क्वांटम मेट्रिक है।

विशुद्ध रूप से एक मैट्रिक्स के रूप में माना जाता है, इसे फिशर सूचना मैट्रिक्स के रूप में जाना जाता है। एक मापन तकनीक के रूप में माना जाता है, जहां इसका उपयोग देखे गए यादृच्छिक चर के संदर्भ में छिपे हुए मापदंडों का अनुमान लगाने के लिए किया जाता है, इसे प्रेक्षित जानकारी के रूप में जाना जाता है।

परिभाषा

निर्देशांक के साथ एक सांख्यिकीय कई गुना दिया गया $\theta =(\theta _{1},\theta _{2},\ldots ,\theta _{n})$, एक लिखता है $p(x,\theta )$ के एक समारोह के रूप में संभाव्यता वितरण के लिए $\theta$. यहाँ $x$ एक (असतत या निरंतर) यादृच्छिक चर X के लिए मान स्थान R से तैयार किया गया है। प्रायिकता को सामान्यीकृत किया जाता है $\int _{X}p(x,\theta )\,dx=1$ फ़िशर सूचना मीट्रिक तब रूप लेती है:

$g_{jk}(\theta )=\int _{X}{\frac {\partial \log p(x,\theta )}{\partial \theta _{j}}}{\frac {\partial \log p(x,\theta )}{\partial \theta _{k}}}p(x,\theta )\,dx.$

एक्स में एक्स के सभी मूल्यों पर इंटीग्रल किया जाता है। वेरिएबल $\theta$ अब एक रीमैनियन कई गुना पर एक समन्वय है। लेबल j और k कई गुना पर स्थानीय निर्देशांक अक्षों को अनुक्रमित करते हैं।

जब प्रायिकता गिब्स माप से निकाली जाती है, जैसा कि किसी भी मार्कोवियन प्रक्रिया के लिए होता है, तब $\theta$ लैग्रेंज गुणक के रूप में भी समझा जा सकता है; लैग्रेंज मल्टीप्लायरों का उपयोग बाधाओं को लागू करने के लिए किया जाता है, जैसे कि कुछ मात्रा स्थिर की अपेक्षा मान को बनाए रखना। यदि n अलग-अलग अपेक्षा मान स्थिर रखने वाली n बाधाएँ हैं, तो कई गुना का आयाम n आयाम मूल स्थान से छोटा है। इस मामले में, मीट्रिक को विभाजन फ़ंक्शन (गणित) से स्पष्ट रूप से प्राप्त किया जा सकता है; एक व्युत्पत्ति और चर्चा वहाँ प्रस्तुत की जाती है।

स्थानापन्न $i(x,\theta )=-\log {}p(x,\theta )$ सूचना सिद्धांत से, उपरोक्त परिभाषा का समकक्ष रूप है:

$g_{jk}(\theta )=\int _{X}{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}p(x,\theta )\,dx=\mathrm {E} \left[{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}\right].$

यह दिखाने के लिए कि समतुल्य रूप उपरोक्त परिभाषा के बराबर है, ध्यान दें कि

$\mathrm {E} \left[{\frac {\partial \log {}p(x,\theta )}{\partial \theta _{j}}}\right]=0$

और आवेदन करें ${\frac {\partial }{\partial \theta _{k}}}$ दोनों तरफ।

कुलबैक-लीब्लर डाइवर्जेंस से संबंध

वैकल्पिक रूप से, मीट्रिक को सापेक्ष एन्ट्रॉपी या कुल्बैक-लीब्लर विचलन के दूसरे व्युत्पन्न के रूप में प्राप्त किया जा सकता है। इसे प्राप्त करने के लिए, दो प्रायिकता वितरणों पर विचार किया जाता है $P(\theta )$ और $P(\theta _{0})$, जो एक दूसरे के असीम रूप से करीब हैं, ताकि

$P(\theta )=P(\theta _{0})+\sum _{j}\Delta \theta ^{j}\left.{\frac {\partial P}{\partial \theta ^{j}}}\right|_{\theta _{0}}$

साथ $\Delta \theta ^{j}$ का एक असीम रूप से छोटा परिवर्तन $\theta$ जे दिशा में। फिर, कुल्बैक-लीब्लर विचलन के बाद से $D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]$ पूर्ण न्यूनतम 0 है जब $P(\theta )=P(\theta _{0})$, एक में दूसरे क्रम तक विस्तार होता है $\theta =\theta _{0}$ फार्म का

$f_{\theta _{0}}(\theta ):=D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]={\frac {1}{2}}\sum _{jk}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\mathrm {O} (\Delta \theta ^{3})$.

सममित मैट्रिक्स $g_{jk}$ धनात्मक (अर्द्ध) निश्चित है और फलन का हेस्सियन आव्यूह है $f_{\theta _{0}}(\theta )$ अंतिम बिंदु पर $\theta _{0}$. इसे सहज रूप से इस प्रकार सोचा जा सकता है: एक सांख्यिकीय अंतर कई गुना पर दो असीम रूप से निकट बिंदुओं के बीच की दूरी उनके बीच सूचनात्मक अंतर है।

रुपीनर ज्यामिति से संबंध

रुपीनर मीट्रिक और वेनहोल्ड मीट्रिक फ़िशर सूचना मेट्रिक हैं, जिनकी गणना गिब्स माप के लिए की जाती है, जैसा कि संतुलन सांख्यिकीय यांत्रिकी में पाया जाता है।

फ्री एंट्रॉपी में बदलाव

रीमैनियन मैनिफोल्ड पर वक्र की क्रिया (भौतिकी) द्वारा दी गई है

$A={\frac {1}{2}}\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}(\theta ){\frac {\partial \theta ^{k}}{\partial t}}dt$

यहाँ पथ पैरामीटर समय टी है; इस क्रिया को एक प्रणाली की एन्ट्रॉपी में परिवर्तन देने के लिए समझा जा सकता है क्योंकि यह समय-समय पर बी चलती है।विशेष रूप से, किसी के पास है

$\Delta S=(b-a)A\,$

मुक्त एन्ट्रापी में परिवर्तन के रूप में। इस अवलोकन के परिणामस्वरूप रासायनिक उद्योग और प्रसंस्करण उद्योग में व्यावहारिक अनुप्रयोग हुए हैं: एक प्रणाली के मुक्त एन्ट्रापी में परिवर्तन को कम करने के लिए, प्रक्रिया के वांछित समापन बिंदुओं के बीच न्यूनतम geodesic पथ का पालन करना चाहिए। कॉची-श्वार्ज़ असमानता के कारण जियोडेसिक एन्ट्रॉपी को कम करता है, जिसमें कहा गया है कि क्रिया वक्र की लंबाई से नीचे बंधी हुई है, चुकता है।

जेन्सेन-शैनन विचलन से संबंध

फिशर मीट्रिक भी कार्रवाई और वक्र लंबाई को जेन्सेन-शैनन विचलन से संबंधित होने की अनुमति देता है।विशेष रूप से, किसी के पास है

$(b-a)\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}\,dt=8\int _{a}^{b}dJSD$

जहां इंटीग्रैंड dJSD को जेन्सेन-शैनन डाइवर्जेंस में लिए गए पथ के साथ अत्यल्प परिवर्तन के रूप में समझा जाता है। इसी प्रकार, वक्र की लंबाई के लिए, किसी के पास होता है

$\int _{a}^{b}{\sqrt {{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}}}\,dt={\sqrt {8}}\int _{a}^{b}{\sqrt {dJSD}}$

यानी, जेन्सेन-शैनन विचलन का वर्गमूल केवल फ़िशर मीट्रिक है (8 के वर्गमूल से विभाजित)।

== यूक्लिडियन मीट्रिक == के रूप में असतत संभाव्यता स्थान के लिए, अर्थात्, वस्तुओं के एक परिमित सेट पर एक संभावना स्थान, फिशर मीट्रिक को यूक्लिडियन मीट्रिक के रूप में समझा जा सकता है, जो एक इकाई क्षेत्र के एक सकारात्मक चतुर्भुज तक सीमित है, चर के उचित परिवर्तन के बाद। आयाम के एक सपाट, यूक्लिडियन स्थान पर विचार करें N+1, बिंदुओं द्वारा पैरामीट्रिज्ड $y=(y_{0},\cdots ,y_{n})$. यूक्लिडियन अंतरिक्ष के लिए मीट्रिक द्वारा दिया गया है

$h=\sum _{i=0}^{N}dy_{i}\;dy_{i}$

जहां $\textstyle dy_{i}$ 1-रूप हैं; वे स्पर्शरेखा स्थान के लिए आधार वैक्टर हैं। लिखना $\textstyle {\frac {\partial }{\partial y_{j}}}$ स्पर्शरेखा स्थान के लिए आधार वैक्टर के रूप में, ताकि

$dy_{j}\left({\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$,

यूक्लिडियन मीट्रिक को इस रूप में लिखा जा सकता है

$h_{jk}^{\mathrm {flat} }=h\left({\frac {\partial }{\partial y_{j}}},{\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}$

सुपरस्क्रिप्ट 'फ्लैट' यह याद दिलाने के लिए है कि, जब समन्वय के रूप में लिखा जाता है, तो यह मीट्रिक फ्लैट-स्पेस निर्देशांक के संबंध में होता है $y$.

(एन + 1)-आयामी यूक्लिडियन अंतरिक्ष में एम्बेडेड एक एन-आयामी इकाई क्षेत्र को इस रूप में परिभाषित किया जा सकता है

$\sum _{i=0}^{N}y_{i}^{2}=1$

यह एम्बेडिंग गोले पर एक मीट्रिक को प्रेरित करता है, यह परिवेश स्थान पर यूक्लिडियन मीट्रिक से सीधे विरासत में मिला है। यह ठीक ऊपर के रूप में एक ही रूप लेता है, यह सुनिश्चित करने के लिए कि निर्देशांक गोले की सतह पर झूठ बोलने के लिए विवश हैं। यह किया जा सकता है, उदा। Lagrange मल्टीप्लायरों की तकनीक के साथ।

अब चर के परिवर्तन पर विचार करें $p_{i}=y_{i}^{2}$. गोले की स्थिति अब संभाव्यता सामान्यीकरण की स्थिति बन जाती है

$\sum _{i}p_{i}=1$

जबकि मीट्रिक बन जाता है

${\begin{aligned}h&=\sum _{i}dy_{i}\;dy_{i}=\sum _{i}d{\sqrt {p_{i}}}\;d{\sqrt {p_{i}}}\\&={\frac {1}{4}}\sum _{i}{\frac {dp_{i}\;dp_{i}}{p_{i}}}={\frac {1}{4}}\sum _{i}p_{i}\;d(\log p_{i})\;d(\log p_{i})\end{aligned}}$

अंतिम को फिशर सूचना मीट्रिक के एक-चौथाई के रूप में पहचाना जा सकता है। प्रक्रिया को पूरा करने के लिए, याद रखें कि संभावनाएं कई गुना चर के पैरामीट्रिक कार्य हैं $\theta$, यानी किसी के पास है $p_{i}=p_{i}(\theta )$. इस प्रकार, उपरोक्त पैरामीटर मैनिफोल्ड पर एक मीट्रिक को प्रेरित करता है:

${\begin{aligned}h&={\frac {1}{4}}\sum _{i}p_{i}(\theta )\;d(\log p_{i}(\theta ))\;d(\log p_{i}(\theta ))\\&={\frac {1}{4}}\sum _{jk}\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}d\theta _{j}d\theta _{k}\end{aligned}}$

या, समन्वित रूप में, फिशर सूचना मीट्रिक है:

${\begin{aligned}g_{jk}(\theta )=4h_{jk}^{\mathrm {fisher} }&=4h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\&=\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\\&=\mathrm {E} \left[{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\right]\end{aligned}}$

जहां पहले की तरह

$d\theta _{j}\left({\frac {\partial }{\partial \theta _{k}}}\right)=\delta _{jk}.$

सुपरस्क्रिप्ट 'फिशर' यह याद दिलाने के लिए मौजूद है कि यह अभिव्यक्ति निर्देशांक के लिए लागू है $\theta$; जबकि गैर-समन्वित रूप यूक्लिडियन (फ्लैट-स्पेस) मीट्रिक के समान है। अर्थात्, चर के उपयुक्त परिवर्तनों के बाद, एक सांख्यिकीय मैनिफोल्ड पर फिशर सूचना मीट्रिक केवल (चार गुना) यूक्लिडियन मीट्रिक क्षेत्र के सकारात्मक चतुर्भुज तक सीमित है।

जब यादृच्छिक चर $p$ असतत नहीं है, लेकिन निरंतर है, तर्क अभी भी कायम है। इसे दो अलग-अलग तरीकों में से एक में देखा जा सकता है। एक तरीका यह है कि उपरोक्त सभी चरणों को एक अनंत-आयामी अंतरिक्ष में सावधानी से पुनर्व्यवस्थित किया जाए, ताकि यह सुनिश्चित किया जा सके कि सभी जोड़तोड़ अच्छी तरह से परिभाषित, अभिसरण आदि हैं। दूसरा तरीका, जैसा कि मिखाइल ग्रोमोव (गणितज्ञ) द्वारा नोट किया गया,श्रेणी-सैद्धांतिक दृष्टिकोण का उपयोग करना है; अर्थात्, ध्यान दें कि उपरोक्त जोड़-तोड़ संभावनाओं की श्रेणी में मान्य है। यहां, किसी को ध्यान देना चाहिए कि इस तरह की श्रेणी में रेडॉन-निकोडिम संपत्ति होगी, यानी इस श्रेणी में रेडॉन-निकोडिम प्रमेय है। इसमें हिल्बर्ट अंतरिक्ष शामिल हैं; ये स्क्वायर-इंटीग्रेबल हैं, और उपरोक्त जोड़-तोड़ में, यह वर्गों के योग को सुरक्षित रूप से वर्गों के ऊपर इंटीग्रल से बदलने के लिए पर्याप्त है।

फ़ुबिनी के रूप में-अध्ययन मीट्रिक

यूक्लिडियन मीट्रिक से फिशर मीट्रिक प्राप्त करने वाले उपरोक्त जोड़-तोड़ को जटिल प्रोजेक्टिव हिल्बर्ट रिक्त स्थान तक बढ़ाया जा सकता है। इस मामले में, व्यक्ति फ़ुबिनी-अध्ययन मीट्रिक प्राप्त करता है। यह शायद कोई आश्चर्य नहीं होना चाहिए, क्योंकि फुबिनी-अध्ययन मीट्रिक क्वांटम यांत्रिकी में सूचना को मापने का साधन प्रदान करता है। द बर्स मेट्रिक, जिसे हेलस्ट्रॉम मीट्रिक के रूप में भी जाना जाता है, फ़ुबिनी-स्टडी मेट्रिक के समान है,हालांकि उत्तरार्द्ध आमतौर पर नीचे के रूप में शुद्ध राज्यों के संदर्भ में लिखा जाता है, जबकि मिश्रित अवस्था (भौतिकी) के लिए बर्स मीट्रिक लिखा जाता है। जटिल समन्वय के चरण को शून्य शुद्ध अवस्था करके, फिशर सूचना मीट्रिक का ठीक-ठीक एक-चौथाई प्राप्त होता है, ठीक ऊपर जैसा।

ध्रुवीय निर्देशांक में लिखे गए प्रायिकता आयाम के निर्माण की एक ही चाल से शुरू होता है, इसलिए:

$\psi (x;\theta )={\sqrt {p(x;\theta )}}\;e^{i\alpha (x;\theta )}$

यहाँ, $\psi (x;\theta )$ एक जटिल-मूल्यवान संभाव्यता आयाम है; $p(x;\theta )$ और $\alpha (x;\theta )$ सख्ती से वास्तविक हैं। पिछली गणना द्वारा प्राप्त की जाती हैं सेटिंग $\alpha (x;\theta )=0$. सामान्य स्थिति है कि संभावनाएं एक संकेतन के भीतर होती हैं, अर्थात्

$\int _{X}p(x;\theta )\,dx=1$

समान रूप से इस विचार द्वारा व्यक्त किया जाता है कि वर्ग आयाम सामान्यीकृत हो:

$\int _{X}\vert \psi (x;\theta )\vert ^{2}\,dx=1$

कब $\psi (x;\theta )$ वास्तविक है, यह एक गोले की सतह है।

फ़ुबिनी-स्टडी मेट्रिक, क्वांटम-मैकेनिकल ब्रा-केट नोटेशन का उपयोग करते हुए, अतिसूक्ष्म रूप में लिखा गया है, है

$ds^{2}={\frac {\langle \delta \psi \mid \delta \psi \rangle }{\langle \psi \mid \psi \rangle }}-{\frac {\langle \delta \psi \mid \psi \rangle \;\langle \psi \mid \delta \psi \rangle }{{\langle \psi \mid \psi \rangle }^{2}}}.$

इस अंकन में, किसी के पास वह है $\langle x\mid \psi \rangle =\psi (x;\theta )$ और संपूर्ण माप स्थान X पर एकीकरण को इस रूप में लिखा जाता है

$\langle \phi \mid \psi \rangle =\int _{X}\phi ^{*}(x;\theta )\psi (x;\theta )\,dx.$

इजहार $\vert \delta \psi \rangle$ एक अतिसूक्ष्म भिन्नता के रूप में समझा जा सकता है; समतुल्य रूप से, इसे कोटिस्पर्श स्थान में 1-रूप के रूप में समझा जा सकता है। अतिसूक्ष्म संकेतन का उपयोग करते हुए, ऊपर की संभावना का ध्रुवीय रूप सरल है

$\delta \psi =\left({\frac {\delta p}{2p}}+i\delta \alpha \right)\psi$

उपरोक्त को फ़ुबिनी-अध्ययन मीट्रिक में सम्मिलित करने से:

${\begin{aligned}ds^{2}={}&{\frac {1}{4}}\int _{X}(\delta \log p)^{2}\;p\,dx\\[8pt]{}&+\int _{X}(\delta \alpha )^{2}\;p\,dx-\left(\int _{X}\delta \alpha \;p\,dx\right)^{2}\\[8pt]&{}-{\frac {i}{2}}\int _{X}(\delta \log p\delta \alpha -\delta \alpha \delta \log p)\;p\,dx\end{aligned}}$

सेटिंग $\delta \alpha =0$ उपरोक्त में यह स्पष्ट करता है कि पहला शब्द फिशर सूचना मीट्रिक का (एक-चौथाई) है। उपरोक्त के पूर्ण रूप को मानक रीमैनियन ज्यामिति के अंकन में बदलकर थोड़ा स्पष्ट किया जा सकता है, ताकि मीट्रिक स्पर्शरेखा स्थान पर एक सममित 2-रूप अभिनय बन जाए। संकेतन का परिवर्तन केवल प्रतिस्थापित करके किया जाता है $\delta \to d$ और $ds^{2}\to h$ और यह देखते हुए कि अभिन्न केवल अपेक्षा मूल्य हैं; इसलिए:

${\begin{aligned}h={}&{\frac {1}{4}}\mathrm {E} \left[(d\log p)^{2}\right]+\mathrm {E} \left[(d\alpha )^{2}\right]-\left(\mathrm {E} \left[d\alpha \right]\right)^{2}\\[8pt]{}&-{\frac {i}{2}}\mathrm {E} \left[d\log p\wedge d\alpha \right]\end{aligned}}$

काल्पनिक शब्द एक सहानुभूतिपूर्ण रूप है, यह बेरी चरण या ज्यामितीय चरण है। इंडेक्स नोटेशन में, मीट्रिक है:

${\begin{aligned}h_{jk}={}&h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\[8pt]={}&{\frac {1}{4}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\\[8pt]{}&+\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}\right]-\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}\right]\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{k}}}\right]\\[8pt]&{}-{\frac {i}{2}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}-{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\end{aligned}}$

फिर से, पहले शब्द को स्पष्ट रूप से (एक चौथाई) फिशर सूचना मीट्रिक, सेटिंग द्वारा देखा जा सकता है $\alpha =0$. समतुल्य रूप से, फ्यूबिनी-स्टडी मेट्रिक को जटिल प्रोजेक्टिव हिल्बर्ट स्पेस पर मीट्रिक के रूप में समझा जा सकता है जो कि फ्लैट यूक्लिडियन मेट्रिक के जटिल विस्तार से प्रेरित है। इस और Bures मीट्रिक के बीच का अंतर यह है कि Bures मीट्रिक को मिश्रित अवस्थाओं के रूप में लिखा जाता है।

निरंतर-मूल्यवान संभावनाएं

थोड़ी अधिक औपचारिक, अमूर्त परिभाषा निम्नानुसार दी जा सकती है। एक्स को एक कुंडा कई गुना होने दें, और दें $(X,\Sigma ,\mu )$ एक्स पर माप स्थान बनें। समान रूप से, चलो $(\Omega ,{\mathcal {F}},P)$ एक संभावना स्थान पर हो $\Omega =X$, सिग्मा बीजगणित के साथ ${\mathcal {F}}=\Sigma$ और संभावना $P=\mu$.

एक्स के सांख्यिकीय कई गुना एस (एक्स) को सभी उपायों के स्थान के रूप में परिभाषित किया गया है $\mu$ एक्स पर (सिग्मा-बीजगणित के साथ $\Sigma$ तय किया गया)। ध्यान दें कि यह स्थान अनंत-आयामी है, और आमतौर पर इसे फ्रेचेट स्थान माना जाता है। S(X) के बिंदु माप हैं।

एक बिंदु चुनें $\mu \in S(X)$ और स्पर्शरेखा स्थान पर विचार करें $T_{\mu }S$. फ़िशर सूचना मीट्रिक तब स्पर्शरेखा स्थान पर एक आंतरिक उत्पाद है। संकेतन के कुछ दुरुपयोग के साथ, कोई इसे इस रूप में लिख सकता है

$g(\sigma _{1},\sigma _{2})=\int _{X}{\frac {d\sigma _{1}}{d\mu }}{\frac {d\sigma _{2}}{d\mu }}d\mu$

यहाँ, $\sigma _{1}$ और $\sigma _{2}$ स्पर्शरेखा स्थान में वैक्टर हैं; वह है, $\sigma _{1},\sigma _{2}\in T_{\mu }S$. संकेतन का दुरुपयोग स्पर्शरेखा वैक्टर को लिखना है जैसे कि वे डेरिवेटिव हैं, और इंटीग्रल लिखने में बाहरी डी डालने के लिए: एकीकरण का मतलब माप का उपयोग करके किया जाना है $\mu$ संपूर्ण स्थान X पर। अंकन का यह दुरुपयोग, वास्तव में, माप सिद्धांत में पूरी तरह से सामान्य होने के लिए लिया गया है; यह रैडॉन-निकोडिम व्युत्पन्न के लिए मानक संकेतन है।

अभिन्न अंग को अच्छी तरह से परिभाषित करने के लिए, स्थान S(X) में रैडॉन-निकोडिम संपत्ति होनी चाहिए, और अधिक विशेष रूप से, स्पर्शरेखा स्थान उन सदिशों तक सीमित है जो वर्ग-अभिन्न हैं। स्क्वायर इंटीग्रेबिलिटी यह कहने के बराबर है कि एक कॉची अनुक्रम कमजोर टोपोलॉजी के तहत एक परिमित मूल्य में परिवर्तित हो जाता है: अंतरिक्ष में इसके सीमा बिंदु होते हैं। ध्यान दें कि हिल्बर्ट स्पेस के पास यह संपत्ति है।

मीट्रिक की इस परिभाषा को कई चरणों में पिछले के समतुल्य देखा जा सकता है। सबसे पहले, केवल उन उपायों पर विचार करके एस (एक्स) के एक सबमेनिफोल्ड का चयन किया जाता है $\mu$ जो कुछ सुचारू रूप से भिन्न पैरामीटर द्वारा परिचालित किए जाते हैं $\theta$. तो अगर $\theta$ परिमित-आयामी है, तो उप-विमीय है; इसी तरह, स्पर्शरेखा स्थान के समान आयाम हैं $\theta$.

भाषा के कुछ अतिरिक्त दुरुपयोग के साथ, एक नोट करता है कि एक्सपोनेंशियल मैप (रीमैनियन ज्योमेट्री) एक स्पर्शरेखा स्थान में वैक्टर से एक अंतर्निहित मैनिफोल्ड में बिंदुओं के लिए एक नक्शा प्रदान करता है। इस प्रकार, यदि $\sigma \in T_{\mu }S$ स्पर्शरेखा स्थान में एक सदिश है, तब $p=\exp(\sigma )$ बिंदु से संबंधित संगत प्रायिकता है $p\in S(X)$ (घातीय मानचित्र के समांतर परिवहन के बाद $\mu$.) इसके विपरीत, एक बिंदु दिया $p\in S(X)$, लघुगणक स्पर्शरेखा स्थान में एक बिंदु देता है (मोटे तौर पर फिर से, किसी को मूल से बिंदु तक ले जाना चाहिए $\mu$; विवरण के लिए, मूल स्रोत देखें)। इस प्रकार, किसी को पहले दी गई सरल परिभाषा में लघुगणक का आभास होता है।

यह भी देखें

• क्रैमर-राव बाउंड
• मछुआरे की जानकारी
• हेलिंगर दूरी
• सूचना ज्यामिति

संदर्भ

• Garvesh Raskutti Sayan Mukherjee, (2014). The information geometry of mirror descent https://arxiv.org/pdf/1310.7780.pdf

• Feng, Edward H.; Crooks, Gavin E. (2009). "Far-from-equilibrium measurements of thermodynamic length". Physical Review E. 79 (1 Pt 1): 012104. arXiv:0807.0621. Bibcode:2009PhRvE..79a2104F. doi:10.1103/PhysRevE.79.012104. PMID 19257090. S2CID 8210246.
• Shun'ichi Amari (1985) Differential-geometrical methods in statistics, Lecture Notes in Statistics, Springer-Verlag, Berlin.
• Shun'ichi Amari, Hiroshi Nagaoka (2000) Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society.
• Paolo Gibilisco, Eva Riccomagno, Maria Piera Rogantin and Henry P. Wynn, (2009) Algebraic and Geometric Methods in Statistics, Cambridge U. Press, Cambridge.