अपेक्षा-अधिकतमकरण एल्गोरिथम

आँकड़ों में, एक अपेक्षा-अधिकतमकरण (ईएम) एल्गोरिथ्म सांख्यिकीय मॉडल में मापदंडों के अधिकतम (स्थानीय) अधिकतम संभावना या अधिकतम पश्च (एमएपी) अनुमानों को खोजने के लिए एक पुनरावृत्त विधि है, जहां मॉडल अव्यक्त अव्यक्त चर पर निर्भर करता है। EM पुनरावृति एक अपेक्षा (E) चरण के प्रदर्शन के बीच वैकल्पिक होती है, जो संभावना फ़ंक्शन#लॉग-संभावना|लॉग-संभावना की अपेक्षा के लिए पैरामीटर के लिए वर्तमान अनुमान का उपयोग करके मूल्यांकन के लिए एक फ़ंक्शन बनाता है, और एक अधिकतमकरण (M) चरण, जो ई चरण पर अपेक्षित लॉग-संभावना को अधिकतम करने वाले पैरामीटर की गणना करता है। इन पैरामीटर-अनुमानों का उपयोग अगले ई चरण में अव्यक्त चर के वितरण को निर्धारित करने के लिए किया जाता है।

पुराने वफादार विस्फोट डेटा की ईएम क्लस्टरिंग। यादृच्छिक प्रारंभिक मॉडल (जो, कुल्हाड़ियों के विभिन्न पैमानों के कारण, दो बहुत ही सपाट और चौड़े दीर्घवृत्त प्रतीत होते हैं) प्रेक्षित डेटा के लिए उपयुक्त है। पहले पुनरावृत्तियों में, मॉडल काफी हद तक बदल जाता है, लेकिन फिर गरम पानी का झरना के दो तरीकों में परिवर्तित हो जाता है। ELKI का उपयोग करके विज़ुअलाइज़ किया गया।

इतिहास

आर्थर पी. डेम्पस्टर, लैयर्ड में और डोनाल्ड रुबिन द्वारा 1977 के एक क्लासिक पेपर में EM एल्गोरिद्म की व्याख्या की गई और इसका नाम दिया गया। उन्होंने बताया कि इस पद्धति को पहले के लेखकों द्वारा विशेष परिस्थितियों में कई बार प्रस्तावित किया गया था। सेड्रिक स्मिथ (सांख्यिकीविद्) द्वारा एलील आवृत्तियों का अनुमान लगाने के लिए जल्द से जल्द एक जीन-गिनती विधि है। एक अन्य हरमन ओटो हार्टले द्वारा प्रस्तावित किया गया था | एच.ओ. 1958 में हार्टले, और 1977 में हार्टले और हॉकिंग, जिससे डेम्पस्टर-लेयर्ड-रूबिन पेपर में कई विचार उत्पन्न हुए। 1977 में एस.के. एनजी, थ्रियंबकम कृष्णन और जी.जे मैक्लाक्लन द्वारा एक और। हार्टले के विचारों को किसी भी समूहीकृत असतत वितरण में विस्तृत किया जा सकता है। एक्सपोनेंशियल परिवारों के लिए ईएम पद्धति का एक बहुत विस्तृत उपचार रॉल्फ सुंदरबर्ग द्वारा उनकी थीसिस और कई पत्रों में प्रकाशित किया गया था, प्रति मार्टिन-लोफ और एंडर्स मार्टिन-लोफ के साथ उनके सहयोग के बाद। 1977 में डेम्पस्टर-लेयर्ड-रुबिन पेपर ने इस पद्धति को सामान्यीकृत किया और समस्याओं के व्यापक वर्ग के लिए एक अभिसरण विश्लेषण तैयार किया। डेम्पस्टर-लेयर्ड-रुबिन पेपर ने सांख्यिकीय विश्लेषण के एक महत्वपूर्ण उपकरण के रूप में ईएम पद्धति की स्थापना की। मेंग और वैन डाइक (1997) को भी देखें।

डेम्पस्टर-लेयर्ड-रुबिन एल्गोरिथम का अभिसरण विश्लेषण त्रुटिपूर्ण था और 1983 में सीएफ जेफ वू द्वारा एक सही अभिसरण विश्लेषण प्रकाशित किया गया था। रेफरी नाम = वू> Wu, C. F. Jeff (Mar 1983). "ईएम एल्गोरिथम के अभिसरण गुणों पर". Annals of Statistics. 11 (1): 95–103. doi:10.1214/aos/1176346060. JSTOR 2240463. MR 0684867.</ref> वू के प्रमाण ने EM पद्धति के अभिसरण को घातीय परिवार के बाहर भी स्थापित किया, जैसा कि डेम्पस्टर-लेयर्ड-रूबिन ने दावा किया था।

परिचय

ईएम एल्गोरिथ्म का उपयोग उन मामलों में एक सांख्यिकीय मॉडल के अधिकतम संभावना मापदंडों को खोजने के लिए किया जाता है जहां समीकरणों को सीधे हल नहीं किया जा सकता है। आम तौर पर इन मॉडलों में अज्ञात पैरामीटर और ज्ञात डेटा अवलोकनों के अतिरिक्त गुप्त चर शामिल होते हैं। यही है, डेटा के बीच या तो अनुपलब्ध मान मौजूद हैं, या मॉडल को और अधिक अप्रमाणित डेटा बिंदुओं के अस्तित्व को मानकर अधिक सरलता से तैयार किया जा सकता है। उदाहरण के लिए, एक मिश्रण मॉडल को यह मानकर अधिक सरलता से वर्णित किया जा सकता है कि प्रत्येक अवलोकन किए गए डेटा बिंदु में एक समान अप्रमाणित डेटा बिंदु या अव्यक्त चर होता है, जो मिश्रण घटक को निर्दिष्ट करता है जिससे प्रत्येक डेटा बिंदु संबंधित होता है।

अधिकतम संभावना समाधान खोजने के लिए आम तौर पर सभी अज्ञात मूल्यों, मापदंडों और अव्यक्त चर के संबंध में संभावना समारोह के यौगिक लेने और परिणामी समीकरणों को एक साथ हल करने की आवश्यकता होती है। अव्यक्त चर वाले सांख्यिकीय मॉडल में, यह आमतौर पर असंभव होता है। इसके बजाय, परिणाम आम तौर पर इंटरलॉकिंग समीकरणों का एक सेट होता है जिसमें मापदंडों के समाधान के लिए अव्यक्त चर के मूल्यों की आवश्यकता होती है और इसके विपरीत, लेकिन समीकरणों के एक सेट को दूसरे में प्रतिस्थापित करने से एक अघुलनशील समीकरण उत्पन्न होता है।

EM एल्गोरिथ्म अवलोकन से आगे बढ़ता है कि समीकरणों के इन दो सेटों को संख्यात्मक रूप से हल करने का एक तरीका है। कोई भी अज्ञात के दो सेटों में से किसी एक के लिए मनमाना मान चुन सकता है, दूसरे सेट का अनुमान लगाने के लिए उनका उपयोग करें, फिर पहले सेट का बेहतर अनुमान लगाने के लिए इन नए मानों का उपयोग करें, और फिर दोनों के बीच तब तक बारी-बारी से जारी रखें जब तक परिणामी मान दोनों निश्चित बिंदुओं पर अभिसरण। यह स्पष्ट नहीं है कि यह काम करेगा, लेकिन इस संदर्भ में इसे सिद्ध किया जा सकता है। इसके अतिरिक्त, यह सिद्ध किया जा सकता है कि उस बिंदु पर संभावना का व्युत्पन्न (मनमाने ढंग से करीब) शून्य है, जिसका अर्थ है कि बिंदु या तो एक स्थानीय अधिकतम या एक काठी बिंदु है।सामान्य तौर पर, एकाधिक अधिकतमता हो सकती है, इस बात की कोई गारंटी नहीं है कि वैश्विक अधिकतम मिल जाएगा। कुछ सम्भावनाओं में गणितीय विलक्षणता भी होती है, अर्थात निरर्थक मैक्सिमा। उदाहरण के लिए, मिश्रण मॉडल में ईएम द्वारा पाए जाने वाले समाधानों में से एक घटक को शून्य विचरण के लिए सेट करना और उसी घटक के लिए माध्य पैरामीटर डेटा बिंदुओं में से एक के बराबर होना शामिल है।

विवरण

प्रतीक

एक सेट उत्पन्न करने वाले सांख्यिकीय मॉडल को देखते हुए $\mathbf {X}$ देखे गए डेटा का, बिना देखे गए अव्यक्त डेटा या लापता मानों का एक सेट $\mathbf {Z}$, और अज्ञात मापदंडों का एक वेक्टर ${\boldsymbol {\theta }}$, एक संभावना समारोह के साथ $L({\boldsymbol {\theta }};\mathbf {X} ,\mathbf {Z} )=p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})$, अज्ञात मापदंडों का अधिकतम संभावना अनुमान (MLE) प्रेक्षित डेटा की सीमांत संभावना को अधिकतम करके निर्धारित किया जाता है

$L({\boldsymbol {\theta }};\mathbf {X} )=p(\mathbf {X} \mid {\boldsymbol {\theta }})=\int p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z} =\int p(\mathbf {X} \mid \mathbf {Z} ,{\boldsymbol {\theta }})p(\mathbf {Z} \mid {\boldsymbol {\theta }})\,d\mathbf {Z}$

हालाँकि, यह मात्रा अक्सर अट्रैक्टिव होती है $\mathbf {Z}$ अप्राप्य है और का वितरण $\mathbf {Z}$ प्राप्त करने से पहले अज्ञात है ${\boldsymbol {\theta }}$.

ईएम एल्गोरिथ्म

EM एल्गोरिथम इन दो चरणों को पुनरावृत्त रूप से लागू करके सीमांत संभावना के MLE को खोजने का प्रयास करता है:

अपेक्षा चरण (ई चरण): परिभाषित करें $Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})$ के लॉग संभावना फ़ंक्शन के अपेक्षित मान के रूप में ${\boldsymbol {\theta }}$, के वर्तमान सशर्त संभाव्यता वितरण के संबंध में $\mathbf {Z}$ दिया गया $\mathbf {X}$ और मापदंडों के वर्तमान अनुमान ${\boldsymbol {\theta }}^{(t)}$:

$Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})=\operatorname {E} _{\mathbf {Z} \sim p(\cdot |\mathbf {X} ,{\boldsymbol {\theta }}^{(t)})}\left[\log p(\mathbf {X} ,\mathbf {Z} |{\boldsymbol {\theta }})\right]\,$

अधिकतम चरण (M चरण): इस मात्रा को अधिकतम करने वाले पैरामीटर खोजें:

${\boldsymbol {\theta }}^{(t+1)}={\underset {\boldsymbol {\theta }}{\operatorname {arg\,max} }}\ Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})\,$

अधिक संक्षेप में, हम इसे एक समीकरण के रूप में लिख सकते हैं:

$${\boldsymbol {\theta }}^{(t+1)}={\underset {\boldsymbol {\theta }}{\operatorname {arg\,max} }}\operatorname {E} _{\mathbf {Z} \sim p(\cdot |\mathbf {X} ,{\boldsymbol {\theta }}^{(t)})}\left[\log p(\mathbf {X} ,\mathbf {Z} |{\boldsymbol {\theta }})\right]\,$$

चर की व्याख्या

विशिष्ट मॉडल जिन पर EM लागू किया जाता है, उनका उपयोग किया जाता है $\mathbf {Z}$ समूहों के एक समूह में सदस्यता का संकेत देने वाले एक अव्यक्त चर के रूप में:

1. देखे गए डेटा बिंदु $\mathbf {X}$ [[असतत यादृच्छिक चर]] हो सकता है (एक परिमित या गणनीय अनंत सेट में मान लेना) या निरंतर यादृच्छिक चर (एक बेशुमार अनंत सेट में मान लेना)। प्रत्येक डेटा बिंदु के साथ संबद्ध प्रेक्षणों का सदिश हो सकता है।
2. लापता मान (उर्फ अव्यक्त चर) $\mathbf {Z}$ असतत यादृच्छिक चर हैं, मानों की एक निश्चित संख्या से तैयार किए गए हैं, और प्रति देखी गई इकाई में एक अव्यक्त चर के साथ।
3. पैरामीटर निरंतर होते हैं, और दो प्रकार के होते हैं: पैरामीटर जो सभी डेटा बिंदुओं से जुड़े होते हैं, और जो एक अव्यक्त चर के विशिष्ट मान से जुड़े होते हैं (यानी, सभी डेटा बिंदुओं से जुड़े होते हैं जिनके संगत अव्यक्त चर में वह मान होता है)।

हालांकि, ईएम को अन्य प्रकार के मॉडलों पर लागू करना संभव है।

प्रेरणा इस प्रकार है। यदि मापदंडों का मान ${\boldsymbol {\theta }}$ ज्ञात है, आमतौर पर अव्यक्त चर का मान $\mathbf {Z}$ के सभी संभावित मूल्यों पर लॉग-लाइबिलिटी को अधिकतम करके पाया जा सकता है $\mathbf {Z}$, या तो केवल पुनरावृति करके $\mathbf {Z}$ या छिपे छिपा हुआ मार्कोव मॉडल के लिए विटरबी एल्गोरिथ्म जैसे एल्गोरिदम के माध्यम से। इसके विपरीत, यदि हम अव्यक्त चरों का मान जानते हैं $\mathbf {Z}$, हम मापदंडों का अनुमान पा सकते हैं ${\boldsymbol {\theta }}$ काफी आसानी से, आम तौर पर संबंधित अव्यक्त चर के मूल्य के अनुसार देखे गए डेटा बिंदुओं को समूहीकृत करके और प्रत्येक समूह में बिंदुओं के मूल्यों, या मानों के कुछ फ़ंक्शन का औसत। यह एक पुनरावृत्त एल्गोरिथ्म का सुझाव देता है, उस स्थिति में जहां दोनों ${\boldsymbol {\theta }}$ और $\mathbf {Z}$ अज्ञात हैं:

1. सबसे पहले, मापदंडों को इनिशियलाइज़ करें ${\boldsymbol {\theta }}$ कुछ यादृच्छिक मूल्यों के लिए।
2. प्रत्येक संभावित मान की प्रायिकता की गणना करें $\mathbf {Z}$ , दिया गया ${\boldsymbol {\theta }}$.
3. फिर, के अभी-अभी परिकलित मानों का उपयोग करें $\mathbf {Z}$ मापदंडों के लिए एक बेहतर अनुमान की गणना करने के लिए ${\boldsymbol {\theta }}$.
4. अभिसरण तक चरण 2 और 3 को दोहराएँ।

एल्गोरिथम जैसा कि अभी वर्णित किया गया है, नीरस रूप से स्थानीय न्यूनतम लागत फ़ंक्शन तक पहुंचता है।

गुण

हालांकि एक ईएम पुनरावृत्ति देखे गए डेटा (यानी, सीमांत) संभावना समारोह में वृद्धि करता है, कोई गारंटी मौजूद नहीं है कि अनुक्रम अधिकतम संभावना अनुमानक में अभिसरण करता है। बिमोडल वितरण के लिए, इसका मतलब यह है कि एक ईएम एल्गोरिदम शुरुआती मूल्यों के आधार पर देखे गए डेटा संभावना फ़ंक्शन के स्थानीय अधिकतम में अभिसरण कर सकता है। एक स्थानीय अधिकतम से बचने के लिए विभिन्न प्रकार के अनुमानी या मेटाह्यूरिस्टिक दृष्टिकोण मौजूद हैं, जैसे यादृच्छिक-पुनरारंभ पहाड़ी चढ़ाई (कई अलग-अलग यादृच्छिक प्रारंभिक अनुमानों से शुरू करना) ${\boldsymbol {\theta }}^{(t)}$), या तैयार किए हुयी धातु पे पानी चढाने की कला विधियों को लागू करना।

EM विशेष रूप से उपयोगी होता है जब संभावना एक घातीय परिवार है, एक व्यापक उपचार के लिए Sundberg (2019, Ch. 8) देखें: ई चरण पर्याप्त आँकड़ों की अपेक्षाओं का योग बन जाता है, और एम चरण में एक रैखिक कार्य को अधिकतम करना शामिल होता है। ऐसे मामले में, आमतौर पर सुंदरबर्ग सूत्र का उपयोग करके प्रत्येक चरण के लिए बंद-रूप अभिव्यक्ति अपडेट प्राप्त करना संभव होता है (प्रति मार्टिन-लोफ और एंडर्स मार्टिन-लोफ के अप्रकाशित परिणामों के आधार पर रॉल्फ सुंदरबर्ग द्वारा सिद्ध और प्रकाशित)।

डेम्पस्टर, लैयर्ड और रुबिन द्वारा मूल पेपर में बायेसियन अनुमान के लिए अधिकतम पश्च (एमएपी) अनुमानों की गणना करने के लिए ईएम पद्धति को संशोधित किया गया था।

अधिकतम संभावना अनुमानों को खोजने के लिए अन्य तरीके मौजूद हैं, जैसे ढतला हुआ वंश , संयुग्मी ढाल या गॉस-न्यूटन एल्गोरिथम के वेरिएंट। ईएम के विपरीत, इस तरह के तरीकों में आम तौर पर संभावना समारोह के पहले और/या दूसरे डेरिवेटिव के मूल्यांकन की आवश्यकता होती है।

शुद्धता का प्रमाण

अपेक्षा-अधिकतमकरण सुधार के लिए काम करता है $Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})$ सीधे सुधार करने के बजाय $\log p(\mathbf {X} \mid {\boldsymbol {\theta }})$. यहाँ यह दिखाया गया है कि पूर्व में सुधार बाद वाले में सुधार करता है। किसी के लिए $\mathbf {Z}$ गैर-शून्य संभावना के साथ $p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }})$, हम लिख सकते हैं

$\log p(\mathbf {X} \mid {\boldsymbol {\theta }})=\log p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})-\log p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}).$

हम अज्ञात डेटा के संभावित मूल्यों पर अपेक्षा करते हैं $\mathbf {Z}$ वर्तमान पैरामीटर अनुमान के तहत $\theta ^{(t)}$ दोनों पक्षों को से गुणा करके $p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})$ और योग (या एकीकृत) खत्म $\mathbf {Z}$. बाईं ओर एक स्थिरांक की अपेक्षा है, इसलिए हमें मिलता है:

${\begin{aligned}\log p(\mathbf {X} \mid {\boldsymbol {\theta }})&=\sum _{\mathbf {Z} }p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})\log p(\mathbf {X} ,\mathbf {Z} \mid {\boldsymbol {\theta }})-\sum _{\mathbf {Z} }p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }}^{(t)})\log p(\mathbf {Z} \mid \mathbf {X} ,{\boldsymbol {\theta }})\\&=Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)}),\end{aligned}}$

कहाँ $H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})$ इसे प्रतिस्थापित किए जा रहे नकारात्मक योग द्वारा परिभाषित किया गया है। यह अंतिम समीकरण के प्रत्येक मान के लिए मान्य है ${\boldsymbol {\theta }}$ शामिल ${\boldsymbol {\theta }}={\boldsymbol {\theta }}^{(t)}$,

$\log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})=Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}),$

और इस अंतिम समीकरण को पिछले समीकरण से घटाकर देता है

$\log p(\mathbf {X} \mid {\boldsymbol {\theta }})-\log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})=Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})+H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}).$

हालाँकि, गिब्स की असमानता हमें बताती है $H({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})\geq H({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)})$, तो हम यह निष्कर्ष निकाल सकते हैं

$\log p(\mathbf {X} \mid {\boldsymbol {\theta }})-\log p(\mathbf {X} \mid {\boldsymbol {\theta }}^{(t)})\geq Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})-Q({\boldsymbol {\theta }}^{(t)}\mid {\boldsymbol {\theta }}^{(t)}).$

शब्दों में, चुनना ${\boldsymbol {\theta }}$ सुधार करने के लिए $Q({\boldsymbol {\theta }}\mid {\boldsymbol {\theta }}^{(t)})$ कारण $\log p(\mathbf {X} \mid {\boldsymbol {\theta }})$ कम से कम इतना सुधार करने के लिए।

एक अधिकतमकरण-अधिकतमकरण प्रक्रिया के रूप में

ईएम एल्गोरिदम को दो वैकल्पिक अधिकतमकरण चरणों के रूप में देखा जा सकता है, जो समन्वय वंश के उदाहरण के रूप में है। समारोह पर विचार करें:

$F(q,\theta ):=\operatorname {E} _{q}[\log L(\theta ;x,Z)]+H(q),$ जहाँ q बिना देखे गए डेटा z पर एक मनमाना संभाव्यता वितरण है और H(q) वितरण q का एंट्रॉपी (सूचना सिद्धांत) है। इस समारोह के रूप में लिखा जा सकता है

$F(q,\theta )=-D_{\mathrm {KL} }{\big (}q\parallel p_{Z\mid X}(\cdot \mid x;\theta ){\big )}+\log L(\theta ;x),$

कहाँ $p_{Z\mid X}(\cdot \mid x;\theta )$ देखे गए डेटा को देखते हुए बिना देखे गए डेटा का सशर्त वितरण है $x$ और $D_{KL}$ कुलबैक-लीब्लर विचलन है।

तब EM एल्गोरिथम के चरणों को इस प्रकार देखा जा सकता है:

अपेक्षा चरण: चुनें $q$ बढ़ाने के लिए $F$:

$q^{(t)}=\operatorname {arg\,max} _{q}\ F(q,\theta ^{(t)})$

अधिकतम चरण: चुनें $\theta$ बढ़ाने के लिए $F$:

$\theta ^{(t+1)}=\operatorname {arg\,max} _{\theta }\ F(q^{(t)},\theta )$

अनुप्रयोग

ईएम का उपयोग अक्सर मिश्रित मॉडलों के पैरामीटर आकलन के लिए किया जाता है, विशेष रूप से मात्रात्मक आनुवंशिकी में। साइकोमेट्रिक्स में, आइटम पैरामीटर और आइटम प्रतिक्रिया सिद्धांत मॉडल की गुप्त क्षमताओं का आकलन करने के लिए ईएम एक महत्वपूर्ण उपकरण है।

लापता डेटा से निपटने और अज्ञात चरों का निरीक्षण करने की क्षमता के साथ, EM एक पोर्टफोलियो के मूल्य निर्धारण और जोखिम का प्रबंधन करने के लिए एक उपयोगी उपकरण बन रहा है।

EM एल्गोरिद्म (और इसके तेज़ संस्करण ने सबसेट अपेक्षा अधिकतमीकरण का आदेश दिया) का व्यापक रूप से मेडिकल इमेजिंग पुनर्निर्माण में उपयोग किया जाता है, विशेष रूप से पोजीट्रान एमिशन टोमोग्राफी, सिंगल-फोटॉन एमिशन परिकलित टोमोग्राफी और एक्स-रे कंप्यूटेड टोमोग्राफी में। ईएम के अन्य तेज रूपों के लिए नीचे देखें।

संरचनागत वास्तुविद्या में, एक्सपेक्टेशन मैक्सिमाइजेशन (STRIDE) का उपयोग करके स्ट्रक्चरल आइडेंटिफिकेशन एल्गोरिथम सेंसर डेटा का उपयोग करके एक संरचनात्मक प्रणाली के प्राकृतिक कंपन गुणों की पहचान करने के लिए केवल-आउटपुट विधि है (ऑपरेशनल मोडल विश्लेषण देखें)।

EM का उपयोग डेटा क्लस्टरिंग के लिए भी किया जाता है। प्राकृतिक भाषा प्रसंस्करण में, एल्गोरिथम के दो प्रमुख उदाहरण छिपे हुए मार्कोव मॉडल के लिए बॉम-वेल्च एल्गोरिथम हैं, और संभाव्य संदर्भ-मुक्त व्याकरण के अनपर्यवेक्षित प्रेरण के लिए अंदर-बाहर एल्गोरिथम हैं।

इंटरट्रेड वेटिंग टाइम के विश्लेषण में यानी शेयर बाजार में शेयर (वित्त) में बाद के ट्रेडों के बीच का समय ईएम एल्गोरिदम बहुत उपयोगी साबित हुआ है।

ईएम एल्गोरिदम को छानना और चौरसाई करना

एक कलमन फिल्टर का उपयोग आम तौर पर ऑन-लाइन राज्य अनुमान के लिए किया जाता है और ऑफ़लाइन या बैच राज्य अनुमान के लिए न्यूनतम-विचरण स्मूथ को नियोजित किया जा सकता है। हालाँकि, इन न्यूनतम-विचरण समाधानों के लिए राज्य-अंतरिक्ष मॉडल मापदंडों के अनुमानों की आवश्यकता होती है। ईएम एल्गोरिदम का उपयोग संयुक्त राज्य और पैरामीटर आकलन समस्याओं को हल करने के लिए किया जा सकता है।

फ़िल्टरिंग और स्मूथिंग ईएम एल्गोरिदम इस दो-चरणीय प्रक्रिया को दोहराने से उत्पन्न होते हैं:

ई-कदम

अद्यतन राज्य अनुमान प्राप्त करने के लिए वर्तमान पैरामीटर अनुमानों के साथ डिज़ाइन किए गए कलमन फ़िल्टर या न्यूनतम-वैरिएंस स्मूथ को संचालित करें।

एम-स्टेप

अपडेट किए गए पैरामीटर अनुमानों को प्राप्त करने के लिए अधिकतम-संभावना गणनाओं के भीतर फ़िल्टर्ड या स्मूथ स्थिति अनुमानों का उपयोग करें।

मान लीजिए कि एक कलमन फ़िल्टर या न्यूनतम-विचरण स्मूथ एक एकल-इनपुट-एकल-आउटपुट सिस्टम के मापन पर संचालित होता है जिसमें योगात्मक सफेद शोर होता है। अधिकतम संभावना गणना से एक अद्यतन माप शोर भिन्नता अनुमान प्राप्त किया जा सकता है

${\widehat {\sigma }}_{v}^{2}={\frac {1}{N}}\sum _{k=1}^{N}{(z_{k}-{\widehat {x}}_{k})}^{2},$

कहाँ ${\widehat {x}}_{k}$ स्केलर आउटपुट अनुमान हैं जो फ़िल्टर द्वारा गणना की जाती हैं या एन स्केलर माप से चिकनी होती हैं $z_{k}$. उपरोक्त अद्यतन को प्वासों माप शोर तीव्रता को अद्यतन करने के लिए भी लागू किया जा सकता है। इसी तरह, पहले क्रम के ऑटो-रिग्रेसिव प्रोसेस के लिए, एक अपडेटेड प्रोसेस नॉइज़ वेरिएंस एस्टीमेट की गणना किसके द्वारा की जा सकती है

${\widehat {\sigma }}_{w}^{2}={\frac {1}{N}}\sum _{k=1}^{N}{({\widehat {x}}_{k+1}-{\widehat {F}}{\widehat {x}}_{k})}^{2},$

कहाँ ${\widehat {x}}_{k}$ और ${\widehat {x}}_{k+1}$ स्केलर अवस्था के अनुमान हैं, जिनकी गणना किसी फ़िल्टर या स्मूदर द्वारा की जाती है। अद्यतन मॉडल गुणांक अनुमान के माध्यम से प्राप्त किया जाता है

${\widehat {F}}={\frac {\sum _{k=1}^{N}{({\widehat {x}}_{k+1}-{\widehat {F}}{\widehat {x}}_{k})}^{2}}{\sum _{k=1}^{N}{\widehat {x}}_{k}^{2}}}.$

उपरोक्त जैसे पैरामीटर अनुमानों के अभिसरण का अच्छी तरह से अध्ययन किया गया है।

वेरिएंट

ईएम एल्गोरिथ्म के कभी-कभी धीमे अभिसरण में तेजी लाने के लिए कई तरीकों का प्रस्ताव किया गया है, जैसे संयुग्म ढाल और संशोधित न्यूटन के तरीकों (न्यूटन-रैफसन) का उपयोग करना। इसके अलावा, EM का उपयोग विवश आकलन विधियों के साथ किया जा सकता है।

पैरामीटर-विस्तारित अपेक्षा अधिकतमकरण (पीएक्स-ईएम) एल्गोरिथ्म अक्सर एम चरण के विश्लेषण को सही करने के लिए हमारे [आईएनजी] एक 'सहप्रसरण समायोजन' द्वारा गति प्रदान करता है, आरोपित पूर्ण डेटा में कैप्चर की गई अतिरिक्त जानकारी पर पूंजीकरण करता है। अपेक्षा सशर्त अधिकतमकरण (ईसीएम) प्रत्येक एम चरण को सशर्त अधिकतमकरण (सीएम) चरणों के अनुक्रम के साथ बदल देता है जिसमें प्रत्येक पैरामीटर θ_i व्यक्तिगत रूप से अधिकतम किया जाता है, सशर्त रूप से शेष अन्य मापदंडों पर। खुद को एक्सपेक्टेशन कंडीशनल मैक्सिमाइज़ेशन या तो (ECME) एल्गोरिथम में विस्तारित किया जा सकता है। इस विचार को सामान्यीकृत अपेक्षा अधिकतमकरण (जीईएम) एल्गोरिथ्म में आगे बढ़ाया गया है, जिसमें ई चरण और एम चरण दोनों के लिए केवल उद्देश्य समारोह एफ में वृद्धि की मांग की गई है जैसा कि #अधिकतमकरण-अधिकतमकरण प्रक्रिया में वर्णित है। अधिकतमकरण के रूप में- अधिकतमकरण प्रक्रिया अनुभाग।GEM को एक वितरित वातावरण में और विकसित किया गया है और आशाजनक परिणाम दिखाता है। EM एल्गोरिथम को MM एल्गोरिथम के उपवर्ग के रूप में माना जा सकता है (संदर्भ के आधार पर मेजराइज़ / मिनिमाइज़ या माइनराइज़ / मैक्सिमाइज़एमएम एल्गोरिदम, और इसलिए अधिक सामान्य स्थिति में विकसित किसी भी मशीनरी का उपयोग करें।

α-EM एल्गोरिथ्म

ईएम एल्गोरिथ्म में प्रयुक्त क्यू-फ़ंक्शन लॉग संभावना पर आधारित है। इसलिए, इसे लॉग-ईएम एल्गोरिथम माना जाता है। लॉग संभावना का उपयोग α-लॉग संभावना अनुपात के लिए सामान्यीकृत किया जा सकता है। फिर, देखे गए डेटा के α-लॉग संभावना अनुपात को α-लॉग संभावना अनुपात और α-विचलन के क्यू-फ़ंक्शन का उपयोग करके बिल्कुल समानता के रूप में व्यक्त किया जा सकता है। इस Q-फ़ंक्शन को प्राप्त करना एक सामान्यीकृत E चरण है। इसका अधिकतमीकरण एक सामान्यीकृत M चरण है। इस जोड़ी को α-EM एल्गोरिथम कहा जाता है जिसमें लॉग-ईएम एल्गोरिथ्म इसके उपवर्ग के रूप में शामिल है। इस प्रकार, यासुओ मात्सुयामा द्वारा α-EM एल्गोरिथ्म लॉग-ईएम एल्गोरिथ्म का एक सटीक सामान्यीकरण है। ढाल या हेस्सियन मैट्रिक्स की कोई गणना आवश्यक नहीं है। Α-EM उचित α चुनकर लॉग-ईएम एल्गोरिदम की तुलना में तेजी से अभिसरण दिखाता है। Α-EM एल्गोरिथ्म हिडन मार्कोव मॉडल अनुमान एल्गोरिथ्म α-HMM के तेज संस्करण की ओर जाता है।

वेरिएबल बेयस विधियों से संबंध

EM आंशिक रूप से गैर-बायेसियन, अधिकतम संभावना विधि है। इसका अंतिम परिणाम θ (या तो अधिकतम संभावना अनुमान या पश्च मोड) के लिए एक बिंदु अनुमान के साथ अव्यक्त चर (बायेसियन शैली में) पर एक संभाव्यता वितरण देता है। इसका एक पूरी तरह से बायेसियन संस्करण चाहा जा सकता है, जिससे θ और अव्यक्त चर पर प्रायिकता वितरण दिया जा सके। अनुमान के लिए बायेसियन दृष्टिकोण केवल θ को एक अन्य अव्यक्त चर के रूप में मानने के लिए है। इस प्रतिमान में, ई और एम चरणों के बीच का अंतर गायब हो जाता है। यदि ऊपर बताए अनुसार गुणनखंडित Q सन्निकटन का उपयोग कर रहे हैं (वैरिएबल बेज़), हल करना प्रत्येक अव्यक्त चर (अब θ सहित) पर पुनरावृति कर सकता है और उन्हें एक बार में अनुकूलित कर सकता है। अब, k चरण प्रति पुनरावृत्ति की आवश्यकता है, जहाँ k अव्यक्त चर की संख्या है। ग्राफिकल मॉडल के लिए यह करना आसान है क्योंकि प्रत्येक वेरिएबल का नया क्यू केवल उसके मार्कोव कंबल पर निर्भर करता है, इसलिए कुशल अनुमान के लिए स्थानीय संदेश पासिंग (बहुविकल्पी) का उपयोग किया जा सकता है।

ज्यामितीय व्याख्या

Further information: Information geometry

सूचना ज्यामिति में, ई चरण और एम चरण को दोहरे संबंध कनेक्शन के तहत अनुमानों के रूप में व्याख्या किया जाता है, जिसे ई-कनेक्शन और एम-कनेक्शन कहा जाता है; कुल्बैक-लीब्लर विचलन को इन शब्दों में भी समझा जा सकता है।

उदाहरण

गाऊसी मिश्रण

के-मीन्स और ईएम की तुलना। भिन्नताओं का उपयोग करते हुए, ईएम एल्गोरिदम सामान्य वितरण का सटीक वर्णन कर सकता है, जबकि के-साधन डेटा को वोरोनोई आरेख-कोशिकाओं में विभाजित करता है। क्लस्टर केंद्र को हल्के, बड़े प्रतीक द्वारा दर्शाया गया है।

ओल्ड फेथफुल डेटासेट के लिए दो घटक गॉसियन मिश्रण मॉडल को फिट करने वाले ईएम एल्गोरिदम को प्रदर्शित करने वाला एक एनीमेशन। एल्गोरिथ्म एक यादृच्छिक आरंभीकरण से अभिसरण तक कदम उठाता है।

होने देना $\mathbf {x} =(\mathbf {x} _{1},\mathbf {x} _{2},\ldots ,\mathbf {x} _{n})$ का नमूना हो $n$ आयाम के दो बहुभिन्नरूपी सामान्य वितरणों के मिश्रण मॉडल से स्वतंत्र अवलोकन $d$, और जाने $\mathbf {z} =(z_{1},z_{2},\ldots ,z_{n})$ अव्यक्त चर हैं जो उस घटक को निर्धारित करते हैं जिससे अवलोकन उत्पन्न होता है।: $X_{i}\mid (Z_{i}=1)\sim {\mathcal {N}}_{d}({\boldsymbol {\mu }}_{1},\Sigma _{1})$ और $X_{i}\mid (Z_{i}=2)\sim {\mathcal {N}}_{d}({\boldsymbol {\mu }}_{2},\Sigma _{2}),$

कहाँ

$\operatorname {P} (Z_{i}=1)=\tau _{1}\,$ और $\operatorname {P} (Z_{i}=2)=\tau _{2}=1-\tau _{1}.$

इसका उद्देश्य गॉसियन और प्रत्येक के साधनों और सहसंयोजकों के बीच मिश्रण मूल्य का प्रतिनिधित्व करने वाले अज्ञात मापदंडों का अनुमान लगाना है:

$\theta ={\big (}{\boldsymbol {\tau }},{\boldsymbol {\mu }}_{1},{\boldsymbol {\mu }}_{2},\Sigma _{1},\Sigma _{2}{\big )},$

जहां अपूर्ण-डेटा संभावना कार्य है

$L(\theta ;\mathbf {x} )=\prod _{i=1}^{n}\sum _{j=1}^{2}\tau _{j}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j},\Sigma _{j}),$

और पूर्ण-डेटा संभावना कार्य है

$L(\theta ;\mathbf {x} ,\mathbf {z} )=p(\mathbf {x} ,\mathbf {z} \mid \theta )=\prod _{i=1}^{n}\prod _{j=1}^{2}\ [f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j},\Sigma _{j})\tau _{j}]^{\mathbb {I} (z_{i}=j)},$

या

$L(\theta ;\mathbf {x} ,\mathbf {z} )=\exp \left\{\sum _{i=1}^{n}\sum _{j=1}^{2}\mathbb {I} (z_{i}=j){\big [}\log \tau _{j}-{\tfrac {1}{2}}\log |\Sigma _{j}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})^{\top }\Sigma _{j}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})-{\tfrac {d}{2}}\log(2\pi ){\big ]}\right\},$

कहाँ $\mathbb {I}$ एक संकेतक कार्य है और $f$ बहुभिन्नरूपी सामान्य का प्रायिकता घनत्व फलन है।

अंतिम समानता में, प्रत्येक के लिए i, एक संकेतक $\mathbb {I} (z_{i}=j)$ शून्य के बराबर है, और एक संकेतक एक के बराबर है। आंतरिक योग इस प्रकार एक शब्द तक कम हो जाता है।

ई चरण

पैरामीटर θ के हमारे वर्तमान अनुमान को देखते हुए^(t), Z का सशर्त वितरण_i बेयस प्रमेय द्वारा निर्धारित किया जाता है कि सामान्य संभाव्यता घनत्व समारोह की आनुपातिक ऊंचाई τ द्वारा भारित होती है:

$T_{j,i}^{(t)}:=\operatorname {P} (Z_{i}=j\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})={\frac {\tau _{j}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{j}^{(t)},\Sigma _{j}^{(t)})}{\tau _{1}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{1}^{(t)},\Sigma _{1}^{(t)})+\tau _{2}^{(t)}\ f(\mathbf {x} _{i};{\boldsymbol {\mu }}_{2}^{(t)},\Sigma _{2}^{(t)})}}.$

इन्हें सदस्यता संभावनाएं कहा जाता है, जिन्हें आम तौर पर ई चरण का आउटपुट माना जाता है (हालांकि यह नीचे का क्यू फ़ंक्शन नहीं है)।

यह E चरण Q के लिए इस फ़ंक्शन को सेट करने के संगत है:

${\begin{aligned}Q(\theta \mid \theta ^{(t)})&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\log L(\theta ;\mathbf {x} ,\mathbf {Z} )]\\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\log \prod _{i=1}^{n}L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\operatorname {E} _{\mathbf {Z} \mid \mathbf {X} =\mathbf {x} ;\mathbf {\theta } ^{(t)}}[\sum _{i=1}^{n}\log L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\sum _{i=1}^{n}\operatorname {E} _{Z_{i}\mid X_{i}=x_{i};\mathbf {\theta } ^{(t)}}[\log L(\theta ;\mathbf {x} _{i},Z_{i})]\\&=\sum _{i=1}^{n}\sum _{j=1}^{2}P(Z_{i}=j\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})\log L(\theta _{j};\mathbf {x} _{i},j)\\&=\sum _{i=1}^{n}\sum _{j=1}^{2}T_{j,i}^{(t)}{\big [}\log \tau _{j}-{\tfrac {1}{2}}\log |\Sigma _{j}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})^{\top }\Sigma _{j}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{j})-{\tfrac {d}{2}}\log(2\pi ){\big ]}.\end{aligned}}$

की अपेक्षा $\log L(\theta ;\mathbf {x} _{i},Z_{i})$ योग के अंदर संभाव्यता घनत्व समारोह के संबंध में लिया जाता है $P(Z_{i}\mid X_{i}=\mathbf {x} _{i};\theta ^{(t)})$, जो प्रत्येक के लिए अलग हो सकता है $\mathbf {x} _{i}$ प्रशिक्षण सेट की। ई चरण में सब कुछ कदम उठाए जाने से पहले जाना जाता है सिवाय $T_{j,i}$, जिसकी गणना ई चरण खंड की शुरुआत में समीकरण के अनुसार की जाती है।

इस पूर्ण सशर्त अपेक्षा को एक चरण में गणना करने की आवश्यकता नहीं है, क्योंकि τ और 'μ'/'Σ' अलग-अलग रैखिक शब्दों में दिखाई देते हैं और इस प्रकार स्वतंत्र रूप से अधिकतम हो सकते हैं।

एम कदम

क्यू(θ | θ^(t)) के रूप में द्विघात होने का मतलब है कि θ के अधिकतम मानों को निर्धारित करना अपेक्षाकृत सरल है। साथ ही, τ, ('μ'₁,एस₁) और (μ₂,एस₂) सभी को स्वतंत्र रूप से अधिकतम किया जा सकता है क्योंकि वे सभी अलग-अलग रैखिक शब्दों में दिखाई देते हैं।

शुरू करने के लिए, τ पर विचार करें, जिसमें बाधा τ है₁ + टी₂=1:

${\begin{aligned}{\boldsymbol {\tau }}^{(t+1)}&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {\boldsymbol {\tau }}{\operatorname {arg\,max} }}\ \left\{\left[\sum _{i=1}^{n}T_{1,i}^{(t)}\right]\log \tau _{1}+\left[\sum _{i=1}^{n}T_{2,i}^{(t)}\right]\log \tau _{2}\right\}.\end{aligned}}$

यह द्विपद वितरण के लिए एमएलई के समान रूप है, इसलिए

$\tau _{j}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{j,i}^{(t)}}{\sum _{i=1}^{n}(T_{1,i}^{(t)}+T_{2,i}^{(t)})}}={\frac {1}{n}}\sum _{i=1}^{n}T_{j,i}^{(t)}.$

के अगले अनुमान के लिए (μ₁,एस₁):

${\begin{aligned}({\boldsymbol {\mu }}_{1}^{(t+1)},\Sigma _{1}^{(t+1)})&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ Q(\theta \mid \theta ^{(t)})\\&={\underset {{\boldsymbol {\mu }}_{1},\Sigma _{1}}{\operatorname {arg\,max} }}\ \sum _{i=1}^{n}T_{1,i}^{(t)}\left\{-{\tfrac {1}{2}}\log |\Sigma _{1}|-{\tfrac {1}{2}}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})^{\top }\Sigma _{1}^{-1}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1})\right\}\end{aligned}}.$

यह सामान्य वितरण के लिए भारित एमएलई के समान रूप है, इसलिए

${\boldsymbol {\mu }}_{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}$ और $\Sigma _{1}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{1,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{1}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{1,i}^{(t)}}}$

और, समरूपता से,

${\boldsymbol {\mu }}_{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}\mathbf {x} _{i}}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}$ और $\Sigma _{2}^{(t+1)}={\frac {\sum _{i=1}^{n}T_{2,i}^{(t)}(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})(\mathbf {x} _{i}-{\boldsymbol {\mu }}_{2}^{(t+1)})^{\top }}{\sum _{i=1}^{n}T_{2,i}^{(t)}}}.$

समाप्ति

पुनरावृत्त प्रक्रिया को समाप्त करें यदि $E_{Z\mid \theta ^{(t)},\mathbf {x} }[\log L(\theta ^{(t)};\mathbf {x} ,\mathbf {Z} )]\leq E_{Z\mid \theta ^{(t-1)},\mathbf {x} }[\log L(\theta ^{(t-1)};\mathbf {x} ,\mathbf {Z} )]+\varepsilon$ के लिए $\varepsilon$ कुछ पूर्व निर्धारित दहलीज के नीचे।

सामान्यीकरण

ऊपर वर्णित एल्गोरिथ्म को दो से अधिक बहुभिन्नरूपी सामान्य वितरणों के मिश्रण के लिए सामान्यीकृत किया जा सकता है।

कटा हुआ और सेंसर किया गया प्रतिगमन

EM एल्गोरिथ्म को उस मामले में लागू किया गया है जहां एक अंतर्निहित रेखीय प्रतिगमन मॉडल मौजूद है जो कुछ मात्रा की भिन्नता को समझाता है, लेकिन जहां वास्तव में देखे गए मान मॉडल में दर्शाए गए लोगों के सेंसर किए गए या काट-छाँट किए गए संस्करण हैं। इस मॉडल के विशेष मामलों में एक सामान्य वितरण से सेंसर किए गए या काट-छाँट किए गए अवलोकन शामिल हैं।

विकल्प

ईएम आम तौर पर एक स्थानीय इष्टतम में अभिसरण करता है, जरूरी नहीं कि वैश्विक इष्टतम, सामान्य रूप से अभिसरण दर पर कोई बाध्यता न हो। यह संभव है कि यह मनमाने ढंग से उच्च आयामों में खराब हो सकता है और स्थानीय ऑप्टिमा की एक घातीय संख्या हो सकती है। इसलिए, विशेष रूप से उच्च-आयामी सेटिंग में, गारंटीकृत शिक्षण के लिए वैकल्पिक तरीकों की आवश्यकता मौजूद है। ईएम के विकल्प स्थिरता के लिए बेहतर गारंटी के साथ मौजूद हैं, जिन्हें पल-आधारित दृष्टिकोण कहा जाता है या तथाकथित वर्णक्रमीय तकनीक. एक संभाव्य मॉडल के मापदंडों को सीखने के लिए क्षण-आधारित दृष्टिकोण हाल ही में बढ़ रहे हैं चूंकि वे ईएम के विपरीत कुछ शर्तों के तहत वैश्विक अभिसरण जैसी गारंटी का आनंद लेते हैं, जो अक्सर स्थानीय ऑप्टिमा में फंसने के मुद्दे से ग्रस्त होता है। सीखने की गारंटी के साथ एल्गोरिदम कई महत्वपूर्ण मॉडलों जैसे मिश्रण मॉडल, एचएमएम आदि के लिए प्राप्त किए जा सकते हैं। इन वर्णक्रमीय तरीकों के लिए, कोई नकली स्थानीय ऑप्टिमा नहीं होता है, और कुछ नियमितता स्थितियों के तहत सही मापदंडों का लगातार अनुमान लगाया जा सकता है।.

यह भी देखें

• मिश्रण वितरण
• यौगिक वितरण
• घनत्व अनुमान
• प्रमुख कंपोनेंट विश्लेषण
• कुल अवशोषण स्पेक्ट्रोस्कोपी
• ईएम एल्गोरिदम को एमएम एल्गोरिदम के विशेष मामले के रूप में देखा जा सकता है। प्रमुख-न्यूनीकरण (एमएम) एल्गोरिदम।

अग्रिम पठन

• Hogg, Robert; McKean, Joseph; Craig, Allen (2005). Introduction to Mathematical Statistics. Upper Saddle River, NJ: Pearson Prentice Hall. pp. 359–364.
• Dellaert, Frank (2002). "The Expectation Maximization Algorithm". CiteSeerX 10.1.1.9.9735. {{cite journal}}: Cite journal requires |journal= (help) gives an easier explanation of EM algorithm as to lowerbound maximization.
• Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
• Gupta, M. R.; Chen, Y. (2010). "Theory and Use of the EM Algorithm". Foundations and Trends in Signal Processing. 4 (3): 223–296. CiteSeerX 10.1.1.219.6830. doi:10.1561/2000000034. A well-written short book on EM, including detailed derivation of EM for GMMs, HMMs, and Dirichlet.
• Bilmes, Jeff (1998). "A Gentle Tutorial of the EM Algorithm and its Application to Parameter Estimation for Gaussian Mixture and Hidden Markov Models". CiteSeerX 10.1.1.28.613. {{cite journal}}: Cite journal requires |journal= (help) includes a simplified derivation of the EM equations for Gaussian Mixtures and Gaussian Mixture Hidden Markov Models.
• McLachlan, Geoffrey J.; Krishnan, Thriyambakam (2008). The EM Algorithm and Extensions (2nd ed.). Hoboken: Wiley. ISBN 978-0-471-20170-0.

बाहरी संबंध

• Various 1D, 2D and 3D demonstrations of EM together with Mixture Modeling are provided as part of the paired SOCR activities and applets. These applets and activities show empirically the properties of the EM algorithm for parameter estimation in diverse settings.
• Class hierarchy in C++ (GPL) including Gaussian Mixtures
• The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay includes simple examples of the EM algorithm such as clustering using the soft k-means algorithm, and emphasizes the variational view of the EM algorithm, as described in Chapter 33.7 of version 7.2 (fourth edition).
• Variational Algorithms for Approximate Bayesian Inference, by M. J. Beal includes comparisons of EM to Variational Bayesian EM and derivations of several models including Variational Bayesian HMMs (chapters).
• The Expectation Maximization Algorithm: A short tutorial, A self-contained derivation of the EM Algorithm by Sean Borman.
• The EM Algorithm, by Xiaojin Zhu.
• EM algorithm and variants: an informal tutorial by Alexis Roche. A concise and very clear description of EM and many interesting variants.