नाँलेज ग्राफ एम्बेडिंग

नाँलेज ग्राफ का एम्बेडिंग। एम्बेडिंग और संबंधों के सदिश प्रतिनिधित्व का उपयोग विभिन्न मशीन सीखने के अनुप्रयोगों के लिए किया जा सकता है।

प्रतिनिधित्व शिक्षण में, नाँलेज ग्राफ एम्बेडिंग (KGE), जिसे नाँलेज प्रतिनिधित्व शिक्षण (KRL), या बहु-संबंध शिक्षण भी कहा जाता है, नाँलेज ग्राफ की एम्बेडिंग और संबंधों के अर्थपूर्ण अर्थ को संरक्षित करते हुए उनके निम्न-आयामी प्रतिनिधित्व को सीखने का एक मशीन सीखने का क्रिया है। उनके एम्बेडिंग प्रतिनिधित्व का लाभ उठाते हुए, नाँलेज ग्राफ़ (केजी) का उपयोग लिंक भविष्यवाणी, ट्रिपल वर्गीकरण, इकाई मान्यता, क्लस्टर विश्लेषण और संबंध निष्कर्षण जैसे विभिन्न अनुप्रयोगों के लिए किया जा सकता है।

परिभाषा

एक नाँलेज ग्राफ ${\mathcal {G}}=\{E,R,F\}$ इकाई $E$, संबंध $R$, और तथ्य $F$ का एक संग्रह है। एक तथ्य एक ट्रिपल $(h,r,t)\in F$ है जो ट्रिपल के शीर्ष $h\in E$ और पुंछ $t\in E$ के बीच एक लिंक $r\in R$ को दर्शाता है। इस प्रकार से एक अन्य संकेतन जो प्रायः साहित्य में ट्रिपल (या तथ्य) का प्रतिनिधित्व करने के लिए उपयोग किया जाता है वह है $<head,relation,tail>$। इस नोटेशन को संसाधन विवरण स्ट्रक्चर (आरडीएफ) कहा जाता है। एक नाँलेज ग्राफ़ विशिष्ट डोमेन से संबंधित नाँलेज का प्रतिनिधित्व करता है; इस संरचित प्रतिनिधित्व का लाभ उठाते हुए, कुछ शोधन चरणों के बाद इससे नवीन नाँलेज का अनुमान लगाना संभव है। यद्यपि, आजकल, लोगों को वास्तविक संसार के एप्लिकेशन में उनका उपयोग करने के लिए डेटा की विरलता और कम्प्यूटेशनल अक्षमता से निपटना पड़ता है।

नाँलेज ग्राफ का एम्बेडिंग प्रत्येक इकाई और नाँलेज ग्राफ के संबंध, ${\mathcal {G}}$ को किसी दिए गए आयाम $d$, के सदिश में अनुवादित करता है, जिसे एम्बेडिंग आयाम कहा जाता है। सामान्य स्थिति में, हमारे निकट इकाई $d$ और संबंध $k$ के लिए अलग-अलग एम्बेडिंग आयाम हो सकते हैं। नाँलेज ग्राफ में सभी एम्बेडिंग और संबंधों के लिए एम्बेडिंग सदिश का संग्रह तब डाउनस्ट्रीम क्रियाओं के लिए उपयोग किया जा सकता है।

इस प्रकार से एक नाँलेज ग्राफ़ एम्बेडिंग को चार अलग-अलग गुणों की विशेषता है:

1. प्रतिनिधित्व समष्टि: निम्न-आयामी समष्टि जिसमें एम्बेडिंग और संबंधों का प्रतिनिधित्व किया जाता है।
2. स्कोरिंग फलन: ट्रिपल एम्बेडेड प्रतिनिधित्व की स्पष्टता का उपाय।
3. एन्कोडिंग मॉडल: वह पद्धति जिसमें एम्बेडिंग और संबंधों का एम्बेडेड प्रतिनिधित्व दूसरे के साथ परस्पर क्रिया करता है।
4. अतिरिक्त सूचना: नाँलेज ग्राफ से आने वाली कोई भी अतिरिक्त सूचना जो एम्बेडेड प्रतिनिधित्व को समृद्ध कर सकती है। सामान्यतः, प्रत्येक अतिरिक्त सूचना के लिए तदर्थ स्कोरिंग फलन को सामान्य स्कोरिंग फलन में पूर्ण रूप से एकीकृत किया जाता है।

एंबेडिंग प्रक्रिया

सभी अलग-अलग नाँलेज ग्राफ एम्बेडिंग मॉडल तथ्यों के अर्थपूर्ण अर्थ को जानने के लिए लगभग एक ही प्रक्रिया का पालन करते हैं। सबसे पहले, नाँलेज ग्राफ के एम्बेडेड प्रतिनिधित्व को सीखने के लिए, एम्बेडिंग और संबंधों के एम्बेडिंग सदिश को यादृच्छिक मानों के लिए प्रारंभ किया जाता है। फिर, प्रशिक्षण सेट से प्रारंभ करके स्टॉप स्थिति तक पहुंचने तक, एल्गोरिदम निरंतर एम्बेडिंग को अनुकूलित करता है। सामान्यतः, स्टॉप की स्थिति प्रशिक्षण सेट पर ओवरफिटिंग द्वारा दी जाती है। प्रत्येक पुनरावृत्ति के लिए, प्रशिक्षण सेट से आकार $b$ के एक बैच का नमूना लिया जाता है, और बैच के प्रत्येक ट्रिपल के लिए एक यादृच्छिक भ्रष्ट तथ्य का नमूना लिया जाता है—अर्थात, ट्रिपल जो नाँलेज ग्राफ में उचित तथ्य का प्रतिनिधित्व नहीं करता है। ट्रिपल के भ्रष्टाचार में ट्रिपल के शीर्ष या पूंछ (या दोनों) को किसी अन्य इकाई के साथ प्रतिस्थापित करना सम्मिलित है जो तथ्य को अनुचित बनाता है। इस प्रकार से मूल ट्रिपल और दूषित ट्रिपल को प्रशिक्षण बैच में जोड़ा जाता है, और फिर स्कोरिंग फलन को अनुकूलित करते हुए एम्बेडिंग को अपडेट किया जाता है। एल्गोरिदम के अंत में, सीखे गए एम्बेडिंग को ट्रिपल से अर्थपूर्ण अर्थ निकालना चाहिए और नाँलेज ग्राफ में अनदेखे उचित तथ्यों की उचित भविष्यवाणी करनी चाहिए।

स्यूडोकोड

इस प्रकार से सामान्य एम्बेडिंग प्रक्रिया के लिए छद्मकोड निम्नलिखित है।

algorithm Compute entity and relation embeddings is
    input: The training set , 
           entity set , 
           relation set ,     
           embedding dimension 
    output: Entity and relation embeddings

    initialization: the entities  and relations  embeddings (vectors) are randomly initialized

    while stop condition do
         // From the training set randomly sample a batch of size b
        for each  in  do
              // sample a corrupted fact of triple
             
        end for
        Update embeddings by minimizing the loss function
    end while

परफॉरमेंस संकेतक

अतः इन सूचकांकों का उपयोग प्रायः किसी मॉडल की एम्बेडिंग गुणवत्ता को मापने के लिए किया जाता है। सूचकांकों की सरलता उन्हें बड़े पैमाने पर भी एम्बेडिंग एल्गोरिदम के परफॉरमेंस का मूल्यांकन करने के लिए बहुत उपयुक्त बनाती है। इस प्रकार से किसी मॉडल की सभी पद की गई भविष्यवाणियों के सेट के रूप में ${\ce {Q}}$ को देखते हुए, तीन अलग-अलग परफॉरमेंस सूचकांकों को परिभाषित करना संभव है: Hits@K, MR, और MRR।

Hits@K

Hits@K या संक्षेप में, H@K, परफॉरमेंस सूचकांक है जो पहले शीर्ष के मॉडल भविष्यवाणियों में उचित भविष्यवाणी खोजने की संभावना को मापता है। सामान्यतः इसका प्रयोग $k=10$ किया जाता है। इस प्रकार से Hits@K दो दिए गए ट्रिपल के बीच संबंध की उचित भविष्यवाणी करने के लिए एम्बेडिंग मॉडल की यथार्थता को दर्शाता है।

Hits@K$={\frac {|\{q\in Q:q<k\}|}{|Q|}}\in [0,1]$

बड़े मानों का अर्थ स्पष्ट अनुमानित परफॉरमेंस है।

औसत पद (एमआर)

औसत पद सभी संभावित वस्तुओं के बीच मॉडल द्वारा अनुमानित वस्तुओं की औसत पद स्थिति है।

$MR={\frac {1}{|Q|}}\sum _{q\in Q}{q}$

अतः मान जितना छोटा होगा, मॉडल उतना ही स्पष्ट होगा।

माध्य पारस्परिक पद (एमआरआर)

माध्य पारस्परिक पद उचित रूप से अनुमानित ट्रिपल की संख्या को मापता है। यदि पहला अनुमानित ट्रिपल उचित है, तो 1 जोड़ा जाता है, यदि दूसरा उचित है तो ${\frac {1}{2}}$ का योग किया जाता है, और इसी प्रकार।

अतः औसत पारस्परिक पद का उपयोग सामान्यतः खोज एल्गोरिदम के प्रभाव को मापने के लिए किया जाता है।

$MRR={\frac {1}{|Q|}}\sum _{q\in Q}{\frac {1}{q}}\in [0,1]$

इस प्रकार से सूचकांक जितना बड़ा होगा, मॉडल उतना ही स्पष्ट होगा।

अनुप्रयोग

मशीन लर्निंग क्रिया

अतः नाँलेज ग्राफ पूर्णता (केजीसी) एम्बेडेड नाँलेज ग्राफ प्रतिनिधित्व से नाँलेज का अनुमान लगाने के लिए तकनीकों का संग्रह है। विशेष रूप से, यह तकनीक लुप्त इकाई या संबंध का अनुमान लगाते हुए ट्रिपल को पूर्ण करती है। संबंधित उप-क्रियाओं को लिंक या इकाई भविष्यवाणी (अर्थात, ट्रिपल की दूसरी इकाई और संबंध को देखते हुए एम्बेडिंग से इकाई का अनुमान लगाना), और संबंध भविष्यवाणी (अर्थात, दो इकाइयों को जोड़ने वाले सबसे प्रशंसनीय संबंध की भविष्यवाणी करना) नाम दिया गया है।

इस प्रकार से ट्रिपल वर्गीकरण द्विआधारी वर्गीकरण समस्या है। एक ट्रिपल को देखते हुए, प्रशिक्षित मॉडल एम्बेडिंग का उपयोग करके ट्रिपल की संभाव्यता का मूल्यांकन करता है ताकि यह निर्धारित किया जा सके कि ट्रिपल उचित है या अनुचित। निर्णय मॉडल स्कोर फलन और दी गई सीमा के साथ किया जाता है। क्लस्टरिंग अन्य एप्लिकेशन है जो 2डी स्पेस में समान सिमेंटिक इकाइयों के प्रतिनिधित्व को संक्षिप्त करने के लिए विरल नाँलेज ग्राफ के एम्बेडेड प्रतिनिधित्व का पूर्ण रूप से लाभ उठाता है।

वास्तविक संसार के अनुप्रयोग

कई अनुप्रयोगों में नाँलेज ग्राफ एम्बेडिंग का उपयोग तीव्र से व्यापक हो रहा है। अतः अनुशंसा प्रणाली की स्थिति में, नाँलेज ग्राफ एम्बेडिंग का उपयोग सामान्य सुदृढीकरण सीखने की सीमाओं को दूर कर सकता है। इस प्रकार की अनुशंसा प्रणाली को प्रशिक्षित करने के लिए उपयोगकर्ताओं से भारी मात्रा में सूचना की आवश्यकता होती है; यद्यपि, नाँलेज ग्राफ़ तकनीकें आइटम सहसंबंध के पूर्व नाँलेज पर पहले से ही बनाए गए ग्राफ़ का उपयोग करके और उससे अनुशंसा का अनुमान लगाने के लिए एम्बेडिंग का उपयोग करके इस समस्या को पूर्ण रूप से हल कर सकती हैं। इस प्रकार से औषधि पुनर्प्रयोजन पहले से ही अनुमोदित औषधि का उपयोग है,परंतु चिकित्सीय उद्देश्य के लिए उस उद्देश्य से भिन्न होता है जिसके लिए इसे प्रारंभ में डिज़ाइन किया गया था। बड़े पैमाने पर साहित्य और बायोमेडिकल डेटाबेस की उपलब्धता का लाभ उठाकर निर्मित बायोमेडिकल नाँलेज ग्राफ का उपयोग करके पहले से स्थित औषधि और बीमारी के बीच नवीन संबंध का अनुमान लगाने के लिए लिंक भविष्यवाणी के क्रिया का उपयोग करना संभव है। अतः नाँलेज ग्राफ एम्बेडिंग का उपयोग सामाजिक राजनीति के क्षेत्र में भी किया जा सकता है।

मॉडल

कुछ नाँलेज ग्राफ एम्बेडिंग मॉडल की प्रकाशन समयरेखा। लाल रंग में टेंसर अपघटन मॉडल, नीले रंग में ज्यामितीय मॉडल और हरे रंग में गहन शिक्षण मॉडल। RESCAL (2011) पहला आधुनिक केजीई दृष्टिकोण था। इसमें YAGO नाँलेज ग्राफ को लागू किया गया था। यह बड़े पैमाने पर नाँलेज ग्राफ के लिए KGE का पहला अनुप्रयोग था।

इस प्रकार से ट्रिपल (या तथ्यों)${\mathcal {F}}=\{<head,relation,tail>\}$ के संग्रह को देखते हुए, नाँलेज ग्राफ एम्बेडिंग मॉडल नाँलेज ग्राफ में स्थित प्रत्येक इकाई और संबंध के लिए एक सतत सदिश प्रतिनिधित्व उत्पन्न करता है। अतः $(h,r,t)$, $h,t\in {\rm {I\!R}}^{d}$ और $r\in {\rm {I\!R}}^{k}$ के साथ ट्रिपल का संगत एम्बेडिंग है, जहां $d$ एम्बेडिंग के लिए एम्बेडिंग आयाम है, और संबंधों के लिए $k$ है। किसी दिए गए मॉडल का स्कोर फलन ${\mathcal {f}}_{r}(h,t)$ द्वारा दर्शाया गया है और संबंध के एम्बेडिंग को देखते हुए पूंछ के एम्बेडिंग से शीर्ष के एम्बेडिंग की दूरी को मापता है, या दूसरे शब्दों में, यह किसी दिए गए तथ्य के एम्बेडेड प्रतिनिधित्व की संभाव्यता को मापता है।

इस प्रकार से रॉसी एट अल. एम्बेडिंग मॉडल की वर्गीकरण का प्रस्ताव करें और मॉडल के तीन मुख्य वर्गों की पहचान करें: टेंसर अपघटन मॉडल, ज्यामितीय मॉडल और गहन शिक्षण मॉडल।

टेंसर अपघटन मॉडल

अतः टेंसर अपघटन नाँलेज ग्राफ एम्बेडिंग मॉडल का वर्ग है जो नाँलेज ग्राफ का प्रतिनिधित्व करने के लिए बहु-आयामी आव्यूह का उपयोग करता है, यह किसी विशेष डोमेन का पूर्ण रूप से वर्णन करने वाले नाँलेज ग्राफ के अंतराल के कारण आंशिक रूप से जानने योग्य है। इस प्रकार से विशेष रूप से, ये मॉडल तीन-पक्षीय (3डी) टेन्सर का उपयोग करते हैं, जिसे बाद में निम्न-आयामी सदिश में विभाजित किया जाता है जो कि इकाइयां और संबंध एम्बेडिंग होते हैं। तीसरे क्रम का टेंसर नाँलेज ग्राफ का प्रतिनिधित्व करने के लिए उपयुक्त पद्धति है क्योंकि यह मात्र एम्बेडिंग के बीच संबंध के अस्तित्व या अनुपस्थिति को रिकॉर्ड करता है, और इस कारण से यह सरल है, और नेटवर्क संरचना को प्राथमिकता से जानने की कोई आवश्यकता नहीं है, एम्बेडिंग मॉडल के इस वर्ग को हल्का और प्रशिक्षित करना सरल बनाता है, यद्यपि वे उच्च-आयामी और डेटा की विरलता से पीड़ित हों।

द्विरेखीय मॉडल

मॉडलों का यह वर्ग संबंध के माध्यम से एम्बेडिंग के बीच संबंध को एम्बेड करने के लिए रैखिक समीकरण का उपयोग करता है। विशेष रूप से, संबंधों का अंतर्निहित प्रतिनिधित्व द्विआयामी आव्यूह है। इस प्रकार से ये मॉडल, एम्बेडिंग प्रक्रिया के समय, एम्बेडेड प्रतिनिधित्व की गणना करने के लिए मात्र एकल तथ्यों का उपयोग करते हैं और उसी इकाई या संबंध के अन्य संघों को अनदेखा करते हैं।

• DistMult: चूँकि संबंध का एम्बेडिंग आव्यूह एक विकर्ण आव्यूह है, स्कोरिंग फलन असममित तथ्यों को अलग नहीं कर सकता है।

• ComplEx: चूँकि DistMult एम्बेडिंग संबंधों का प्रतिनिधित्व करने के लिए एक विकर्ण आव्यूह का उपयोग करता है, परंतु जटिल सदिश समष्टि और हर्मिटियन उत्पाद में एक प्रतिनिधित्व जोड़ता है, यह सममित और असममित तथ्यों को पूर्ण रूप से अलग कर सकता है। यह दृष्टिकोण समय और समष्टि लागत के संदर्भ में बड़े नाँलेज ग्राफ के लिए मापनीय है।
• ANALOGY: यह मॉडल आगमनात्मक तर्क को अनुकरण करने के लिए नाँलेज ग्राफ की अनुरूप संरचना को एम्बेड करने में एन्कोड करता है। एक भिन्न उद्देश्य फलन का उपयोग करते हुए, ANALOGY में उचित सैद्धांतिक व्यापकता और कम्प्यूटेशनल मापनीयता है। यह सिद्ध है कि ANALOGY द्वारा निर्मित एम्बेडिंग DistMult, ComplEx, और HolE की एम्बेडिंग को पूर्ण रूप से पुनर्प्राप्त करती है।
• SimplE: यह मॉडल विहित बहुपद अपघटन (सीपी) का संशोधन है, जिसमें संबंध के लिए एम्बेडिंग सदिश और प्रत्येक इकाई के लिए दो स्वतंत्र एम्बेडिंग सदिश सीखे जाते हैं, यह इस पर निर्भर करता है कि यह नाँलेज ग्राफ तथ्य में शीर्ष या पुंछ है या नहीं। SimpleE एक व्युत्क्रम संबंध का उपयोग करके दो इकाई एम्बेडिंग की स्वतंत्र सीखने की समस्या को हल करता है और $(h,r,t)$ और $(t,r^{-1},h)$ के सीपी स्कोर को औसत करता है। अतः इस प्रकार, SimpleE एम्बेडिंग के बीच संबंध एकत्र करता है जबकि वे किसी तथ्य के भीतर विषय या वस्तु की भूमिका में दिखाई देते हैं, और यह असममित संबंधों को एम्बेड करने में पूर्ण रूप से सक्षम है।

गैर-द्विरेखीय मॉडल

• HolE: नाँलेज ग्राफ का एम्बेडेड प्रतिनिधित्व बनाने के लिए HolE परिपत्र सहसंबंध का उपयोग करता है, जिसे आव्यूह उत्पाद के संपीड़न के रूप में देखा जा सकता है,परंतु असममित संबंध व्यक्त करने की क्षमताओं को बनाए रखते हुए अधिक कम्प्यूटेशनल रूप से कुशल और मापनीय है क्योंकि परिपत्र सहसंबंध क्रमविनिमेय नहीं है। अतः HolE होलोग्राफिक और जटिल एम्बेडिंग को पूर्ण रूप से जोड़ता है, यदि फूरियर रूपांतरण के साथ साथ उपयोग किया जाता है, तो इसे ComplEx की विशेष स्थिति के रूप में देखा जा सकता है।
• TuckER: TuckER नाँलेज ग्राफ को टेंसर के रूप में देखता है जिसे सदिश के संग्रह में TuckER अपघटन का उपयोग करके विघटित किया जा सकता है—अर्थात, एम्बेडिंग और संबंधों का एम्बेडिंग— एक साझा कोर के साथ। कोर टेंसर का भार एम्बेडिंग के साथ मिलकर सीखा जाता है और प्रविष्टियों के परस्पर क्रिया के स्तर का प्रतिनिधित्व करता है। इस प्रकार से प्रत्येक इकाई और संबंध का अपना एम्बेडिंग आयाम होता है, और कोर टेंसर का आकार परस्पर क्रिया करने वाली एम्बेडिंग और संबंधों के आकार से निर्धारित होता है। किसी तथ्य के विषय और वस्तु के एम्बेडिंग को उसी प्रकार से संक्षेपित किया जाता है, जिससे TuckER पूर्ण रूप से अभिव्यंजक हो जाता है, और अन्य एम्बेडिंग मॉडल जैसे कि RESCAL, DistMult, ComplEx और SimplE को TuckER के विशेष सूत्रीकरण के रूप में व्यक्त किया जा सकता है।
• MEI: MEI कक्ष पद टेंसर प्रारूप के साथ बहु-विभाजन एम्बेडिंग परस्पर क्रिया तकनीक प्रस्तुत करता है, जो सीपी अपघटन और TuckER अपघटन का सामान्यीकरण है। अतः यह एम्बेडिंग सदिश को कई विभाजनों में विभाजित करता है और ComplEx या SimpleE मॉडल जैसे निश्चित विशेष पैटर्न का उपयोग करने के अतिरिक्त डेटा से स्थानीय परस्पर क्रिया पैटर्न सीखता है। यह MEI को इष्टतम दक्षता प्राप्त करने में सक्षम बनाता है - अभिव्यंजना व्यापार-संवृत, न कि मात्र पूर्ण रूप से अभिव्यंजक होना। पूर्व मॉडल जैसे TuckER, RESCAL, DistMult, ComplEx, और SimpleE MEI की उप-इष्टतम प्रतिबंधित विशेष स्थिति हैं।
• MEIM: MEIM बहु-विभाजन एम्बेडिंग परस्पर क्रिया के अतिरिक्त, एसेम्बल बूस्टिंग प्रभावों के लिए स्वतंत्र कोर टेंसर और अधिकतम-पद संबंधपरक प्रतिचित्रण के लिए मृदु लंबकोणीयता को प्रस्तुत करने के लिए कक्ष पद टेंसर प्रारूप से आगे जाता है। MEIM कई पूर्व मॉडलों जैसे MEI और इसके सम्मिलित मॉडल, RotaE और QuatE को सामान्यीकृत करता है। इस प्रकार से MEIN व्यवहार में अत्यधिक कुशल होते हुए भी अभिव्यंजना में संशोधन करता है, जिससे इसे अत्यधिक छोटे मॉडल आकारों का उपयोग करके स्पष्ट परिणाम प्राप्त करने में सहायता मिलती है।

ज्यामितीय मॉडल

मॉडलों के इस वर्ग द्वारा परिभाषित ज्यामितीय समष्टि किसी तथ्य के शीर्ष और पूंछ के बीच ज्यामितीय परिवर्तन के रूप में संबंध को कूटबद्ध करता है। अतः इस कारण से, पूंछ के एम्बेडिंग की गणना करने के लिए, शीर्ष एम्बेडिंग में एक परिवर्तन $\tau$ लागू करना आवश्यक है, और एक दूरी फलन $\delta$ का उपयोग एम्बेडिंग की स्पष्टता को मापने या किसी तथ्य की विश्वसनीयता को स्कोर करने के लिए किया जाता है।

${\mathcal {f}}_{r}(h,t)=\delta (\tau (h,r),t)$

ज्यामितीय मॉडल टेंसर अपघटन मॉडल के समान हैं, परंतु दोनों के बीच मुख्य अंतर यह है कि उन्हें ज्यामितीय समष्टि में परिवर्तन $\tau$ की प्रयोज्यता को संरक्षित करना है जिसमें इसे पूर्ण रूप से परिभाषित किया गया है।

शुद्ध अनुवादात्मक मॉडल

मॉडलों का यह वर्ग Word2vec में प्रस्तुत किए गए अनुवाद अपरिवर्तनीयता के विचार से प्रेरित है। एक शुद्ध अनुवादात्मक मॉडल इस तथ्य पर निर्भर करता है कि इकाइयों के एम्बेडिंग सदिश ज्यामितीय समष्टि में उचित संबंधपरक अनुवाद लागू करने के बाद एक-दूसरे के निकट होते हैं जिसमें उन्हें परिभाषित किया जाता है। दूसरे शब्दों में, तथ्य को देखते हुए, जब संबंध के एम्बेडिंग में शीर्ष का एम्बेडिंग जोड़ा जाता है, तो अपेक्षित परिणाम पुंछ का एम्बेडिंग होना चाहिए। इस प्रकार से एम्बेडिंग एम्बेडिंग की निकटता कुछ दूरी माप द्वारा दी जाती है और किसी तथ्य की विश्वसनीयता को पूर्ण रूप से निर्धारित करती है।

• TransE: यह मॉडल स्कोरिंग फलन का उपयोग करता है जो एम्बेडिंग को प्रत्येक तथ्य में साधारण सदिश योग समीकरण को संतुष्ट करने के लिए विवश करता है जिसमें वे दिखाई देते हैं: $h+r=t$। एम्बेडिंग यथार्थ होगी यदि प्रत्येक इकाई और संबंध मात्र एक ही तथ्य में प्रकट होता है, और इस कारण से, व्यवहार में एक-से-अनेक, अनेक-से-एक और असममित संबंधों का ठीक रूप से प्रतिनिधित्व नहीं करता है।
• TransH: यह संबंधों के प्रकारों को उचित रूप से प्रस्तुत करने की समस्या को हल करने के लिए अधिसमतल को ज्यामितीय समष्टि के रूप में प्रस्तुत करने वाले TransE का विकास है। TransH में, प्रत्येक संबंध का अलग अधिसमतल पर अलग एम्बेडेड प्रतिनिधित्व होता है, यह इस पर आधारित होता है कि यह किन एम्बेडिंग के साथ परस्पर क्रिया करता है। इसलिए, उदाहरण के लिए, किसी तथ्य के स्कोर फलन की गणना करने के लिए, संबंध के उचित अधिसमतल पर संबंधपरक प्रक्षेपण आव्यूह का उपयोग करके शीर्ष और पुंछ के एम्बेडेड प्रतिनिधित्व को प्रक्षेपित करने की आवश्यकता होती है।
• TransR: TransR, TransH का विकास है क्योंकि यह एम्बेडिंग और संबंधों के अंतर्निहित प्रतिनिधित्व का प्रतिनिधित्व करने के लिए दो अलग-अलग समष्टियों का उपयोग करता है,और एम्बेडिंग और संबंधों के शब्दार्थ समष्टि को पूर्ण रूप से अलग कर दें।इसके अतिरिक्त TransR इकाइयों के एम्बेडिंग को संबंध समष्टि में अनुवाद करने के लिए संबंधपरक प्रक्षेपण आव्यूह का पूर्ण रूप से उपयोग करता है।
• TransD: किसी तथ्य को देखते हुए, TransR में, किसी तथ्य का शीर्ष और पूर्व भाग दो अलग-अलग प्रकार की एम्बेडिंग से संबंधित हो सकता है, उदाहरण के लिए, तथ्य $(Obama,president\_of,USA)$ में, ओबामा और यूएसए दो संस्थाएं हैं परंतु एक एक व्यक्ति है और दूसरा एक देश है। प्रक्षेपण की गणना करने के लिए TransR में आव्यूह गुणन भी बहु मानित प्रक्रिया है। अतः इस संदर्भ में, TransD गतिशील प्रतिचित्रण की गणना करने के लिए प्रत्येक इकाई-संबंध युग्मन के लिए दो सदिश को नियोजित करता है जो आयामी जटिलता को कम करते हुए प्रक्षेपण आव्यूह को प्रतिस्थापित करता है। पहले सदिश का उपयोग एम्बेडिंग और संबंधों के अर्थपूर्ण अर्थ को दर्शाने के लिए किया जाता है, दूसरे का उपयोग प्रतिचित्रण आव्यूह की गणना करने के लिए किया जाता है।
• TransA: सभी अनुवादात्मक मॉडल अपने प्रतिनिधित्व समष्टि में स्कोर फलन को परिभाषित करते हैं, परंतु वे इस मीट्रिक हानि को अधिक सरल बनाते हैं। चूंकि एम्बेडिंग और संबंधों का सदिश प्रतिनिधित्व उचित नहीं है, $h+r$ का शुद्ध अनुवाद $t$ से दूर हो सकता है, और एक गोलाकार समविभव यूक्लिडियन दूरी से यह भेद करना कठिन हो जाता है कि निकटतम इकाई कौन सी है। इसके अतिरिक्त, TransA, अस्पष्टता को दूर करने के लिए दीर्घवृत्त सतहों के साथ, एम्बेडिंग आयामों को भारित करने के लिए अनुकूली महालनोबिस दूरी का परिचय देता है।

अतिरिक्त एम्बेडिंग के साथ अनुवादात्मक मॉडल

नाँलेज ग्राफ में प्रत्येक तत्व और उनके सामान्य प्रतिनिधित्व तथ्यों के साथ अतिरिक्त सूचना जोड़ना संभव है। नाँलेज ग्राफ के साथ डोमेन के समग्र विवरण को स्पष्ट बनाने के लिए प्रत्येक इकाई और संबंध को पाठ विवरण, भार, बाधाओं और अन्य से समृद्ध किया जा सकता है। इस प्रकार से नाँलेज ग्राफ के एम्बेडिंग के समय, इस सूचना का उपयोग इन विशेषताओं के लिए विशेष एम्बेडिंग सीखने के लिए किया जा सकता है, साथ ही अधिक महत्वपूर्ण संख्या में सदिश सीखने की लागत के साथ, एम्बेडिंग और संबंधों के सामान्य एम्बेडेड प्रतिनिधित्व को भी सीखा जा सकता है।

• STransE: यह मॉडल TransE और संरचना एम्बेडिंग के संयोजन का परिणाम है जिससे यह एक-से-अनेक, अनेक-से-एक और अनेक-से-अनेक संबंधों का बेहतर प्रतिनिधित्व करने में सक्षम है। ऐसा करने पर, मॉडल में केजी में प्रत्येक एम्बेडेड संबंध $r$ के लिए दो अतिरिक्त स्वतंत्र आव्यूह $W_{r}^{h}$ और $W_{r}^{t}$ सम्मिलित होते हैं। अतः प्रत्येक अतिरिक्त आव्यूह का उपयोग इस तथ्य के आधार पर किया जाता है कि विशिष्ट संबंध तथ्य के शीर्ष या पूंछ के साथ परस्पर क्रिया करता है। दूसरे शब्दों में, एक तथ्य $(h,r,t)$ दिया गया है, सदिश अनुवाद लागू करने से पहले, शीर्ष $h$ को $W_{r}^{h}$ से गुणा किया जाता है और पुंछ को $W_{r}^{t}$ से गुणा किया जाता है।

• CrossE: विनिमय परस्पर क्रिया का उपयोग संबंधित सूचना चयन के लिए किया जा सकता है, और एम्बेडिंग प्रक्रिया के लिए बहुत उपयोगी हो सकता है। विनिमय परस्पर क्रिया सूचना चयन में दो अलग-अलग योगदान प्रदान करते हैं: संबंधों से एम्बेडिंग तक परस्पर क्रिया और एम्बेडिंग से संबंधों तक परस्पर क्रिया। अतः इसका अर्थ यह है कि संबंध, उदाहरण के लिए 'President_of' स्वचालित रूप से उन एम्बेडिंग के प्रकार का चयन करता है जो विषय को किसी तथ्य की वस्तु से जोड़ रहे हैं। इसी प्रकार, किसी तथ्य की इकाई अप्रत्यक्ष रूप से यह निर्धारित करती है कि संबंधित ट्रिपल की वस्तु की भविष्यवाणी करने के लिए कौन सा अनुमान पथ चुनना है। CrossE, ऐसा करने के लिए, एक अतिरिक्त परस्पर क्रिया आव्यूह $C$ सीखता है, $h$ और $r$ के बीच परस्पर क्रिया की गणना करने के लिए तत्व-वार उत्पाद का उपयोग करता है। यद्यपि, CrossE, तंत्रिका नेटवर्क आर्किटेक्चर पर विश्वास नहीं करता है, यह दिखाया गया है कि इस पद्धति को ऐसे आर्किटेक्चर में पूर्ण रूप से एन्कोड किया जा सकता है।

रोटो-अनुवादात्मक मॉडल

इस प्रकार से मॉडलों का यह वर्ग, अनुवाद के अतिरिक्त या प्रतिस्थापन में घूर्णन-जैसे परिवर्तन को नियोजित करता है।

• TorusE: TorusE का नियमितीकरण शब्द इकाई को गोलाकार स्थान बनाने के लिए एम्बेड करता है, और परिणामस्वरूप ज्यामितीय समष्टि के अनुवाद गुणों को खो देता है। इस समस्या का हल करने के लिए, TorusE संहत लाई समूह के उपयोग का लाभ उठाता है जो इस विशिष्ट स्थिति में n-आयामी टोरस समष्टि है, और नियमितीकरण के उपयोग से बचता है। अतः TorusE, TransE के L1 और L2 मानदंड को प्रतिस्थापित करने के लिए दूरी फलन को परिभाषित करता है।
• RotatE: RotatE यूलर की पहचान से प्रेरित है और इसमें जटिल स्थान में शीर्ष $h$ से पूंछ $t$ तक घूर्णन के रूप में संबंध $r$ का प्रतिनिधित्व करने के लिए हैडामर्ड उत्पाद (मैट्रिसेस) का उपयोग पूर्ण रूप से सम्मिलित है। ट्रिपल के प्रत्येक तत्व के लिए, एम्बेडिंग का जटिल भाग अक्ष के संबंध में वामावर्त घूर्णन का वर्णन करता है, जिसे यूलर की पहचान के साथ वर्णित किया जा सकता है, जबकि संबंध सदिश का मापांक 1 है। अतः यह दिखाया गया है कि मॉडल नाँलेज ग्राफ से सममित, असममित, उलटा और संरचना संबंधों को एम्बेड करने में सक्षम है।

गहन शिक्षण मॉडल

एम्बेडिंग मॉडल का यह समूह नाँलेज ग्राफ से पैटर्न सीखने के लिए गहरे तंत्रिका नेटवर्क का उपयोग करता है जो इनपुट डेटा हैं। इन मॉडलों में इकाई और संबंध के प्रकार, अस्थायी सूचना, पथ सूचना, अंतर्निहित संरचित सूचना को अलग करने की व्यापकता है। और नाँलेज ग्राफ की सभी विशेषताओं का प्रतिनिधित्व करने में दूरी-आधारित और अर्थ-मिलान-आधारित मॉडल की सीमाओं को हल करें। नाँलेज ग्राफ एम्बेडिंग के लिए गहन शिक्षण के उपयोग ने स्पष्ट अनुमानित परफॉरमेंस दिखाया है, यद्यपि वे प्रशिक्षण चरण में अधिक बहु मानित हों, डेटा की कमी हो, और प्रायः अलग एम्बेडिंग मॉडल से आने वाले नाँलेज ग्राफ के पूर्व-प्रशिक्षित एम्बेडिंग प्रतिनिधित्व की आवश्यकता होती है।

संवादात्मक तंत्रिका नेटवर्क

मॉडलों का यह वर्ग, पूर्ण रूप से कनेक्टेड परतों का उपयोग करने के अतिरिक्त, या से अधिक ConvEन्शनल परतों को नियोजित करता है जो निम्न-आयामी फ़िल्टर लागू करके इनपुट डेटा को संयोजित करता है जो गैर रेखीय सुविधाओं को सीखकर कुछ मापदंडों के साथ जटिल संरचनाओं को एम्बेड करने में सक्षम होता है।

• ConvE: ConvE एम्बेडिंग एक ऐसा मॉडल है जो गहन शिक्षण मॉडल और कम्प्यूटेशनल अधिकतम मूल्य की उचित ट्रेडऑफ़ अभिव्यक्ति का प्रतिनिधित्व करता है, वस्तुतः यह दिखाया गया है कि DistMult की तुलना में इसमें 8x कम पैरामीटर का उपयोग किया गया है। ConvE नाँलेज ग्राफ की संस्थाओं और संबंधों का प्रतिनिधित्व करने के लिए एक-आयामी $d$ आकार एम्बेडिंग का उपयोग करता है। ट्रिपल के स्कोर फलन की गणना करने के लिए, ConvE एक सरल प्रक्रिया लागू करता है: पहले कॉनकैटेन्स और ट्रिपल के हेड के एम्बेडिंग और एकल डेटा ${\ce {[h;{\mathcal {r}}]}}$ में संबंध को मर्ज करता है, फिर इस आव्यूह को 2D कनवल्शनल लेयर के लिए इनपुट के रूप में उपयोग किया जाता है। फिर परिणाम को एक गहन परत के माध्यम से पारित किया जाता है जो आव्यूह ${\mathcal {W}}$ द्वारा पैरामीटरयुक्त एक रैखिक परिवर्तन लागू करता है और अंत में, आंतरिक उत्पाद के साथ पुंछ ट्रिपल से जुड़ा होता है। ConvE मूल्यांकन प्रक्रिया में भी विशेष रूप से कुशल है: 1-एन स्कोरिंग का उपयोग करके, मॉडल मिलान करता है, एक शीर्ष और एक संबंध दिया जाता है, एक ही समय में सभी पुंछ, अन्य मॉडलों के 1-1 मूल्यांकन फलन की तुलना में बहुत अधिक मूल्यांकन समय बचाते हैं।
• ConvR: ConvR अनुकूली दृढ़ नेटवर्क है जिसका उद्देश्य एम्बेडिंग और संबंधों के बीच सभी संभावित परस्पर क्रिया का गहनता से प्रतिनिधित्व करना है। इस क्रिया के लिए, ConvR, प्रत्येक संबंध के लिए संकेंद्रित फ़िल्टर की गणना करता है, और, जब आवश्यक हो, जटिल सुविधाओं को निकालने के लिए इन फ़िल्टरों को रुचि की इकाई पर लागू करता है। ट्रिपल के स्कोर की गणना करने की प्रक्रिया ConvE के समान है।
• ConvKB: ConvKB, किसी दिए गए ट्रिपल $(h,r,t)$ के स्कोर फलन की गणना करने के लिए, यह बिना किसी आकार परिवर्तन के आयाम $d\times 3$ का एक इनपुट ${\ce {[h;{\mathcal {r}};t]}}$ उत्पन्न करता है और इसे आकार $1\times 3$ के कन्वेन्शनल फ़िल्टर की श्रृंखला में भेजता है। यह परिणाम मात्र न्यूरॉन के साथ सघन परत को पोषित करता है जो अंतिम स्कोर उत्पन्न करता है। एकल अंतिम न्यूरॉन इस आर्किटेक्चर को बाइनरी क्लासिफायरियर के रूप में बनाता है जिसमें तथ्य उचित या अनुचित हो सकता है। ConvE के साथ अंतर यह है कि एम्बेडिंग की आयामीता नहीं बदली जाती है।

कैप्सूल तंत्रिका नेटवर्क

मॉडलों का यह वर्ग अधिक स्थिर प्रतिनिधित्व बनाने के लिए कैप्सूल न्यूरल नेटवर्क का उपयोग करता है जो स्थानिक सूचना समाप्त हुए बिना इनपुट में सुविधा को पहचानने में सक्षम है। नेटवर्क संकेंद्रित परतों से बना है,परंतु वे कैप्सूल में व्यवस्थित होते हैं, और कैप्सूल का समग्र परिणाम गतिशील प्रक्रिया रूटीन द्वारा निर्धारित किए गए उच्च-कैप्सूल को भेजा जाता है।

CapsE: CapsE एक तथ्य $(h,r,t)$ को मॉडल करने के लिए एक कैप्सूल नेटवर्क लागू करता है। जैसा कि ConvKB में होता है, प्रत्येक ट्रिपल तत्व को आव्यूह ${\ce {[h;{\mathcal {r}};t]}}$ बनाने के लिए संयोजित किया जाता है और कन्वेन्शनल फीचर्स को निकालने के लिए कन्वेन्शनल परत को फीड करने के लिए उपयोग किया जाता है। फिर इन विशेषताओं को सतत सदिश बनाने के लिए कैप्सूल पर पुनर्निर्देशित किया जाता है, सदिश जितना लंबा होगा, तथ्य उतना ही अधिक सत्य होगा।

आवर्तक तंत्रिका नेटवर्क

मॉडलों का यह वर्ग आवर्ती तंत्रिका नेटवर्क के उपयोग का लाभ उठाता है। इस आर्किटेक्चर का लाभ मात्र विस्तृत एकल घटनाओं के अतिरिक्त तथ्यों के अनुक्रम को याद रखना है।

RSN: एम्बेडिंग प्रक्रिया के समय सामान्यतः यह माना जाता है कि, समान एम्बेडिंग के समान संबंध होते हैं। व्यवहार में, इस प्रकार की सूचना का लाभ नहीं उठाया जाता है, क्योंकि एम्बेडिंग की गणना तथ्यों के इतिहास के अतिरिक्त मात्र वर्तमान तथ्य पर की जाती है। आवर्तक स्किपिंग नेटवर्क (RSN) रैंडम वॉक सैंपलिंग का उपयोग करके संबंधपरक पथ सीखने के लिए आवर्तक तंत्रिका नेटवर्क का उपयोग करता है।

मॉडल परफॉरमेंस

नाँलेज ग्राफ़ एम्बेडिंग के लिए मशीन लर्निंग क्रिया जो मॉडलों की एम्बेडिंग यथार्थता का मूल्यांकन करने के लिए अधिक बार उपयोग किया जाता है वह लिंक भविष्यवाणी है। रॉसी एट अल. मॉडलों का एक व्यापक बेंचमार्क तैयार किया, परंतु अन्य सर्वेक्षण भी समान परिणाम देते हैं। बेंचमार्क (कंप्यूटिंग) में पांच डेटासेट FB15k, WN18, FB15k-237, WN18RR और YAGO3-10 शामिल हैं। वर्तमान में, यह चर्चा हुई है कि ये डेटासेट वास्तविक संसार के अनुप्रयोगों से बहुत दूर हैं, और अन्य डेटासेट को मानक बेंचमार्क के रूप में एकीकृत किया जाना चाहिए।

एम्बेडिंग मॉडल को बेंचमार्क करने के लिए उपयोग किए गए डेटासेट की विशेषताओं का तालिका सारांश।

डेटासेट नाम	विभिन्न एम्बेडिंग की संख्या	विभिन्न संबंधों की संख्या	ट्रिपल की संख्या
FB15k	14951	1345	584,113
WN18	40943	18	151,442
FB15k-237	14541	237	310,116
WN18RR	40943	11	93,003
YAGO3-10	123182	37	1,089,040

Hits@10, MR, और MRR के संदर्भ में रॉसी एट अल के अनुसार मेमोरी जटिलता और नाँलेज ग्राफ एम्बेडिंग मॉडल की लिंक भविष्यवाणी यथार्थता का तालिका सारांश। प्रत्येक डेटासेट के लिए प्रत्येक मीट्रिक पर सर्वोत्तम परिणाम बोल्ड में हैं।

मॉडल नाम	मेमोरी जटिलता	FB15K (Hits@10)	FB15K (MR)	FB15K (MRR)	FB15K - 237 (Hits@10)	FB15K - 237 (MR)	FB15K - 237 (MRR)	WN18 (Hits@10)	WN18 (MR)	WN18 (MRR)	WN18RR (Hits@10)	WN18RR (MR)	WN18RR (MRR)	YAGO3-10 (Hits@10)	YAGO3-10 (MR)	YAGO3-10 (MRR)
DistMul	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.863	173	0.784	0.490	199	0.313	0.946	675	0.824	0.502	5913	0.433	0.661	1107	0.501
ComplEx	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.905	34	0.848	0.529	202	0.349	0.955	3623	0.949	0.521	4907	0.458	0.703	1112	0.576
HolE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.867	211	0.800	0.476	186	0.303	0.949	650	0.938	0.487	8401	0.432	0.651	6489	0.502
ANALOGY	${\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)$	0.837	126	0.726	0.353	476	0.202	0.944	808	0.934	0.380	9266	0.366	0.456	2423	0.283
SimplE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.836	138	0.726	0.343	651	0.179	0.945	759	0.938	0.426	8764	0.398	0.631	2849	0.453
TuckER	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.888	39	0.788	0.536	162	0.352	0.958	510	0.951	0.514	6239	0.459	0.680	2417	0.544
MEI	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$				0.552	145	0.365				0.551	3268	0.481	0.709	756	0.578
MEIM	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$				0.557	137	0.369				0.577	2434	0.499	0.716	747	0.585
TransE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.847	45	0.628	0.497	209	0.310	0.948	279	0.646	0.495	3936	0.206	0.673	1187	0.501
STransE	${\mathcal {O}}(N_{e}d+N_{r}k^{2})(d=k)$	0.796	69	0.543	0.495	357	0.315	0.934	208	0.656	0.422	5172	0.226	0.073	5797	0.049
CrossE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.862	136	0.702	0.470	227	0.298	0.950	441	0.834	0.449	5212	0.405	0.654	3839	0.446
TorusE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.839	143	0.746	0.447	211	0.281	0.954	525	0.947	0.535	4873	0.463	0.474	19455	0.342
RotatE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.881	42	0.791	0.522	178	0.336	0.960	274	0.949	0.573	3318	0.475	0.570	1827	0.498
ConvE	${\mathcal {O}}(N_{e}d^{2}+N_{r}k^{2})$	0.849	51	0.688	0.521	281	0.305	0.956	413	0.945	0.507	4944	0.427	0.657	2429	0.488
ConvKB	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.408	324	0.211	0.517	309	0.230	0.948	202	0.709	0.525	3429	0.249	0.604	1683	0.420
ConvR	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.885	70	0.773	0.526	251	0.346	0.958	471	0.950	0.526	5646	0.467	0.673	2582	0.527
CapsE	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.217	610	0.087	0.356	405	0.160	0.950	233	0.890	0.559	720	0.415	0	60676	0.000
RSN	${\mathcal {O}}(N_{e}d+N_{r}k)(d=k)$	0.870	51	0.777	0.444	248	0.280	0.951	346	0.928	0.483	4210	0.395	0.664	1339	0.511

लाइब्रेरी

• KGE on GitHub
• MEI-KGE on GitHub
• Pykg2vec on GitHub
• DGL-KE on GitHub
• PyKEEN on GitHub
• TorchKGE on GitHub
• AmpliGraph on GitHub
• OpenKE on GitHub
• scikit-kge on GitHub
• Fast-TransX on GitHub
• MEIM-KGE on GitHub
• DICEE on GitHub

यह भी देखें

• नाँलेज ग्राफ
• एंबेडिंग
• यंत्र अधिगम
• नाँलेज धार
• नाँलेज निष्कर्षण
• सांख्यिकीय संबंधपरक शिक्षा
• प्रतिनिधित्व सीखना
• ग्राफ एम्बेडिंग

बाहरी संबंध

• Open Graph Benchmark - Stanford
• WordNet - Princeton