लाइटजीबीएम

LightGBM
मूल लेखक	Guolin Ke / Microsoft Research
डेवलपर(ओं)	Microsoft and LightGBM contributors
आरंभिक रिलीज	2016; 8 years ago
Stable release	v3.3.4 / December 29, 2022; 17 months ago
रिपॉजिटरी	github.com/microsoft/LightGBM
इसमें लिखा हुआ	C++, Python, R, C
ऑपरेटिंग सिस्टम	Windows, macOS, Linux
प्रकार	Machine learning, gradient boosting framework
लाइसेंस	MIT License
वेबसाइट	lightgbm.readthedocs.io

लाइटजीबीएम, लाइट ग्रेडिएंट-बूस्टिंग मशीन का संक्षिप्त रूप है, एक स्वतंत्र और खुला स्रोत है | यंत्र अधिगम के लिए मुफ्त और ओपन-सोर्स वितरित ग्रेडिएंट बूस्टिंग | ग्रेडिएंट-बूस्टिंग फ्रेमवर्क, मूल रूप से माइक्रोसॉफ्ट द्वारा विकसित किया गया है।^[4]^[5] यह निर्णय वृक्ष एल्गोरिदम पर आधारित है और रैंक सीखने, सांख्यिकीय वर्गीकरण और अन्य मशीन सीखने के कार्यों के लिए उपयोग किया जाता है। विकास का फोकस प्रदर्शन और स्केलेबिलिटी पर है।

अवलोकन

लाइटजीबीएम फ्रेमवर्क जीबीटी, जीबीडीटी, ग्रेडिएंट-बूस्टेड रिग्रेशन पेड़, ग्रेडिएंट बूस्टिंग मशीन, एकाधिक योगात्मक प्रतिगमन वृक्ष सहित विभिन्न एल्गोरिदम का समर्थन करता है।^[6]^[7] और यादृच्छिक जंगल.^[8] लाइटजीबीएम में XGBoost के कई फायदे हैं, जिनमें विरल अनुकूलन, समानांतर प्रशिक्षण, एकाधिक हानि फ़ंक्शन, नियमितीकरण, बैगिंग और जल्दी रोकना शामिल है। दोनों के बीच एक बड़ा अंतर पेड़ों के निर्माण में है। लाइटजीबीएम किसी पेड़ को स्तर-वार - पंक्ति दर पंक्ति - नहीं बढ़ाता है, जैसा कि अधिकांश अन्य कार्यान्वयन करते हैं।^[9] इसके बजाय यह पत्तों के हिसाब से पेड़ उगाता है। यह उस पत्ते को चुनता है जिसके बारे में उसका मानना है कि इससे हानि में सबसे अधिक कमी आएगी।^[10] इसके अलावा, लाइटजीबीएम व्यापक रूप से उपयोग किए जाने वाले सॉर्ट-आधारित निर्णय ट्री लर्निंग एल्गोरिदम का उपयोग नहीं करता है, जो सॉर्ट किए गए फीचर मानों पर सर्वोत्तम विभाजन बिंदु की खोज करता है,^[11] जैसा कि XGBoost या अन्य कार्यान्वयन करते हैं। इसके बजाय, लाइटजीबीएम एक अत्यधिक अनुकूलित हिस्टोग्राम-आधारित निर्णय ट्री लर्निंग एल्गोरिदम लागू करता है, जो दक्षता और मेमोरी खपत दोनों पर बहुत लाभ देता है।^[12] लाइटजीबीएम एल्गोरिदम ग्रेडिएंट-आधारित वन-साइड सैंपलिंग (जीओएसएस) और एक्सक्लूसिव फ़ीचर बंडलिंग (ईएफबी) नामक दो नई तकनीकों का उपयोग करता है जो उच्च स्तर की सटीकता बनाए रखते हुए एल्गोरिदम को तेज़ी से चलाने की अनुमति देता है।^[13] लाइटजीबीएम लिनक्स, खिड़कियाँ और मैकओएस पर काम करता है और सी++, पायथन (प्रोग्रामिंग भाषा) को सपोर्ट करता है।^[14] आर (प्रोग्रामिंग भाषा), और सी शार्प (प्रोग्रामिंग भाषा)|सी#।^[15] स्रोत कोड मेरा लाइसेंस के तहत लाइसेंस प्राप्त है और GitHub पर उपलब्ध है।^[16]

ग्रेडिएंट-आधारित एक तरफा नमूना

ग्रेडिएंट-आधारित वन-साइड सैंपलिंग (जीओएसएस) एक ऐसी विधि है जो इस तथ्य का लाभ उठाती है कि जीबीडीटी में डेटा इंस्टेंस के लिए कोई मूल वजन नहीं है। चूंकि अलग-अलग ग्रेडिएंट वाले डेटा इंस्टेंस सूचना लाभ की गणना में अलग-अलग भूमिका निभाते हैं, इसलिए बड़े ग्रेडिएंट वाले इंस्टेंस सूचना लाभ में अधिक योगदान देंगे। इसलिए जानकारी की सटीकता बनाए रखने के लिए, GOSS बड़े ग्रेडिएंट वाले उदाहरणों को रखता है और छोटे ग्रेडिएंट वाले उदाहरणों को यादृच्छिक रूप से छोड़ देता है।^[13]

विशेष सुविधा बंडलिंग

प्रभावी सुविधाओं की संख्या को कम करने के लिए एक्सक्लूसिव फीचर बंडलिंग (ईएफबी) एक लगभग दोषरहित तरीका है। एक विरल फ़ीचर स्थान में कई फ़ीचर लगभग अनन्य होते हैं, जिसका अर्थ है कि वे शायद ही कभी एक साथ गैर-शून्य मान लेते हैं। वन-हॉट एन्कोडेड सुविधाएँ विशिष्ट सुविधाओं का एक आदर्श उदाहरण हैं। ईएफबी इन सुविधाओं को बंडल करता है, उच्च स्तर की सटीकता बनाए रखते हुए दक्षता में सुधार करने के लिए आयामीता को कम करता है। विशिष्ट सुविधाओं के बंडल को एक ही सुविधा में जोड़ने को विशिष्ट सुविधा बंडल कहा जाता है।^[13]

यह भी देखें

यंत्र अधिगम
एमएल.नेट
डेटा बिनिंग
ग्रेडिएंट बूस्टिंग
एक्सजीबूस्ट
कैटबूस्ट
स्किकिट-सीखें

संदर्भ

↑ "Guolin Ke". GitHub.
↑ "microsoft/LightGBM". GitHub. 7 July 2022.
↑ "Releases · microsoft/LightGBM". GitHub.
↑ Brownlee, Jason (March 31, 2020). "स्किकिट-लर्न, एक्सजीबूस्ट, लाइटजीबीएम और कैटबूस्ट के साथ ग्रेडिएंट बूस्टिंग".
↑ Kopitar, Leon; Kocbek, Primoz; Cilar, Leona; Sheikh, Aziz; Stiglic, Gregor (July 20, 2020). "Early detection of type 2 diabetes mellitus using machine learning-based prediction models". Scientific Reports. 10 (1): 11981. Bibcode:2020NatSR..1011981K. doi:10.1038/s41598-020-68771-z. PMC 7371679. PMID 32686721 – via www.nature.com.
↑ "लाइटजीबीएम पैरामीटर्स को समझना (और उन्हें कैसे ट्यून करें)". neptune.ai. May 6, 2020.
↑ "लाइटजीबीएम का अवलोकन". avanwyk. May 16, 2018.
↑ "Parameters — LightGBM 3.0.0.99 documentation". lightgbm.readthedocs.io.
↑ The Gradient Boosters IV: LightGBM – Deep & Shallow
↑ XGBoost, LightGBM, and Other Kaggle Competition Favorites | by Andre Ye | Sep, 2020 | Towards Data Science
↑ Manish, Mehta; Rakesh, Agrawal; Jorma, Rissanen (Nov 24, 2020). "SLIQ: A fast scalable classifier for data mining". International Conference on Extending Database Technology: 18–32. CiteSeerX 10.1.1.89.7734.
↑ "Features — LightGBM 3.1.0.99 documentation". lightgbm.readthedocs.io.
↑ ^13.0 ^13.1 ^13.2 Ke, Guolin; Meng, Qi; Finley, Thomas; Wang, Taifeng; Chen, Wei; Ma, Weidong; Ye, Qiwei; Liu, Tie-Yan (2017). "LightGBM: A Highly Efficient Gradient Boosting Decision Tree". Advances in Neural Information Processing Systems. 30.
↑ "lightgbm: LightGBM Python Package". 7 July 2022 – via PyPI.
↑ "Microsoft.ML.Trainers.LightGbm नेमस्पेस". docs.microsoft.com.
↑ "microsoft/LightGBM". October 6, 2020 – via GitHub.

अग्रिम पठन

Guolin Ke; Qi Meng; Thomas Finely; Taifeng Wang; Wei Chen; Weidong Ma; Qiwei Ye; Tie-Yan Liu (2017). "LightGBM: A Highly Efficient Gradient Boosting Decision Tree" (PDF). {{cite journal}}: Cite journal requires |journal= (help)
Quinto, Butch (2020). Next-Generation Machine Learning with Spark – Covers XGBoost, LightGBM, Spark NLP, Distributed Deep Learning with Keras, and More. Apress. ISBN 978-1-4842-5668-8.
Bhave, Roshan (2021). Practical Machine Learning with LightGBM and Python: Explore Microsoft's gradient boosting framework to optimize machine learning. Packt Publishing. ISBN 978-1800564749.

बाहरी संबंध

[1] "Guolin Ke". GitHub.

[2] "microsoft/LightGBM". GitHub. 7 July 2022.

[3] "Releases · microsoft/LightGBM". GitHub.

[4] Brownlee, Jason (March 31, 2020). "स्किकिट-लर्न, एक्सजीबूस्ट, लाइटजीबीएम और कैटबूस्ट के साथ ग्रेडिएंट बूस्टिंग".

[5] Kopitar, Leon; Kocbek, Primoz; Cilar, Leona; Sheikh, Aziz; Stiglic, Gregor (July 20, 2020). "Early detection of type 2 diabetes mellitus using machine learning-based prediction models". Scientific Reports. 10 (1): 11981. Bibcode:2020NatSR..1011981K. doi:10.1038/s41598-020-68771-z. PMC 7371679. PMID 32686721 – via www.nature.com.

[6] "लाइटजीबीएम पैरामीटर्स को समझना (और उन्हें कैसे ट्यून करें)". neptune.ai. May 6, 2020.

[7] "लाइटजीबीएम का अवलोकन". avanwyk. May 16, 2018.

[8] "Parameters — LightGBM 3.0.0.99 documentation". lightgbm.readthedocs.io.

[9] The Gradient Boosters IV: LightGBM – Deep & Shallow

[10] XGBoost, LightGBM, and Other Kaggle Competition Favorites | by Andre Ye | Sep, 2020 | Towards Data Science

[11] Manish, Mehta; Rakesh, Agrawal; Jorma, Rissanen (Nov 24, 2020). "SLIQ: A fast scalable classifier for data mining". International Conference on Extending Database Technology: 18–32. CiteSeerX 10.1.1.89.7734.

[12] "Features — LightGBM 3.1.0.99 documentation". lightgbm.readthedocs.io.

[:0-13] 13.0 ^13.1 ^13.2 Ke, Guolin; Meng, Qi; Finley, Thomas; Wang, Taifeng; Chen, Wei; Ma, Weidong; Ye, Qiwei; Liu, Tie-Yan (2017). "LightGBM: A Highly Efficient Gradient Boosting Decision Tree". Advances in Neural Information Processing Systems. 30.

[14] "lightgbm: LightGBM Python Package". 7 July 2022 – via PyPI.

[15] "Microsoft.ML.Trainers.LightGbm नेमस्पेस". docs.microsoft.com.

[16] "microsoft/LightGBM". October 6, 2020 – via GitHub.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]