बर्स्ट बफर

From alpha
Jump to navigation Jump to search

सुपर कंप्यूटर | उच्च-प्रदर्शन कंप्यूटिंग वातावरण में, बर्स्ट बफर एक तेज़ मध्यवर्ती भंडारण परत है जो फ्रंट-एंड प्रक्रिया (कंप्यूटिंग) और बैक-एंड क्लस्टर फ़ाइल सिस्टम के बीच स्थित है। यह कंप्यूट नोड्स की प्रोसेसिंग स्पीड और स्टोरेज सिस्टम के इनपुट/आउटपुट (I/O) बैंडविड्थ के बीच परफॉर्मेंस गैप को पाटता है। बर्स्ट बफ़र्स अक्सर उच्च-प्रदर्शन भंडारण उपकरणों, जैसे NVRAM और SSD के सरणियों से बनाए जाते हैं। यह आम तौर पर बैक-एंड स्टोरेज सिस्टम की तुलना में परिमाण उच्च I/O बैंडविड्थ के एक से दो ऑर्डर प्रदान करता है।

मामलों का प्रयोग करें

बर्स्ट बफ़र्स सुपरकंप्यूटरों पर वैज्ञानिक डेटा संचलन को गति देते हैं। उदाहरण के लिए, वैज्ञानिक अनुप्रयोगों का जीवन चक्र आम तौर पर वैकल्पिक होता है संगणना चरण और I/O चरण।[1] अर्थात्, संगणना के प्रत्येक दौर (अर्थात, संगणना चरण) के बाद, सभी संगणना प्रक्रियाएँ समवर्ती रूप से अपना मध्यवर्ती डेटा लिखती हैं बैक-एंड स्टोरेज सिस्टम (यानी, आई / ओ चरण) के बाद, गणना और डेटा आंदोलन संचालन के दूसरे दौर के बाद। बर्स्ट बफ़र की तैनाती के साथ, प्रक्रियाएँ धीमी हार्ड डिस्क आधारित स्टोरेज सिस्टम पर लिखने के बजाय गणना के एक दौर के बाद अपने डेटा को बर्स्ट बफ़र में लिख सकती हैं, और डेटा को स्थानांतरित किए जाने की प्रतीक्षा किए बिना तुरंत गणना के अगले दौर में आगे बढ़ सकती हैं। बैक-एंड स्टोरेज सिस्टम के लिए;[2][3] डेटा तब अतुल्यकालिक हैं संगणना के अगले दौर के साथ एक ही समय में बर्स्ट बफर से स्टोरेज सिस्टम में फ्लश किया गया। इस तरह, डेटा को स्टोरेज सिस्टम में ले जाने में लगने वाला लंबा I/O समय गणना समय के पीछे छिपा होता है। इसके अलावा, बर्स्ट बफर में बफ़रिंग डेटा भी एप्लिकेशन को स्टोरेज सिस्टम के कुशल बैंडविड्थ उपयोग के लिए बैक-एंड स्टोरेज सिस्टम में डेटा ट्रैफ़िक को फिर से आकार देने के भरपूर अवसर देता है।[4][5] एक अन्य सामान्य उपयोग के मामले में, वैज्ञानिक अनुप्रयोग उनके मध्यवर्ती को चरणबद्ध कर सकते हैं धीमे स्टोरेज सिस्टम के साथ इंटरैक्ट किए बिना बर्स्ट बफर से डेटा अंदर और बाहर। स्टोरेज सिस्टम को बायपास करने से एप्लिकेशन को अधिकांश का एहसास होता है बर्स्ट बफ़र से प्रदर्शन लाभ।[6]


प्रतिनिधि बर्स्ट बफर आर्किटेक्चर

उच्च-प्रदर्शन कंप्यूटिंग वातावरण में दो प्रतिनिधि बर्स्ट बफर आर्किटेक्चर हैं: नोड-लोकल बर्स्ट बफर और रिमोट शेयर्ड बर्स्ट बफर। नोड-लोकल बर्स्ट बफर आर्किटेक्चर में, बर्स्ट बफर स्टोरेज स्थित है व्यक्तिगत कंप्यूट नोड, इसलिए कुल फट बफर बैंडविड्थ कंप्यूट नोड गिनती के साथ रैखिक रूप से बढ़ता है। यह scalability लाभ हाल के साहित्य में अच्छी तरह से प्रलेखित किया गया है।[7][8][9][10] यह सभी फट बफ़र्स में वितरित डेटा के लिए एक वैश्विक नाम स्थान बनाए रखने के लिए एक स्केलेबल मेटाडेटा प्रबंधन रणनीति की मांग के साथ आता है।[11][12] रिमोट शेयर्ड बर्स्ट बफर आर्किटेक्चर में, बर्स्ट बफर स्टोरेज कंप्यूट नोड्स और बैक-एंड स्टोरेज सिस्टम के बीच कम संख्या में I/O नोड्स पर रहता है। कंप्यूट नोड्स और बर्स्ट बफर के बीच डेटा मूवमेंट को नेटवर्क से गुजरना पड़ता है। I/O नोड्स पर बर्स्ट बफ़र रखने से बर्स्ट बफ़र सेवा के स्वतंत्र विकास, परिनियोजन और रखरखाव की सुविधा मिलती है। इसलिए, इस प्रकार के बर्स्ट बफर को प्रबंधित करने के लिए कई प्रसिद्ध व्यावसायिक सॉफ़्टवेयर उत्पाद विकसित किए गए हैं, जैसे कि डेटावार्प और अनंत मेमोरी इंजन। चूंकि सुपरकंप्यूटर कई विषम बर्स्ट बफर परतों के साथ तैनात किए जाते हैं, जैसे कि कंप्यूट नोड्स पर एनवीआरएएम, और समर्पित आई/ओ नोड्स पर एसएसडी, कई स्टोरेज लेयर्स में डेटा को पारदर्शी रूप से स्थानांतरित करने की आवश्यकता होती है।[13][14][15]


== बर्स्ट बफर == के साथ तैनात सुपर कंप्यूटर इसके महत्व के कारण, बर्स्ट बफर को लीडरशिप-स्केल सुपर कंप्यूटर पर व्यापक रूप से तैनात किया गया है। उदाहरण के लिए, सैन डिएगो सुपरकंप्यूटर सेंटर में DASH सुपरकंप्यूटर पर नोड-लोकल बर्स्ट बफर स्थापित किया गया है,[16] टोक्यो इंस्टीट्यूट ऑफ टेक्नोलॉजी में Tsubame (सुपरकंप्यूटर) सुपरकंप्यूटर, Argonne नेशनल लेबोरेटरी में थीटा और ऑरोरा (सुपरकंप्यूटर) सुपरकंप्यूटर, ओक रिज राष्ट्रीय प्रयोगशाला में शिखर सम्मेलन (सुपरकंप्यूटर) सुपरकंप्यूटर, और लॉरेंस लिवरमोर राष्ट्रीय प्रयोगशाला में सिएरा सुपरकंप्यूटर, आदि। रिमोट साझा बर्स्ट बफर को ग्वांगझू गुआंगज़ौ में राष्ट्रीय सुपरकंप्यूटर केंद्र टियान -2 सुपरकंप्यूटर, लॉस अलामोस नेशनल लेबोरेटरी में ट्रिनिटी सुपरकंप्यूटर, लॉरेंस बर्कले राष्ट्रीय प्रयोगशाला में डॉन (सुपरकंप्यूटर) और एडिनबर्ग समानांतर कम्प्यूटिंग सेंटर में ARCHER2 सुपरकंप्यूटर द्वारा अपनाया गया है।

संदर्भ

  1. ↑ Liu, Zhuo; Lofstead, Jay; Wang, Teng; Yu, Weikuan (September 2013). "A Case of System-Wide Power Management for Scientific Applications". 2013 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 1–8. doi:10.1109/CLUSTER.2013.6702681. ISBN 978-1-4799-0898-1. S2CID 6156410.
  2. ↑ Wang, Teng; Oral, Sarp; Wang, Yandong; Settlemyer, Brad; Atchley, Scott; Yu, Weikuan (October 2014). "BurstMem: A High-Performance Burst Buffer System for Scientific Applications". 2014 IEEE International Conference on Big Data (Big Data). IEEE. pp. 71–79. doi:10.1109/BigData.2014.7004215. ISBN 978-1-4799-5666-1. S2CID 16764901.
  3. ↑ Liu, Ning; Cope, Jason; Carns, Philip; Carothers, Christopher; Ross, Robert; Grider, Gary; Crume, Adam; Maltzahn, Carlos (April 2012). "On the Role of Burst Buffers in Leadership-Class Storage systems". 012 IEEE 28th Symposium on Mass Storage Systems and Technologies (MSST). IEEE. pp. 1–11. doi:10.1109/MSST.2012.6232369. ISBN 978-1-4673-1747-4. S2CID 9676920.
  4. ↑ Wang, Teng; Oral, Sarp; Pritchard, Michael; Wang, Bin; Yu, Weikuan (September 2015). "TRIO: Burst Buffer Based I/O Orchestration". 2015 IEEE International Conference on Cluster Computing. IEEE. pp. 194–203. doi:10.1109/CLUSTER.2015.38. ISBN 978-1-4673-6598-7. OSTI 1265517. S2CID 12482308.
  5. ↑ Kougkas, Anthony; Dorier, Matthieu; Latham, Rob; Ross, Rob; Sun, Xian-He (March 2017). "Leveraging Burst Buffer Coordination to Prevent I/O Interference". 2016 IEEE 12th International Conference on e-Science (E-Science). IEEE. pp. 371–380. doi:10.1109/eScience.2016.7870922. ISBN 978-1-5090-4273-9. OSTI 1366308. S2CID 14514395.
  6. ↑ Wang, Teng; Mohror, Kathryn; Moody, Adam; Sato, Kento; Yu, Weikuan (November 2016). "An Ephemeral Burst-Buffer File System for Scientific Applications". SC16: International Conference for High Performance Computing, Networking, Storage and Analysis. IEEE. pp. 807–818. doi:10.1109/SC.2016.68. ISBN 978-1-4673-8815-3. S2CID 260667.
  7. ↑ "BurstFS: A Distributed Burst Buffer File System for Scientific Applications" (PDF). November 2015.
  8. ↑ Moody, Adam; Bronevetsky, Greg; Mohror, Kathryn; Supinski, Bronis R. de (November 2010). "Design, Modeling, and Evaluation of a Scalable Multi-level Checkpointing System". 2010 ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis. ACM. pp. 1–11. doi:10.1109/SC.2010.18. ISBN 978-1-4244-7557-5. S2CID 7352923.
  9. ↑ Rajachandrasekar, Raghunath; Moody, Adam; Mohror, Kathryn; Panda, Dhabaleswar K. (DK) (June 2013). "A 1 PB/s File System to Checkpoint Three Million MPI Tasks" (PDF). Proceedings of the 22nd international symposium on High-performance parallel and distributed computing - HPDC '13. ACM. p. 143. doi:10.1145/2493123.2462908. ISBN 9781450319102.
  10. ↑ Zhao, Dongfang; Zhang, Zhao; Zhou, Xiaobing; Li, Tonglin; Wang, Ke; Kimpe, Dries; Carns, Philip; Ross, Robert; Raicu, Ioan (October 2014). "FusionFS: Toward supporting data-intensive scientific applications on extreme-scale high-performance computing systems". 2014 IEEE International Conference on Big Data (Big Data). IEEE. pp. 61–70. doi:10.1109/BigData.2014.7004214. ISBN 978-1-4799-5666-1. S2CID 5288472.
  11. ↑ Wang, Teng; Moody, Adam; Zhu, Yue; Mohror, Kathryn; Sato, Kento; Islam, Tanzima; Yu, Weikuan (May 2017). "MetaKV: A Key-Value Store for Metadata Management of Distributed Burst Buffers". 2017 IEEE International Parallel and Distributed Processing Symposium (IPDPS). IEEE. pp. 1174–1183. doi:10.1109/IPDPS.2017.39. ISBN 978-1-5386-3914-6. S2CID 8148699.
  12. ↑ Li, Tonglin; Zhou, Xiaobing; Brandstatter, Kevin; Zhao, Dongfang; Wang, Ke; Rajendran, Anupam; Zhang, Zhao; Raicu, Ioan (May 2013). "ZHT: A Light-Weight Reliable Persistent Dynamic Scalable Zero-Hop Distributed Hash Table". 2013 IEEE 27th International Symposium on Parallel and Distributed Processing. IEEE. pp. 775–787. CiteSeerX 10.1.1.365.7329. doi:10.1109/IPDPS.2013.110. ISBN 978-1-4673-6066-1. S2CID 16614868.
  13. ↑ Wang, Teng; Byna, Suren; Dong, Bin; Tang, Houjun (Sep 2018). "UniviStor: Integrated Hierarchical and Distributed Storage for HPC". 2018 IEEE International Conference on Cluster Computing (CLUSTER). IEEE. pp. 134–144. doi:10.1109/CLUSTER.2018.00025. ISBN 978-1-5386-8319-4. S2CID 53235423.
  14. ↑ "Hermes: a heterogeneous-aware multi-tiered distributed I/O buffering system". ACM. June 2018. doi:10.1145/3208040.3208059. S2CID 47019714. {{cite journal}}: Cite journal requires |journal= (help)
  15. ↑ Tang, Houjun; Byna, Suren; Tessier, Francois; Wang, Teng; Dong, Bin; Mu, Jingqing; Koziol, Quincey; Soumagne, Jerome; Vishwanath, Venkatram; Liu, Jialin; Warren, Richard (May 2018). "Toward Scalable and Asynchronous Object-centric Data Management for HPC". 2018 18th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID). IEEE. pp. 113–122. doi:10.1109/CCGRID.2018.00026. ISBN 978-1-5386-5815-4. S2CID 13811397.
  16. ↑ He, Jiahua; Jagatheesan, Arun; Gupta, Sandeep; Bennett, Jeffrey; Snavely, Allan (November 2010). "DASH: a Recipe for a Flash-based Data Intensive Supercomputer" (PDF). 2010 ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis. ACM. pp. 1–11. doi:10.1109/SC.2010.16. ISBN 978-1-4244-7557-5. S2CID 7349294.


बाहरी संबंध

Retrieved from "https://alpha.indicwiki.in/index.php?title=बर्स्ट_बफर&oldid=218154"