Data Architect | Section 15 – Spark Tungsten Engine | Spark Performance Internals — Transcript
Full transcript
- 0:00हेलो एवरीवन माय नेम इज नवीन मलिक एंड
- 0:02वेलकम टू माय YouTube चैनल डाटा
- 0:05आर्किटेक्ट डायरीज वि नवीन मलिक ओके सो
- 0:08टुडे वी आर गोइंग टू टॉक अबाउट समथिंग दैट
- 0:10ऑनेस्टली ब्लो माय माइंड व्हेन आई फर्स्ट
- 0:13अंडरस्टुड इट एंड दैट इज द टंगस्टन इंजन
- 0:16इनसाइड अपाचे स्पार्क नाउ इफ यू हैव इवर
- 0:20वंडर्ड व्हाई इज़ स्पार्क सो फास्ट रियली
- 0:23फास्ट देन टुडेज़ एपिसोड इज़ गोइंग टू आंसर
- 0:27दैट फॉर यू बिकॉज़ हियर इज द थिंग स्पार्क
- 0:31डज नॉट जस्ट रन योर कोरड एंड होप फॉर द
- 0:34बेस्ट अंडर द हुड देयर इज दिस इनक्रेडेबल
- 0:37इंजन कॉल्ड प्रोजेक्ट टंगस्टन दैट स्पीच
- 0:40एव्री लास्ट ट्रॉप ऑफ़ परफॉर्मेंस फ्रॉम
- 0:42योर हार्डवेयर एंड मोस्ट पीपल डोंट इवन नो
- 0:45इफ एग्जिस्ट। सो गैब योर कॉपी सेटल इन एंड
- 0:50लेट्स डीप ड्राइव इंटू द टंगस्टन इंजन।
- 0:53तो बिफोर वी टॉक अबाउट व्हाट टंगस्टन डज
- 0:56लेट्स अंडरस्टैंड द प्रॉब्लम इट वाज बिल
- 0:58टू सॉल्व ओके सो द पिक्चर इज़ इट्स अराउंड
- 1:022014 2015 स्पार्क इज़ ऑलरेडी फास्टर देन
- 1:06मैप रिड्यूस ओके तो पीपल आर लविंग इट बट द
- 1:09स्पार्क टीम एट डेटा ब्रिक्स नोट समथिंग
- 1:12इंटरेस्टिंग
- 1:14दे लुक्ड एट व्हाट स्पार्क वाज़ स्पेंडिंग
- 1:16मोस्ट ऑफ़ इट्स टाइमिंग ड्यूरिंग इट जॉब
- 1:18एंड गेस व्हाट इट वाज़ नॉट द नेटवर्क इट
- 1:22वाज़ वाज़ इवन डिस्क इनपुट आउटपुट। द
- 1:25बिगेस्ट बॉटल नेक वाज़ एक्चुअली द सीपीयू
- 1:28स्पेसिफिकली हाउ द सीपीयू वाज़ मैनेजिंग
- 1:30मेमोरी एंड प्रोसेसिंग डेटा।
- 1:33सो सी स्पार्क रन ऑन द जेवीएम द जावा
- 1:36वर्चुअल मशीन एंड द जेवीएम हैज़ द थिंग
- 1:39कॉल्ड ए गार्बेज कलेक्टर। नाउ द गार्बेज
- 1:42कलेक्टर जॉब इज़ टू क्लीन अप ऑब्जेक्ट्स इन
- 1:44द मेमोरी दैट आर नो नो लगर नीडेड। इट्स इज़
- 1:49साउंड हेल्पफुल। राइट बट हियर इज़ द कैश
- 1:52व्हेन यू आर प्रोसेसिंग टेराबाइट्स ऑफ़
- 1:54डाटा यू आर क्रिएटिंग बिलियंस ऑफ़ जावा
- 1:56ऑब्जेक्ट्स एंड एव्री टाइम द गार्बेज
- 1:59कलेक्टर किक्स इन इट पोजिंग एवरीथिंग योर
- 2:02एंटायर जॉब स्टॉप्स व्हाइल इट्स क्लीन अप
- 2:05दीज़ आर द कार्ड गार्बेज कलेक्टर पोज़ और
- 2:08जीसी पोज इज एंड दे कैन बी एब्सोलुटली
- 2:11ब्रूटल फॉर परफॉर्मेंस सो द स्पार्क टीम
- 2:15सेड वी नीड टू फिक्स इट वी नीड टू गो डीपर
- 2:18वी नीड टू मैनेज मेमोरी स्टोरी ओवरसेल एंड
- 2:20दैट्स हाउ प्रोजेक्ट टंगस्टन वाज़ बोर्न।
- 2:26सो व्हाट एग्जैक्टली इज़ प्रोजेक्ट
- 2:28टंगस्टन? ओके? इन सिंपल वर्ड्स प्रोजेक्ट
- 2:31टंगस्टन इज़ अ सेट ऑफ़ डीप इंटरनल
- 2:33ऑप्टिमाइजेशन इन अपाचे स्पार्क दैट मेक्स
- 2:36इट रन सिग्निफिकेंटली फास्ट बाय फोकसिंग
- 2:39ऑन थ्री मेन एरियाज़। फर्स्ट वन इज़ मेमोरी
- 2:42मैनेजमेंट। इंस्टेड ऑफ़ प्रिलाइंग ऑन द
- 2:45जेवीएम टू मैनेज ऑब्जेक्ट्स। टंगस्टर
- 2:48मैनेज मेमोरी डायरेक्टली ऑलमोस्ट लाइक
- 2:50राइटिंग C और C++ कोड बट विद इन द जेवीएम
- 2:54ओके नंबर टू इज़ द कैश अवेयर कंप्यूटिंग
- 2:58ट्रांजिस्टर ऑर्गेनाइज डेटा इन ए वे दैट
- 3:01प्ले नाइसली वि योर सीपीू कैश हिरारकी सो
- 3:04द प्रोसेसर डज़ नॉट वेस्ट टाइम फेसिंग डेटा
- 3:07फ्रॉम स्लो मेमोरी
- 3:09एंड द थर्ड वन इज़ कोड जनरेशन इंस्टेड ऑफ
- 3:13इंटरप्रेटिंग योर क्वेरी स्टेप बाय स्टेप
- 3:17टंगस्टन एक्चुअली जनरेट ऑप्टिमाइज जावा
- 3:19बाइट कोड ऑन द फ्लाई टेल स्पेसिफिकली योर
- 3:23क्वेरी ओके थिंग्स ऑफ इट दिस वे इफ रेगुलर
- 3:27स्पार्क इज़ लाइक फॉलोइंग ए रेसिपी स्टेप
- 3:30बाय स्टेप टंगस्टन इज़ लाइक हैविंग ए
- 3:32मास्टर शेप हु ऑलरेडी मेमोराइज़ द रेसिपी
- 3:35एंड कैन टूक द एंटायर मील विदाउट लुकिंग
- 3:38एट द बुक इवन वंस ओके होप यू हैव
- 3:40अंडरस्टुड द टंगस्टन फॉर दिस
- 3:45सो लेट्स स्टार्ट स्टार्ट विद द फर्स्ट
- 3:47पिलर ऑफ हिट मेमोरी मैनेजमेंट। ओके? नाउ
- 3:50नॉर्मली इन जावा व्हेन यू क्रिएट एन
- 3:52ऑब्जेक्ट ना सेज ए रो विद थ्री कॉलम्स। द
- 3:55जेवीएम रैप्स इंटू द जावा ऑब्जेक्ट एंड
- 3:58एव्री डेटा ऑब्जेक्ट कम विद ओवरहेड। देयर
- 4:02इज़ अ हेडर। देयर इज़ अ पैडिंग एंड देयर इज़
- 4:04अ पॉइंटर्स ए सिंपल इंटीजर दैट शुड टेक
- 4:08फोर बाइट कैन एंड अप टू अस टेकिंग 16
- 4:10बाइट्स और मोर बिकॉज़ ऑफ़ ऑल दिस ओवरहेड।
- 4:14ओके? सो व्हेन यू मल्टीप्लाई दैट अक्रॉस
- 4:17बिलियंस ऑफ रोज़ यू आर वेस्टिंग ए मैसिव
- 4:19अमाउंट ऑफ मेमोरी ऑन बुक कीपिंग नॉट एन
- 4:22एक्चुअल डेटा। ओके? सो व्हाट डस टंगस्टन
- 4:25डू? इट सेज़ फॉरगट जावा ऑब्जेक्ट आई एम
- 4:28गोइंग टू स्टोर डेटा डायरेक्टली इन रो
- 4:30बाइनरी फॉर्मेट इन ए फ्लैट जंक ऑफ़ मेमोरी।
- 4:35सो दिस इज़ कॉल्ड ऑफ हिप मेमोरी और अनसेप
- 4:38मेमोरी। स्पार्क यूज़ समथिंग कॉल्ड सन डॉट
- 4:42डॉट अनसेप। ओके व्हिच इज बेसिकली ए
- 4:45बैकग्राउंड इन द जेवीएम दैट लेट्स यू
- 4:48एलोकेट एंड मेमोरी मैनेज मेमोरी मैनुअली
- 4:51जस्ट लाइक यू वल्ड इन सी ओके
- 4:56एंड हियर इज़ द ब्यूटीफुल पार्ट बिकॉज़ द
- 4:58डेटा इज़ स्टर्ड एज़ कॉम्पैक्ट बाइनरी देयर
- 5:01आर नो जावा ऑब्जेक्ट्स फॉर द गार्बेज
- 5:04कलेक्टर टू ट्रैक नो ऑब्जेक्ट मींस नो
- 5:06गार्बेज कलेक्टर पोज़ ओके प्रॉब्लम दैट इज़
- 5:09द रिॉल्व्ड सो लेट मी गिव यू एन एनालॉजी
- 5:12इमेज यू हैव ए वेयर हाउस फुल ऑफ आइटम्स
- 5:15एंड इवन आइटम्स इज इन इट्स ओन इंडिविजुअल
- 5:18गिफ्ट्स रैप्ड बॉक्स। नाउ इवन टाइम यू नीड
- 5:21टू क्लीन द वेयर हाउस यू हैव टू अनरैप
- 5:25एव्री बॉक्स टू चेक इफ इट इज़ स्टिल नीडेड।
- 5:28दैट इज द जेवीएम गार्बेज कलेक्टर।
- 5:31नाउ टंगस्टन अप्रोच इज लाइक टेकिंग ऑल ऑफ
- 5:35दोज आइटम्स आउट ऑफ द बॉक्स एंड लेइंग देम
- 5:38फ्लैट ऑन सेल्स इन अ नीट ऑर्गेनाइज वे नो
- 5:42रैपिंग नो अनरैपिंग यू कैन फाइंड थिंग्स
- 5:44इंस्टेंटली एंड देयर इज़ नथिंग टू क्लीन अप
- 5:48ओके होप यू हैव अंडरस्टुड दिस वन ऑफ हिप
- 5:50मेमोरी मैनेजमेंट
- 5:53ऑलराइट पिलर नंबर टू इज़ कैश अवेयर
- 5:56कंप्यूटेशन ओके सो नाउ दिस वन इज रियली
- 5:59क्लेवर टू अंडरस्टैंड दिस यू नीड टू नो ए
- 6:02लिटिल बिट अबाउट हाउ मॉडर्न सीपीयूस वर्क।
- 6:06ओके? सो योर सीपीू हैज़ मल्टीपल लेवल ऑफ
- 6:09कैश। L1, L2 एंड L3 L1 इज़ द सुपर फास्ट।
- 6:14ओके? बट टिनी मे बी 32 KB. L2 इज़ बिगर बट
- 6:20स्लोअर। ओके? एंड L3 इज़ बिगर स्टिल बट इवन
- 6:23स्लोअर। एंड देन बियों्ड दैट यू मे हैव
- 6:26मेन आर एम रैम वि इज वे स्लोअर देन एनी
- 6:29कैश ओके सो व्हेन द CPU नीड्स टू प्रोसेस
- 6:34डेटा इट फर्स्ट चेक L1 इफ द डेटा इज़ नॉट
- 6:37देयर दैट्स कॉल्ड ए कैश मिस ओके इट गोज़ टू
- 6:42L2 एंड देन L3 देन ऑल द वे आउट टू रैम एंड
- 6:46ईच लेवल इज़ रफली 10 टाइम्स स्लोअर देन द
- 6:49वन बिफोर इट ओके सो हियर इज़ द इनसाइट इफ
- 6:52यू कैन ऑर्गेनाइज योर डेट डाटा सो दैट
- 6:55व्हाटएवर द CPU नीड्स नेक्स्ट इज़ ऑलरेडी
- 6:58सेटिंग इन एन एल1 एंड L2 कैश योर
- 7:01प्रोसेसिंग स्पीड गोज़ थ्रू द रूफ ओके एंड
- 7:04दैट इज़ एग्जजेक्टली व्हाट्स द टंगस्टन डज
- 7:07ट्रेडिशनल स्पार्क स्टोर डेटा एज स्केचर्ड
- 7:11जावा ऑब्जेक्ट ऑल ओवर द हीट एक्सेसिंग देम
- 7:15वाज़ लाइक प्लेइंग टजर हंट सो द सीpu कीप
- 7:18जंपिंग टू रैंडम मेमोरी लोकेशन ओके
- 7:22सो दैट मींस कॉजिंग इट कॉज द कैश मिस
- 7:25आफ्टर कैश मिस ओके टंगस्टन स्टोर डेटा इन
- 7:30डेंस कंटीनग्यूस बाइनरी ब्लॉक इट्स लाइक
- 7:32रीडिंग ए बुक पेज बाय पेज इंस्टेड ऑफ़
- 7:35रेंडमली फ्लिपिंग टू डिफरेंट पेज ओके द
- 7:38सीपीयू कैन प्रेफरेंस द नेक्स्ट जंक ऑफ़
- 7:40डेटा बिकॉज़ इट नॉट एग्जैक्टली वेयर इट इज़।
- 7:46सो द रिजल्ट इज सॉर्टिंग एंड हैशिंग
- 7:48ऑपरेशन इन टंगस्टन कैन बी अप टू 10 टाइम्स
- 7:51फास्टर देन ट्रेडिशनल जावा बेस
- 7:53इंप्लीमेंटेशन ओके सो जस्ट बिफोर अ बेटर
- 7:56कैश यूटिलाइजेशन
- 8:00सो नाउ पिलर थ्री इज़ एंड पर्सनली हियर दिस
- 8:03इज़ माय फेवरेट ओके दैट इज़ द होल स्टेज कोड
- 8:06जनरेशन
- 8:08लेट मी एक्सप्लेन दिस विद अ सिंपल
- 8:10एग्जांपल सो यू हैव अ क्वेरी लाइक सेलेक्ट
- 8:13नेम एज फ्रॉम यूजर वेयर एज इज़ ग्रेटर देन
- 8:1630 ओके सो इन द ट्रेडिशनल स्पार्क मॉडल
- 8:19व्हाट्स कॉल्ड द वोल्केनो इटरेटर मॉडल दिस
- 8:22क्वेरी गेट्स ब्रोकन इंटू स्टेज गेट द
- 8:25टेबल फिल्टर रोज़ प्रोजेक्ट कॉलम्स एंड ईच
- 8:29स्टेज इज़ ए सेपरेट फंक्शन कॉल ओके तो डेटा
- 8:32फ्लो थ्रू दिस स्टेज वन रो एट ए टाइम एंड
- 8:35ईच स्टेप देयर इज़ अ वर्चुअल फंक्शन कॉल
- 8:38ओके नाउ वर्चुअल फंक्शन कॉल्स आर
- 8:41एक्सपेंसिव
- 8:43द सीपीयू कैन नॉट प्रेडिक्ट देम वेल व्हिच
- 8:46मींस इट कैन नॉट ऑप्टिमाइज इट्स पाइपलाइन
- 8:48एंड व्हेन यू आर प्रोसेसिंग ए बिलियन रोज़
- 8:51दोज़ टिनी ओवरहेड्स एड्स अप टू ए लॉट्स ऑफ
- 8:54वेस्टेड टाइम। सो व्हाट डज़ हुल स्टेज कोड
- 8:57जनरेशन डू इंस्टीड ऑफ़ इंटरप्रेटिंग द
- 9:00क्वेरी प्लान इट टेक्स द एंटायर पाइपलाइन
- 9:03द स्कैन द फ़िल्टर द प्रोजेक्शन एंड फ्यूज़
- 9:05देम इंटू ए सिंगल डाइट लूप ऑफ़ जनरेटिंग
- 9:08जावा कोड।
- 9:11इट्स लाइक इंस्टेड ऑफ हैविंग थ्री वर्कर्स
- 9:14ऑन एन असेंबली लाइन पासिंग आइटम टू ईच अदर
- 9:17यू हैव वन वर्कर हु डज ऑल थ्री टास्क ऑन
- 9:20ईच आइटम बिफोर मूविंग टू द नेक्स्ट सो नो
- 9:23पासिंग नो वेटिंग एंड नो ओवरहेड
- 9:26द जनरेटेड कोड लुक्स ऑलमोस्ट लाइक हैंड
- 9:29रिटन ऑप्टिमाइज कोड एंड हियर इज़ द अमेजिंग
- 9:32पोर्ट पार्ट इट इज़ जनरेटेड एट ए रन टाइम
- 9:34स्पेसिफिकली योर क्वेरी एव्री क्वेरी
- 9:37गेट्स इट्स ओन कस्टम कोर्स सो यू कैन कैन
- 9:40एक्चुअली सी इन दिस सेक्शन इन दिस सेक्शन
- 9:44इन स्पार्क इफ यू कॉल डॉट एक्सप्लेन ऑन
- 9:47योर डेटा फ्रेम यू विल सी स्टेज मार्क्ड
- 9:49विद एन एस्ट्रिक ओके दैट एस्ट्रिक मींस
- 9:53फुल स्टेज को जनरेशन इज़ बीइंग अप्लाई सो
- 9:55प्रिटी दैट मींस राइट
- 10:00नाउ लेट मी टेल यू अबाउट समथिंग दैट टाइ
- 10:03ऑल ऑफ़ दिस टुगेदर द अनशेप प्रो फॉर्मेट
- 10:06ओके व्हेन टंगस्टन प्रोसेस योर डेटा इट इट
- 10:10डज़ नॉट स्टोर रो एट जावा ऑब्जेक्ट एनी
- 10:12मोर। इंस्टेड ऑफ़ इट यूज़ ए कस्टम बाइनरी
- 10:15फॉर्मेट कॉल्ड अनसेप रो। एंड अनसेप रो इज़
- 10:18बेसिकली ए फ्लैट बाइट एरे इट हैज़ थ्री
- 10:21सेक्शन। फर्स्ट वन इज़ द ए नल ट्रैकिंग
- 10:24बिटमैप। ओके? दिस टेल्स स्पार्क व्हिच
- 10:27कॉलम हैव नल वैल्यू विदाउट नीडेड टू चेक
- 10:30ईच वन इंडिविजुअली। सेकंड वन इज़ ए फिक्स्ड
- 10:33लेंथ सेक्शन। सो फोर डेटा टाइप विद नो शीट
- 10:36साइज लाइक इंटीजर लॉन्ग्स डबल द एक्चुअल
- 10:40वैल्यूस आर स्ट राइट हियर द इनलाइन नो
- 10:43पॉइंटर नो इनडायरेक्शन एंड द थर्ड वन इज़
- 10:46वेरिएबल लेंथ सेक्शन फोर स्ट्रिंग एंड अदर
- 10:50वेरिएबल साइज डेटा द फिक्स स्टोर सेक्शन
- 10:54स्टोर एंड ऑफसेट एंड लेंथ एंड द एक्चुअल
- 10:57डेटा सीट्स एट द एंड ऑफ़ द रोके सो दिस इज़
- 11:00इनक्रेडेबल एफिशिएंट बिकॉज़ एवरीथिंग फॉर
- 11:03वन रो इज़ स्टोर इन वन कंटीन्यूअस ब्लॉक ऑफ़
- 11:06मेमोरी। सो नो स्केचर ऑब्जेक्ट, नो
- 11:08पॉइंटिंग पॉइंटर कैसिंग। द सीpu कैन
- 11:11प्रोसेस इट प्लेटिंग फास्ट।
- 11:14एंड बिकॉज़ इट्स जस्ट वाइट यू कैन सीलाइज़
- 11:18इट सेंड इट अक्रॉस द नेटवर्क राइटर इट टू
- 11:21डिस्क ऑल विदाउट एनी कन्वर्जन डेट ऑलमोस्ट
- 11:25जीरो सिलाइज़ेशन कॉस्ट।
- 11:28सो लेट्स कम इंटू द स्लाइड व्हाटएवर द
- 11:31बिफोर एंड आफ्टर टंगस्टन। ओके? सो बिफोर
- 11:33टंगस्टन योर डेटा इज़ स्टर्ड एज अ जावा
- 11:36ऑब्जेक्ट्स ईच वन इंडिविजुअल एलोकेटेड ऑन
- 11:39द हिट द गार्बेज कलेक्टर इज़ कॉन्सेंटली
- 11:42रनिंग पोजिंग योर जॉब द सीपीू कैश इज़
- 11:45थ्रेसिंग बिकॉज़ ऑब्जेक्ट्स आर स्केचर्ड
- 11:47एवरीवेयर एंड एव्री स्टेज ऑफ योर क्वेरी
- 11:50इनवॉल्व ए वर्चुअल फंक्शन कॉल विद ओवरहेड
- 11:53ओके बट आफ्टर टंगस्टन योर डेटा इज़ पैक्ड
- 11:57इनू कॉम्पैक्ट बाइनरी ब्लॉक अनसेप रोड नो
- 12:02गार्बेज कलेक्शन नीडेड बिकॉज़ देयर आर
- 12:04बेयरली एनी ऑब्जेक्ट्स। ओके? द सीpu कैश
- 12:07इज़ हैप्पी बिकॉज़ डेटा इज़ कंटीन्यूअस एंड
- 12:09योर क्वेरी इज़ कंपाइड इंटू ए सिंगल
- 12:12ऑप्टिमाइज लूप। नो नेसेसरी फंक्शन कॉल।
- 12:15दैट मींस द इंप्रूवमेंट वी आर टॉकिंग
- 12:17अबाउट फाइव टाइम्स टू 10 टाइम्स फास्टर
- 12:20एग्जीक्यूशन ऑन द सेम हार्डवेयर। एंड दिस
- 12:22इज़ नॉट द थ्योरिटिकल। दिस इज़ रियल मेजर्ड
- 12:25परफॉर्मेंस इन प्रोडक्शन वर्क लोड।
- 12:29एंड लेट मी चेक दैट अप विद सम रियल नंबर
- 12:31फॉर द परफॉर्मेंस इंपैक्ट। ओके? अकॉर्डिंग
- 12:34टू डाटा ब्रिक्स ऑन बेंचमार्क्स व्हेन
- 12:36टंगस्टन कोड जनरेशन वाज़ फर्स्ट
- 12:38इंट्रोड्यूस सम बेंचमार्क क्वेरी रेन अप
- 12:41टू 10 टाइम्स फास्टर। ओके? सो सॉर्टिंग
- 12:43ऑपरेशन इंप्रूव्ड बाय अबाउट थ्री टाइम्स
- 12:46जस्ट फ्रॉम द कैश अवेयर मेमोरी लेआउट।
- 12:48ओके? एंड गार्बेज कलेक्टर बिकॉज़ ड्रॉप
- 12:51फ्रॉम सेकंड समटाइ्स इवन मिनट्स ऑन बिग
- 12:54जॉब्स। ओके? डाउन टू ऑलमोस्ट नथिंग। सो द
- 12:57स्पार्क टीम आल्सो शो दैट देयर टंगस्टन
- 13:00शॉर्ट कुड प्रोसेस डाटा एट स्पीड
- 13:02अप्रोचिंग द थ्योरेटिकल मेमोरी बैंडविथ
- 13:04लिमिट ऑफ द हार्डवेयर दैट मींस स्पार्क
- 13:07वाज़ प्रोसेसिंग डेटा ऑलमोस्ट एज़ फास्ट एज़
- 13:10फिजिकली पॉसिबल फॉर द मशीन इट वाज़ रनिंग
- 13:12इट ऑन। ओके? सो दैट्स नॉट द जस्ट फ़स्ट दैट
- 13:15इज़ पुशिंग द बाउंड्रीज़ ऑफ़ हॉट सॉफ्टवेयर
- 13:18कैन अचीव। सो नाउ चेक हाउ वी कैन यूज़
- 13:21मैक्सिमाइज़ कमेस्टर इन योर जॉब। ओके? सो
- 13:25देयर इज अ गुड न्यूज़ यू डोंट हैव टू डू
- 13:27एनीथिंग स्पेशल टू बेनिफिट फ्रॉम टंगस्टन
- 13:30इफ यू आर यूजिंग स्पार्क 2 लेटर व्हिच यू
- 13:33ऑलमोस्ट सर्टेनली आर टंगस्टन इज़ ऑलरेडी
- 13:35वर्किंग फॉर यू बिहाइंड द सीन ओके सो
- 13:38एव्री टाइम यू राइट ए डेटा फ्रेम क्वरी ए
- 13:41स्पार्क सीक्वल क्वेरी और यूज़ द डेटा सेट
- 13:43एपीआई द कैटलिस्ट ऑप्टिमाइज़र क्रिएट ए
- 13:46क्वरी प्लान एंड देन टंगस्टन्स कोड जनरेशन
- 13:49किक इंटू द प्रोड्यूस ऑप्टिमाइज़ कोड फॉर
- 13:51दैट प्लान ओके बट हियर आर फ्यू टू टिप्स
- 13:54टू मेक श्योर यू आर गेटिंग द फुल बेनिफिट।
- 13:56ओके? टिप वन इज़ यूज़ डेटा फ्रेम एंड
- 13:59स्पार्क सीक्वल इंस्टेड ऑफ़ आरडी। तो
- 14:02टंगस्टन ऑप्टिमाइजेशन वर्क प्राइमली थ्रू
- 14:04द कैटलिस्ट ऑप्टिमाइजर व्हिच वन अप्लाई टू
- 14:07स्ट्रक्चर एपीआई। ओके? सेकंड वन इज़ अवॉयड
- 14:10यूजिंग यूडीएफ व्हेन पॉसिबल। यूजर डिफाइंड
- 14:13फंक्शन ब्रेक द होल स्टेज कोड जनरेशन
- 14:15पाइपलाइन। स्पार्क कैन नॉट ऑप्टिमाइज
- 14:18व्हाट इट कैन नॉट सी इनसाइड। ओके? सो यूज़
- 14:21बिल्ट इन फंक्शन वेयर यू कैन।
- 14:24द लास्ट वन टिप थ्री इज मॉनिटर योर
- 14:27स्पार्क यूआई लुक एट द सीक्वल टैब यू विल
- 14:30सी द फिजिकल प्लान वि दोज़ एस्ट्रिक्स
- 14:32शोइंग वेयर होल स्टेज को जनरेशन इज़ अप्लाई
- 14:36ओके
- 14:37सो ऑल राइट लेट्स डू ए क्विक रिककैप ऑफ़
- 14:40एवरीथिंग व्हाट वी हैव कवर्ड टुडे
- 14:43प्रोजेक्ट टंगस्टन इज़ स्पार्क सीक्रेट
- 14:45वेपन ऑफ परफॉर्मेंस इट वर्क्स थ्रू थ्री
- 14:47पिलर्स पिलर वन इज़ ऑफ हिप मेमोरी
- 14:50मैनेजमेंट इट स्टोर डेटा एज रो बाइनरी री
- 14:53बायपास गार्बेज कलेक्शन ड्रामेटिकली
- 14:56रिड्यूस मेमोरी ओवरहेड ओके सेकंड पिलर टू
- 14:59कैश अवेयर कंप्यूटेशन ऑर्गेनाइज डेटा इन
- 15:02कंटीन्यूअस मेमोरी ब्लक्स द प्ले नाइसली
- 15:05वि द सीपीू कैश हिरारकी ओके दैट मींस द
- 15:08रिजल्ट वे फ्यूअर कैश मिस मच फास्टर
- 15:11प्रोसेसिंग ओके थर्ड वन पिलर इज़ फूल स्टेज
- 15:15कोड जनरेशन ओके फ्यूज अह फ्यूज मल्टीप्लाई
- 15:19क्वेरी स्टेज इंटू अ सिंगल ऑप्टिमाइज लूप
- 15:21ऑफ़ जनरेशन कोड एलिम एलिमिनेट वर्चुअल
- 15:23फंक्शन कॉल ओवरहेड। ओके? सो ऑल ऑफ़ दीज़
- 15:26कम्स टुगेदर थ्रू द अनसेप प्रो फॉर्मेट। ए
- 15:29कॉम्पैक्ट बाइनरी रिप्रेजेंटेशन दैट मेक्स
- 15:32सीियलाइजेशन नेटवर्क ट्रांसफ़ेशन एंड दिस
- 15:35इनपुट आउटपुट इनक्रेडेबल एंड इन एफिशिएंट।
- 15:40फॉर द नेक्स्ट टाइम समवन आस्क यू व्हाइल
- 15:43स्पार्क सो फास्ट। ओके? सो यू कैन
- 15:45कॉन्फिडेंटली से इट्स नॉट जस्ट द
- 15:47डिस्ट्रीब्यूटेड कंप्यूटिंग। इट्स द
- 15:49टंगस्टन इंजन। ओके? एंड होनेस्टली
- 15:52अंडरस्टैंडिंग कंजशन चेंज हाउ आई थिंक
- 15:54अबाउट परफॉर्मेंस इन डेटा इंजीनियरिंग।
- 15:57इट्स नॉट ऑलवेज अबाउट एडिंग मोर मशीन।
- 16:00समटाइ्स द बिगेस्ट विंग्स कम फ्रॉम
- 16:02अंडरस्टैंडिंग हाउ यू हार्डवेयर एक्चुअली
- 16:04वर्क एंड राइटिंग सॉफ्टवेयर दैट रेस्पेक्ट
- 16:06दोज़ बाउंड्रीज़। ओके? आई होप दिस एपिसोड
- 16:09गिव यू अ क्लियर डीप अंडरस्टैंडिंग ऑफ़
- 16:11व्हाट मेक्स स्पार्क टिक एट द लोएस्ट
- 16:14लेवल। सो इफ यू फाउंड दिस हेल्पफुल प्लीज
- 16:17हिट दैट लाइक बटन सब्सक्राइब टू द चैनल
- 16:20एंड रिंग दैट नोटिफिकेशन बेल। सो यू डोंट
- 16:23मिस द नेक्स्ट एपिसोड ऑफ डाटा आर्किटेक्ट
- 16:26डायरीज। ओके? सो ड्रॉप ए कमेंट बिलो। टेल
- 16:28मी डिड यू नो अबाउट टंगस्टन बिफोर वाचिंग
- 16:31दिस? सो व्हाट टॉपिक वुड आई कवर नेक्स्ट?
- 16:34सो थैंक्स फॉर वाचिंग। दिस इज नवीन मलिक
- 16:37एंड हैप्पी आर्किटेक्टिंग एंड आई विल सी
- 16:40यू इन द नेक्स्ट वन। थैंक यू।
About this transcript
This page contains the full transcript of Data Architect | Section 15 – Spark Tungsten Engine | Spark Performance Internals by Data Architect Diaries, generated from the public captions YouTube serves with the video. The transcript has 2,452 words across 336 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.