Cara Mendapatkan Data (Crawl) Twitter X - 30 Maret 2024 — Transcript
Full transcript
- 0:00cara mendapatkan data atau craowl data
- 0:02dari platform Twitter atau X ini aku mau
- 0:06quick update aja dari aku kan udah
- 0:09beberapa video terakhir kan bikin cara
- 0:12mendapatkan data Twitter terus ya tapi
- 0:14ini aku quick update aja soalnya banyak
- 0:16yang nanyain Kenapa pada enggak bisa
- 0:19jadi di video ini aku cuma mau bahas
- 0:22tiga pertanyaan ini yaitu ya cara cara
- 0:26craowl data Twitter berdaskan search
- 0:28keyword tertentu itu caranya gimana nah
- 0:30terus kok yang sebelumnya enggak bisa
- 0:32mas gitu aku udah pakai twet Harvest
- 0:34yang versi 228 yang versi berapa versi
- 0:37berapa itu kok enggak bisa terus gimana
- 0:39gitu sama sebenarnya kita bisa berapa
- 0:43data sih yang bisa kita dapatin
- 0:46gitu short tanser-nya ini sebenarnya
- 0:48kita bisa dapetin Aku enggak tahu sih
- 0:51dapetin berapa cuman limitasinya itu per
- 0:5410 menit atau 10 sampai 15 menit itu tuh
- 0:57kita cuman dapetin bisa 500-an
- 1:01gitu Jadi per 10 atau 10 sampai 15 menit
- 1:04itu tuh kita cuman bisa dapetin data
- 1:08sekitar 500-an bisa 500 400 600 kayak
- 1:12gitu Jadi per hari bisa dapat
- 1:15berapa yang sejauh ini aku sudah coba
- 1:19Itu aku bisa dapatin sekitar
- 1:232.700-an gini ini cuman sampai 2.700
- 1:27karena aku stop ya tahuak enggak mau
- 1:30kebanyakan juga karena ini aku cuman
- 1:32buat nyobain dan buat bantuin
- 1:35teman-teman yang lagi skripsian aja
- 1:37sejauh ini ini harusnya udah aman untuk
- 1:39dapatin
- 1:40data dan quick reminder ini research
- 1:44proposes only ya teman-teman
- 1:47Jadi selain untuk riset selain untuk
- 1:50skripsi tesis disertasi pokoknya untuk
- 1:53studi Kalian please jangan pakai tweet
- 1:56Harvest yang aku bikin sendiri ini Jadi
- 1:58ini aku emang bikin sendiri
- 2:00dan ya untuk kebutuhan riset dan bantuin
- 2:03teman-teman aja gitu kalau buat bisnis
- 2:06buat cari duit
- 2:08buat apa ya apunlah pokoknya selain
- 2:12skripsian selain bikin tesis Please
- 2:15jangan pakai TW Harvest ini gitu ya
- 2:19Oke Langsung aja nanti aku bakal ngasih
- 2:21link di description jadi teman-teman
- 2:24bisa langsung klik klik klik klik
- 2:26duplicate aja nanti bisa di e buka link
- 2:29nya itu nanti kita bakal pakai Google
- 2:32collab buat memudahkan segalanya terus
- 2:34nanti teman-teman bisa ke file terus
- 2:36Save A copy in drive gitu ya biar
- 2:40teman-teman bisa dapatin Google Cab
- 2:42teman-teman sendiri gitu bisa diedit
- 2:44bisa di apaa terserah gitu Jadi ini
- 2:49langsung aja ya kita pertama-tama bakal
- 2:51butuh Twitter outoken
- 2:53karena alat yang aku bikin ini tweet
- 2:56Harvest itu tuh butuh
- 2:58autocun out Token itu apa itu kayak
- 3:01password password Twitter kalian jadi
- 3:05buat dapetin ininya Ini kan nanti
- 3:07digitnya banyak gini ya Nah itu tuh
- 3:09Caranya buka Twitter twitter.com login
- 3:13dulu kalau udah login kan halamannya
- 3:15bakal kayak gini nih terus ini diklik
- 3:17kanan terus
- 3:19inspect Klik Kanan inspect Nah nanti di
- 3:22bagian sini nanti ada icon yang kayak
- 3:24gini nih kalau teman-teman pakai
- 3:26Microsoft Edge Harusnya sama di Chrome
- 3:28pun harusnya application juga di
- 3:30application cookies ini di bagian sini
- 3:33nih nanti ada
- 3:34twitter.com habis itu ada name-nya out
- 3:38token gini out token nah value-nya ini
- 3:42kalian block terus dicopy semua nih copy
- 3:47gitu nah ini aku display ke kalian
- 3:49karena ini udah ku edit-edit ya Ini udah
- 3:52ku edit-edit jadi udah gak valid kalau
- 3:54teman-teman pakai jadi kalau teman-teman
- 3:56mau share aken atau Google colab kalian
- 3:59ke kalian ini diedit dulu ya nanti jadi
- 4:03udah dicopy kan udah dipaste gini nah
- 4:05ini nanti dihapus dulu sebelum kalian
- 4:07share gitu ya Soalnya ini kalian sama
- 4:09aja kayak share password kalian sendiri
- 4:13gitu gitu E ini udah dari yang tadi udah
- 4:17dicopy dipaste ke sini terus ini dihide
- 4:20aja habis itu ini kita run run run run
- 4:24aja ini buat instal
- 4:26Pandas habis itu instal Noe JS karena
- 4:30Harvest itu dibikin pakai Note JS jadi
- 4:34aku bikin pakai Note JS ya twet
- 4:36harvest-nya tweet Harvest itu apa sih
- 4:39cara kerjanya kayak gimana itu nanti
- 4:41bakal aku mungkin di di video yang lain
- 4:45soalnya bakal panjang intinya ini
- 4:48metodenya tuh craowling data gitu ya
- 4:50jadi dia tuh kayak
- 4:52eh scrollsroll sendiri gitu loh Scroll
- 4:55Scroll Scroll sendiri terus dapetin data
- 4:57Scroll dapetin data kayak gitu
- 5:00jadi manual Scroll
- 5:01aja gitu ya Nah udah instal Noe JS nanti
- 5:06bakal muncul versi nodejs yang keinstal
- 5:08yaitu versi sekitar 20-an kalau
- 5:11teman-teman lakuin ini setelah 30 Maret
- 5:15minimal versi 20-an ini habis note
- 5:18js-nya udah keinstal Harusnya kita udah
- 5:20bisa buat ngelakuin Crawl datanya untuk
- 5:23pakai tweet Harvest ini diun aja diklik
- 5:27play Oh ya ini file name-nya ya file
- 5:31nameennya ditentuin Kalian mau cral
- 5:33tentang apa misalkan tentang Pak Jokowi
- 5:35gitu ya Nah ini bisa diedit aja nanti
- 5:37bakal kesimpan di file name-nya itu
- 5:40jokowi.csv gitu Nah yang penting tuh
- 5:43Kalian ngedit search keyword-nya aja
- 5:46sesuai yang kalian butuhin mau tentang
- 5:48Jokowi tentang pemilu tentang Pak
- 5:52Prabowo siapun Apun yang kalian butuhin
- 5:55untuk reset Ini diganti-ganti aja ini
- 6:00titik du id untuk dapat bahasa
- 6:03Indonesia terus Kalian Butuh berapa data
- 6:06di sini aku 100 aja untuk demo
- 6:08proposes habis itu Line terakhir ini
- 6:12untuk jalanin tweet harvestnya Yang aku
- 6:15pakai yang 260 ya per 30 Maret ini yang
- 6:19versi terakhir yang paling Stable yang
- 6:21aku bisa dapatin sampai 2000an data ini
- 6:24pakai yang
- 6:25260 disimpan di jokowi.csv sesuai yang
- 6:29ini terus Search keyword-nya pakai
- 6:31Jokowi berbahasa Indonesia 100 data
- 6:34tokennya ambil dari yang atas tadi yang
- 6:37ada di sini ya
- 6:40udah habis itu diun harusnya bakal
- 6:43muncul kayak
- 6:45gini ya keep your access token
- 6:48Secret habis ituudah nih total twet save
- 6:51106 Pok kalau udah
- 6:54mencapai minimal itu limitnya Soalnya
- 6:58ini enggak bisa apa ya ya sebenarnya
- 7:01bisa aja sih buat exactly dapat 100 data
- 7:04gitu tapi ya karena tadi Scroll Scroll
- 7:07Scroll itu kan dia tiap kita Scroll tuh
- 7:10kita gak tahu Dapat berapa tweet kan
- 7:12dari Twitternya nah ini nambah-nambahnya
- 7:14tuh Pokoknya terserah Twitternya gitu
- 7:16Nah limitnya tadi itu batas minimalnya
- 7:19nah 100 itu n 106 Ini kan udah melebihi
- 7:23dari batas minimal Jadi udah stop dia
- 7:26got 106 twets dan scrolling gitu
- 7:30nah udah kita Run ini Nah itu tuh nanti
- 7:34dia bakal baca csv file yang udah
- 7:37kesimpan
- 7:38di di mana
- 7:45Sebentar cobat Refresh dulu
- 7:55ya Nah
- 7:58harusnya eh bentuk fil-ya kayak gini ya
- 8:01yang icon files ini kalau teman-teman
- 8:03klik dan udah ngejalanin croll datanya
- 8:06dan nanti itu hasilnya bakal kesimpan di
- 8:08twitch data terus tergantung kalian nama
- 8:11file name-nya apa tadi misalkan tadi kan
- 8:14gibran.csv gitu ya Nah itu tuh nanti
- 8:17bakal kesimpan di
- 8:19gibran.csv output yang penting
- 8:21sebenarnya ini Jadi kalian mau jalanin
- 8:24offline mau jalanin di Google colab mau
- 8:26jalanin di Jupiter notebook atau di mana
- 8:29Beb
- 8:30yang penting ini csv-nya jadi
- 8:31teman-teman kalau udah selesai di Google
- 8:33colab ini bisa diclose aja Google
- 8:35colab-nya tapi sebelum itu di-download
- 8:37dulu nih
- 8:38csv gitu ya Nah ini udah di-download
- 8:43harusnya Udah bisa diakses di Excel di
- 8:46Google spreadsheet harusnya udah aman
- 8:48sih gitu nah ini kolomnya udah banyak
- 8:52ada created dipost Kapan tweetnya berapa
- 8:56yang nglike
- 8:58berapa
- 9:01ada gambarnya atau
- 9:02enggak usernameennya siapa atau dia
- 9:06ngerely siapa lokasinya di
- 9:10mana terus ada tweet urlnya juga ada ada
- 9:14username yang ngweet juga ya harusnya
- 9:16udah cukup sih gitu ya jadi teman-teman
- 9:19bisa download csv-nya atau bisa ngproses
- 9:22lanjut di bawahnya
- 9:24lagi dan b Dar sebelnya ak bikinnya
- 9:29pakai titik koma sekarang udah pakai
- 9:32koma di mana itu bikin ini fnya k tutup
- 9:37dulu deh biar lebar Di mana itu bikin di
- 9:40Google colab tuh visualisasinya lebih
- 9:43cakep jadi di sini tu Kita
- 9:46bisaah ini kurun dulu deh
- 9:49coba nah habis diun kayak gini di kalau
- 9:53kita horizontal Scroll ke kanan di pojok
- 9:56kanan gini nah gitu di bagian atas pojok
- 10:00kanan atas tuh ada kayak gini nih nah
- 10:03itu kalau diklik tuh nah jadi bisa lebih
- 10:04rapi kan Nih ada 106 entries gituernya
- 10:09siapa tweet urlnya apa ini Harusnya ada
- 10:12gibran-gibrannya Nih nah ini ada Gibran
- 10:15tweet Gibran tweet di Gibran tweet
- 10:19e bahkan Gibran
- 10:22gitu ini kenapa ada
- 10:28gibrannya nah yang ini jujur ak gak tahu
- 10:31kenapa kenapa bisa muncul terus sini ada
- 10:35Gibran ya poknya gitu ya pokoknya ada
- 10:38gibran-gibrannya Harusnya nah ini Gibran
- 10:42gitu dan udah ada 106 harusnya udah oke
- 10:46udah
- 10:47aman harusnya ini ya Jadi nanti tadi
- 10:51yang sesuai ku jelasin
- 10:54waktu data itu setiap udah nyampai 500an
- 10:58dia itu harus nunggu dulu jadi karena
- 11:01ada rate limit dari
- 11:02Twitter yang 10 15 menitan tadi cuman
- 11:06bisa dapetin 500-an data Nah itu tuh
- 11:08nunggu 10 menit dan ini bakal auto Crow
- 11:11lagi habis nunggu 10 menit itu
- 11:16gitu ya kayak giniilah kurang lebih jadi
- 11:20Eh ini aku udah percobaan
- 11:23sebelumnya nah ini udah 300 400 500 nah
- 11:28di 600-an dia tuh kayak gini nih ada
- 11:32error n nah pokoknya kalau muncul kayak
- 11:34gini error kayak gini jangan kaget
- 11:37karena itu emang expected bakal muncul
- 11:40setiap teman-teman udah dapetin 600-an
- 11:42atau 500-an data ini nunggu 10 menitan
- 11:46habis 10 menitan nah ini bakal KW lagi
- 11:50gitu tuh udah 600an
- 11:54lagi kena rate limit lagi 10 menit
- 11:57berikutnya lanjut lagi dan gitu
- 11:58seterusnya
- 12:01gitu ya Nah terus ini limitasi dari
- 12:05Google aku ngakelimitasi Google clab-nya
- 12:07cuman buat dapatin data aja ya jadi
- 12:10setelah datanya udah dapat kalian mau
- 12:12apain Mau proses data mau sentimen
- 12:14analisis mau ngapain Terserah yang
- 12:17penting ini masalah hampir semua
- 12:21researcher di Indonesia atau di dunia
- 12:23sebenarnya itu gak bisaroll data karena
- 12:26api-nya kelimit kan jadi ya ini aku
- 12:29pengin Bantu teman-teman aja buat
- 12:31dapatin
- 12:33datanya gitu Jadi terserah nanti datanya
- 12:36habis itu kalian bisa lanjut di sini
- 12:39pakai data frame yang ini atau bisa
- 12:41download csv yang ada di folder twitch
- 12:44data ini diklik terus bisa di-download
- 12:48gitu terus bisa kalian pakai di mana
- 12:52aja itu harusnya ini udah menjawab Dua
- 12:55pertanyaan ya cara Craw data Twitter
- 12:58atau X berdasarkan search keyword
- 13:00tertentu terus kok cara sebelumnya itu
- 13:03gak bisa kenapa
- 13:05e Jujur aku engak
- 13:08tahu gak tahu sebenarnya ini kan dipakai
- 13:10di
- 13:11video-video content Creator yang lain ya
- 13:13di YouTube juga ada ada yang habis bikin
- 13:15konten e di beberapa bulan lalu juga ada
- 13:18yang bikin terus gak bisa juga dan
- 13:21harusnya semoga video ini bisa menjawab
- 13:24Gimana cara yang benarnya Karena aku
- 13:26udah update jadi jawaban nya pakai
- 13:29latest version aja yaitu
- 13:31260 dan sebenarnya sebenarnya bisa
- 13:35berapa data sih yang kita
- 13:37dapatin jujur enggak tahu dan Harusnya
- 13:40bisa banyak asalkan kalian sabar nunggu
- 13:43aja Soalnya aku nunggu Aku gak tahu
- 13:46nunggu berapa lama itu itu aja udah
- 13:48dapetin
- 13:492.700 dan ini 2700 ini e aku stop manual
- 13:55gitu jadi kan ini habis kalau kita Run
- 13:58gitu kan B ada ion stop gitu ya itu aku
- 14:01stop sendiri
- 14:03soalnya takut ke keblokir juga nih
- 14:06twitterku karena Scroll terlalu lama
- 14:08gitu ya jadi disesuaikan kebutuhan
- 14:11kalian aja harusnya 10.000 gitu harusnya
- 14:14bisa sih Pokoknya ditunggu aja ya gitu
- 14:19ya harusnya main objektif 3 video ini
- 14:22udah selesai karenaudah menjawab topik
- 14:24ini mungk berikutnya Kalau tem-an ada
- 14:27pertanyaan yangin semoga aku bisa Jawab
- 14:29please drop the question di komentar di
- 14:33video
- 14:34ini tapi mungkin ini aku short answer
- 14:37aja TF itu apa tadi aku udah jelasin dia
- 14:41tool buat collnya cara kerjanya mungkin
- 14:44nanti aku bakal bikin di video sebelah
- 14:47kalau ada yang
- 14:48butuh nah ini cukup menarik bisa buat
- 14:51social network analisis atau enggak
- 14:53jawabannya bisa di video terakhir eh di
- 14:57versi yang terakhir ini bisa nanti bakal
- 15:00aku bahas kalau mau cral data pakai
- 15:03bahasa Indonesia aja bisa enggak
- 15:05keyword-nya di langang ti2 ID Jadi kalau
- 15:08kalian mau cari tentang Presiden gitu ya
- 15:12berbahasa Indonesia Tinggal Kasih Lang
- 15:14ID
- 15:16gitu kalau dapatin data dari rentang
- 15:18waktu atau bisa atau enggak bisa
- 15:20presiden misalnya Jokowi gitu ya tentang
- 15:23Pak
- 15:24Jokowi terus pakai
- 15:26Sin tahun berapa bulan apa tanggal
- 15:30berapa until Kapan 2024
- 15:3601 bulan 1 tanggal 30 misalkan gitu
- 15:40kalau dapatin data komentar bisa atau
- 15:42enggak bisa cek videoku yang
- 15:46sebelumnya Harusnya sama tinggal kalian
- 15:48Ganti versi ke 260 aja guu dapatin twet
- 15:52username Tertentu bisa atau enggak bisa
- 15:54Misalkan
- 15:55ee bahas tentang laut
- 16:00atau virus lah atau covid covid tapi
- 16:04dari dari Twitternya Pak Jokowi gitu nah
- 16:08keyword-nya jadi kayak gini jadi ditaruh
- 16:11di bagian search keyword
- 16:13nih
- 16:17gitu Nah kayak gini nih jadi ini bakal
- 16:20kita bakal nyari tweet yang ada
- 16:22kata-kata covidnya yang diweet sama Pak
- 16:25Jokowi
- 16:27gitu
- 16:30kalau dapatin data dengan minimum Lik
- 16:32atau reply gimana senya kalau
- 16:34teman-teman cek di blogku
- 16:37ya kalau mau Lebih detail
- 16:41lagi di mana ya Nah di sini nih yang
- 16:46blog yang data Twitter dengan python dan
- 16:49SN sebennya ini udah lama sih
- 16:54tapi
- 16:57akuwiteryudah lengkap banget kalau
- 17:00kalian mau cari tweet dari pengguna
- 17:03tertentu ini bisa pakai ini
- 17:06Hash terus nah yang menyebutkan pengguna
- 17:11tertentu terus pakai or Nah tadi yang
- 17:14since until ada di sini juga dipost di
- 17:18kota mana Within berapa kilomer ini bisa
- 17:22juga terus pakai
- 17:25net yang mengandung frasa tepat ini
- 17:28pakai petik
- 17:29minimum repes minimum likes ada juga nih
- 17:33jadi jawabannya ini ya minimum repes
- 17:36titik2 10 berarti minimal yang reply 10
- 17:39yang minimal like 100 Berarti kayak gini
- 17:42terus minimum retweets kayak gini gitu
- 17:46ya teman-teman bisa cek di blokku yang
- 17:48itu Cara preprocessing datanya kayak
- 17:52gimana Next Video
- 17:54aja ya gitu ya teman-teman semoga
- 17:57menjawab
- 18:02Twitter thank you
About this transcript
This page contains the full transcript of Cara Mendapatkan Data (Crawl) Twitter X - 30 Maret 2024 by Helmi Satria, generated from the public captions YouTube serves with the video. The transcript has 2,151 words across 369 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.
What you can do with it
Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.
Free YouTube transcript tool
YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.