YouTube2Text

Cara Mendapatkan Data (Crawl) Twitter X - 30 Maret 2024 — Transcript

by Helmi Satria · 2,151 words · 369 segments · language en · Watch on YouTube

Full transcript

  1. 0:00cara mendapatkan data atau craowl data
  2. 0:02dari platform Twitter atau X ini aku mau
  3. 0:06quick update aja dari aku kan udah
  4. 0:09beberapa video terakhir kan bikin cara
  5. 0:12mendapatkan data Twitter terus ya tapi
  6. 0:14ini aku quick update aja soalnya banyak
  7. 0:16yang nanyain Kenapa pada enggak bisa
  8. 0:19jadi di video ini aku cuma mau bahas
  9. 0:22tiga pertanyaan ini yaitu ya cara cara
  10. 0:26craowl data Twitter berdaskan search
  11. 0:28keyword tertentu itu caranya gimana nah
  12. 0:30terus kok yang sebelumnya enggak bisa
  13. 0:32mas gitu aku udah pakai twet Harvest
  14. 0:34yang versi 228 yang versi berapa versi
  15. 0:37berapa itu kok enggak bisa terus gimana
  16. 0:39gitu sama sebenarnya kita bisa berapa
  17. 0:43data sih yang bisa kita dapatin
  18. 0:46gitu short tanser-nya ini sebenarnya
  19. 0:48kita bisa dapetin Aku enggak tahu sih
  20. 0:51dapetin berapa cuman limitasinya itu per
  21. 0:5410 menit atau 10 sampai 15 menit itu tuh
  22. 0:57kita cuman dapetin bisa 500-an
  23. 1:01gitu Jadi per 10 atau 10 sampai 15 menit
  24. 1:04itu tuh kita cuman bisa dapetin data
  25. 1:08sekitar 500-an bisa 500 400 600 kayak
  26. 1:12gitu Jadi per hari bisa dapat
  27. 1:15berapa yang sejauh ini aku sudah coba
  28. 1:19Itu aku bisa dapatin sekitar
  29. 1:232.700-an gini ini cuman sampai 2.700
  30. 1:27karena aku stop ya tahuak enggak mau
  31. 1:30kebanyakan juga karena ini aku cuman
  32. 1:32buat nyobain dan buat bantuin
  33. 1:35teman-teman yang lagi skripsian aja
  34. 1:37sejauh ini ini harusnya udah aman untuk
  35. 1:39dapatin
  36. 1:40data dan quick reminder ini research
  37. 1:44proposes only ya teman-teman
  38. 1:47Jadi selain untuk riset selain untuk
  39. 1:50skripsi tesis disertasi pokoknya untuk
  40. 1:53studi Kalian please jangan pakai tweet
  41. 1:56Harvest yang aku bikin sendiri ini Jadi
  42. 1:58ini aku emang bikin sendiri
  43. 2:00dan ya untuk kebutuhan riset dan bantuin
  44. 2:03teman-teman aja gitu kalau buat bisnis
  45. 2:06buat cari duit
  46. 2:08buat apa ya apunlah pokoknya selain
  47. 2:12skripsian selain bikin tesis Please
  48. 2:15jangan pakai TW Harvest ini gitu ya
  49. 2:19Oke Langsung aja nanti aku bakal ngasih
  50. 2:21link di description jadi teman-teman
  51. 2:24bisa langsung klik klik klik klik
  52. 2:26duplicate aja nanti bisa di e buka link
  53. 2:29nya itu nanti kita bakal pakai Google
  54. 2:32collab buat memudahkan segalanya terus
  55. 2:34nanti teman-teman bisa ke file terus
  56. 2:36Save A copy in drive gitu ya biar
  57. 2:40teman-teman bisa dapatin Google Cab
  58. 2:42teman-teman sendiri gitu bisa diedit
  59. 2:44bisa di apaa terserah gitu Jadi ini
  60. 2:49langsung aja ya kita pertama-tama bakal
  61. 2:51butuh Twitter outoken
  62. 2:53karena alat yang aku bikin ini tweet
  63. 2:56Harvest itu tuh butuh
  64. 2:58autocun out Token itu apa itu kayak
  65. 3:01password password Twitter kalian jadi
  66. 3:05buat dapetin ininya Ini kan nanti
  67. 3:07digitnya banyak gini ya Nah itu tuh
  68. 3:09Caranya buka Twitter twitter.com login
  69. 3:13dulu kalau udah login kan halamannya
  70. 3:15bakal kayak gini nih terus ini diklik
  71. 3:17kanan terus
  72. 3:19inspect Klik Kanan inspect Nah nanti di
  73. 3:22bagian sini nanti ada icon yang kayak
  74. 3:24gini nih kalau teman-teman pakai
  75. 3:26Microsoft Edge Harusnya sama di Chrome
  76. 3:28pun harusnya application juga di
  77. 3:30application cookies ini di bagian sini
  78. 3:33nih nanti ada
  79. 3:34twitter.com habis itu ada name-nya out
  80. 3:38token gini out token nah value-nya ini
  81. 3:42kalian block terus dicopy semua nih copy
  82. 3:47gitu nah ini aku display ke kalian
  83. 3:49karena ini udah ku edit-edit ya Ini udah
  84. 3:52ku edit-edit jadi udah gak valid kalau
  85. 3:54teman-teman pakai jadi kalau teman-teman
  86. 3:56mau share aken atau Google colab kalian
  87. 3:59ke kalian ini diedit dulu ya nanti jadi
  88. 4:03udah dicopy kan udah dipaste gini nah
  89. 4:05ini nanti dihapus dulu sebelum kalian
  90. 4:07share gitu ya Soalnya ini kalian sama
  91. 4:09aja kayak share password kalian sendiri
  92. 4:13gitu gitu E ini udah dari yang tadi udah
  93. 4:17dicopy dipaste ke sini terus ini dihide
  94. 4:20aja habis itu ini kita run run run run
  95. 4:24aja ini buat instal
  96. 4:26Pandas habis itu instal Noe JS karena
  97. 4:30Harvest itu dibikin pakai Note JS jadi
  98. 4:34aku bikin pakai Note JS ya twet
  99. 4:36harvest-nya tweet Harvest itu apa sih
  100. 4:39cara kerjanya kayak gimana itu nanti
  101. 4:41bakal aku mungkin di di video yang lain
  102. 4:45soalnya bakal panjang intinya ini
  103. 4:48metodenya tuh craowling data gitu ya
  104. 4:50jadi dia tuh kayak
  105. 4:52eh scrollsroll sendiri gitu loh Scroll
  106. 4:55Scroll Scroll sendiri terus dapetin data
  107. 4:57Scroll dapetin data kayak gitu
  108. 5:00jadi manual Scroll
  109. 5:01aja gitu ya Nah udah instal Noe JS nanti
  110. 5:06bakal muncul versi nodejs yang keinstal
  111. 5:08yaitu versi sekitar 20-an kalau
  112. 5:11teman-teman lakuin ini setelah 30 Maret
  113. 5:15minimal versi 20-an ini habis note
  114. 5:18js-nya udah keinstal Harusnya kita udah
  115. 5:20bisa buat ngelakuin Crawl datanya untuk
  116. 5:23pakai tweet Harvest ini diun aja diklik
  117. 5:27play Oh ya ini file name-nya ya file
  118. 5:31nameennya ditentuin Kalian mau cral
  119. 5:33tentang apa misalkan tentang Pak Jokowi
  120. 5:35gitu ya Nah ini bisa diedit aja nanti
  121. 5:37bakal kesimpan di file name-nya itu
  122. 5:40jokowi.csv gitu Nah yang penting tuh
  123. 5:43Kalian ngedit search keyword-nya aja
  124. 5:46sesuai yang kalian butuhin mau tentang
  125. 5:48Jokowi tentang pemilu tentang Pak
  126. 5:52Prabowo siapun Apun yang kalian butuhin
  127. 5:55untuk reset Ini diganti-ganti aja ini
  128. 6:00titik du id untuk dapat bahasa
  129. 6:03Indonesia terus Kalian Butuh berapa data
  130. 6:06di sini aku 100 aja untuk demo
  131. 6:08proposes habis itu Line terakhir ini
  132. 6:12untuk jalanin tweet harvestnya Yang aku
  133. 6:15pakai yang 260 ya per 30 Maret ini yang
  134. 6:19versi terakhir yang paling Stable yang
  135. 6:21aku bisa dapatin sampai 2000an data ini
  136. 6:24pakai yang
  137. 6:25260 disimpan di jokowi.csv sesuai yang
  138. 6:29ini terus Search keyword-nya pakai
  139. 6:31Jokowi berbahasa Indonesia 100 data
  140. 6:34tokennya ambil dari yang atas tadi yang
  141. 6:37ada di sini ya
  142. 6:40udah habis itu diun harusnya bakal
  143. 6:43muncul kayak
  144. 6:45gini ya keep your access token
  145. 6:48Secret habis ituudah nih total twet save
  146. 6:51106 Pok kalau udah
  147. 6:54mencapai minimal itu limitnya Soalnya
  148. 6:58ini enggak bisa apa ya ya sebenarnya
  149. 7:01bisa aja sih buat exactly dapat 100 data
  150. 7:04gitu tapi ya karena tadi Scroll Scroll
  151. 7:07Scroll itu kan dia tiap kita Scroll tuh
  152. 7:10kita gak tahu Dapat berapa tweet kan
  153. 7:12dari Twitternya nah ini nambah-nambahnya
  154. 7:14tuh Pokoknya terserah Twitternya gitu
  155. 7:16Nah limitnya tadi itu batas minimalnya
  156. 7:19nah 100 itu n 106 Ini kan udah melebihi
  157. 7:23dari batas minimal Jadi udah stop dia
  158. 7:26got 106 twets dan scrolling gitu
  159. 7:30nah udah kita Run ini Nah itu tuh nanti
  160. 7:34dia bakal baca csv file yang udah
  161. 7:37kesimpan
  162. 7:38di di mana
  163. 7:45Sebentar cobat Refresh dulu
  164. 7:55ya Nah
  165. 7:58harusnya eh bentuk fil-ya kayak gini ya
  166. 8:01yang icon files ini kalau teman-teman
  167. 8:03klik dan udah ngejalanin croll datanya
  168. 8:06dan nanti itu hasilnya bakal kesimpan di
  169. 8:08twitch data terus tergantung kalian nama
  170. 8:11file name-nya apa tadi misalkan tadi kan
  171. 8:14gibran.csv gitu ya Nah itu tuh nanti
  172. 8:17bakal kesimpan di
  173. 8:19gibran.csv output yang penting
  174. 8:21sebenarnya ini Jadi kalian mau jalanin
  175. 8:24offline mau jalanin di Google colab mau
  176. 8:26jalanin di Jupiter notebook atau di mana
  177. 8:29Beb
  178. 8:30yang penting ini csv-nya jadi
  179. 8:31teman-teman kalau udah selesai di Google
  180. 8:33colab ini bisa diclose aja Google
  181. 8:35colab-nya tapi sebelum itu di-download
  182. 8:37dulu nih
  183. 8:38csv gitu ya Nah ini udah di-download
  184. 8:43harusnya Udah bisa diakses di Excel di
  185. 8:46Google spreadsheet harusnya udah aman
  186. 8:48sih gitu nah ini kolomnya udah banyak
  187. 8:52ada created dipost Kapan tweetnya berapa
  188. 8:56yang nglike
  189. 8:58berapa
  190. 9:01ada gambarnya atau
  191. 9:02enggak usernameennya siapa atau dia
  192. 9:06ngerely siapa lokasinya di
  193. 9:10mana terus ada tweet urlnya juga ada ada
  194. 9:14username yang ngweet juga ya harusnya
  195. 9:16udah cukup sih gitu ya jadi teman-teman
  196. 9:19bisa download csv-nya atau bisa ngproses
  197. 9:22lanjut di bawahnya
  198. 9:24lagi dan b Dar sebelnya ak bikinnya
  199. 9:29pakai titik koma sekarang udah pakai
  200. 9:32koma di mana itu bikin ini fnya k tutup
  201. 9:37dulu deh biar lebar Di mana itu bikin di
  202. 9:40Google colab tuh visualisasinya lebih
  203. 9:43cakep jadi di sini tu Kita
  204. 9:46bisaah ini kurun dulu deh
  205. 9:49coba nah habis diun kayak gini di kalau
  206. 9:53kita horizontal Scroll ke kanan di pojok
  207. 9:56kanan gini nah gitu di bagian atas pojok
  208. 10:00kanan atas tuh ada kayak gini nih nah
  209. 10:03itu kalau diklik tuh nah jadi bisa lebih
  210. 10:04rapi kan Nih ada 106 entries gituernya
  211. 10:09siapa tweet urlnya apa ini Harusnya ada
  212. 10:12gibran-gibrannya Nih nah ini ada Gibran
  213. 10:15tweet Gibran tweet di Gibran tweet
  214. 10:19e bahkan Gibran
  215. 10:22gitu ini kenapa ada
  216. 10:28gibrannya nah yang ini jujur ak gak tahu
  217. 10:31kenapa kenapa bisa muncul terus sini ada
  218. 10:35Gibran ya poknya gitu ya pokoknya ada
  219. 10:38gibran-gibrannya Harusnya nah ini Gibran
  220. 10:42gitu dan udah ada 106 harusnya udah oke
  221. 10:46udah
  222. 10:47aman harusnya ini ya Jadi nanti tadi
  223. 10:51yang sesuai ku jelasin
  224. 10:54waktu data itu setiap udah nyampai 500an
  225. 10:58dia itu harus nunggu dulu jadi karena
  226. 11:01ada rate limit dari
  227. 11:02Twitter yang 10 15 menitan tadi cuman
  228. 11:06bisa dapetin 500-an data Nah itu tuh
  229. 11:08nunggu 10 menit dan ini bakal auto Crow
  230. 11:11lagi habis nunggu 10 menit itu
  231. 11:16gitu ya kayak giniilah kurang lebih jadi
  232. 11:20Eh ini aku udah percobaan
  233. 11:23sebelumnya nah ini udah 300 400 500 nah
  234. 11:28di 600-an dia tuh kayak gini nih ada
  235. 11:32error n nah pokoknya kalau muncul kayak
  236. 11:34gini error kayak gini jangan kaget
  237. 11:37karena itu emang expected bakal muncul
  238. 11:40setiap teman-teman udah dapetin 600-an
  239. 11:42atau 500-an data ini nunggu 10 menitan
  240. 11:46habis 10 menitan nah ini bakal KW lagi
  241. 11:50gitu tuh udah 600an
  242. 11:54lagi kena rate limit lagi 10 menit
  243. 11:57berikutnya lanjut lagi dan gitu
  244. 11:58seterusnya
  245. 12:01gitu ya Nah terus ini limitasi dari
  246. 12:05Google aku ngakelimitasi Google clab-nya
  247. 12:07cuman buat dapatin data aja ya jadi
  248. 12:10setelah datanya udah dapat kalian mau
  249. 12:12apain Mau proses data mau sentimen
  250. 12:14analisis mau ngapain Terserah yang
  251. 12:17penting ini masalah hampir semua
  252. 12:21researcher di Indonesia atau di dunia
  253. 12:23sebenarnya itu gak bisaroll data karena
  254. 12:26api-nya kelimit kan jadi ya ini aku
  255. 12:29pengin Bantu teman-teman aja buat
  256. 12:31dapatin
  257. 12:33datanya gitu Jadi terserah nanti datanya
  258. 12:36habis itu kalian bisa lanjut di sini
  259. 12:39pakai data frame yang ini atau bisa
  260. 12:41download csv yang ada di folder twitch
  261. 12:44data ini diklik terus bisa di-download
  262. 12:48gitu terus bisa kalian pakai di mana
  263. 12:52aja itu harusnya ini udah menjawab Dua
  264. 12:55pertanyaan ya cara Craw data Twitter
  265. 12:58atau X berdasarkan search keyword
  266. 13:00tertentu terus kok cara sebelumnya itu
  267. 13:03gak bisa kenapa
  268. 13:05e Jujur aku engak
  269. 13:08tahu gak tahu sebenarnya ini kan dipakai
  270. 13:10di
  271. 13:11video-video content Creator yang lain ya
  272. 13:13di YouTube juga ada ada yang habis bikin
  273. 13:15konten e di beberapa bulan lalu juga ada
  274. 13:18yang bikin terus gak bisa juga dan
  275. 13:21harusnya semoga video ini bisa menjawab
  276. 13:24Gimana cara yang benarnya Karena aku
  277. 13:26udah update jadi jawaban nya pakai
  278. 13:29latest version aja yaitu
  279. 13:31260 dan sebenarnya sebenarnya bisa
  280. 13:35berapa data sih yang kita
  281. 13:37dapatin jujur enggak tahu dan Harusnya
  282. 13:40bisa banyak asalkan kalian sabar nunggu
  283. 13:43aja Soalnya aku nunggu Aku gak tahu
  284. 13:46nunggu berapa lama itu itu aja udah
  285. 13:48dapetin
  286. 13:492.700 dan ini 2700 ini e aku stop manual
  287. 13:55gitu jadi kan ini habis kalau kita Run
  288. 13:58gitu kan B ada ion stop gitu ya itu aku
  289. 14:01stop sendiri
  290. 14:03soalnya takut ke keblokir juga nih
  291. 14:06twitterku karena Scroll terlalu lama
  292. 14:08gitu ya jadi disesuaikan kebutuhan
  293. 14:11kalian aja harusnya 10.000 gitu harusnya
  294. 14:14bisa sih Pokoknya ditunggu aja ya gitu
  295. 14:19ya harusnya main objektif 3 video ini
  296. 14:22udah selesai karenaudah menjawab topik
  297. 14:24ini mungk berikutnya Kalau tem-an ada
  298. 14:27pertanyaan yangin semoga aku bisa Jawab
  299. 14:29please drop the question di komentar di
  300. 14:33video
  301. 14:34ini tapi mungkin ini aku short answer
  302. 14:37aja TF itu apa tadi aku udah jelasin dia
  303. 14:41tool buat collnya cara kerjanya mungkin
  304. 14:44nanti aku bakal bikin di video sebelah
  305. 14:47kalau ada yang
  306. 14:48butuh nah ini cukup menarik bisa buat
  307. 14:51social network analisis atau enggak
  308. 14:53jawabannya bisa di video terakhir eh di
  309. 14:57versi yang terakhir ini bisa nanti bakal
  310. 15:00aku bahas kalau mau cral data pakai
  311. 15:03bahasa Indonesia aja bisa enggak
  312. 15:05keyword-nya di langang ti2 ID Jadi kalau
  313. 15:08kalian mau cari tentang Presiden gitu ya
  314. 15:12berbahasa Indonesia Tinggal Kasih Lang
  315. 15:14ID
  316. 15:16gitu kalau dapatin data dari rentang
  317. 15:18waktu atau bisa atau enggak bisa
  318. 15:20presiden misalnya Jokowi gitu ya tentang
  319. 15:23Pak
  320. 15:24Jokowi terus pakai
  321. 15:26Sin tahun berapa bulan apa tanggal
  322. 15:30berapa until Kapan 2024
  323. 15:3601 bulan 1 tanggal 30 misalkan gitu
  324. 15:40kalau dapatin data komentar bisa atau
  325. 15:42enggak bisa cek videoku yang
  326. 15:46sebelumnya Harusnya sama tinggal kalian
  327. 15:48Ganti versi ke 260 aja guu dapatin twet
  328. 15:52username Tertentu bisa atau enggak bisa
  329. 15:54Misalkan
  330. 15:55ee bahas tentang laut
  331. 16:00atau virus lah atau covid covid tapi
  332. 16:04dari dari Twitternya Pak Jokowi gitu nah
  333. 16:08keyword-nya jadi kayak gini jadi ditaruh
  334. 16:11di bagian search keyword
  335. 16:13nih
  336. 16:17gitu Nah kayak gini nih jadi ini bakal
  337. 16:20kita bakal nyari tweet yang ada
  338. 16:22kata-kata covidnya yang diweet sama Pak
  339. 16:25Jokowi
  340. 16:27gitu
  341. 16:30kalau dapatin data dengan minimum Lik
  342. 16:32atau reply gimana senya kalau
  343. 16:34teman-teman cek di blogku
  344. 16:37ya kalau mau Lebih detail
  345. 16:41lagi di mana ya Nah di sini nih yang
  346. 16:46blog yang data Twitter dengan python dan
  347. 16:49SN sebennya ini udah lama sih
  348. 16:54tapi
  349. 16:57akuwiteryudah lengkap banget kalau
  350. 17:00kalian mau cari tweet dari pengguna
  351. 17:03tertentu ini bisa pakai ini
  352. 17:06Hash terus nah yang menyebutkan pengguna
  353. 17:11tertentu terus pakai or Nah tadi yang
  354. 17:14since until ada di sini juga dipost di
  355. 17:18kota mana Within berapa kilomer ini bisa
  356. 17:22juga terus pakai
  357. 17:25net yang mengandung frasa tepat ini
  358. 17:28pakai petik
  359. 17:29minimum repes minimum likes ada juga nih
  360. 17:33jadi jawabannya ini ya minimum repes
  361. 17:36titik2 10 berarti minimal yang reply 10
  362. 17:39yang minimal like 100 Berarti kayak gini
  363. 17:42terus minimum retweets kayak gini gitu
  364. 17:46ya teman-teman bisa cek di blokku yang
  365. 17:48itu Cara preprocessing datanya kayak
  366. 17:52gimana Next Video
  367. 17:54aja ya gitu ya teman-teman semoga
  368. 17:57menjawab
  369. 18:02Twitter thank you

About this transcript

This page contains the full transcript of Cara Mendapatkan Data (Crawl) Twitter X - 30 Maret 2024 by Helmi Satria, generated from the public captions YouTube serves with the video. The transcript has 2,151 words across 369 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to choose a caption track available on the video.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, caption language selection, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.