YT YouTube2Text

YouTube2Text → Transcripts → Team Teaching: Pengantar Reinforcement Learning - Konsep dan Implementasi (Part 3)

Team Teaching: Pengantar Reinforcement Learning - Konsep dan Implementasi (Part 3) — Transcript

by UG Pembelajaran Siber · 4,124 words · 735 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:09[musik]
0:17Selamat bergabung kembali pemirsa Yuji
0:19TV dan adik-adik mahasiswa Universitas
0:22Gunadarma. Di segmen 3 ini kita akan
0:25melanjutkan pembahasan mengenai
0:27implementasi reinforcement learning di
0:29industri. Jadi fokusnya pada aplikasi
0:33industri menggunakan deep reinforcement
0:36learning. Bersama Bapak Sigit, kita akan
0:38menggali bagaimana teknologi ini
0:40diterapkan untuk meningkatkan efisiensi
0:43dan performa di berbagai sektor
0:45industri. Ini ada kata deep
0:48reinforcement learning ya, Pak Sigit. I.
0:50Nah, masuk ke deep neural network kah
0:53atau deep learning kah itu nanti
0:55bagaimana ya ee sepertinya jadi lebih
0:58menarik lagi. Pak Sigit silakan ee untuk
1:00memberikan wawasan kepada kami semuanya
1:03ya. Silakan Pak.
1:04Baik terima kasih. Asalamualaikum
1:06warahmatullahi wabarakatuh. Selamat
1:09mungkin siang ya sekarang kondisinya ee
1:12pemirsa Yuji TV. Jadi tadi sudah banyak
1:15disampaikan oleh Bu ee Dr.
1:19eh Puspito Jati, kemudian dari Mas
1:25Mas Saiful gitu ya. Sudah dijelaskan
1:27beberapa dari sisi konsep maupun juga ee
1:30contoh dari penggunaan R.
1:32Eh jadi di sini ada kata DIP tadi. Betul
1:35ya. Jadi apa sih yang membedakan gitu
1:38ya? Jadi mungkin reforce ehforment
1:40learning atau RL ya saya sebutnya lebih
1:42mudahnya singkat gitu ya. RL ini ee
1:45kalau kita tadi supervise dan lain
1:48sebagainya itu kita membicarakan ee
1:51training kemudian adakah label ataupun
1:54tidak gitu ya. Artinya bentuknya
1:56classified atau klasifikasi. Nah, kalau
1:59reinforcement learning itu adalah
2:01biasanya digunakan setelah itu gitu ya.
2:04Jadi ada proses pembelajaran juga tetap
2:06ya. Jadi ada state awal tadi, state
2:09awalnya seperti apa? Kemudian ada di
2:11tengahnya itu ada polisi atau aturan
2:14gitu ya. Kemudian aturan itulah yang
2:16nanti ketika dilaksanakan atau diaksi
2:18ada action-nya itu dikembalikan kepada
2:22environment-nya, lingkungannya seperti
2:23apa. Nah, kalau misalnya hasil dari
2:25lingkungannya itu ee tadi jawabannya
2:28adalah ee betul dalam hal reward gitu ya
2:32atau salah dan lain sebagainya, nanti
2:35itu akan kembali lagi ke
2:37peraturan-peraturan atau polisi yang
2:38sudah dibuat tadi. Kemudian kita masuk
2:40ke state yang baru. Nah, gitu ya. Nah,
2:43jadi nah di sini di dep-nya
2:46karena saat pembelajaran tadi
2:48aturan-aturan tadi tidak hanya bentuknya
2:51bersifat tabel if then else dan lain
2:53sebagainya namun dalam bentuk model gitu
2:55ya atau eh deep neural network gitu.
2:59Nah, ini yang akan membedakan eh antara
3:02reinforcement learning ya misalnya tadi
3:04pakai Q learning gitu ya. Eh Q learning
3:06itu juga menggunakan neural network juga
3:08gitu ya. Nah, ini di sini adalah
3:10menggunakan metode-metode deep
3:12neuronetwork. Karena apa? Karena
3:14environment-nya itu juga semakin besar.
3:16Contohnya tadi kalau sudah sempat
3:18dicontohkan ee apa mobil otonom itu
3:22lingkungannya sangat besar sekali gitu
3:24ya. Jadi ada pengendara ee lain ya,
3:27kemudian ada traffic ya ee traffic sign
3:30ya ee dan kondisi-kondisi ee jalan dan
3:33lain sebagainya sehingga dibutuhkanlah
3:35deep neural network.
3:38Oke, ini beberapa ee apa namanya yang
3:41bis yang diimplementasikan ya atau ee
3:44penggunaan ee DRL. Nah, tadi kalau kita
3:48sifat RL, nah ini DIP DRL itu ada untuk
3:51health care, education ya, transportasi
3:54energi ya. Untuk bisnis tadi juga sudah
3:55disampaikan ada science engineering
3:58untuk natural language processing ya
4:00sekarang sudah cukup mungkin sering
4:02didengar ada LLM ya large language
4:05modeling ya itu juga menggunakan eh
4:08salah satunya reforcement learning untuk
4:11tadi proses pemberian reward gitu ya.
4:13Contohnya untuk chatboot misalnya gitu
4:15ya. Jadi hasil jawabannya itu apakah
4:18benar atau tidak gitu ya. Nah, kemudian
4:21sebenarnya kita tidak sadar kita
4:23menggunakan RL itu sebenarnya ada ada
4:26teknologi capca. Capca itu dibuat gitu
4:29ya ee sebenarnya mereka itu untuk
4:31mempelajari ya secara gratis gitu ya.
4:34Kita memberikan label oh ini betul, ini
4:36salah, betul dan lain sebagainya.
4:38Kemudian di Facebook kita tagging ya,
4:40tagging orang. Dulu kita selalu tagging,
4:42tagging, tagging, melakukan tagging ini
4:44siapa, ini siapa. Sekarang otomatis
4:46Facebook bisa melakukan tagging
4:48automatically. Nah, itulah eh bagaimana
4:51eh proses punishment and rewarding tadi
4:54gitu ya untuk memberikan e tingkat
4:57akurasi yang lebih tinggi untuk eh di
4:59deep reinforcement learning. Ada
5:02computer vision ya untuk eh recognition
5:05detection dan lain sebagainya. Ada
5:06robotik dan games tadi juga sudah
5:08disinggung ee dan lain sebagainya.
5:11Oke. Nah, ee pada kesempatan ini saya
5:14akan mencoba untuk membawakan dua topik,
5:18yaitu untuk implementasi reinforcement
5:21learning untuk mobil otonom. Yang kedua
5:23adalah untuk desain ee meta material
5:26mekanik gitu ya. Jadi yang digunakan
5:28oleh teman-teman dari teknik mesin gitu
5:30ya. Meskipun demikian untuk di otonom
5:32kita bisa banyak ya banyak sekali baik
5:34mesin, elektrik, elektronik dan lain
5:36sebagainya bahkan ee IT ya itu juga bisa
5:41ee mempelajari gitu ya mekanisme ee
5:45reinforcement learning ini.
5:48Oke. Nah, di sini bagaimana mobil otonom
5:51bekerja. Jadi, mobil otonom adalah
5:53sistem pengambilan keputusan yang
5:55mandiri di mana aliran data itu diproses
5:59ya dari berbagai sensor. Ee jadi kalau
6:01mobil otonom itu berjalan ya misalnya
6:04contohnya tadi ada beberapa brand ya ee
6:06yang sudah disampaikan dia memiliki
6:08kamera, liar, radar, GPS dan juga sensor
6:13inersia. Jadi banyak sekali memang yang
6:16di ee implementasikan gitu ya. Jadi
6:18tidak cukup salah satu kamera saja gitu
6:21ya, liar gitu. Nanti kita coba sedikit
6:24singgung terkait dengan leadar dan radar
6:25dan juga bagaimana di ee mobil otonom
6:28itu. Nah, di sini kita lihat adalah eh
6:30di dalam mobil autonom ada perception,
6:32planning, dan action, gitu ya. Jadi,
6:34persepsi itu dari penglihatannya seperti
6:37apa ya, dari radar-radar tadi input
6:39kemudian planning apa yang akan
6:41dilakukan kemudian di aksikan gitu ya.
6:45Nah, planning-nya inilah yang nanti
6:46harus belajar dengan baik gitu ya, yang
6:49akan dipengaruhi dari proses eh
6:52reinforcement learning itu. Oke. Nah, di
6:56sini ada empat bagian utama yaitu
6:59perception, localization, prediction,
7:02dan decision making. Di mana decision
7:04making sendiri ada high level pad
7:06planning, behavior arbitration, juga ada
7:09motion controller.
7:12Oke, kita bahas satu-satu persepsi. Nah,
7:14persepsi ini di sendiri adalah bagaimana
7:18nanti membantu mobil itu melihat
7:20lingkungan. Jadi, ee bagaimana yang ada
7:24di depan, di belakang, di samping gitu
7:27ya. Kalau perlu di atasnya gitu ya dan
7:29mengklasifikasikan benda-benda yang ada
7:32di sekitarnya gitu ya. Nah, kalau kita
7:34lihat di sini ya, jadi tujuannya adalah
7:38untuk membuat keputusan yang baik. Baik
7:40itu perlu mengenali objek secara instan,
7:42secara cepat. Jadi kalau misalnya
7:45mengendari mobil itu bahkan tidak hanya
7:48100 m, 50 m, bahkan dalam hitungan 10 m
7:53ya mobil harus bisa gitu ya merespon apa
7:56yang terjadi di depan gitu dengan
7:58kondisinya itu. Ee ini kita bisa lihat
8:01ada hasil dari kamera ya. Jadi ee
8:05kemudian yang di sebelah kanan itu ada
8:08hasil dari radar yang atas. Kalau yang
8:11di bawah itu adalah ee sori.
8:18Oke.
8:20Nah, ini ee kalau dicontohkan ya di
8:22lidar itu dia eh leadar itu light
8:25detection and ranging eh ranging ya.
8:28Jadi dia
8:30memantulkan satu ee apa namanya? Cahaya.
8:34Kemudian bagaimana cahaya itu bisa
8:36diterima dan dipantulkan balik. Nah, ini
8:40masalahnya adalah ketika menggunakan
8:42lidar itu adalah ketika di siang hari
8:43gitu karena pencahayaan sangat tinggi
8:45misalnya sehingga ee cahaya yang kembali
8:49gitu ya yang ditangkap oleh ee reseptor
8:51itu ee tidak diterima dengan baik. Nah,
8:53oleh karena itu ada radar. Nah, ini
8:55radar memang teknologi jauh lebih mahal
8:57gitu ya, sehingga dia tidak bermasalah
9:00dengan ee pencahayaan. Karena oleh
9:02karena itu satelit pun di atas itu ada
9:04namanya satelit radar gitu ya. sehingga
9:07bisa melihat misalnya kapal yang di laut
9:11gitu ya meskipun ada tertutup oleh awan.
9:14Nah, itu sama dengan yang akan ee yang
9:16bisa biasanya ditanamkan di mobil
9:18otonom. Nah, ini ya. Ini contoh ee lidar
9:24ya.
9:25Ya, jadi mobil bergerak berdasarkan ee
9:28kanan kirinya gitu ya. Ee kondisi di
9:30sekitarnya. Oke. Kemudian localization.
9:33Localization itu sendiri adalah eh satu
9:36algoritma ya pada mobil otonom untuk
9:38menghitung posisi orientasi kendaraan
9:41saat melakukan navigasi yang biasanya
9:43teknologinya disebut dengan visual
9:44odometri ya yang sifatnya adalah
9:47simultaneous localization and mapping
9:49biasanya menggunakan slam. Jadi dia bisa
9:51melihat gitu ya ketika berjalan ini ada
9:54objek apa gitu kalau misalnya di nanti
9:56mungkin kemarin sudah ada segmentasi
9:58gitu ya. Nah itu adalah sifatnya
9:59lokalisasi. Jadi, oh ini adalah objek ee
10:02ada manusia gitu ya, kemudian ada jalan,
10:05kemudian ada traffic, sign dan lain
10:08sebagainya. Ada benda-benda yang lain di
10:10sekitarnya. Nah, itu digunakan ee untuk
10:14melihat posisi dia ada di mana dan benda
10:17itu ada di mana sehingga dia bisa tahu
10:19posisinya. Nah, ini sifatnya adalah
10:21pemetaan yang fungsinya adalah
10:23mengklasifikasi tadi ya, jalan pejalan
10:25kaki dan lain sebagainya.
10:28Kemudian prediksi. Nah, ini prediksi ee
10:32jadi memahami manusia dalam mengemudi
10:35ya. Jadi ee kompleks ya. Jadi orang
10:38sendiri yang mengemudi biasanya itu ee
10:41karena melibatkan emosi dan lain
10:44sebagainya. Sehingga mobil otonom itu
10:46dibuat untuk setidaknya mengurangi
10:49hal-hal itu gitu ya dan membuat orang
10:51tidak lelah dalam perjalanan gitu ya dan
10:54lain sebagainya. Nah, makanya ee mungkin
10:57mudah-mudahan terlihat ya. Jadi, apa
11:00yang harus dilakukan adalah bagaimana ee
11:04mobil otonom itu bisa mempelajari juga
11:07behavior gitu ya. Behavior dari
11:09orang-orang yang ada di sekitarnya.
11:10Pejalan kaki itu bagaimana ketika ada di
11:13mobil. Makanya tadi kalau di Indonesia
11:15terlalu kompleks gitu ya misalnya ya
11:18memang seperti itu. Makanya teknologi ee
11:22apa namanya 4.0 gitu ya. itu juga harus
11:26diimbangi oleh society 5.0 gitu. Nah,
11:29ini kita ke arah sana gitu ya. Kita eh
11:32apa namanya? Ee optimis lah kita bisa
11:35sampai ke eh society 5.0 ya. Nah,
11:39kemudian mobil ini akan menangkap ya 360
11:42derajat. Kemudian dia bisa harus
11:43memprediksi apa yang tadi ee orang ini
11:47kalau misalnya berhenti apakah akan
11:48jalan ya ketika misalnya ada sign gitu
11:50dibelajar. Oh, di sana warnanya hijau.
11:52Berarti mobilnya bisa jalan duluan.
11:55Kemudian ee nanti ee berarti ee pejalan
11:58kakinya akan berhenti, tidak
12:00menyeberang. Nah, ini. Nah, ini kan
12:01salah satu yang harus di bisa diprediksi
12:03dan bisa diketahui secara singkat gitu
12:06ya dari mobil otonom. Oke, ini kemudian
12:09decision making ya eh yang komponen
12:12keempat jadi bersifat dinamis ya dan
12:16tepat di lingkungan yang tidak pasti itu
12:18tadi ya. Jadi ini kompleks sekali.
12:21ya. Dan mobil itu juga harus
12:22mempertimbangkan bahwa ee tidak semua
12:25pembacaan sensor itu akan akurat. Nah,
12:27ini makanya oleh karena ee itu tadi
12:29sensor tuh banyak ditanam meskipun dia
12:32ee hasilnya sama untuk mendeteksi objek
12:35juga gitu ya. Misalnya mengendeksi objek
12:38orang tapi ada banyak sensor yang
12:40digunakan gitu. Inilah kenapa ee berarti
12:46environment-nya banyak, kemudian juga ee
12:49action-nya juga ee nanti berdasarkan
12:52planning-nya tadi. Nah, ini yang yang
12:53makanya menggunakan eh deep learning.
12:57Oke,
12:59lanjut. Nah, ini eh empat komponen dari
13:02proses hierarki dalam pengambilan
13:04keputusan di dalam ee mobil otonom. Ya,
13:07pertama adalah pad or root planning. ini
13:10pada dasarnya ini digunakan untuk
13:12merencanakan rute ya. Keputusan pertama
13:15dari empat keputusan yang harus diambil
13:16oleh mobil misalnya di junction ya, di
13:19apa namanya di perempatan. Kemudian
13:21behavior arbitration. Nah, ini setelah
13:24route direncanakan mobil itu perlu
13:27menavigasi dirinya melalui rute
13:29tersebut. Jadi apakah ambil sebelah
13:31kiri, apakah ambil sebelah kanan dan
13:33lain sebagainya gitu ya. Nah, kemudian
13:36motion planning. Jadi berarti pergerakan
13:38setelah lapisan perilaku memutuskan
13:40bagaimana navigasi itu harus lewat rute
13:43yang mana, apakah ambil sebelah kanan
13:45karena misalnya contoh di Eropa dengan
13:47di Indonesia jalannya kita kan di
13:49sebelah kiri gitu ya, tapi kalau di
13:51Eropa sebelah kanan. Ini juga tentu akan
13:53ee berbeda terkait dengan behavior-nya.
13:56Nah, kemudian yang keempat itu adalah
13:59vehicle control gitu ya. Jadi bagaimana
14:02kendaraan ini dikontrol sehingga bisa
14:05mengeksekusi ee jalur yang
14:07direferensikan gitu ya. Jadi dia tetap
14:10misalnya dia harus ambil kanan jalur
14:12yang yang diberikan planningnya tadi
14:14adalah motion planningnya sebelah kanan
14:16maka bagaimana kendaraan ini gitu ya ee
14:20mobil ini bisa tetap di jalurnya gitu ya
14:22yang ada di sebelah kanan gitu. Nah, ini
14:25eh adalah eh empat komponen di dalam eh
14:28decision e making.
14:31Nah, kemudian apa peran reinforcement
14:34learning dalam hal ini gitu ya. Oke,
14:37neural network itu bisa memprediksi
14:39beberapa tindakan tadi gitu ya dari data
14:41persepsi. Namun memilih tindakan yang
14:44tepat memerlukan deep eh reinforcement
14:46learning tadi. Kenapa? Karena memang
14:48terlalu banyak gitu ya, terlalu banyak
14:50eh data ya environmentnya itu sendiri.
14:54Kemudian nanti dari sisi planning-nya
14:57itu juga banyak. Bayangin kalau misalnya
14:59di depan yang tadi di depan ada pejalan
15:01kaki, apa yang harus dilakukan?
15:03Berhentikah, majukah? Ya. Kemudian nanti
15:06kalau misalnya ada kendaraan lain yang
15:08akan datang misalnya dari seberang gitu
15:10ya atau ada yang dari sebelah kanan.
15:12Nah, gitu ya. Nah, dalam DRL tetap sama
15:16ada namanya state action dan reward.
15:18Tadi saya sudah sampaikan. Jadi,
15:20state-nya sendiri itu adalah
15:22menggambarkan situasi saat ini pada
15:24waktu tertentu ya. Dalam hal ini adalah
15:27posisi di jalan. Dia posisinya ada di
15:29mana nih kendaraan gitu ya. Kemudian
15:31action-nya itu adalah menggambarkan
15:33semua kemungkinan gerakan yang dapat
15:35dilakukan oleh mobil. Kemudian
15:38reward-nya adalah umpan balik yang
15:40diterima mobil setiap kali ia mengambil
15:42satu tindakan gitu. Jadi itulah yang
15:45nanti yang akan dipelajari gitu ya. ee
15:48modelnya itu tadi ketika sudah ini jalan
15:51gitu ya, ketika sudah berjalan
15:53pemodelannya artinya learning-nya sudah
15:55berjalan, nah itu model itu yang akan
15:57ditanam di dalam mobil gitu.
16:01Nah, ini ee contoh ya di sini ee ada
16:06state ya jalannya gitu ya, dia posisinya
16:08di mana. Kemudian action berdasarkan
16:11rule yang diberikan di pertama ya.
16:13Kemudian
16:15ada hasilnya gitu ya sehingga ee di situ
16:18ada eh reward gitu ya. Ada pergerak
16:21kalau ada pergerakan ke sini misalnya
16:22reward-nya apa ya? Mudah-mudahan jalan
16:26videonya. Oh enggak.
16:28Oke.
16:37Nah, ini jalan ya. Jadi ketika Oke. Agak
16:40putus-putus.
16:44Oke. Nah, t Nah, ini berarti kan ada
16:47kesalahan gitu ya. Ada kesalahan.
16:50Nah, dia tidak belok gitu tapi dia ee
16:53lurus saja padahal jalannya dalam
16:55kondisi belok gitu. Nah, ketika di
16:57situlah ee berarti ada ee reward, baik
17:00itu reward atau punishment di situ
17:02sehingga dia harus memperbaiki harusnya
17:05seperti apa mengikuti line tengahkah
17:07atau dia harus menjaga gitu ya dia
17:09posisinya di garis tengah dengan di
17:11garis pinggir.
17:13Oke. Nah, ini yang paling ter ee yang
17:17cukup terkenal ya untuk apa namanya ee
17:20simulasi ya, pembuatan ee deep ee
17:24contohnya adalah voyage deep drive. Nah,
17:27ini eh aplikasi ya untuk simulasi. Jadi,
17:31mobil atau ee mobil otonom tersebut
17:33sebagai een dilatih sampai ribuan. Epoh
17:37ya. EPO itu eh bukan iterasi tapi ee
17:41pengulangan dari satu stage dari A
17:44sampai Z dan kembali lagi gitu ya. Jadi
17:48misalnya A sampai D state-nya ABC
17:50berarti ABC
17:52CBA gitu. ABC CBA kembali lagi. Nah ini
17:56ee disebut dengan EPO. Jadi diulang
17:59terus. Nah, selama pelatihan een belajar
18:01dengan mengambil tindakan tertentu. Nah,
18:03sehingga nanti dihasilkan yang disebut
18:05dengan polisy. Policy adalah bagaimana
18:07agen membuat keputusan yang di dalamnya
18:09berupa aturan pengambilan keputusan ya.
18:13di mana polisi juga mendefinisikan
18:15sebagai perilaku een pada waktu
18:18tertentu.
18:20Nah, kemudian ee
18:22setiap pelaksanaan tersebut ya itu
18:25dinilai atau eh diukur menggunakan state
18:28value function ya yang biasa diukur
18:30dengan Belman expectation equation
18:33contohnya.
18:35Oke, ini contoh dia ada di ee junction
18:38ya, ada di perempatan. Kemudian dia
18:40harus memikirkan ada kendaraan yang mau
18:42lewat kosong dia baru ke kanan gitu ya.
18:45Nah itu ee dan dia harus posisinya ada
18:48di sebelah kanan bukan langsung ambil
18:50yang di jalur sebelah kiri. Oke. Oke.
18:53Ini tadi sudah sempat dijelaskan oleh Bu
18:56Dr. Uspuspito Jati bahwa ada mark
19:00decision process di situ ada ya ada
19:02state kemudian e di ada agent kemudian
19:05ada state ada environment ada reward dan
19:07juga eh ada action. Jadi prosesnya pada
19:11waktu ttentu keadaan lingkungan berada
19:13di S state ya ST ya. Kemudian agen akan
19:17mengamati keadaan saat ini ya ST dan
19:20memilih sebuah tindakan action-nya apa.
19:22Kemudian environment berpindah ke
19:24keadaan baru ya dan secara bersamaan een
19:27a diberikan eh reward ya berdasarkan
19:29hasil tadi. Oke ini eh
19:35lebih dalamnya di dalam eh partially
19:38observable mark of decision. Di sini ada
19:42eh fungsinya ada enam komponen ya. ada
19:45observation, finite state of stats,
19:47kemudian finit set of action, reward
19:50function, kemudian ada transisi
19:52probabilitasnya dan juga ada
19:55discontinuing factornya gitu ya. Nah,
19:58tujuan dari DRL sendiri adalah untuk
20:00menemukan policy tadi ya yang diinginkan
20:02dengan memaksimalkan reward. Jadi ya
20:05memaksimalkan reward pada setiap langkah
20:07waktu yang diberikan atau dengan kata
20:09lain untuk menemukan fungsi value action
20:12ya. Kalau kita tadi ee sudah disinggung
20:15Anda menggunakan key function. Jadi
20:17mendapatkan fungsi value action yang
20:19optimal.
20:21Oke, ini key learning ya. Eh, jadi key
20:24value itu ya ini ee dibuat di dalam ee
20:27satu persamaan tertentu ya. Yang ini
20:30yang akan harus dimaksimalkan
20:33ya. Jadi menemukan polisi optimal dengan
20:36berinteraksi dengan lingkungannya.
20:39Oke, ini eh proses eh learning-nya.
20:43Jadi, ada eh neural network, deep neural
20:46network. Di sini ada step
20:48information-nya pertama. Kemudian dia eh
20:53masuk ke model dan nanti ada action-nya
20:55yang di situ ya. Apakah throttle-nya
20:58jalan, steering well-nya gitu ya,
21:00kondisinya seperti apa kemudian
21:02dijalankan. Kemudian aksi tersebut
21:05menghasilkan reward ya. Reward-nya
21:07seperti apa? Nah, itu kembali lagi dan
21:09akan dipelajari terus-menerus.
21:12Oke, yang ini makanya di sini een akan
21:14menemukan tindakan yang baik dan buruk
21:16itu melalui proses trial dan error gitu.
21:20Jadi, dia tidak berhenti belajar gitu
21:22ya. Jadi, ee meskipun sudah belajar di
21:25neural network-nya ya, di apa namanya di
21:27model ee deep learning-nya gitu ya, tapi
21:32dia juga akan belajar berdasarkan
21:34keputusan yang sudah diambil gitu. Jadi
21:36belajar dua kaliah di sini.
21:40Oke. Kemudian contoh yang kedua itu
21:44adalah atau kasus yang kedua itu terkait
21:46dengan desain metamaterial mekanik. Jadi
21:50[mendengus] metamaterial itu adalah
21:52material buatan yang dapat mengendalikan
21:54gelombang baik gelombang mekanik maupun
21:56gelombang elektromagnetik. Contohnya itu
21:57sebenarnya seperti sol sepatu.
22:00Jadi ketika kita mendesain satu sol
22:03sepatu itu ee dia ada seperti jaring
22:07gitu ya. Ket Nah, ee metamerial ini
22:11adalah fungsinya ketika dia diberikan
22:13satu ee beban di atasnya seberapa besar
22:16dia bisa kembali lagi. Nah, ini di mesin
22:19cukup ini apa namanya? Ee apa ee cukup
22:23banyak risetnya gitu ya. Jadi
22:25desain-desain dari ee seperti apa tuh
22:28namanya? Ee
22:30iya apa namanya itu ya?
22:32Ya, desain materialnya. Kemudian ya itu
22:34ada kayak bentuk apa jaring laba-labanya
22:36gitu ya, spidernya gitu ya. Oke. Nah,
22:39ini ee bagaimana dia melihat ee
22:43deformasi dan hiseresis ya. Deformasi
22:46itu adalah perubahan bentuk atau
22:48perilaku material ketika diberikan satu
22:50gaya beban gitu ya. Kemudian
22:52histeresisnya sendiri itu adalah ketika
22:55sudah diberi beban, bagaimana material
22:57itu bisa mengembang berdasarkan tadi
22:59misalnya sudah dikasih beban kemudian
23:01diberikan beban lagi atau beban itu
23:03diangkat.
23:04Nah, gitu. Bagaimana
23:06ee material tersebut ee apa namanya
23:10memiliki ee sifat yang disebut dengan
23:12energy return gitu ya. Energy return.
23:17Nah, ini ada tiga contohnya di sini. Ada
23:19desain 1, 2, dan 3 ya. Kemudian ee
23:24lanjut
23:26ya. Di sini ada
23:29oke ini ada desain 1, 2, dan 3 ya.
23:34Nah, ini adalah environment state-nya
23:37gitu ya. Di sini ada jadi bagaimana bisa
23:40ee memaksimalkan atau meminalkan
23:43histeresis tadi gitu ya berdasarkan ee
23:47apa namanya? berdasarkan ee action-nya
23:50nanti gitu ya. Jadi desainnya bisa
23:53dirubah. Nah, ini contohnya ketika dia
23:56dilakukan perubahan ya, action-nya itu
23:59adalah perubahan perubahan dari desain
24:01ya, dari satu desain pertama, desain
24:03kedua, dan terus-menerus gitu ya.
24:05Sehingga diperoleh desain yang maksimal
24:08gitu, yang optimal gitu ya. Nah, ini
24:12bagaimana energi return-nya tadi ya.
24:15semakin dia bisa membalikkan membalik
24:17gitu ya dari ketika dia diberikan beban
24:19kemudian diangkat bebannya. Nah, itu
24:21kita hitung energy return-nya.
24:24Nah, oke. Ini dievaluasi terus ya
24:28hasilnya ini eh deep learning-nya ya,
24:32Deep neural network yang untuk
24:33mempelajari desain tadi ee berbasis
24:36image tentunya. Kemudian ini ee hasil
24:40kemampuan dari ee agen DRL ya.
24:44Jadi kita bisa lihat minimize hysteris.
24:46Jadi ini ada satu desain pertama
24:48kemudian berjalan terus eh dengan hasil
24:51gitu ya ee MAP itu eh tingkat errornya
24:55gitu ya. Kemudian energy return itu
24:57contohnya 88,9%.
24:59Ketika max si max heteruses berarti dia
25:01ditekan gitu ya, ditekan ee dengan beban
25:04yang maksimal. Nah, itu adalah energi
25:07return-nya misalnya menjadi 79,8%
25:10dan hasilnya ee seperti ini. Jadi, ada
25:13beberapa desain tadi kita bisa lihat
25:15bahwa eh energy return yang paling
25:18tinggi itu adalah di desain yang kedua
25:20gitu ya dengan eh maksimal isteresis itu
25:24mencapai energi return di 83,4%.
25:29Baik, ee itu yang bisa saya sampaikan.
25:32Terima kasih.
25:34saya kembalikan
25:35ya. Terima kasih Bapak Sigit ya. Menarik
25:38sekali ya untuk ee segmen 3 ini. Jadi ee
25:43contoh implementasi lain ya ee selain ee
25:48apa tadi yang sudah disampaikan di
25:51segmen DU ya terkait dengan industri.
25:53Jadi di segmen 3 ini contohnya ada ee
25:57terkait ee apa mobil otonom dan tadi
26:00desain material ya, Pak ya.
26:02Eh,
26:04jadi di dalam
26:07hal ini
26:09tentu ee hubungan dari reenforcement
26:12learning tadi eh ada elemen-elemen
26:14penting ya, Pak. Jadi, ada reenforcement
26:15learning rule, kemudian ada mark eh maaf
26:20mark of decision process gitu ya.
26:22Kemudian eh algoritma key learning atau
26:26deep reinforcement learning tadi ya, Pak
26:28ya. Jadi di mana ee
26:33apa namanya? Belajar sendiri ya. Jadi
26:36model itu akan belajar berdasarkan ee
26:38pengalaman gitu ya, berulang-ulang gitu
26:40ya. Berulang-ulang ee dengan apa ee apa
26:44ee mendapatkan umpan balik berupa reward
26:46atau punish punishment. Kemudian tadi eh
26:51dari variabel e berupa stage eh action
26:54eh report itu modelnya itu digunakan
26:57untuk ee memprediksi beberapa tindakan
27:00dari data persepsi kemudian ee memilih
27:04tindakan yang tepat gitu ya. Itu butuh
27:07tadi ya algoritma deep reinforcement
27:09learning. Jadi ee apa memanfaatkan
27:12network ya ee karena butuh belajarnya
27:15itu agak mendalam gitu ya, Pak ee tadi
27:18key table itu ya.
27:20Oke. Ee kalau dari dua contoh ee yang
27:25Pak Sigit sebutkan itu berarti kan apa
27:28ee model itu ditanam di misalnya di
27:31mobil otonomnya ya, Pak ya.
27:33Itu prosesnya panjang lumayan panjang
27:35ya, Pak. Jadi dari gimana ee apa membuat
27:38pemodelan yang terbaik sampai e
27:40deployment-nya ya diembet di dalam si
27:43mobil itu gitu ya.
27:44Iya. Iya. Kebetulan dulu pernah terlibat
27:47waktu masih kuliah itu tahun 2012.
27:522012.
27:52Nah, itu mereka dulu pernah salah satu
27:55brand gitu ya ee di Jerman
27:58itu ee pembuatannya itu sudah sampai 3
28:02tahun. Jadi tahun 2012 sebenarnya tahun
28:042010 pun mobil otonom tuh sudah mulai
28:08sudah mulai dibuat gitu ya.
28:10Dan saya masuk ke salah satu ee apa
28:12namanya bagian penelitiannya saja gitu
28:15ya
28:15karena hanya dikasih waktu 2 sampai 3
28:17bulan itu untuk tugas kuliah
28:19gitu. Jadi untuk di mobil otonom ini
28:22salah satu tahapnya itu baru sebagian
28:24kecilnya itu gitu ya Pak ya.
28:25Kebetulan dulu di image processingnya.
28:28Di image processing-nya. Oke
28:30ya. Ee berarti dari penjelasan yang ee
28:34Bapak sampaikan kemudian dari
28:35pengalaman-pengalaman tadi gitu ya ee
28:39Pak Sigit sedikit mungkin Pak Sigit bisa
28:41menyampaikan ada
28:44ee mungkin ya topik-topik sederhana apa
28:46sih yang bisa di apa ee kerjakan oleh
28:50mahasiswa gitu ya. Karena kan selama ini
28:53ee agak lebih seringnya eksplorasinya
28:57kita tuh ke supervise sama unsupervise
28:59ya beradinya. ee masih ee ruang
29:02lingkupnya itu ya batasannya ya. Nah,
29:05kira-kira kalau reinforcement learning
29:06itu
29:07ee mahasiswa bisa mulai dari mana?
29:10Kemudian ee kira-kira tantangannya apa
29:12ya? Karena kalau yang Bapak contohkan
29:15tadi kan sepertinya datanya itu udah
29:17udah udah kompleks ya, agak sulit gitu.
29:20Nah, itu gimana, Pak kira-kira Pak
29:21mungkin ada ee gambaran?
29:23Iya. Baik, mungkin yang bisa tadi sempat
29:25disampaikan ada namanya sistem
29:27recommender gitu ya. Nah, sistem
29:28recommender itu sendiri
29:30ee ada proses trainingnya. Sebenarnya
29:32Netflix yang pertama kali menggunakan
29:35sistem recommender itu Amazon
29:38web Amazon. Kemudian kedua itu adalah
29:40Netflix.
29:41Nah, setelah itu jadi proses
29:43pembelajaran itu nanti ada reward lagi.
29:45Jadi ketika dia memberikan rekomendasi
29:47dari rekomendasinya itu dipilih atau
29:50enggak, tidak gitu kan ya. Misalnya
29:52merekomendasikan buku, produk dan lain
29:55sebagainya gitu ya seperti di
29:56marketplace. Nah, kemudian diberikan
29:58reward. Nah, itu kembali lagi untuk
29:59diraining terus.
30:01Itu salah satu ee respon learning yang
30:03bisa diterapkan
30:05bisa mungkin memulai dari situ ya, Pak
30:07ya. Dan banyak dan mudah untuk diambil
30:10datanya.
30:11Baik, terima kasih, Pak Sigit. Jadi
30:14untuk adik-adik mahasiswa mungkin jangan
30:16ragu ya untuk ee mencoba mengeksplore
30:18materi reinforcement learning ini. Ee
30:21konsep-konsep dari reinforcement
30:22learning mungkin ee masih ee kita dengar
30:25tuh masih mungkin agak awam gitu ya.
30:28Tapi sebetulnya ee
30:31itu e proses pembelajaran ya eh markel
30:34kemudian keyarning de preenforcement
30:36learning. Nah, itu kita bisa belajar
30:38lebih dalam lagi. Nanti dengan
30:40pendekatan tersebut mahasiswa bisa ee
30:43mencoba menyelesaikan masalah nyata ya
30:45di industri ee dan juga mudah-mudahan ke
30:48depannya bisa berkontribusi ya di
30:50pengembangan teknologi inovatif yang
30:52lebih efisien ya, Pak. Ya, seperti itu.
30:54Jadi, adik-adik harus semangat.
30:56Eh, baik pemirsa UGTV dan adik-adik
31:00sekalian, tidak terasa kita sudah berada
31:03di akhir acara program literasi edisi
31:05Team Teaching mata kuliah Komputasi Big
31:08Data untuk tema Introduction to
31:11reinforcement learning concept and
31:12implementation.
31:14Pada kesempatan ini kami mengucapkan
31:16terima kasih kepada Bapak Muhammad
31:18Saifulrahman, S.Si., MKOM, Ibu Dr.
31:21Sulistio Puspitojati, S.Si., SKOM, M.Sc.
31:25Bapak Dr. Siget Widianto, ST, M.Si., M,
31:29SC. MIKOM atas penjelasan yang eh sangat
31:33bermanfaat dan inspiratif. Semoga apa
31:35yang telah disare, yang telah dibagikan
31:38bisa memberikan wawasan serta memberikan
31:41ide-ide baru bagi mahasiswa untuk
31:43penelitian dan pengembangannya ya nanti
31:46di masa depan. Terima kasih juga kepada
31:48pemirsa Yuji TV dan adik-adik mahasiswa
31:50Universitas Gundadarma yang telah
31:52mengikuti acara ini. Semoga bermanfaat
31:55bagi pemirsa Yuji TV dan mahasiswa
31:58sekalian. Sampai jumpa pada program
32:00literasi selanjutnya yang ditayangkan
32:02melalui UJTV channel YouTube UJTV
32:05Official. Sekian dari kami, mohon maaf
32:08jika ada kesalahan dan kekurangan. Saya
32:10Ibu Riviana Arif para narasumber beserta
32:13seluruh tim yang bertugas pamit mohon
32:15undur diri. Terima kasih, sampai jumpa.
32:17Wasalamualaikum warahmatullahi
32:18wabarakatuh. Waalaikumsalam
32:20warahmatullahi wabarakatuh. [musik]
32:30[musik]
32:35[musik]
32:42[musik]
32:50[musik]
33:02[musik]

About this transcript

This page contains the full transcript of Team Teaching: Pengantar Reinforcement Learning - Konsep dan Implementasi (Part 3) by UG Pembelajaran Siber, generated from the public captions YouTube serves with the video. The transcript has 4,124 words across 735 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.