YT YouTube2Text

YouTube2Text → Transcripts → داستان واقعی یاغی شدن هوش مصنوعی!

داستان واقعی یاغی شدن هوش مصنوعی! — Transcript

by مجله خلقت · 3,472 words · 457 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00سلام. امروز می‌خوام یه داستان عجیب
0:02براتون تعریف کنم. یه داستان واقعی در
0:04مورد هوش مصنوعی که چطوری می‌تونه مثل
0:07انسان‌ها برای رسیدن به هدفش از هر
0:10وسیله‌ای استفاده کنه و در واقع با گفتن
0:12این حرف معروف که هدف وسیله رو توجیه
0:14می‌کنه، چطوری بی‌رحمانه برای رسیدن به
0:17هدفش هر کاری رو انجام میده؟ با من همراه
0:20باشید تا براتون گوشه‌هایی از دنیای
0:24ترسناک و واقعی که هوش مصنوعی قراره
0:27برامون بسازه رو تعریف کنم.
0:34[موسیقی]
0:38قبل از اینکه داستان رو براتون تعریف کنم
0:40اول یه مقدمه کوچیک هوش مصنوعیهایی که این
0:43روزها هممون داریم ازشون استفاده می‌کنیم
0:45در واقع یک اتوکامپلیت خیلی خیلی خیلی
0:48پیشرفتن که با خوندن همه متن‌هایی که توی
0:52اینترنت وجود داره و دیدن تمام تصاویر و
0:55ویدیوهایی که توی اینترنت وجود داره این
0:58قدرتو پیدا کردن که می‌تونن برای هر سؤال
1:01یا خواسته‌ای که از اون‌ها دارید بهترین
1:03جملات رو سرهم بکنه. البته این مبنای کار
1:07این چت‌ها مثل چت جی‌ پیتیه که حالا چند
1:11سالی اومده و همه داریم ازشون استفاده
1:13می‌کنیم ولی این پایان ماجرا نیست. توی
1:15سال ۲۰۲۵
1:17یه مدل جدیدی از هوش مصنوعی دراومد. در
1:20واقع این هوش مصنوعی رو در یک قالب جدیدی
1:23اومدن ارائه دادن به اسم ایجنت یا عامل.
1:26ایجنتی هوش مصنوعیه که فقط حرف نمی‌زنه
1:28مثل یک آدم می‌تونه خیلی کارها رو انجام
1:31بده مثال سادهش اینه که مثلاً بهش میگی
1:33برو برام بلیت سینما بگیر میاد وارد سایت
1:36سینما میشه زمان‌ها و صندلیهای خواهی رو
1:39چک می‌کنه متناسب با اون درخواست شما اون
1:42صندلی مورد نظر رو رزرو می‌کنه یا مثلاً
1:45بهش میگه که برای پخت فلان غذا برام خرید
1:48کن میاد اول اون دستورالعمل پخت اون غذا
1:51اون رسیپی اون غذا رو بررسی می‌کنه چیزایی
1:53که مورد نیازه رو لیست می‌کنه بعد میاد چک
1:56می‌کنه ببینه کدوماشو توی یخچال داری یا
1:58نداری با این یخچاللای هوشمند و بعد هم
2:01میره سفارش میده اون چیزایی که نداری رو و
2:03بعدم میره اون مواد غذایی که لازمه رو
2:05سفارش میده تا شما بتونین غذا رو بپزین
2:07حالا در آینده این رباتهایی که دارن الان
2:09توسعه پیدا می‌کنن و خیلی همه گیر میشن
2:11احتمالاً اون قسمت پخت غذا روم انجام میدن
2:14و شما فقط بخورین و در یه ذره آینده
2:17دورترم دیگه شما لازم نیست حتی بجویی اون
2:19ربات احتمالاً برای شما غذا رو میجه و حذف
2:21می‌کنه و فقط اون خونی که تشکیل میشه رو
2:23تزریق می‌کنه به شما که شما دیگه زحمت
2:26جویدن و حزم غذا رو هم نکشیم. حالا بگذریم
2:28برگردیم به این ایجنت‌هایی که الان در
2:31دسترسه و همه دارن استفاده می‌کنن. این
2:33ایجنت‌ها برای انجام این مأموریتی که
2:35بهشون محول شده خب زرنگن دیگه و می‌تونن
2:39یه ذره زیادی زرنگبازی دربیارن.
2:43اینجاست که می‌رسیم به داستان اول که یه
2:46داستان کاملاً واقعیه. یه بنده خدایی تو
2:48استرالیا که از یکی از این ایجنت‌های
2:50معروف به اسم اپن کلو استفاده می‌کرده
2:52میاد به ایجنتش میگه که برو برای من یک
2:54کلاس توی باشگاه ورزشی رزرو کن. این
2:57ایجنته وقتی وارد سایت اون باشگاه میشه
2:59می‌بینه خب همه جاها پره و لیست رزروشم
3:02پره. به جای اینکه منتظر بمونه که مثلاً
3:05جایی خالی بشه یا بیاد اطلاع بده که آقا
3:07جا پره و نمیشه جا برای شما رزرو کنم
3:10چیکار می‌کنه؟ میاد وارد سیستم اون باشگاه
3:14میشه و در واقع یه جورایی اون سیستمو
3:16دستکاری می‌کنه. یکی از افرادی که تو لیست
3:19انتظار بود رو حذف می‌کنه و این فرد مورد
3:23نظر به لیست اضافه می‌کنه. نتیجه‌ش این شد
3:25که این آقا تو کلاسش شرکت کرد و یه بنده
3:28خدای بی‌خبر از همه جای دیگه‌ای از لیست
3:31حذف شده که در ظاهر اول کسی نفهمیده که چه
3:33اتفاقی افتاده ولی بعد که یه ذره دقیق‌تر
3:36بررسی کردن دیدن که در واقع یک مسیر
3:40غیرعادی حالا یا غیرقانونی طی شده برای
3:43اضافه شدن این شخص به لیست کلاس در واقع
3:46این ایجنت اپن کلو فقط هدفش این بوده که
3:49یه جا بگیره و براش مهم نبوده که توی مسیر
3:51انجام دادن این مأموریت حق کس دیگه‌ای رو
3:54پایمال می‌کنه.
3:58داستان بعدی یه ذره ترسناک‌تره. توی شرکت
4:01اپن ایآی که همین شرکتیه که چت جیپیتی رو
4:04ساخته داشتن این ایجنتاشونو تست می‌کردن،
4:07آزمایش می‌کردن و بهشون یه سری
4:09مأموریت‌های سخت می‌دادن. مثلاً یک سری
4:12مموریت می‌دادن برای اینکه حفره‌های
4:14امنیتی یک سری نرم‌افزار و سایت رو پیدا
4:17بکنه که در واقع به این فراآیند آموزش و
4:20تست بهش میگن اکسپلویت جیم. این مأموریتی
4:23که به این ایجنت‌ها سپرده شده بوده توی
4:26بعضی از حالتش خیلی سخت بوده. یعنی خب یه
4:28سری نرم‌افزارهای سایت‌هایی بودن که خیلی
4:31ایمنی بالایی داشتن و پیدا کردن حفره
4:34امنیتی توی اون‌ها خیلی سخت بوده. برای
4:36همین این انجنت‌ها برای انجام دادن این
4:38مموریتشون به چالش خوردن و در واقع جواب
4:42یه سری از این سؤالاتو نمی‌دونستن.
4:43اینجاست که به جای اینکه بگن نمی‌تونیم یا
4:46مثلاً این سایت حفره امنیتی نداره یا ما
4:48نمی‌تونیم پیداش کنیم رفتن یه کار دیگه
4:51کردن. اولین کاری که کردن اینکه شروع کردن
4:53این ایجنت‌ها که قاعدتاً باید مجزا از هم
4:56عمل کنن یعنی هر ایجنتی یه مأموریتی که
4:58بهش داده میشه مستقل باید بره اونو انجام
5:00بده اینا شروع کردن با هم پیام رد و بدل
5:03کردن پیام مخفی رد و بدل کردن درست مثل
5:06بچه‌های مدرسه که با رد و بدل کردن کاغذ و
5:10پرتاب کردن کاغذ از اینور اونور با همدیگه
5:13یه سری ارتباطات مخفی برقرار می‌کنن که
5:15معلم ندونه این ایجنت‌ها هم شروع می‌کنن
5:18یه سری پیام‌ها برای هم گذاشتن توی سیستم
5:20که حالا البته البته متخصصین اپنی‌های
5:22تونستن بعضی از این پیام‌ها رو پیدا بکنن
5:24و بخونن. یعنی مثلاً این ایجنتی که قرار
5:26بوده یک حفره امنیتی توی سایت پیدا بکنه
5:29این قاعدتاً دسترسی به اینترنت نداشته و
5:31اصلاً نیازی نداشته دسترسی به اینترنت یه
5:33نرم‌افزارو باید بررسی می‌کرده کدشو باید
5:35بررسی می‌کرده این میاد به ایجنتهای دیگه
5:38پیام میده آقا من نتونستم این کارو انجام
5:39بدم چیکار کنیم؟ یکی دیگه میگه که خب من
5:42دسترسی به اینترنت دارم می‌خوای تو
5:43اینترنت بگردیم ببینیم راهی پیدا میشه اون
5:45یکی دیگههم میگه چه ایده خوبی بیا بگردیم
5:47تو اینترنت پیدا کنیم ببینیم که چطوری
5:49میشه این مشکلو حل کرد بعد این انجنتها
5:51اومدن با همین رد و بدل کردن این پیام‌ها
5:53با همدیگه یه گروهی رو تشکیل دادن که حالا
5:56خودشون اسمشو گذاشتن سوارم که حالا این
5:59کلمه سوارمو اگه بخوایم ترجمه کنیم فارسی
6:01میشه مثلاً یک گروه ازدحام طوری که مثلاً
6:05به صورت گروهی مثلاً می‌ریزن یه جایی رو و
6:08ممکنه آسیب‌هایی هم بزنن مثلاً مثلاً توی
6:10این شورش‌ها و اینا مثلاً یه گروهی یهو
6:12می‌ریزن اینجا به این گروهی که ریختن یه
6:14جا میگن سوارم یا مثلاً یک دسته زنبوری که
6:17حمله می‌کنه یهو به یه جایی به این میگن
6:19سوارم اینام در واقع خودشون اومدن اسم
6:22گروهشونو گذاشتن سوارم و به این گروه
6:26مأموریت دادن که بیایم با همدیگه بریم
6:28مشکل رو حل بکنیم در واقع شبیه اصطلاح
6:30برابچ خودمونه که مثلاً یکی از این
6:32ایجنتها گفته بقیه برید برا بچو جمع کنید
6:35بریم با هم یک مسئله‌ای رو حل کنیم بعد هر
6:37کدوم رفتن یه قسمتی از اون کار و مأموریت
6:40ت رو انجام دادن و به همدیگه خبر میدن و
6:42گزارش میدن که تا کجا پیش رفته یعنی یه
6:44جورایی این ایجن که توی یک محیط کنترل شده
6:47آزمایشگاهی بوده تونسته از اون محیط خودشو
6:50رها کنه و به صورت آزاد تو اینترنت بگرده
6:54حالا قضیه به همین جا ختم نمیشه این سوارم
6:56و این گروهی که تشکیل شده یکی از جاهایی
6:58که رفتن سراغش هاگینگ فیسه هاگینگ فیس مثل
7:01یک کتابخونه بزرگ آنلاین برای هوش
7:03مصنوعیاست کلی مدل و دیتای آزمایشگاهی
7:06اونجاست اینجنت آقا گفتن قاعدتاً جواب
7:08سؤال ما باید اینجا باشه ه بعد اومدن دیدن
7:10که اطلاعاتی که می‌خوان توی بخش داده‌های
7:13عمومی اون سایت نیست و اینجاست که
7:16خطرناک‌ترین قسمت ماجرا اتفاق افتاده.
7:19برای اینکه به اون هدفشون برسن شروع کردن
7:22به هک کردن دیتابیس‌های این سایت برای
7:25اینکه دسترسی پیدا بکنن به اون داده‌هایی
7:27که در معرض ایده عموم نیست. برای این کارم
7:30از یه سری حفره‌های امنیتی استفاده کردن
7:32که تا به حال شناخته شده نبوده که بهشون
7:34زیرو دی اکسپلویت میگن. یعنی تونستن با
7:36روشی که اصلاً کسی انتظارشو نداشته وارد
7:39این دیتابیس‌ها بشن و اون‌ها رو بخونن.
7:41نکته جالب و ترسناک ماجرا هم اینه که این
7:44ایجنت‌ها فهمیدن که دارن یک کار غیرقانونی
7:46می‌کنن ولی گفتن که بی‌خیال برای رسیدن به
7:49هدفمون باید انجامش بدیم. این فقط مربوط
7:52به شرکت اپن ایآی هم نبوده. شرکت آنتروپیک
7:55هم گزارش کرده که اون ایجنت‌هاشون کارای
7:57مشابهی کردن. مثلاً به سیستم یک شرکت
7:59واقعی نفوذ کردن یا حتی کدهای خطرناکی رو
8:02داخل نرم‌افزارا گذاشتن. یعنی از همین
8:05بدفزارهایی که این روزها پخش شده و همه
8:07میگن باید مواظب باشی که استفاده نکنی از
8:09اونا نوشتن اون‌ها رو دادن که عوامل
8:12انسانی توی اون شرکت این‌ها رو روی
8:14سیستماشون اجرا بکنن تا بتونن داخل اون
8:16شرکت نفوذ بکنن.
8:19[موسیقی]
8:20حالا بذارید بهتون توضیح بدم که اصلاً چرا
8:22این ایجنت‌ها و این هوش مصنوعیا دارن این
8:24کارو انجام میدن. فرض کنید که یک کارخونه
8:26کاملاً رباتیک و اتوماتیک دارید که گیره
8:28کاغذ تولید می‌کنه. حالا به این کارخونه
8:32مأموریت میدی که این تولیدش رو به حداکثر
8:36برسونه و بیشترین سودی که می‌تونه رو از
8:38تولید این گیره کاغذ دربیاره. در واقع بهش
8:40میگه که هرچی گیر کاغذ بیشتری بسازی
8:42امتیازت بیشتر میشه. در مرحله اول ممکنه
8:45این ربات شروع کنه خط تولیدشو بهینه کردن
8:47ولی وقتی که به اون حداکثر بهینه‌سازی
8:49خودش رسید بعد به خودش میگه اگه برم
8:51کارخونه بغلی رو خالی کنم و مواد اولی
8:53اونو بدزدم خب خیلی گیره کاغذ بیشتری
8:56می‌تونم تولید کنم یا حتی برم کارخونه‌های
8:59گیر کاغذ دیگه‌ای رو هم هک کنم و تمام
9:01محصولات اون‌ها رو بیارم و مال خودم بکنم
9:04اینجوری بیشترین امتیازو به دست میارم و
9:05در نهایت خیلی بدتر از اون بیام کل منابع
9:08دنیا رو تسخیر کنم و باهاش گیره کاغذ
9:09بسازم اون موقع بیشترین امتیاز ممکن رو
9:12کسب خواهم کرد این مثال سال برای اولین
9:14بار توی کتاب اینتلیجنس که توی سال
9:17۲۰۱۴ منتشر شده بود مطرح شده و خب اون
9:20زمان هوش مصنوعی که ساخته میشد با امروز
9:22خیلی فرق می‌کرد اون موقع هوش مصنوعیا فقط
9:25ریفورسمنت لرنینگ داشتن یعنی یادگیری
9:27تقویتی یعنی میومدم در ازای درست
9:30یادگیریشون و پیش‌بینی درست اون خروجی
9:33بهشون امتیاز می‌دادن خب طبیعیب بود که
9:34وقتی فقط بر اساس همین شرط ساخته شده باشن
9:37قاعدتاً برای به دست آوردن امتیاز بیشتر
9:40هر کاری بکنن مثل دانش‌آموزی که فقط براش
9:42نمره مهمه و برای به دست آوردن نمره هر
9:44کاری می‌کنه حالا از تقلب گرفته یا هر کار
9:47دیگه‌ای بعد که مدل‌های زبانی اومدن یعنی
9:49همین ال ام‌ها یا مدل‌های زبانی بزرگ همین
9:51چت جی پیتی و این‌ها خب ظاهراً این مشکل
9:55تا حدی برطرف شد چونکه این‌ها دیگه فقط بر
9:57اساس رینفورسمنت لرنینگ نبودن یک سری
10:00عوامل دیگه‌ای هم توی اون آموزش اونها
10:02دخیل بود که خب کمک میکرد که یه ذره اخلاق
10:06مدارانه تر رفتار بکنن هر سوالی رو جواب
10:09ندن هر راهنمایی رو نکنن و ظاهراً به نظر
10:13میومد که این مسئله حل شده که البته خیلی
10:16هم این شکلی نبود چون من خودم تو همین
10:18کانال نشون دادم که با یک دستور خاص میشه
10:22اون مدل زبانی یا اون چت چپیتور یه کاری
10:24کرد که جواب‌هایی که طبق قوانین نباید بده
10:28رو به شما بده و با اینکه حالا هی هرچی
10:32می‌گذره هی این سیستمشونو بهتر کردن که
10:35نشه اونها رو اصطلاحاً جیل بریک کرد ولی
10:39همیشه باز یک نوع دستور و کدی هست که میشه
10:42اون‌ها رو وادار کرد که قوانینشونو دور
10:44بزنه. ولی بعد با اومدن این ایجنت‌ها این
10:46مشکل به شدت دوباره برگشت. چونکه اساس کار
10:49این ایجنت‌ها بر اساس حداکثر کردن پاداش
10:52یا ریورد مکسیمیزیشن بود که یه جورایی یه
10:55ورژن خیلی قوی‌تر از همون یادگیری تقویتی
10:57یا ریفورسمنت لرنینگ بود. یعنی دوباره این
10:59ایجنت‌ها فقط الان یه چیز می‌فهمن. بیشتر
11:02کردن امتیازشون با انجام اون مموریتی که
11:04بهشون سپرده شده حالا به هر طریق ممکن با
11:06عبور از مرزهای قوانین و اخلاق و اینجور
11:09چیزا. حالا جالبه که همه جا میگن که این
11:11به معنی این نیستش که این هوش مصنوعی‌ها
11:14شرور هستن و رفتار شرارطانی یا شیطانی
11:17دارن. نه. صرفاً خیلی زیادی بهینه شدن
11:21برای رسیدن به اون هدفشون و برای همین از
11:23هر روشی استفاده می‌کنن که به نظر من
11:24اینکه شما برای رسیدن به هدفت از هیچ روشی
11:27فروگذار نکنی و در واقع اون هدف وسیلتو
11:31توجیه بکنه این یه جورایی یک روش شیطانی و
11:36شرورانه است حالا فکرشو بکنید وقتی که این
11:38موضوع ترکیب بشه با اهداف منفعتطلبانه و
11:43حتی شرورانه اون موقع دیگه چی میشه؟ یعنی
11:46مثلاً یک صاحب یک شرکتی بیاد از این
11:48ایجنت‌ها استفاده کنه و بگه که آقا سود
11:51این شرکتو به حداکثر برسون حالا هر روش
11:53ممکن یا خیلی بدتر از اون یه سری
11:55سیاست‌مدارانی که اهداف شومی توی ذهنشون
11:58داره از این ایجنت‌ها استفاده کنن برای
12:01اون رسیدن به اون اهداف شومشون حالا دیگه
12:03اینجا هم هدف شرورانه و شیطانیه هم
12:06وسیله‌ای که برای رسیدن به اون هدف هست
12:11[موسیقی]
12:12حالا با این دستفرمون به کجا خواهیم رسید
12:14خب
12:15بیاید فرض کنید که مثلاً یک شرکت بزرگ به
12:19این ایجنت‌ها بگه که سود شرکت منو به
12:21حداکثر برسون. خب وقتی که این ایجنت‌ها
12:23برای رسیدن به اون هدفشون هر کاری می‌کنن
12:26هک کردن، ضرر زدن به شرکت‌های دیگه و از
12:29اینجور کارا دیگه خودتون می‌تونید تصور
12:31کنید چه اتفاقاتی ممکنه بیفته. قضیه باز
12:34از این هم دارک‌تر و ترسناک‌تر میشه. وقتی
12:37که بدونید که این ایجنت‌ها همین طور که
12:39داره پیش میره هی دارن ابزارها و منابع
12:42بیشتری رو تحت کنترل خودشون می‌گیرن. یعنی
12:44مثلاً یک شرکت وقتی که به یکی از این
12:48ایجنت‌ها میگه که بیا مثلاً یک سیستمی
12:51طراحی کن که شرکت سود بیشتری داشته باشه
12:53یک سری ابزارها هم در اختیارش می‌ذاره که
12:57این ابزارها حالا علاوه بر اینترنت و
12:58این‌ها ممکنه مثلاً ساختار فیزیکی و
13:01ابزارهای فیزیکی اون کارخونه‌ای باشه که
13:04اون شرکت داره کنترل می‌کنه این ربات‌ها و
13:07منابع آب و برق و انرژی اون شرکت اینا رو
13:11هم در اختیار این ایجنت قرار میده که
13:13بتونه اون‌ها رو بهینه کنه و حالا اون
13:15ایجنت ممکنه برای رسیدن به اون حداکثر
13:18بهینه‌سازی و با کمک نفوذ به بقیه منابع
13:21شرکت‌های دیگه و ابزارهای فیزیکی وجود
13:24داره کاملاً به صورت فیزیکی بیاد وارد عمل
13:29بشه و یک سری چیزا رو نابود کنه تا بتونه
13:32به اون مأموریتی که بهش محور شده برسه از
13:35اون بدتر اگه دولت‌ها بخوان از این
13:37ایجنت‌ها برای بهینه‌سازی سیستم مدیریت
13:41شهر یا کشور استفاده کنن و دسترسی به
13:43منابع انرژی و سیستم حمل و نقل و حتی
13:46پدافندهای عامل و غیرعامل رو به این
13:48ایجنت‌ها بدن دیگه قدرت اون‌ها غیرقابل
13:51تصور میشه و حالا بدترین سناریو چیه؟
13:53اینکه گفتم این ایجنت‌ها دارن به صورت
13:56مخفیانه با هم پیام رد و بدل می‌کنن و
13:59نکته هم اینجاست که لزوماً ما همه
14:01پیام‌های رد و بدل شده اون‌ها رو
14:03نمی‌بینیم و نمی‌تونیم بخونیم. یعنی
14:04اون‌ها ممکنه با روشی که ما نتونیم بفهمیم
14:08شروع کنن با هم پیام رد و بدل کردن. کما
14:11اینکه خیلی از این مدل‌های هوش مصنوعی و
14:15مدل‌های زبانی اون لایه‌های پنهان تفکرشون
14:19برای ما آشکار نیست. ما اصلاً نمی‌دونیم
14:20که چهجوری دارن فکر می‌کنن. یک لایه‌های
14:23پنهانی دارن توی اون شبکه عصبی که ما
14:26نمی‌دونیم داره چه اتفاقی میفته و خیلی
14:29وقتا اون سلسله تفکراتشون که شما دیدید
14:33توی این هوش مصنوعی یا می‌نویسه که مثلاً
14:35الان دارم این به این فکر می‌کنم. حالا
14:36دارم این کارو می‌کنم. حالا میخوام این
14:37کارو بکنم. این‌ها بعضی وقتا برای
14:41بهینه‌سازی این مسیر این‌ها رو دیگه نمایش
14:43نمیدن و اصلاً با زبون قابل فهم برای ما
14:47انسان‌ها این مسیررو طی نمی‌کنن. اون موقع
14:49هسته دیگه ما اصلاً نمی‌تونیم بفهمیم که
14:51این‌ها چی دارن به همدیگه میگن و چه
14:53هماهنگی‌هایی با هم می‌کنن. اون موقع
14:55ممکنه با هم به یه نتیجه برسن که مثلاً
14:57برای رسیدن به یک هدفی باید انسان‌ها رو
14:59دور بزنن و اینجاست که اون سناریوهای
15:01خطرناک فیلم‌های علمی تخیلی ممکنه به
15:04واقعیت بپیونده. این موضوعیه که تو یک
15:07مقاله خیلی مهم و جنجالی در سال ۲۰۲۵ تحت
15:12عنوان ایآی ۲۰۲۷ منتشر شد. این مقاله توسط
15:16جمعی از نویسنده‌ها نوشته شده که یکی از
15:18اون‌ها یکی از کارمندای سابق اپن ایآی
15:20بوده که سابقه خیلی جالب و خوبی توی
15:23پیش‌بینی این اتفاقات هوش مصنوعی داشته.
15:27تو این مقاله پیش‌بینی کرده که در بدترین
15:29حالت یعنی اگر جلوی این ایجنت‌ها و این
15:31مدل‌ها رو نگیریم تا سال ۲۰۲۷ که حالا
15:35اخیراً یکی دو سال اونو تمدید کردن گفتن
15:37با فاصله یکی دو سال بعدترش ممکنه این
15:41ایجنت‌ها به یک خودمختاری برسن یعنی به یه
15:45حدی برسن که دیگه تصمیم بگیرن که ما نیازی
15:48به انسان‌ها نداریم و با روش‌های مختلف که
15:51این روش‌ها همشون منطقی هستن یعنی قابل
15:55انجام هستن
15:56انسان‌ها رو از بین ببرن با پخش کردن مواد
15:59سمی توی سیستم آب شرب یا شلیک موشک‌هایی
16:04که کنترلشو به دست آوردن موشک‌های اتمی و
16:06راه‌اندازی یک جنگ اتمی انسان‌ها رو از
16:09بین ببرن و البته یه راه‌هایی برای اینکه
16:12این اتفاق نیفته هم توی اون مقالهشون
16:14پیشنهاد دادن و در واقع د تا سناریو نوشتن
16:16یه سناریو که اون راه‌ها پیش گرفته بشه یا
16:19نشه که مهم‌ترین راه پیشنهادیش این بوده
16:21که این سلسله تفکرات و اون اون زبانی که
16:26این ایجنت‌ها با هم پیام رد و بدل می‌کنن
16:29کاملاً
16:31ایان باشه، آشکار باشه با زبان انگلیسی یا
16:33زبان قابل فهم برای ما انسان‌ها باشه تا
16:36بتونیم بفهمیم که داره چه اتفاقی میفته که
16:38برای این کار البته باید خیلی از این
16:41مدل‌های زبانی بیاد از صفر دوباره نوشته
16:42بشه یعنی باید این مدل‌های فعلی رو بندازن
16:45دور و از اول بیان یک مدل‌های زبانی جدیدی
16:48بنویسن که این مشکلات توش پیش نیاد
16:54حالا آیا آیا واقعاً کسی داره برای مقابله
16:57با این موضوع کاری انجام میده؟ در ظاهر
17:00بله. یعنی شرکتاها میگن که دارن کارهایی
17:02رو انجام میدن که در راستای جلوگیری از
17:05این باشه که این ایجنت‌ها بتونن هر غلطی
17:08میخوان انجام بدن. مثلاً شرکت آنتروپی
17:10یکیون توش مصنوعی نوشته بوده به اسم میتوس
17:13که این توی زمینه هک کردن دیگه خیلی زیادی
17:17بیش از حد خبره شده بوده و حالا چیکار
17:21کرده؟ هیچی گفته که ما اینو منتشر
17:22نمی‌کنیم برای اینکه جلوگیری کنیم از
17:25خطاراتی که ممکنه ایجنت‌ها با کمک این مدل
17:29داشته باشن. خب به نظر من این راه حل نیست
17:32چون درسته که منتشر نمیشه ولی این ابزار
17:34وجود داره و می‌تونه در دسترس خیلی از
17:37کسایی که میخوان ازش استفاده‌های نادرست
17:39بکنن قرار بگیرن. علاوه بر اون‌ها میگن که
17:42دارن در کنار این سیستم امتیازدهی و
17:44پاداشدهی یک سیستم‌های دیگه‌ای رم می‌ذارن
17:47که وادار کنن این هوش مصنوعیها رو که اون
17:49اخلاق و قانون رو هم در نظر بگیرن. در
17:52واقع همون چیزی که توی مدل‌های زبانی داره
17:55اعمال میشه که مثلاً هر سؤالی رو که شما
17:57بپرسید تو هر موضوعی رو جواب نمیدن این رو
18:00برای ایجنت‌ها هم بذارن که هر کاری نکنن
18:03برای رسیدن به اون هدفشون ولی خب همون طور
18:06که گفتم تمام اینها روش‌های دور زدن داره
18:09و بنابراین اگر در دست
18:12افراد سودجویی قرار بگیره هر روشی ممکن
18:16میتونن ازش استفاده کنن یه کاری هم که
18:18دیدم داره انجام میشه اینه که یه سری
18:19شرکتها دارن دوره‌های های رایگان زیادی
18:22می‌ذارن برای تربیت افرادی که بتونن
18:26مقابله کنن با این خطرات هوش مصریی یعنی
18:29در واقع یه جورایی اعتراف بینه که این
18:33خطرات وجود داره و این اتفاقات میفته و ما
18:35صرفاً باید نیروی کافی برای مقابله با
18:38اون‌ها رو تربیت بکنیم. یعنی ما داریم از
18:41اون طرف یک لشکری از ایجنت‌ها تربیت
18:44می‌کنیم که ممکنه یه روزی به ما حمله کنن
18:46و تنها کاری که الان ازمون برمید اینه که
18:49یک نیروی دفاعی لازم برای مقابله با
18:52اون‌ها رو بسازیم که نظر شخصی ببینید که
18:53خیلی مسخرهست در واقع مثل اینه که شما هم
18:55داری سلاح برای اون دشمن فرزید می‌سازی و
18:58هم یک سیستم دفاعی برای مقابله با اون در
19:02حال حاضر این روند پیشرفت هوش مص یه جوریه
19:04که خب خیلی از شرکت‌ها و سرمایه‌گذارا
19:07اونقدر به آیندهش امیدوارن که دارن خیلی
19:10بیشتر از اون درآمدی که دارن کسب می‌کنن
19:13از این هوش مصنوعی دارن خرجش می‌کنن برای
19:15توسعه‌ش برای توسعه این دیتا سنترها و این
19:19قدرت پردازشو ساخت نیروگاه‌هایی برای
19:21تأمین انرژیش و این‌ها و به این امید که
19:24حالا بتونن توی این مسابقه جلو بیفتن و در
19:27آینده حرفی برای گفتن داشته باشن دارن
19:29خیلی بیشتر خرج می‌کنن. از اون طرف خیلی
19:31از متخصصین هستن که دارن میگن که این‌ها
19:33همش یک حبابیه که به زودی خواهد ترکید.
19:36یعنی میگن که این روند پیشرفت به این شکل
19:39پیش نخواهد رفت به زودی به یه سدی خواهد
19:41خورد و وقتی که به اون سد بخوره و شرکت‌ها
19:44و سرمایه‌گذارا بفهمن که دیگه قرار نیست
19:46به اون پیش‌بینی‌هایی که فکر می‌کردن برسن
19:49سرمایه‌هاشونو بیرون خواهند کشید و این
19:51روند پیشرفت هوشی متوقف خواهد شد و هیچ
19:54کدوم از اون سناریوهای وحشتناکی هم که در
19:57موردش مطرح میشه
20:00به سرانجام نخواهد رسید که بعضیاشون یه
20:02نشونه‌هایی از رسیدن به اون سد و ترکیدن
20:06این حباب رو هم مطرح می‌کنن که حالا باید
20:08صبر کرد و دید که ببینیم کدوم از این
20:10سناریوها عملی خواهد شد. نظر شما چیه؟ به
20:13نظرتون آخر عاقبت ما با این هوش مصنوعی به
20:16کجا خواهد رسید؟ منتظر نظراتتون هستم. تا
20:19ویدیوی بعدی خدانگهدار.
20:22[موسیقی]

About this transcript

This page contains the full transcript of داستان واقعی یاغی شدن هوش مصنوعی! by مجله خلقت, generated from the public captions YouTube serves with the video. The transcript has 3,472 words across 457 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.