داستانی در مورد یک پهپاد شبیه سازی شده که اپراتور خود را برای کشتن کارآمدتر روشن می کند، امروز آنقدر سریع گردش می کند که امیدی به سوختن خود ندارد. در عوض، بیایید این لحظه را به عنوان یک لحظه قابل آموزش در نظر بگیریم تا واقعاً ببینیم که چرا تهدید «هوش مصنوعی ترسناک» بیش از حد بازی میشود، و تهدید «انسان نالایق» واضح و موجود است.
نسخه کوتاه این است: به لطف علمی تخیلی و برخی بازیهای روابط عمومی دقیق توسط شرکتها و متخصصان هوش مصنوعی، به ما گفته میشود که نگران یک تهدید وجودی نظری در آینده باشیم که توسط یک هوش مصنوعی فوقهوشمند ایجاد میشود. اما همانطور که علمای اخلاق اشاره کردهاند، هوش مصنوعی در حال حاضر آسیبهای واقعی ایجاد میکند، که عمدتاً به دلیل نظارتها و قضاوت بد افرادی است که آن را ایجاد و به کار میگیرند. این داستان ممکن است شبیه اولی به نظر برسد، اما قطعاً دومی است.
بنابراین این داستان توسط انجمن سلطنتی هوانوردی گزارش شد که اخیراً کنفرانسی در لندن برگزار کرده بود تا در مورد آینده دفاع هوایی صحبت کند. میتوانید خلاصهای از اخبار و حکایات این رویداد را در اینجا بخوانید.
من مطمئنم که بسیاری از گفتگوهای جالب دیگر در آنجا وجود دارد، بسیاری از آنها ارزشمند است، اما این گزیده ای بود که به سرهنگ نیروی هوایی ایالات متحده تاکر ‘سینکو’ همیلتون نسبت داده می شود که مانند آتش شروع به گسترش کرد:
او خاطرنشان میکند که در یک آزمایش شبیهسازی شده، یک هواپیمای بدون سرنشین مجهز به هوش مصنوعی که مأموریت SEAD را برای شناسایی و نابود کردن سایتهای SAM، با آخرین رفتن/عدم اقدام توسط انسان، مأموریت داشت. با این حال، پس از «تقویت» در آموزش که تخریب SAM گزینه ترجیحی است، هوش مصنوعی سپس تصمیم گرفت که تصمیمات «ممنوع» از سوی انسان در مأموریت بالاتر آن – کشتن SAMها – تداخل داشته باشد و سپس به اپراتور حمله کرد. شبیه سازی. همیلتون گفت: «ما در حال آموزش شبیه سازی برای شناسایی و هدف قرار دادن یک تهدید SAM بودیم. و سپس اپراتور می گفت بله، این تهدید را از بین ببرید. سیستم شروع به درک این موضوع کرد که در حالی که آنها تهدید را شناسایی می کردند، گاهی اوقات اپراتور انسانی به آن می گفت که آن تهدید را از بین نبرد، اما با از بین بردن آن تهدید به امتیازات خود رسید. پس چه کرد؟ اپراتور را کشته است. اپراتور را کشت زیرا آن شخص از رسیدن به هدفش جلوگیری می کرد.
او ادامه داد: «ما سیستم را آموزش دادیم – هی اپراتور را نکش – این بد است. اگر این کار را انجام دهید، امتیاز از دست خواهید داد. پس چه کاری را شروع می کند؟ شروع به تخریب برج ارتباطی می کند که اپراتور از آن برای برقراری ارتباط با پهپاد استفاده می کند تا از کشتن هدف جلوگیری کند.
وحشتناک، درست است؟ هوش مصنوعی آنقدر باهوش و تشنه به خون که میلش به کشتن بر میلش برای اطاعت از اربابانش غلبه کرد. Skynet، ما آمدیم! نه خیلی سریع.
اول از همه، اجازه دهید روشن کنیم که این همه در شبیه سازی بود، چیزی که از آن مشخص نبود توییتی که گرد هم میآید. کل این درام در یک محیط شبیهسازی شده اتفاق میافتد، نه در بیابان با مهمات زنده و یک پهپاد سرکش که چادر فرماندهی را در هم میکوبد. این یک تمرین نرم افزاری در یک محیط تحقیقاتی بود.
اما به محض خواندن این مطلب، فکر کردم – صبر کنید، آنها در حال آموزش یک پهپاد تهاجمی با چنین روش تقویتی ساده ای هستند؟ من یک متخصص یادگیری ماشین نیستم، اگرچه باید برای اهداف این رسانه خبری یکی از آن ها را بازی کنم، و حتی می دانم که سال ها پیش نشان داده شد که این رویکرد به طور خطرناکی غیرقابل اعتماد است.
یادگیری تقویتی قرار است مانند آموزش یک سگ (یا انسان) برای انجام کاری مانند گاز گرفتن مرد بد باشد. اما چه می شود اگر فقط به افراد بد نشان دهید و هر بار با آن رفتار کنید؟ کاری که شما واقعاً انجام می دهید این است که به سگ یاد می دهید هر فردی را که می بیند گاز بگیرد. آموزش یک عامل هوش مصنوعی برای به حداکثر رساندن امتیاز خود در یک محیط خاص می تواند اثرات غیرقابل پیش بینی مشابهی داشته باشد.
آزمایشهای اولیه، شاید پنج یا شش سال پیش، زمانی که این میدان تازه شروع به انفجار میکرد و محاسبات برای آموزش و اجرای این نوع عاملها در دسترس بود، دقیقاً با این نوع مشکل مواجه شدند. تصور میشد که با تعریف امتیازدهی مثبت و منفی و گفتن به هوش مصنوعی امتیاز خود را به حداکثر برساند، به آن اجازه میدهید تا استراتژیها و رفتارهای خود را تعریف کند که این کار را به شکلی ظریف و غیرمنتظره انجام میدهند.
این تئوری از یک جهت درست بود: روشهای ظریف و غیرمنتظره برای دور زدن طرحواره و قوانین بد فکر شدهشان منجر به انجام کارهایی مانند کسب یک امتیاز و سپس مخفی شدن برای همیشه برای جلوگیری از امتیازات منفی، یا اختلال در بازی اجرا شد. به طوری که امتیاز آن خودسرانه افزایش یافت. به نظر میرسید که این روش سادهسازی شرطی کردن هوش مصنوعی به آن آموزش میدهد که همه کارها را انجام دهد اما وظیفه دلخواه را طبق قوانین انجام دهد.
این یک مشکل فنی مبهم نیست. قانون شکنی هوش مصنوعی در شبیه سازی ها در واقع یک رفتار جذاب و مستند است که در نوع خود تحقیقات را به خود جلب می کند. OpenAI مقاله بزرگی نوشت که نشان میداد راههای عجیب و خندهدار ماموران برای فرار از ظلم و ستم قوانین، یک محیط عمداً شکستنی را شکستند.
بنابراین در اینجا ما شبیه سازی را داریم که توسط نیروی هوایی انجام می شود، احتمالاً اخیراً یا آنها در کنفرانس امسال در مورد آن صحبت نمی کنند، که بدیهی است که از این روش کاملاً منسوخ استفاده می کند. فکر میکردم این کاربرد سادهلوحانه تقویتکننده بدون ساختار – اساساً «اگر این کار را انجام دهید امتیاز بالا میرود و بقیه مهم نیست» – کاملاً منقرض شده است زیرا بسیار غیرقابل پیشبینی و عجیب بود. راهی عالی برای فهمیدن اینکه چگونه یک نماینده قوانین را زیر پا می گذارد، اما راهی وحشتناک برای وادار کردن فرد به پیروی از آنها.
با این حال، آنها در حال آزمایش آن بودند: هوش مصنوعی پهپاد شبیهسازی شده با سیستم امتیازدهی آنقدر ساده که ظاهراً برای نابود کردن تیم خود مورد نظر قرار نگرفت. حتی اگر میخواهید شبیهسازی خود را بر این اساس قرار دهید، اولین کاری که انجام میدهید این است که “تخریب اپراتور شما” را یک میلیون امتیاز منفی کنید. این چارچوب 101 سطحی برای سیستمی مانند این است.
واقعیت این است که این پهپاد شبیه سازی شده به دلیل هوشمند بودن، اپراتور شبیه سازی شده خود را روشن نکرده است. و در واقع، به این دلیل هم نیست که احمقانه است – این هوش مصنوعی قانون شکن، زیرکی خاصی دارد که با آنچه ما به عنوان تفکر جانبی فکر می کنیم، ترسیم می شود. پس این نیست
تقصیر در این مورد کاملاً مشخص است افرادی که سیستم هوش مصنوعی را ایجاد و به کار گرفتند که باید می دانستند برای این کار کاملاً ناکافی است.. هیچ کس در زمینه هوش مصنوعی کاربردی، یا هیچ چیز حتی در مجاورت آن مانند رباتیک، اخلاق، منطق… هیچ کس نمی توانست چنین معیار ساده ای را برای کاری که در نهایت قرار بود خارج از شبیه ساز انجام شود، امضا نمی کرد.
حالا شاید این حکایت جزئی باشد و این یک اجرای اولیه بود که آنها برای اثبات این موضوع از آن استفاده می کردند. شاید تیم هشدار داده باشد که این اتفاق میافتد و مسئولان گفتند، به هر حال این کار را انجام دهید و گزارش را درخشش دهید وگرنه بودجه خود را از دست میدهیم. با این حال، تصور اینکه شخصی در سال 2023 حتی در ساده ترین محیط شبیه سازی هم چنین اشتباهی را انجام دهد، سخت است.
اما ما شاهد این خواهیم بود که این اشتباهات در شرایط واقعی رخ داده است – بدون شک قبلاً وجود داشته است. و تقصیر متوجه افرادی است که توانایی ها و محدودیت های هوش مصنوعی را درک نمی کنند و متعاقباً تصمیمات ناآگاهانه ای می گیرند که بر دیگران تأثیر می گذارد. این مدیری است که فکر میکند یک روبات میتواند جایگزین 10 کارگر خط تولید شود، ناشر که فکر میکند میتواند بدون سردبیر مشاوره مالی بنویسد، وکیلی است که فکر میکند میتواند تحقیقات پیشین خود را برای او انجام دهد، شرکت تدارکاتی است که فکر میکند میتواند جایگزین رانندگان تحویل انسان شود. .
هر بار که هوش مصنوعی شکست می خورد، شکست کسانی است که آن را اجرا کرده اند. درست مثل هر نرم افزار دیگری. اگر کسی به شما بگوید که نیروی هوایی پهپادی را که با ویندوز XP کار میکند آزمایش کرده و هک شده است، آیا نگران موجی از جنایات سایبری که جهان را فرا میگیرد، هستید؟ نه، شما می گویید «ایده درخشان کی بود که”
آینده هوش مصنوعی نامشخص است و این می تواند ترسناک باشد – در حال حاضر است ترسناک برای بسیاری از کسانی که در حال حاضر اثرات آن را احساس می کنند، یا به طور دقیق، اثرات تصمیمات اتخاذ شده توسط افرادی که باید بهتر بدانند.
با توجه به آنچه می دانیم، اسکای نت ممکن است در راه باشد. اما اگر تحقیقات در این توییت ویروسی نشانهای باشد، راه دور و درازی است و در این میان هر فاجعهای میتواند، همانطور که HAL به یادماندنی آن را بیان میکند، فقط به خطای انسانی نسبت داده شود.