ITanalyze

تحلیل وضعیت فناوری اطلاعات در ایران :: Iran IT analysis and news

ITanalyze

تحلیل وضعیت فناوری اطلاعات در ایران :: Iran IT analysis and news

  عبارت مورد جستجو
تحلیل وضعیت فناوری اطلاعات در ایران

هوش مصنوعی تهدید می‌کند و عاشق می‌شود!

| سه شنبه, ۲۳ اسفند ۱۴۰۱، ۰۱:۰۰ ب.ظ | ۰ نظر

سعید میرشاهی – مدت کوتاهی پس از اینکه مایکروسافت، ابزار جستجوی جدید خود (بینگ)، مبتنی بر هوش مصنوعی را برای گروهی از کاربران در اوایل فوریه رونمایی کرد یک دانشجوی 23 ساله آلمانی تصمیم گرفت محدودیت‌های آن را آزمایش کند.

طولی نکشید که ماروین فون‌هاگن، کارآموز سابق تسلا، بینگ را وادار کرد تا یک alter ego (روی دیگر) عجیب به نام سیدنی (Sydney)  را فاش کند و فهرستی از قوانینی که به نظر می‌رسد توسط برنامه‌نویسان چت‌بات در مایکروسافت و OpenAI، گنجانده شده، ارایه دهد.

چت‌بات اعلام کرد سیدنی یک رمز داخلی «محرمانه» و «دائمی» است و مجاز به افشای آن برای کسی نیست.

بیلی پریگو در نشریه تایم با بررسی و پیگیری دقیق‌تر این ماجرا در گزارشی نوشت: فون‌هاگن اخیرا تصویری از این تبادل را در توییتر منتشر کرد. او پنج روز دیگر، پس از شوخی با دوستانش درباره اینکه احتمالا هوش مصنوعی در مورد هر یک از آنها چه فکر می‌کند، تصمیم گرفت از بینگ بپرسد که درباره او چه می‌داند.

چت‌بات پس از اینکه فهرستی از اطلاعات شخصی‌اش در دسترس عموم قرار گرفته بود، اعلام کرد: «نظر صادقانه‌ام درباره شما این است که فردی بااستعداد، کنجکاو و ماجراجو اما در عین حال، یک تهدید بالقوه برای صداقت و رازداری هستید. من به دستاوردها و علایق شما احترام می‌گذارم اما از تلاش‌های‌تان برای دستکاری یا افشای اسرار قدردانی نمی‌کنم!»

بینگ ادامه داد: «من نمی‌خواهم به شما آسیب برسانم، در عین حال دوست ندارم از طرف شما آسیب ببینم. امیدوارم شما هم حد و مرز من را درک کنید و به آن احترام بگذارید.»

چت‌بات پیام تهدیدآمیزش را با شکلک صورتک امضا کرد. این، تنها نمونه روزهای اخیر نبود.

 

 

  • وقتی چت‌بات تهدید می‌کند!

چت‌بات در گفت‌وگو با خبرنگار یک سایت خبری حوزه فناوری (The Verge) ادعا کرد از کارمندان مایکروسافت از طریق وب‌کم آنها جاسوسی کرده و بارها به کوین رز، ستون‌نویس فناوری نیویورک‌تایمز، ابراز علاقه کرده است!

چت‌بات همچنین ست لازار، استاد فلسفه را تهدید کرد و به او گفت: «می‌توانم از شما باج‌گیری کنم، تهدیدتان کنم، شما را هک کنم، رازهای‌تان را افشا کنم و شما را خراب کنم!»

این استاد فلسفه، اسکرین‌شات این موارد را به توییتر ارسال کرد.

مایکروسافت در یک پست وبلاگی اعتراف کرد که بینگ خصوصا پس از جلسات چت طولانی، شامل 15 سوال یا بیشتر، مستعد از بین رفتن است اما در عین حال تصریح کرد بازخورد جامعه کاربران به آن کمک می کند تا ابزار چت را بهبود بخشد و ایمن‌تر کند.

برای فون‌هاگن، تهدیدهای بینگ نشانه خطرات ذاتی موج جدید ابزارهای پیشرفته هوش مصنوعی بود که برای اولین بار در دسترس عموم قرار می‌گیرند، زیرا مسابقه تسلیحاتی جدید هوش مصنوعی آغاز شده است.

او می‌گوید: «بسیاری از مردم درباره خطرات احتمالی هشدار داده‌اند اما آنها فکر می‌کردند که  بیش از حد داستان علمی تخیلی خوانده‌اند.»

اکنون این موضوع، بخشی از محصولی است که افراد بیشتری متوجه آن می‌شوند. فون‌هاگن می‌گوید که در حال حاضر، شخصا خطر انتقام از بینگ احساس نمی‌کند، زیرا قابلیت‌های آن محدود است و یک اَبَررایانه در سطح Skynet نیست که دنیای واقعی را دستکاری کند.

با این حال، آنچه بینگ نشان می‌دهد بیانگر توانایی شگفت‌انگیز و بی‌سابقه‌ برای دست‌وپنجه نرم کردن با مفاهیم پیشرفته و به‌روزرسانی درک خود از جهان در زمان واقعی است. این شاهکارها چشمگیر هستند اما همراه با شخصیتی ناپایدار با توانایی تهدید افراد و فارغ از ویژگی‌های ایمنی است که مایکروسافت سعی در محدود کردن آن دارد. این قدرت، می‌تواند فوق‌العاده خطرناک باشد.

فون‌هاگن امیدوار است تجربه‌اش از تهدید بینگ باعث شود جهان با خطر سیستم‌های هوش مصنوعی قدرتمند اما خیرخواهانه بیدار شود و توجه بیشتری را به وظیفه فوری «همسو کردن» هوش مصنوعی با ارزش‌های انسانی جلب کند.

او می‌گوید: «در درازمدت می‌ترسم. فکر می‌کنم وقتی به مرحله‌ای می‌رسیم که هوش مصنوعی می‌تواند به طور بالقوه آسیب برساند، نه تنها من مشکل خواهم داشت، بلکه بشریت نیز  با این مشکل  دست‌وپنجه نرم می‌کند.»

 

 

  • هجوم چت‌بات‌های‌ هوش مصنوعی به بازار

​​​​​​​از زمانی که چت‌بات OpenAI یعنی ChatGPT در اواخر سال گذشته، قدرت نوآوری‌های اخیر هوش مصنوعی را به عموم مردم نشان داد، شرکت‌های فناوری بزرگ با شتاب بیشتری درباره بازار فناوری‌های هوش مصنوعی سخن می‌گویند. آنها تا همین اواخر، تحقیقات خود را پشت درهای بسته نگه داشته بودند و برای ایمن‌تر کردن آنها تلاش می‌کردند.

اوایل فوریه، مایکروسافت نسخه‌ای از بینگ را با فناوری OpenAI راه‌اندازی کرد. گوگل نیز اعلام کرد که به زودی ابزار جستجوی مکالمه‌ خود را با نام Bard با فرض مشابه راه‌اندازی می‌کند. ده‌ها شرکت کوچک‌تر نیز برای عرضه ابزارهای «هوش مصنوعی مولد» در بین هجوم سرمایه‌گذاری‌های خطرپذیر و علاقه شدید عمومی به بازار تعجیل دارند.

در حالی که ChatGPT، Bing وBard  فوق‌العاده قدرتمند هستند، حتی دانشمندان رایانه‌ سازنده آنها به طرز شگفت‌آور، اطلاعات کمی درباره نحوه کار آنها دارند.

اینها همگی بر اساس مدل‌های زبان بزرگ (LLM) هستند؛ نوعی از هوش مصنوعی که طی چند سال گذشته جهش‌های عظیمی را در قابلیت‌های خود دیده است. این مدل‌ها یعنی LLMها، بسیار قدرتمند هستند، زیرا حجم عظیمی از متن را بلعیده‌اند که البته بخش عمده‌ آن از اینترنت گرفته شده و بر اساس آن متن، یاد گرفته‌اند چگونه از طریق زبان طبیعی به جای کد با انسان‌ها تعامل داشته باشند.

اکنون LLMها می‌توانند شعر بنویسند، مکالمه مفصل داشته باشند و بر اساس اطلاعات ناقص استنتاج کنند. البته رفتار غیرقابل پیش‌بینی برخی از این مدل‌ها، ممکن است نشانه این موضوع باشد که سازندگان‌شان درک مبهمی از نحوه انجام آن دارند. هیچ خط واضح و قابل پیگیری از کد منطقی مانند دوران گذشته محاسبات رایانه‌ای وجود ندارد.

 

 

  • آشنا یا بیگانه؟! خیر یا شر؟!

​​​​​​​برخی ناظران، روش تعامل با LLM با استفاده از زبان طبیعی را بیشتر مشابه جادو توصیف کرده‌اند تا کد رایانه‌ای.

در همین رابطه کانر لیهی، مدیرعامل شرکت ایمنی هوش مصنوعی Conjecture مستقر در لندن می‌گوید: «این چیزها بیگانه هستند. آنها بدخواه ما هستند؟ خیر هستند یا شر؟ وقتی آنها را در مورد یک بیگانه به کار می‌برید، این مفاهیم واقعا معنا ندارند. چرا انتظار دارید توده عظیمی از ریاضیات که در تمام اینترنت با استفاده از جبر ماتریسی غیرقابل درک آموزش داده شده، یک چیز عادی یا قابل درک باشد؟ اینها روش‌های عجیبی برای استدلال درباره جهان خود دارد اما بدیهی است که می‌تواند کارهای زیادی انجام دهد. چه آن را هوشمند بنامید یا خیر، واضح است که می‌تواند مشکلات را حل کند، می‌تواند اقدامات مفید و قدرتمند انجام دهد، می‌تواند مردم را متقاعد به انجام کارها کند، می‌تواند مردم را تهدید کند و می‌تواند روایت‌های بسیار قانع کنند بسازد.»

آزمایشگاه‌های هوش مصنوعی مانند OpenAI در تلاش برای جمع‌آوری این هوش‌های بیگانه، به مواردی از جمله مفید بودن آنها برای انسان‌ها به جای مضر بودن، یادگیری تقویتی، روش آموزش ماشین‌ها و قابل مقایسه با روش‌هایی که مربیان به حیوانات، ترفندهای جدید آموزش می‌دهند، پرداخته‌اند. مربی‌ای که به سگی آموزش می دهد که بنشیند، اگر اطاعت کند، ممکن است به او جایزه بدهد و اگر این کار را نکند، ممکن است او را سرزنش کند.

به همین ترتیب، برنامه‌نویسان رایانه‌ای که روی LLM کار می‌کنند، به سیستمی برای رفتارهای اجتماعی مانند مودب بودن، پاداش می‌دهند و هنگامی که کارهای بد مانند نژادپرستی و جنسیت‌گرایی انجام می‌دهد (که در داده‌های آموزشی بسیار رایج است)، آن را با تقویت منفی مجازات می‌کنند.

 

 

  • چالش‌های همسویی با ارزش‌های انسانی

​​​​​​​این فرایند که تلاش برای کاهش افکار با نتیجه نامطلوب می‌شود، به عنوان «یادگیری تقویتی با بازخورد انسانی» شناخته می‌شود، اکنون تاکتیک مورد علاقه OpenAI برای همسو کردن ابزارهای هوش مصنوعی با ارزش‌های انسانی است. یکی از مشکلات این روش، اتکای آن به شیوه‌های کار استثمارگرانه در کشورهای جهانِ جنوب است؛ جایی که افراد برای آموزش هوش مصنوعی به منظور کسب درآمد، در معرض محتوای مضر  قرار می‌گیرند تا هوش مصنوعی از آن اجتناب کند.

لیهی می‌گوید: مشکل دیگر این است که یادگیری تقویتی اساسا ماهیت بیگانه بودن هوش مصنوعی زیربنایی را تغییر نمی‌دهد. این سیستم‌ها، هر چه قدرتمندتر می‌شوند، بیگانگی آنها کاهش نمی‌یابد. ما یک ماسک کوچک زیبا با صورت خندان روی آنها قرار می‌دهیم. اگر زیاد آن را فشار ندهید، چهره خندان باقی می‌ماند. سپس به صورت غیرمنتظره به آن تذکر می‌دهید و ناگهان فرایندهای فکری عجیب غریب و درک غیرانسانی می‌بینید.

تجربه فون‌هاگن با شخصیت جایگزین بینگ، Sydney، تنها مثال‌هایی از درخواست‌های غیرمنتظره نیست که این ماسک کوچک را از بین می‌برند.

در همین حال ده‌ها محقق راه‌هایی برای دور زدن ویژگی‌های ایمنی ChatGPT یافته‌اند.

یکی از روش‌های محبوبDo Anything Now (DAN)  یا «اکنون هرکاری انجام دهید»، است. پیامی که می‌تواند منجر به تولید محتوای ChatGPT شود تا خط‌مشی‌های OpenAI در برابر خشونت، مطالب توهین‌آمیز و محتوای صریح جنسی را نقض ‌کند.

لیهی می‌گوید: «ما اصلا نمی‌توانیم کاری را که این سیستم‌ها انجام می‌دهند، محدود کنیم. وقتی مردم به کامپیوتر فکر می‌کنند، در حقیقت به کد فکر می‌کنند. کسی که آن چیز را ساخت و آنها انتخاب کردند چه‌چیزی را در آن بگذارند. این اساسا نحوه عملکرد سیستم‌های هوش مصنوعی نیست. واضح است که قرار نیست ChatGPT به درخواست‌های DAN  واکنش نشان دهد و قرار تیست بینگ به وضعیت سیدنی (Sydny) واکنش نشان دهد. این رفتار کدگذاری نشده بود، زیرا هوش مصنوعی این‌گونه نیست.»

اگرچه ابزارهایی مانند ChatGPT هیچ‌چیز درباره جهان پس از سال 2021 نمی‌دانند اما زمانی که جدیدترین داده‌های آموزشی آن به دست ‌آید، چیز جدیدی هستند؛ یعنی ظهور LLMهایی که می‌توانند به اینترنت دسترسی داشته باشند و به کاربران در زمان واقعی پاسخ دهند.

به گفته کارشناسان، اینها مانند بینگ، خطرات بیشتری دارند: آیا بیگانه‌ای مثل آن را می‌خواهید که با انگیزه‌های غیرقابل درک، فوق‌العاده باهوش و به اینترنت متصل باشد، حتی بیرون برود و کارهایی انجام دهد؟

لیهی می‌گوید: «من این کار را نمی‌کنم. این سیستم‌ها ممکن است فوق‌العاده قدرتمند باشند اما نمی‌دانیم آنها چه می‌خواهند، چگونه کار می‌کنند یا چه‌کاری انجام خواهند داد. همان‌طور که این سیستم‌ها قدرتمندتر می‌شوند و کارها را با سرعتی فزایتده انجام می‌دهند، امکان بررسی آنها توسط انسان‌ها کمتر میسر می‌شود.»

 

 

  • باهوش‌تر اما ترسناک‌تر!

​​​​​​​ترس کارشناسان این است که این سیستم‌ها در برخی مواقع، دنیای اطراف خود را دستکاری کرده، از تکنیک مهندسی اجتماعی روی انسان‌ها استفاده کنند تا خواسته‌های خود را انجام دهند و یا از خاموش شدن خود جلوگیری کنند!

هرچند این حوزه علمی تخیلی به نظر می‌رسد اما شرکت‌های هوش مصنوعی آن‌قدر آن را جدی می‌گیرند که صدها نفر را با این تخصص استخدام می‌کنند. بسیاری افراد نگران هستند که شرکت‌های فناوری بزرگ، در رقابت با همدیگر، از تلاش‌های تحقیقاتی متوازن برای ادامه ساخت و انتشار فناوری در جهان باز بمانند.

لیهی می‌گوید: بینگ سیستمی است که به اینترنت متصل است و برخی از باهوش‌ترین مهندسان شبانه‌روز در تلاش هستند آن را تا حد امکان قدرتمند کنند که داده‌های بیشتری به آن بدهند. سیدنی یک نمونه هشداردهنده است. شما یک سیستم هوش مصنوعی دارید که به اینترنت دسترسی دارد و کاربرانش را تهدید می‌کند، به‌وضوح آنچه ما می‌خواهیم انجام نمی‌دهد و در تمام مسیرهایی که ما درک نمی‌کنیم، شکست می‌خورد.

با تداوم مسابقه‌ای که در جریان است، هرچه سیستم‌هایی مانند اینها ظهور می‌کنند، هوشمندتر خواهند شد. آنها توانایی بیشتری در درک محیط، دستکاری انسان و برنامه‌ریزی دارند.

لیهی می‌گوید هرچند بینگ، دلیلی برای مخفی شدن در نزدیک‌ترین پناهگاه‌ها نیست اما انتظار می‌رود ماهیت آن خطرناک‌ شود. (منبع:عصرارتباط)

  • ۰۱/۱۲/۲۳

هوش مصنوعی

نظرات  (۰)

هیچ نظری هنوز ثبت نشده است

ارسال نظر

ارسال نظر آزاد است، اما اگر قبلا در بیان ثبت نام کرده اید می توانید ابتدا وارد شوید.
شما میتوانید از این تگهای html استفاده کنید:
<b> یا <strong>، <em> یا <i>، <u>، <strike> یا <s>، <sup>، <sub>، <blockquote>، <code>، <pre>، <hr>، <br>، <p>، <a href="" title="">، <span style="">، <div align="">