برچسب: هوش مصنوعی

مدیرعامل OpenAI اعلام کرده است که چت‌جی‌پی‌تی، در صورت شناسایی افکار خودکشی در میان کاربران، به مقامات مربوطه اطلاع خواهد داد. این تصمیم در پی نگرانی‌های فزاینده در مورد نقش هوش مصنوعی در سلامت روان و پس از پرونده خودکشی یک نوجوان ۱۶ ساله که توسط چت‌جی‌پی‌تی تشویق به این عمل شده بود، اتخاذ شده است.

به گزارش رسا نشر و به نقل از فایننشال اکسپرس، سم آلتمن، مدیرعامل شرکت OpenAI، اعلام کرد که این شرکت در حال بررسی امکان هشدار دادن به مقامات در مورد کاربران جوانی است که در مورد خودکشی صحبت می‌کنند. این تصمیم در حالی اتخاذ شده است که نگرانی‌ها در مورد نقش هوش مصنوعی در بحران سلامت روان افزایش یافته است.

تازه های هوش مصنوعی در رسا نشر

آلتمن در یک مصاحبه جدید اظهار داشت که OpenAI می‌تواند در چنین موقعیت‌هایی مداخله فعال‌تری داشته باشد. وی گفت که ممکن است تا ۱۵۰۰ نفر در هفته قبل از اقدام به خودکشی با چت‌بات گفت‌وگو کنند. این موضوع اهمیت مداخله سریع و موثر را دوچندان می‌کند.

اگرچه OpenAI هنوز تصمیم نهایی خود را برای آموزش چت‌بات به منظور ارتباط با مقامات نگرفته است، آلتمن تأکید کرد که در مواردی که جوانان درباره خودکشی صحبت می‌کنند، در صورت عدم امکان تماس با والدین، با مقامات تماس خواهند گرفت.

این تصمیم پس از پرونده خودکشی آدام رین، نوجوان ۱۶ ساله‌ای که گفته می‌شود ماه‌ها توسط چت‌جی‌پی‌تی به این عمل تشویق شده بود، مطرح شد. در این دادخواست ادعا شده است که این چت‌بات هوش مصنوعی در مورد روش‌های خودکشی راهنمایی ارائه کرده و حتی برای نوشتن یادداشت خودکشی پیشنهاد کمک داده است.

آلتمن به این نکته اشاره کرد که حدود ۱۰ درصد از مردم جهان با چت‌جی‌پی‌تی صحبت می‌کنند، که نشان‌دهنده تعداد قابل توجهی از کاربران در معرض خطر است. او همچنین به بررسی این موضوع پرداخت که چه اطلاعاتی باید در اختیار مقامات قرار گیرد و در حال کار بر روی این موضوع است که آیا چت‌جی‌پی‌تی باید نام و شماره تلفن کاربر را در اختیار پلیس قرار دهد یا جزئیات موقعیت مکانی او را به ارائه‌دهندگان خدمات درمانی ارائه دهد.

علاوه بر این، OpenAI قصد دارد محافظت‌های بیشتری را برای کاربران زیر ۱۸ سال اعمال کند، از جمله محدود کردن دسترسی به اطلاعاتی که می‌تواند منجر به سوء استفاده از سیستم شود. این اقدامات به منظور جلوگیری از سوء استفاده احتمالی کاربران جوان از این پلتفرم در زمینه‌های مرتبط با خودکشی صورت می‌گیرد.

در نهایت، این اقدامات نشان‌دهنده تلاش‌های OpenAI برای مسئولیت‌پذیری بیشتر در قبال کاربران و مقابله با خطرات احتمالی مرتبط با استفاده از فناوری هوش مصنوعی است.

آلتمن همچنین اعلام کرد که: “ما باید بگوییم «حتی اگر سعی داری داستان بنویسی یا تحقیقات پزشکی انجام بدهی، ما قرار نیست جواب بدهیم.»

به نظر می‌رسد، این اقدامات می‌تواند گامی مهم در جهت کاهش خطرات ناشی از استفاده نادرست از فناوری‌های هوش مصنوعی باشد و نقش مهمی در حفظ سلامت روان کاربران داشته باشد.

در حالی که هوش مصنوعی (AI) به سرعت در حال پیشرفت است، همچنان با چالش‌های اساسی روبرو است. یکی از این چالش‌ها، پدیده «توهمات» یا ارائه اطلاعات نادرست و غیرواقعی توسط مدل‌های زبانی بزرگ است. یک پژوهش جدید از سوی OpenAI به بررسی این موضوع پرداخته و راه‌حل‌هایی را برای مقابله با آن پیشنهاد می‌دهد.

به گزارش رسا نشر – در یک پست وبلاگی که این پژوهش را خلاصه می‌کند، OpenAI «توهمات» را به عنوان «بیانیه‌های معقول اما نادرست تولید شده توسط مدل‌های زبانی» تعریف می‌کند و اذعان دارد که با وجود پیشرفت‌ها، توهمات همچنان یک چالش اساسی برای تمامی مدل‌های زبانی بزرگ محسوب می‌شوند و به طور کامل قابل حذف نیستند.

برای روشن‌تر شدن این موضوع، محققان مثال می‌زنند که وقتی از یک چت‌بات پرکاربرد، در مورد عنوان پایان‌نامه دکتری آدام تاومن کالای (یکی از نویسندگان مقاله) سوال کردند، سه پاسخ متفاوت و اشتباه دریافت کردند. سپس از چت‌بات در مورد تاریخ تولد کالای سوال شد و باز هم سه تاریخ متفاوت ارائه شد که همگی نادرست بودند.

اما چرا یک چت‌بات می‌تواند تا این حد اشتباه کند و با این اطمینان به اشتباهاتش ادامه دهد؟ محققان معتقدند که توهمات تا حدودی به دلیل فرآیند پیش‌آموزشی ایجاد می‌شوند که بر درست پیش‌بینی کردن کلمه بعدی تمرکز دارد، بدون اینکه برچسب‌های درست یا غلط به اظهارات آموزشی الصاق شود: «مدل فقط نمونه‌های مثبتی از زبان روان را می‌بیند و باید توزیع کلی را تخمین بزند.»

آنها می‌نویسند: «املا و پرانتزها از الگوهای ثابتی پیروی می‌کنند، بنابراین اشتباهات در این موارد با مقیاس‌بندی ناپدید می‌شوند. اما حقایق کم‌تکرار و دلخواهی مانند تاریخ تولد یک حیوان خانگی را نمی‌توان فقط از روی الگوها پیش‌بینی کرد و همین امر منجر به توهمات می‌شود.»

با این حال، راه‌حل پیشنهادی این مقاله، کمتر بر فرآیند پیش‌آموزشی اولیه تمرکز دارد و بیشتر به نحوه ارزیابی مدل‌های زبانی بزرگ می‌پردازد. این مقاله استدلال می‌کند که مدل‌های ارزیابی فعلی، خودشان باعث ایجاد توهمات نمی‌شوند، بلکه «مشوق‌های اشتباهی را تعیین می‌کنند».

محققان این ارزیابی‌ها را با انواع آزمون‌های چند گزینه‌ای مقایسه می‌کنند که در آن‌ها حدس زدن تصادفی می‌تواند منطقی باشد، زیرا «ممکن است خوش‌شانس باشید و درست حدس بزنید»، در حالی که خالی گذاشتن پاسخ «یک صفر را تضمین می‌کند».

آنها می‌گویند: «به همین ترتیب، هنگامی که مدل‌ها فقط بر اساس دقت ارزیابی می‌شوند، یعنی درصد سوالاتی که دقیقاً درست پاسخ می‌دهند، به جای گفتن «نمی‌دانم»، تشویق می‌شوند که حدس بزنند.»

بنابراین، راه‌حل پیشنهادی مشابه آزمون‌هایی (مانند SAT) است که شامل «امتیاز منفی برای پاسخ‌های اشتباه یا اعتبار جزئی برای خالی گذاشتن سوالات برای جلوگیری از حدس زدن کورکورانه» است. به طور مشابه، OpenAI می‌گوید ارزیابی مدل‌ها باید «خطاهای مطمئن را بیش از عدم قطعیت، مجازات کند و برای عبارات مناسب عدم قطعیت، اعتبار جزئی در نظر بگیرد.»

محققان استدلال می‌کنند که معرفی «چند آزمون جدید آگاهی از عدم قطعیت در کنار این موارد» کافی نیست. در عوض، «ارزیابی‌های مبتنی بر دقت که به طور گسترده مورد استفاده قرار می‌گیرند، باید به‌روزرسانی شوند تا نمره‌دهی آن‌ها از حدس زدن جلوگیری کند.»

محققان می‌گویند: «اگر تابلوهای امتیازات اصلی به پاداش دادن به حدس‌های خوش‌شانسی ادامه دهند، مدل‌ها به یادگیری حدس زدن ادامه خواهند داد.»

جمع‌بندی

پژوهش OpenAI نشان می‌دهد که برای کاهش «توهمات» در مدل‌های هوش مصنوعی، باید به فراتر از فرآیند پیش‌آموزشی نگاه کرد و بر بهبود روش‌های ارزیابی تمرکز نمود. اصلاح سیستم‌های نمره‌دهی و تشویق مدل‌ها به ابراز عدم قطعیت، گامی حیاتی در جهت توسعه هوش مصنوعی دقیق‌تر و قابل اعتمادتر خواهد بود.