وقتی چت‌جی‌پی‌تی خطا می‌کند؛ از توهم اطلاعاتی تا بروز مخاطرات واقعی

 به گزارش گروه دانشگاه خبرگزاری دانشجو، هوش مصنوعی مولد به‌ویژه مدل‌های زبانی بزرگ مانند چت‌جی‌پی‌تی در مدت‌زمانی بسیار کوتاه، از یک فناوری نوظهور آزمایشگاهی به ابزاری فراگیر در حوزه‌های رسانه، کسب‌وکار، آموزش، تولید محتوا و حتی فرایند‌های حساس تصمیم‌سازی تبدیل شده‌اند. سهولت دسترسی، کیفیت بالای تولید متن و توان شبیه‌سازی گفت‌وگوی انسانی، باعث شده این ابزار‌ها با سرعتی فراتر از آمادگی نهادی و حقوقی، وارد حوزه‌های کاری حرفه‌ای و روزمره کاربران شوند.

اما درست هم‌زمان با این نفوذ گسترده، مجموعه‌ای از خطا‌ها و گاف‌های پرهزینه نیز رخ داده است؛ مواردی که به عقیده کارشناسان، نشان می‌دهد میان «توان تولید متن روان و قانع‌کننده» و «قابلیت تصمیم‌سازی قابل‌اتکا و مسئولانه» شکافی جدی وجود دارد. شکافی که اگر نادیده گرفته شود، می‌تواند خروجی هوش مصنوعی را از یک ابزار کمکی به یک عامل مخرب و تهدید آفرین تبدیل کند.

این نوشتار کوتاه با رویکردی تحلیلی و مبتنی بر نمونه‌های واقعی، به بررسی مهم‌ترین خطا‌ها و گاف‌های منتسب به مدل‌های زبانی بزرگ و چت‌بات‌های مبتنی بر این فناوری می‌پردازد؛ خطا‌هایی که در برخی موارد صرفاً به هزینه‌های اعتباری، حقوقی یا سازمانی منجر شده‌اند و در برخی دیگر، پیامد‌هایی به‌مراتب عمیق‌تر داشته و پای سلامت روان و حتی جان انسان‌ها را به میان کشیده‌اند. هدف از این بررسی، ایجاد هراس از فناوری نیست، بلکه روشن‌کردن مرز میان «استفاده هوشمندانه» و «اتکای پرخطر» به هوش مصنوعی مولد محسوب می‎‌شود.

ریشه مسئله: خطای اطلاعاتی با لحن قاطع

محققان و توسعه‌دهندگان همواره تأکید دارند که مدل‌های زبانی بزرگ، مانند چت‎‌جی‌پی‌تی، «دانش‌محور» نیستند، بلکه بر اساس الگو‌های آماری زبان، محتمل‌ترین پاسخ را تولید می‌کنند. نتیجه این سازوکار، پدیده‌ای است که در ادبیات فنی با عنوان توهم (Hallucination) شناخته می‌شود؛ یعنی تولید پاسخ‌هایی که از نظر زبانی منسجم و قاطع هستند، اما از نظر محتوایی نادرست یا کاملاً ساختگی به شمار می‌روند.

بر همین اساس، خطر اصلی زمانی بروز می‌کند که این پاسخ‌ها با لحنی مطمئن و حرفه‌ای ارائه می‌شوند و کاربر یا سازمان، به واسطه ظاهر قانع‌کننده پاسخ‌ها، بدون راستی‌آزمایی، آنها را وارد فرایند تصمیم‌گیری رسمی می‌کند.

حوزه حقوقی: وقتی پرونده‌های جعلی وارد دادگاه می‌شوند

بر اساس گزارش وبگاه خبری رویترز در تاریخ ۲۳ ژوئن ۲۰۲۳، یکی از شناخته‌شده‌ترین نمونه‌های خطای مدل‌های زبانی بزرگ، استفاده وکلای یک پرونده در دادگاه فدرال آمریکا از ارجاعات قضائی ساختگی تولیدشده توسط چت‌جی‌پی‌تی بود. بر اساس بررسی‌های صورت گرفته از سوی کارشناسان، این پرونده‌ها هرگز وجود خارجی نداشتند، اما به دلیل اتکای بی‌چون‌وچرا به خروجی مدل، وارد لایحه رسمی دادگاه شدند؛ امری که در نهایت به جریمه و توبیخ وکلا انجامید.

متخصصان بر این باورند که این رخداد نشان داد در حوزه‌هایی مانند حقوق، خروجی مدل‌های زبانی بزرگ نه‌تنها یک ابزار کمکی ساده نیست، بلکه می‌تواند مستقیماً به مسئولیت حرفه‌ای و تبعات حقوقی منجر شود.

افترا و خدشه به اعتبار افراد: طرح اتهامات واهی علیه افراد واقعی

بررسی‌های صورت گرفته نشان می‌دهد که مدل‌های زبانی بزرگ در موارد متعددی، اطلاعات نادرست یا اتهامات بی‌پایه را به افراد واقعی نسبت می‌دهند. رویترز در گزارشی به تاریخ ۵ آوریل ۲۰۲۳، گزارش داد که هوش مصنوعی مدعی ارتباط یک مقام محلی در استرالیا با پرونده رشوه‌خواری شده است؛ این در حالی است که پرونده قضائی مذکور اساساً وجود نداشت.

کارشناسان معتقدند که این نوع خطاها، ریسک شکایت افترا و آسیب جدی به اعتبار افراد و سازمان‌ها را به همراه دارد. برای رسانه‌ها، واحد‌های روابط عمومی و حتی منابع انسانی، چنین خطا‌هایی می‌تواند به بحران اعتبار و هزینه‌های حقوقی قابل‌توجه منجر شود.

خطا‌های حوزه خدمات مشتری: وقتی چت‌بات تعهد ایجاد می‌کند

بر اساس گزارش منتشر شده از سوی وبگاه تخصصی «ARS Technica» در تاریخ ۱۶ فوریه ۲۰۲۴، یک چت‌بات هوش مصنوعی خدمات مشتریان، در پرونده‌ای دیگر، به تولید اطلاعات نادرست درباره سیاست بازپرداخت شرکت هواپیمایی «Air Canada» پرداخته است. در این پرونده قابل تأمل، دادگاه در نهایت شرکت را موظف دانست که مطابق همان اطلاعات غلط ارائه شده، به مشتری غرامت بپردازد.

محققان بر این عقیده هستند که پیام این پرونده نیز روشن است. بر همین اساس، هرجا چت‌بات در نقش نماینده رسمی سازمان با مشتری صحبت می‌کند، خروجی آن می‌تواند تعهدآور تلقی شود؛ حتی اگر مبتنی بر اطلاعات نادرست باشد.

خطا‌های پزشکی: از توصیه‌های ناقص تا پیامد‌های بالینی

علاوه بر همه موارد ذکر شده، در حوزه سلامت و تندرستی، اتکا به راهنمایی‌های مدل‌های زبانی بزرگ بدون نظارت تخصصی، می‌تواند برای کاربران خطرناک و هزینه‌زا باشد. برخی گزارش‌های منتشر شده نشان می‌دهد که در مواردی کاربران با پیروی از توصیه‌های تغذیه‌ای یا پزشکی نادرست تولیدشده توسط چت‌بات‌ها، دچار عوارض جدی شده‌اند. بر همین اساس، در مقاله‌ای علمی به تاریخ ۵ اوت ۲۰۲۵ با عنوان «بررسی موردی از بیماری برومیسم تحت تأثیر استفاده از هوش مصنوعی»، اطلاعاتی از یک کیس پزشکی منتشر شد که در آن فردی پس از اتکا به توصیه‌های چت‌جی‌پی‌تی درباره رژیم غذایی و جایگزینی نمک، دچار مسمومیت برم (bromism) و مشکلات جدی شده است.

مسئله در این حوزه، صرفاً «اشتباه بودن پاسخ» نیست؛ بلکه زنجیره تصمیم‌های بعدی است که می‌تواند به تأخیر درمان، تشدید بیماری یا بروز آسیب‌های غیرقابل جبران منجر شود.

حساس‌ترین نوع خطا: پیوند چت‌بات و بحران سلامت روان

در نهایت، می‌توان به خطرناک‌ترین بخش خطا‌های مبتنی بر هوش مصنوعی پرداخت، بر همین اساس، در ماه‌های اخیر، چندین پرونده رسانه‌ای و حقوقی درباره اثرات مخرب هوش مصنوعی مطرح شده که در آنها خانواده‌ها ادعا کرده‌اند تعاملات طولانی با چت‌بات‌ها، از جمله چت‌جی‌پی‌تی، در تشدید بحران روانی نوجوانان و جوانان و حتی وقوع خودکشی نقش داشته است.

اگرچه همه این موارد به‌طور قطعی اثبات نشده‌اند و برخی به چت‌بات‌هایی غیر از محصول برجسته شرکت اوپن‌ای‌آی مربوط می‌شوند، اما یک الگوی مشترک در همه خطا‌های مذکور وجود دارد که شامل گفت‌و‌گو‌های همدلانه، اما بدون تشخیص بالینی می‌شود؛ فرایندی که به‌جای هدایت فرد به سمت دریافت کمک حرفه‌ای از متخصصان، او را در چرخه افکار منفی نگه می‌دارند.

محققان بر این باورند که این حوزه، پرریسک‌ترین کاربرد هوش مصنوعی مولد است و نیاز مبرمی به سخت‌گیرانه‌ترین سازوکار‌های ایمنی در این زیمنه خاص وجود دارد.

چرا این خطا‌ها تکرار می‌شوند؟

تکرار این خطا‌ها را باید حاصل ترکیبی از چند عامل ساختاری دانست. متخصصان مدعی هستند که از یک‌سو، لحن قاطع و اطمینان‌بخش خروجی‌های مدل‌های زبانی بزرگ باعث می‌شود کاربران به‌سادگی به پاسخ‌ها اعتماد کنند و نسبت به احتمال خطا حساسیت خود را از دست بدهند. از سوی دیگر، مدل فاقد درک واقعی از زمینه فردی، حقوقی یا پزشکی کاربر است و نمی‌تواند ظرافت‌ها و تفاوت‌های موقعیتی حیاتی برای تصمیم‌گیری را تشخیص دهد. در ادامه، این وضعیت، با فشار کاربران برای دریافت پاسخ‌های سریع و قطعی تشدید می‌شود؛ فشاری که مدل را به تولید جواب‌هایی ظاهراً نهایی سوق می‌دهد.

از سوی دیگر، مشکل زمانی حادتر می‌شود که این خروجی‌ها بدون هیچ‌گونه کنترل کیفی یا راستی‌آزمایی انسانی، وارد فرایند‌های رسمی سازمانی، حقوقی یا حرفه‌ای می‌شوند. در نهایت، به نظر می‌رسد که فقدان چارچوب حکمرانی روشن و دستورالعمل‌های مشخص برای استفاده از هوش مصنوعی در سازمان‌ها، زمینه را برای تداوم و بازتولید این خطا‌ها فراهم می‌کند.

جمع‌بندی

گاف‌های مدل‌های زبانی بزرگ از جمله چت‌جی‌پی‌تی پدیده‌های تصادفی یا گذرا نیستند، بلکه پیامد مستقیم ماهیت این فناوری و نحوه استقرار شتاب‌زده آن در ساختار‌های حرفه‌ای به شمار می‌روند. هوش مصنوعی مولد به‌گونه‌ای طراحی شده که «پاسخ محتمل» تولید کند و این پاسخ لزوماً همواره درست نیست؛ بنابراین هرجا که خروجی هوش مصنوعی بدون لایه‌های کنترلی وارد تصمیم‌سازی، داوری، درمان، قضاوت یا تعامل حساس با انسان شود، بروز خطا نه یک استثنا، بلکه امری قابل پیش‌بینی است.

در چنین شرایطی، سازمان‌ها، رسانه‌ها و نهاد‌هایی که از این ابزار استفاده می‌کنند، ناگزیر هستند میان دو مطالبه متعارض توازن برقرار کنند. کاربران شخصی و سازمانی از یک‌سو با سرعت، کاهش هزینه و افزایش بهره‌وری و از سوی دیگر مسئولیت حرفه‌ای، پاسخ‌گویی حقوقی و صیانت از اعتماد عمومی مواجه هستند.

در چنین شرایطی، راه‌حل نه کنارگذاشتن هوش مصنوعی و نه اعتماد بی‌قیدوشرط به آن است، بلکه استقرار یک چارچوب حکمرانی روشن برای استفاده از مدل‌های زبانی بزرگ و ابزار‌های مبتنی بر این فناوری است؛ چارچوبی که در آن، نقش انسان در راستی‌آزمایی و تصمیم نهایی حذف نشود، کاربرد‌ها بر اساس سطح ریسک طبقه‌بندی شوند و استفاده در حوزه‌های پرخطر با محدودیت‌های سخت‌گیرانه همراه باشد. در غیر این صورت، گاف بعدی صرفاً یک خطای فنی یا رسانه‌ای نخواهد بود، بلکه می‌تواند به بحرانی حقوقی، اعتباری یا حتی انسانی تبدیل شود که هزینه آن به‌مراتب بیش از صرفه‌جویی اولیه ناشی از استفاده از هوش مصنوعی خواهد بود.