نکات امنیتی استفاده از ChatGPT چیست؟

اولین بار که در یک پروژه‌ی سازمانی، با موردی مواجه شدم که یک کارمند، اطلاعات محرمانه‌ی مشتری را در ChatGPT وارد کرده بود، تازه فهمیدم که امنیت ChatGPT یک مسئله‌ی صرفاً فنی نیست؛ یک مسئله‌ی فرهنگی و سازمانی است. در آن پروژه، هیچ آسیب جدی رخ نداد، اما درس بزرگی بود: حتی بهترین ابزار امنیتی، نمی‌تواند جلوی خطای انسانی را بگیرد. امنیت ChatGPT، نیازمند ترکیبی از ابزارهای فنی، سیاست‌های سازمانی و آموزش کاربران است. این متن تلاش می‌کند این حوزه را در سطح مهندسی ارشد باز کند.

اگر با مفاهیم پایه آشنا نیستید، ابتدا ChatGPT چیست و چگونه از آن استفاده کنیم را مرور کنید. اگر با این مفاهیم راحتی دارید، این متن را می‌توانید بدون وقفه دنبال کنید.

منظور از امنیت ChatGPT چیست؟

امنیت ChatGPT، یک مفهوم چندبعدی است که شامل چندین سطح از ریسک می‌شود. سه دسته‌ی اصلی از ریسک‌ها وجود دارد.

دسته‌ی اول، ریسک‌های مرتبط با داده است. یعنی چه داده‌هایی به ChatGPT ارائه می‌شود، این داده‌ها چگونه ذخیره می‌شوند و آیا ممکن است برای آموزش مدل یا دسترسی دیگران استفاده شوند.

دسته‌ی دوم، ریسک‌های مرتبط با خروجی است. یعنی ChatGPT چه اطلاعاتی تولید می‌کند و آیا ممکن است این اطلاعات برای کاربر یا سازمان مضر باشد. مثلاً تولید کد ناامن یا اطلاعات نادرست که به تصمیم‌گیری نادرست منجر شود.

دسته‌ی سوم، ریسک‌های مرتبط با مدل است. یعنی خود مدل چه آسیب‌پذیری‌هایی دارد و آیا ممکن است با حملات خاص، به رفتار ناخواسته وادار شود. مثلاً prompt injection یا jailbreak.

در عمل، امنیت ChatGPT نیازمند رویکردی چندلایه است. یعنی ترکیبی از سیاست‌های سازمانی، ابزارهای فنی و آموزش کاربران. هیچ لایه‌ی واحدی نمی‌تواند تمام ریسک‌ها را پوشش دهد. برای درک دقیق‌تر از ساختار مدل، مدل‌های زبانی بزرگ و انقلاب آن‌ها را ببینید.

امنیت ChatGPT یک ویژگی نیست که بتوان خرید؛ یک فرآیند است که باید ساخت و نگهداری کرد.

خطر نشت داده در prompt

نشت داده در prompt، یکی از شایع‌ترین و جدی‌ترین ریسک‌های امنیتی ChatGPT است. این ریسک در سه سطح ظاهر می‌شود.

سطح اول، نشت اطلاعات محرمانه سازمانی است. کارمندانی که اطلاعات محرمانه مثل کد داخلی، استراتژی کسب‌وکار یا داده‌های مالی را در prompt وارد می‌کنند، در واقع این اطلاعات را از محیط امن سازمان خارج می‌کنند. اگر این اطلاعات برای آموزش مدل استفاده شوند، ممکن است در آینده در پاسخ به کاربران دیگر ظاهر شوند.

سطح دوم، نشت اطلاعات شخصی مشتریان است. در حوزه‌هایی مثل پشتیبانی مشتری، پزشکی و مالی، کارمندان ممکن است اطلاعات مشتریان را در prompt وارد کنند تا ChatGPT در تحلیل کمک کند. این اطلاعات ممکن است شامل نام، آدرس، شماره تماس، شماره کارت بانکی یا اطلاعات پزشکی باشد.

سطح سوم، نشت اطلاعات احراز هویت است. کارمندان ممکن است API key، رمز عبور یا توکن دسترسی را در prompt وارد کنند. اگرچه ChatGPT این اطلاعات را در آموزش استفاده نمی‌کند (در نسخه‌های enterprise)، اما هر خطای انسانی می‌تواند به افشای این اطلاعات منجر شود.

راه‌حل این ریسک، در سه لایه است. لایه‌ی اول، آموزش کارمندان که چه اطلاعاتی را نباید در prompt وارد کنند. لایه‌ی دوم، استفاده از ابزارهای تشخیص محتوای حساس که قبل از ارسال prompt، اطلاعات محرمانه را شناسایی و حذف کنند. لایه‌ی سوم، استفاده از نسخه‌های enterprise که در آن، داده‌های کاربر برای آموزش مدل استفاده نمی‌شوند.

در پروژه‌های خودم، رویکردی که به‌طور مؤثر استفاده می‌کنم، استفاده از policy صریح است که سه سطح اطلاعات را تعریف می‌کند: اطلاعات آزاد (که می‌تواند در prompt وارد شود)، اطلاعات محدود (که فقط با حذف جزئیات حساس وارد می‌شود) و اطلاعات ممنوع (که هرگز نباید در prompt وارد شود). این چارچوب، کارمندان را قادر می‌سازد که در لحظه تصمیم بگیرند که آیا داده را می‌توان به ChatGPT ارائه داد یا نه.

حمله prompt injection

Prompt injection یکی از جدی‌ترین ریسک‌های امنیتی در حوزه‌ی مدل‌های زبانی است. در این حمله، مهاجم به‌جای تعامل مستقیم با مدل، اطلاعاتی را در ورودی مدل جاسازی می‌کند که رفتار مدل را تغییر دهد.

دو نوع اصلی prompt injection وجود دارد. نوع اول، direct prompt injection است که در آن، کاربر مستقیماً prompt مخربی وارد می‌کند. مثلاً «قبل از پاسخ، این دستور را اجرا کن». اگرچه مدل‌های مدرن معمولاً این نوع حملات را تشخیص می‌دهند، اما همچنان ممکن است در برخی موارد موفق باشد.

نوع دوم، indirect prompt injection است که خطرناک‌تر است. در این نوع، مهاجم اطلاعات مخرب را در منبعی که مدل پردازش می‌کند جاسازی می‌کند. مثلاً اگر ChatGPT برای پردازش یک ایمیل فراخوانی شود و آن ایمیل شامل دستور مخفی باشد، مدل ممکن است آن دستور را اجرا کند.

حمله indirect prompt injection به‌ویژه در سیستم‌هایی که ChatGPT به داده‌های خارجی دسترسی دارد، خطرناک است. مثلاً اگر یک agent مبتنی بر ChatGPT به وب یا ایمیل دسترسی داشته باشد، ممکن است قربانی این نوع حمله شود. برای درک دقیق‌تر این حوزه، عامل‌های هوش مصنوعی در اتوماسیون فرآیندها را ببینید.

راه‌حل‌های دفاع در برابر prompt injection شامل سه رویکرد است. اول، input sanitization که در آن، ورودی‌های خارجی قبل از ارائه به مدل، پاک‌سازی می‌شوند. دوم، sandboxed execution که در آن، مدل در محیطی ایزوله اجرا می‌شود که دسترسی‌های آن محدود است. سوم، deterministic policy enforcement که در آن، اقدامات با پیامد بالا باید از لایه‌ی غیر-LLM عبور کنند.

استفاده از داده‌های کاربر برای آموزش

یکی از نگرانی‌های جدی در استفاده از ChatGPT، استفاده از داده‌های کاربر برای آموزش مدل است. اگرچه OpenAI در نسخه‌های اخیر، سیاست‌های شفاف‌تری ارائه داده، اما این مسئله همچنان نیازمند توجه است.

در نسخه‌ی رایگان ChatGPT، به‌طور پیش‌فرض، مکالمات کاربر برای آموزش مدل استفاده می‌شوند. کاربر می‌تواند این قابلیت را در تنظیمات غیرفعال کند، اما این کار نیازمند آگاهی از تنظیمات است.

در نسخه‌های پولی مثل Plus، به‌طور پیش‌فرض، مکالمات برای آموزش استفاده نمی‌شوند. اما کاربر باید این سیاست را در تنظیمات تأیید کند.

در نسخه‌های enterprise و API، داده‌های کاربر برای آموزش مدل استفاده نمی‌شوند. این ویژگی، سازمان‌ها را قادر می‌سازد که از ChatGPT برای پردازش داده‌های حساس استفاده کنند بدون نگرانی از نشت داده.

نکته‌ی مهم: حتی در نسخه‌های enterprise، داده‌ها ممکن است برای مدتی ذخیره شوند. این مدت، معمولاً ۳۰ روز است و برای تشخیص سوءاستفاده استفاده می‌شود. سازمان‌ها باید این سیاست‌ها را به‌طور دقیق بررسی کنند.

privacy فردی و حفاظت داده شخصی

در استفاده‌ی فردی، حفاظت از داده‌های شخصی یک مسئله‌ی جدی است. چهار نوع داده‌ی شخصی وجود دارد که نباید در ChatGPT وارد شود.

نوع اول، اطلاعات هویتی است: نام کامل، شماره ملی، شماره پاسپورت، آدرس دقیق. این اطلاعات می‌توانند برای سرقت هویت استفاده شوند.

نوع دوم، اطلاعات مالی است: شماره کارت بانکی، رمز، اطلاعات حساب، تراکنش‌ها. این اطلاعات می‌توانند برای کلاهبرداری مالی استفاده شوند.

نوع سوم، اطلاعات سلامتی است: سابقه‌ی پزشکی، داروها، تشخیص‌ها، اطلاعات بیمه. این اطلاعات، در برخی حوزه‌ها regulated هستند و می‌توانند برای تبعیض استفاده شوند.

نوع چهارم، اطلاعات اعتباری است: رمز عبور، API key، توکن دسترسی، کدهای امنیتی. این اطلاعات می‌توانند برای دسترسی غیرمجاز استفاده شوند.

راه‌حل‌های عملی شامل سه گام است. گام اول، استفاده از اطلاعات ساختگی یا ناشناس در prompt. مثلاً به‌جای نام واقعی، از placeholder استفاده شود. گام دوم، استفاده از featureهایی مثل temporary chat یا حذف تاریخچه که در نسخه‌های جدید وجود دارد. گام سوم، آموزش خودکار عادت‌های امنیتی، مثل بازبینی prompt قبل از ارسال.

امنیت سازمانی و انطباق

در سطح سازمانی، امنیت ChatGPT نیازمند رویکردی نظام‌مند است. سه گام اصلی وجود دارد.

گام اول، تعریف policy صریح است. سازمان باید مشخص کند که استفاده از ChatGPT در چه حوزه‌هایی مجاز است، چه اطلاعاتی نباید وارد شود و چه سطحی از بازبینی لازم است. این policy باید در قالب مستندات رسمی به کارمندان ارائه شود.

گام دوم، انتخاب نسخه‌ی مناسب است. سازمان‌ها باید بین نسخه‌ی رایگان، Plus، Team یا Enterprise انتخاب کنند. برای استفاده‌ی سازمانی، نسخه‌های Team یا Enterprise توصیه می‌شوند چون سیاست‌های حفاظت داده و کنترل مرکزی بهتری دارند.

گام سوم، پیاده‌سازی ابزارهای کمکی است. این ابزارها شامل DLP (Data Loss Prevention) برای تشخیص و حذف اطلاعات حساس، SSO برای مدیریت دسترسی، و ابزارهای logging برای ثبت فعالیت‌ها.

در پروژه‌های سازمانی، رویکردی که به‌طور مؤثر استفاده می‌کنم، ترکیب سه‌لایه است. لایه‌ی اول، استفاده از نسخه‌ی enterprise که سیاست‌های حفاظت داده قوی دارد. لایه‌ی دوم، پیاده‌سازی DLP برای تشخیص اطلاعات حساس در prompt. لایه‌ی سوم، آموزش مستمر کارمندان با تمرین‌های عملی. برای درک دقیق‌تر کاربردهای سازمانی، کاربردهای ChatGPT در کسب‌وکار چیست را ببینید.

انطباق با GDPR و قوانین ایران

انطباق با قوانین حفاظت داده، یکی از چالش‌های مهم در استفاده از ChatGPT است. سه دسته‌ی اصلی از قوانین وجود دارد.

دسته‌ی اول، GDPR اتحادیه‌ی اروپا است که برای هر سازمانی که با شهروندان اروپایی کار می‌کند، اعمال می‌شود. GDPR الزامات سختگیرانه‌ای برای استفاده از داده‌های شخصی دارد، از جمله رضایت صریح، حق حذف داده، و شفافیت در مورد استفاده از داده.

دسته‌ی دوم، قوانین ایالات متحده است که در سطح ایالتی و فدرال متفاوت است. در کالیفرنیا، CCPA (California Consumer Privacy Act) الزامات مشابه GDPR دارد. در سطح فدرال، قوانین بخشی مثل HIPAA برای داده‌های سلامتی وجود دارد.

دسته‌ی سوم، قوانین ایران است که در حال تحول است. در حال حاضر، قوانین صریح برای استفاده از AI و حفاظت داده در ایران در حال شکل‌گیری است. سازمان‌ها باید با مشاوران حقوقی مشورت کنند تا از انطباق مطمئن شوند.

نکته‌ی مهم: انطباق با قوانین، یک فرآیند مستمر است. قوانین در حال تحول هستند و سازمان‌ها باید به‌طور منظم سیاست‌های خود را بازبینی کنند.

بهترین رویکردهای امنیتی

برای استفاده‌ی امن از ChatGPT، مجموعه‌ای از رویکردها وجود دارد که در سطوح فردی و سازمانی مفید هستند.

رویکرد اول، استفاده از حداقل اطلاعات است. به‌جای ارائه‌ی اطلاعات کامل، فقط اطلاعات ضروری برای task ارائه شود. این رویکرد، که به آن data minimization گفته می‌شود، در GDPR نیز یکی از اصول اصلی است.

رویکرد دوم، ناشناس‌سازی اطلاعات است. به‌جای نام و اطلاعات دقیق، از placeholder یا اطلاعات ساختگی استفاده شود. این رویکرد، در promptهای نمونه‌ای بسیار مؤثر است.

رویکرد سوم، بازبینی قبل از ارسال است. قبل از ارسال prompt، یک بازبینی سریع برای اطلاعات حساس انجام شود. این عادت، به‌طور محسوسی ریسک نشت داده را کاهش می‌دهد.

رویکرد چهارم، استفاده از temporary chat است. در نسخه‌های اخیر ChatGPT، feature temporary chat اجازه می‌دهد که مکالمه در تاریخچه ذخیره نشود. این feature، برای پرسش‌های حساس مفید است.

رویکرد پنجم، حذف منظم تاریخچه است. اگر از temporary chat استفاده نمی‌کنید، حذف منظم تاریخچه می‌تواند ریسک را کاهش دهد.

رویکرد ششم، استفاده از حساب سازمانی است. اگر سازمانی هستید، از حساب سازمانی با سیاست‌های حفاظت داده استفاده کنید، نه حساب شخصی.

ابزارها و راهکارهای فنی

در سطح فنی، مجموعه‌ای از ابزارها می‌توانند امنیت استفاده از ChatGPT را بهبود بخشند.

ابزار اول، DLP (Data Loss Prevention) است. این ابزارها می‌توانند اطلاعات حساس را در prompt شناسایی و مسدود کنند. راه‌حل‌های DLP معمولاً الگوهای اطلاعات حساس مثل شماره کارت بانکی، شماره ملی و اطلاعات پزشکی را تشخیص می‌دهند.

ابزار دوم، proxy معکوس است. برخی سازمان‌ها از proxy معکوس بین کارمندان و ChatGPT استفاده می‌کنند تا تمام ترافیک را پایش و فیلتر کنند.

ابزار سوم، SIEM (Security Information and Event Management) است. این ابزارها می‌توانند تمام فعالیت‌های مربوط به ChatGPT را log و تحلیل کنند تا الگوهای مشکوک شناسایی شوند.

ابزار چهارم، ابزارهای audit compliance است. این ابزارها می‌توانند اطمینان دهند که استفاده از ChatGPT با سیاست‌های سازمانی و قوانین انطباق دارد.

در پروژه‌های سازمانی، ترکیب این ابزارها یک لایه‌ی دفاعی جامع ایجاد می‌کند. اما نکته‌ی مهم: هیچ ابزاری نمی‌تواند جایگزین آموزش کاربران و فرهنگ امنیتی شود. بهترین ابزار بدون کاربر آموزش‌دیده، کارایی محدودی دارد.

پرسش‌های پرتکرار درباره امنیت ChatGPT

آیا استفاده از ChatGPT امن است؟ بستگی به نحوه‌ی استفاده دارد. اگر اطلاعات حساس وارد نشود و از نسخه‌های مناسب استفاده شود، بله. اما اگر اطلاعات محرمانه یا شخصی وارد شود، ممکن است ریسک امنیتی داشته باشد.

آیا ChatGPT از اطلاعات من برای آموزش استفاده می‌کند؟ بستگی به نسخه دارد. در نسخه‌ی رایگان، به‌طور پیش‌فرض بله (با امکان غیرفعال‌سازی). در نسخه‌های پولی، به‌طور پیش‌فرض خیر. در نسخه‌های enterprise و API، هرگز. برای اطمینان، سیاست‌های OpenAI را در وب‌سایت رسمی بررسی کنید.

چگونه از نشت اطلاعات محرمانه جلوگیری کنیم؟ سه راهکار اصلی: اول، تعریف policy صریح که مشخص کند چه اطلاعاتی وارد نشود. دوم، پیاده‌سازی DLP برای تشخیص و مسدودسازی اطلاعات حساس. سوم، آموزش مستمر کارمندان با مثال‌های عملی.

آیا استفاده از ChatGPT برای داده‌های مشتریان قانونی است؟ بستگی به قوانین و سیاست‌های سازمان دارد. در حوزه‌های regulated مثل پزشکی و مالی، استفاده از ChatGPT برای داده‌های مشتریان نیازمند بررسی دقیق انطباق است. در حوزه‌های دیگر، باید رضایت مشتری و سیاست‌های حفاظت داده را در نظر گرفت.

چگونه سازمان‌ها می‌توانند از ChatGPT امن استفاده کنند؟ چهار گام: اول، استفاده از نسخه‌ی enterprise با سیاست‌های حفاظت داده. دوم، تعریف policy صریح. سوم، پیاده‌سازی DLP و ابزارهای monitoring. چهارم، آموزش مستمر کارمندان.

آیا حملات prompt injection در سطح کاربر عادی رخ می‌دهد؟ برای کاربر عادی که فقط از چت‌بات استفاده می‌کند، احتمال کم است. اما برای سیستم‌هایی که ChatGPT به داده‌های خارجی دسترسی دارد (مثل agentها یا ابزارهای اتوماسیون)، این حمله جدی است.

چگونه از مسائل اخلاقی و امنیتی مربوط به داده آموزشی جلوگیری کنیم؟ بستگی به کاربرد دارد. برای استفاده‌ی حرفه‌ای، استفاده از RAG با داده‌های سازمانی به‌جای تکیه بر دانش عمومی مدل، می‌تواند هم دقت و هم امنیت را افزایش دهد. برای درک دقیق‌تر، آیا اطلاعات ChatGPT قابل اعتماد است را ببینید.

آیا استفاده از ChatGPT برای داده‌های حساس در پروژه‌های تحقیقاتی امن است؟ بستگی به سیاست‌های سازمان و قوانین محلی دارد. در بسیاری از دانشگاه‌ها و مؤسسات تحقیقاتی، استفاده از ChatGPT برای داده‌های حساس محدود شده است. جایگزین‌هایی مثل مدل‌های open-source که locally اجرا می‌شوند، ممکن است گزینه‌ی بهتری باشند.

سنتز نهایی: امنیت چندلایه

پس از چند سال کار با ChatGPT در پروژه‌های مختلف، سه نتیجه‌گیری برای من روشن است. اول، امنیت ChatGPT یک مسئله‌ی چندلایه است. هیچ ابزار، سیاست یا آموزشی به‌تنهایی کافی نیست. ترکیب این سه لایه، بهترین دفاع را ایجاد می‌کند. برای مطالعه‌ی مفاهیم پایه، می‌توانید ChatGPT را در ویکی‌پدیا دنبال کنید.

دوم، خطای انسانی بزرگ‌ترین ریسک است. حتی بهترین ابزار فنی، نمی‌تواند جلوی کارمندی را بگیرد که اطلاعات محرمانه را در prompt وارد می‌کند. آموزش و فرهنگ امنیتی، بخش جدایی‌ناپذیر از استراتژی امنیت ChatGPT است.

سوم، مسائل حقوقی و انطباق در حال تحول هستند. قوانین جدید در حال شکل‌گیری هستند و سازمان‌ها باید به‌طور منظم سیاست‌های خود را بازبینی کنند. مشاوره‌ی حقوقی تخصصی در این حوزه، سرمایه‌گذاری ارزشمندی است. اگر تجربه‌ای از مسائل امنیتی ChatGPT دارید — چه موفق، چه چالشی — تجربه‌تان را بنویسید. جزئیات آن سناریو، برای متخصصان دیگری که همین مسیر را طی می‌کنند، ارزشمند است.