پیش‌نیازها
فهرست منابع دانش با مالک مشخص، سیاست محرمانگی، تعیین محل اجرای مدل (ابری یا داخلی) و مجموعه‌ای از پرسش‌های واقعی برای ارزیابی.
مسئله را از دانش شروع کنید، نه از مدل
بیشتر شکست‌های RAG از کیفیت داده می‌آید: اسناد تکراری، نسخه‌های منسوخ و مجوز دسترسی نامشخص. پیش از انتخاب مدل، فهرست منابع، مالک هر منبع، دورهٔ به‌روزرسانی و سطح محرمانگی را مشخص کنید.
- فهرست منابع و مالکان
- طبقه‌بندی محرمانگی و نقش‌های مجاز
- تعیین تازگی لازم هر منبع
معماری پیشنهادی
لایه‌ها: دریافت و پاک‌سازی اسناد، قطعه‌بندی با حفظ ساختار، نمایه‌سازی (متنی و برداری)، بازیابی با فیلتر دسترسی کاربر، تولید پاسخ با ارجاع به منبع و لایهٔ ارزیابی. مهم‌ترین اصل: کنترل دسترسی باید هنگام بازیابی اعمال شود، نه صرفاً در پرامپت.
عامل را فقط جایی اضافه کنید که کار چندمرحله‌ای است (مثلاً بازیابی، تصمیم و اقدام)؛ برای پرسش‌وپاسخ ساده یک خط لولهٔ ثابت قابل‌اعتمادتر است. چارچوب‌هایی مثل LangGraph اجرای بادوام و تأیید انسانی را مستند کرده‌اند و ابزار «جست‌وجوی فایل» در APIهای ارائه‌دهندگان هست؛ انتخاب بین آن‌ها تصمیم مهندسی با داده و آزمون خودتان است.
- دریافت و پاک‌سازی
- قطعه‌بندی و فراداده (مالک، نسخه، سطح دسترسی)
- نمایه‌سازی ترکیبی
- بازیابی با فیلتر نقش
- تولید پاسخ با ارجاع
- ثبت لاگ و ارزیابی
فارسی و کیفیت
نرمال‌سازی نویسه‌ها (ی/ي، ک/ك، نیم‌فاصله و ارقام فارسی و عربی) را در دریافت و جست‌وجو یکسان کنید. کیفیت مدل و مدل نمایهٔ برداری برای فارسی را با مجموعهٔ آزمون خودتان بسنجید؛ هیچ عدد بنچمارک کلی را معیار تصمیم نگیرید.
- ساخت ۵۰ تا ۲۰۰ پرسش واقعی با پاسخ مرجع
- سنجش صحت، ارجاع درست و امتناع از پاسخ بی‌منبع
- تکرار پس از هر تغییر مدل یا نمایه
امنیت و حاکمیت
مهم‌ترین ریسک‌ها: تزریق دستور از اسناد، نشت بین نقش‌ها، ارسال داده به مدل ابری و اجرای ابزار بدون تأیید. کنترل‌ها: فیلتر دسترسی در بازیابی، جداسازی متن سند از دستور، محدودکردن ابزارها، تأیید انسانی برای اقدام‌های نوشتنی، ثبت لاگ و ارزیابی دوره‌ای.
- آزمون تزریق دستور با اسناد مخرب نمونه
- آزمون نشت بین نقش‌ها
- سیاست نگهداری لاگ و داده
آماده‌سازی برای تولید
با یک حوزهٔ محدود و کاربران مشخص شروع کنید، معیار پذیرش بنویسید (مثلاً درصد پاسخ‌های درست با ارجاع) و مسیر ارجاع به انسان داشته باشید. هزینه به حجم داده، تعداد پرسش، انتخاب مدل و زیرساخت بستگی دارد؛ هیچ رقم کلی ارائه نمی‌شود.
- انتخاب یک حوزهٔ محدود
- تعریف معیار پذیرش
- پایلوت با گروه کوچک
- بازخورد و بازبینی
نکات امنیتی
کنترل دسترسی در لایهٔ بازیابی، ایزوله‌سازی متن اسناد از دستورها، لاگ و تأیید انسانی برای اقدام‌های حساس. این راهنما طراحی پیشنهادی است و تضمین امنیتی نیست.