هوش مصنوعی دانش‌محور (RAG)
دانش سازمان را از میان اسناد و منابع پراکنده بیرون میکشیم و در اختیار هوش مصنوعی قرار میدهیم تا پاسخ‌ها بر پایه اطلاعات واقعی سازمان شکل بگیرند.
این خدمت چیست؟
هوش مصنوعی دانش‌محور (Retrieval-Augmented Generation یا RAG) روشی برای ترکیب مدل‌های زبانی بزرگ با منابع اطلاعاتی و دانش اختصاصی سازمان است. در این معماری، اطلاعات سازمان از منابع مختلف جمع‌آوری و آماده‌سازی می‌شوند و هنگام پرسش کاربر، بخش‌های مرتبط از این منابع بازیابی و در اختیار مدل زبانی قرار می‌گیرند تا پاسخ بر اساس اطلاعات مرتبط تولید شود. RAG می‌تواند به اسناد، دستورالعمل‌ها، آیین‌نامه‌ها، پایگاه‌های دانش، گزارش‌ها، صفحات داخلی و سایر منابع اطلاعاتی متصل شود و آن‌ها را به یک لایه دانش قابل استفاده برای کاربران و سامانه‌های هوشمند تبدیل کند.
به زبان سادهبه زبان ساده، RAG مثل یک کتابخانه هوشمند در کنار مدل زبانی عمل می‌کند. وقتی کاربر سوالی می‌پرسد، سیستم ابتدا در منابع سازمان جست‌وجو می‌کند، اطلاعات مرتبط را پیدا می‌کند و سپس آن اطلاعات را در اختیار مدل قرار می‌دهد تا پاسخ تولید شود. به این ترتیب، پاسخ می‌تواند بر اساس اسناد و دانش واقعی سازمان شکل بگیرد، بدون اینکه لازم باشد تمام اطلاعات سازمان داخل خود مدل آموزش داده شود.
چه مسئله‌هایی را پوشش می‌دهد؟
پراکندگی دانش سازمانی
اطلاعات در فایل‌ها، دستورالعمل‌ها، سامانه‌ها و پایگاه‌های مختلف پراکنده است. RAG این منابع را در یک لایه قابل جست‌وجو و استفاده قرار می‌دهد.
جست‌وجوی زمان‌بر در اسناد
پیدا کردن یک پاسخ در میان هزاران صفحه سند می‌تواند زمان زیادی بگیرد. RAG اطلاعات مرتبط را پیدا کرده و در قالب یک پاسخ قابل فهم ارائه می‌کند.
پاسخ‌های عمومی و نامرتبط مدل‌های زبانی
مدل عمومی ممکن است دانش تخصصی سازمان را نداشته باشد. RAG اطلاعات مرتبط سازمان را هنگام پاسخ‌گویی در اختیار مدل قرار می‌دهد.
دشواری دسترسی به دانش تخصصی
کارشناسان برای پاسخ به بسیاری از سوالات باید به دستورالعمل‌ها و مستندات مختلف مراجعه کنند. دستیار دانش‌محور می‌تواند این مسیر را کوتاه‌تر کند.
مسیر همکاری
هر مرحله خروجی دارد؛ بدون خروجی، مرحله بعد را شروع نمی‌کنیم.
- ۱
شناسایی منابع دانشاسناد، پایگاه‌های اطلاعاتی، دستورالعمل‌ها و سایر منابع قابل استفاده شناسایی و بررسی می‌شوند.
- ۲
آماده‌سازی و ساخت پایگاه دانشاطلاعات پاک‌سازی، دسته‌بندی و به قطعات مناسب برای بازیابی تبدیل می‌شوند و ساختار پایگاه دانش طراحی می‌شود.
- ۳
طراحی و پیاده‌سازی RAGروش بازیابی، مدل زبانی، Embedding، جست‌وجو و نحوه تولید پاسخ طراحی و پیاده‌سازی می‌شوند.
- ۴
ارزیابی و بهبودپاسخها با سناریوهای واقعی ارزیابی شده و کیفیت بازیابی، دقت پاسخ و ارتباط آن با منابع بهبود داده می‌شود.
چطور کمک می‌کنیم؟
- ۱تحلیل منابع دانش سازمان
- ۲طراحی معماری RAG
- ۳آماده‌سازی و پاک‌سازی اسناد
- ۴استخراج و ساختاردهی اطلاعات
- ۵طراحی فرآیند Chunking
- ۶انتخاب و استفاده از مدل‌های Embedding
- ۷پیاده‌سازی جست‌وجوی معنایی
- ۸طراحی Hybrid Search
- ۹اتصال LLM به پایگاه دانش
- ۱۰طراحی پاسخ‌های مبتنی بر منبع
- ۱۱ارزیابی کیفیت بازیابی و پاسخ
- ۱۲اتصال سامانه به منابع و سیستم‌های سازمان
شامل چه چیزهایی است؟
- دریافت اطلاعات از منابع مختلف
- پردازش و آماده‌سازی اسناد
- استخراج متن و اطلاعات
- Chunking و Metadata
- Embedding و Vector Search
- جست‌وجوی معنایی
- Hybrid Search در صورت نیاز
- Reranking نتایج
- اتصال به LLM
- تولید پاسخ مبتنی بر منابع
- نمایش منبع و ارجاع پاسخ
- مدیریت دسترسی به اطلاعات
- پایش کیفیت و عملکرد سیستم
خروجی محصول- دستیار هوشمند دانش سازمانی
- سیستم پرسش و پاسخ مبتنی بر اسناد
- جست‌وجوی هوشمند در منابع سازمان
- پاسخ‌های متناسب با دانش داخلی
- دسترسی سریع‌تر کاربران به اطلاعات مورد نیاز
خروجی فنی- معماری RAG
- پایگاه دانش
- Vector Database یا موتور جست‌وجوی مناسب
- Pipeline پردازش و به‌روزرسانی اسناد
- سرویس‌های Embedding و Retrieval
- اتصال به LLM
- APIهای سامانه
- سیستم ارزیابی و پایش کیفیت
- مستندات فنی و معماری
خروجی بهره‌برداری- دستیار آماده استفاده کاربران
- فرآیند افزودن و به‌روزرسانی دانش
- راهنمای استفاده
- آموزش کاربران و مدیران سامانه
- شاخص‌های ارزیابی کیفیت پاسخ
- فرآیند مدیریت منابع و دسترسی‌ها
- انتقال دانش به تیم داخلی
معمولاً شامل این‌ها نیست
- آموزش کامل یک مدل زبانی از صفر
- تضمین صحت پاسخ در صورت وجود منابع نادرست یا ناقص
- جایگزینی فرآیند مدیریت اسناد سازمان
- ورود خودکار تمام اطلاعات سازمان بدون بررسی کیفیت و سطح دسترسی
- دسترسی مدل به اطلاعات حساس بدون تعریف سیاست‌های امنیتی
- ایجاد یک چت‌بات ساده بدون طراحی لایه دانش و بازیابی
مدل همکاری و شروع کار
نتایجی که معمولاً دنبال می‌کنیم
- کاهش زمان جست‌وجوی اطلاعات
- دسترسی سریع‌تر به دانش سازمانی
- افزایش بهره‌وری کارشناسان
- کاهش وابستگی به جست‌وجوی دستی در اسناد
- ارائه پاسخ‌های مبتنی بر منابع سازمان
- افزایش قابلیت استفاده از دانش پراکنده
- ایجاد زیرساخت مناسب برای دستیارهای هوشمند سازمانی
سوالات متداول این خدمت
آیا برای استفاده از RAG باید مدل زبانی اختصاصی بسازیم؟
خیر. RAG می‌تواند روی مدل‌های زبانی موجود اجرا شود و اطلاعات اختصاصی سازمان را هنگام پاسخ‌گویی در اختیار مدل قرار دهد.
تفاوت RAG با آموزش مدل چیست؟
در RAG، اطلاعات مورد نیاز هنگام پاسخ‌گویی از منابع خارجی بازیابی می‌شود؛ اما در آموزش تکمیلی، پارامترهای مدل با داده‌های جدید تنظیم می‌شوند. برای دانش سازمانی که مرتب تغییر می‌کند، RAG در بسیاری از سناریوها گزینه مناسبی است.
آیا RAG می‌تواند منبع پاسخ را هم نمایش دهد؟
بله. می‌توان سیستم را طوری طراحی کرد که منابع استفاده‌شده، سند مرتبط یا بخش مربوط به اطلاعات را همراه پاسخ نمایش دهد.
آیا می‌توان دسترسی کاربران به اسناد را کنترل کرد؟
بله. سطح دسترسی می‌تواند در فرآیند بازیابی لحاظ شود تا هر کاربر فقط اطلاعاتی را دریافت کند که مجاز به مشاهده آن است.
آیا RAG فقط برای فایل‌های PDF کاربرد دارد؟
خیر. بسته به معماری، می‌توان منابعی مانند فایل‌های متنی، صفحات داخلی، پایگاه‌های داده، مستندات، ویکی سازمانی و سایر منابع ساختاریافته و غیرساختاریافته را وارد سامانه کرد.
آیا اطلاعات RAG به‌صورت خودکار به‌روز می‌شود؟
می‌توان فرآیندهایی برای دریافت، پردازش و به‌روزرسانی خودکار منابع طراحی کرد تا با تغییر اسناد، پایگاه دانش نیز به‌روز شود.
