English:
This is a compilation of notebooks about Retrieval Augmented Generation (RAG); in which LlamaIndex will be used as an orchestrator for Llama 3 to understand documents. The questions are in Vietnamese; the documents are written in either Vietnamese or English.
There would be 3 parts for our analysis:
- Native RAG system;
- Pre-retrieval and in-retrieval optimization for RAG;
- Post-retrieval optimization for RAG (using ColBERT reranker).
Notes: Our analysis was done with financial documents and novels, but you could use it for other documents as you want!
Tiếng Việt:
Đây là tuyển tập về các notebooks về Retrieval Augmented Generation (RAG). Trong các notebook này, LlamaIndex được sử dụng là thư viện chính để giúp cho LLM (Llama 3 trong trường hợp này) hiểu về các tài liệu mới. Câu hỏi được đặt bằng tiếng Việt, cho những tài liệu viết bằng tiếng Việt hoặc tiếng Anh.
Trong thư mục này sẽ có 3 phần chính:
- Mô hình RAG cơ bản;
- Các biện pháp tối ưu hóa trước và trong khi tìm dữ liệu cho RAG;
- Các biện pháp tối ưu hóa sau khi tìm dữ liệu cho RAG (sử dụng ColBERT LLM).
Lưu ý: Phép phân tích trong ví dụ trên được thực hiện với báo cáo tài chính và tiểu thuyết, nhưng các bạn có thể sử dụng notebook trên cho bất kì tài liệu mong muốn!