# Kế hoạch rollout pilot RAG

## 1. Mục tiêu rollout

- Đưa RAG từ mức thử nghiệm sang mức dùng được hằng ngày trên phạm vi hẹp.
- Kiểm chứng cách 5 luồng dữ liệu ưu tiên phối hợp với nhau:
  - hồ sơ công trình,
  - manifest và gap analysis,
  - nhật ký nhân sự,
  - con người và vai trò,
  - điều hành dự án.
- Ưu tiên trả lời được các câu hỏi thực dụng:
  - công trình hiện có những hồ sơ nào,
  - còn thiếu những gì,
  - ai đang phụ trách,
  - việc nào đang làm, sắp tới và có rủi ro gì.
- Tạo căn cứ rõ để quyết định:
  - mở rộng pilot,
  - giữ phạm vi hiện tại để sửa chất lượng,
  - hoặc tạm dừng một phần rollout.

## 2. Phạm vi pilot

### Trong phạm vi

- Pilot nhỏ trên 1-2 công trình có nhu cầu tra cứu thật.
- Dùng tài liệu đã chuẩn hóa trong `docs/` làm lớp kiểm soát rollout.
- Bám 3 ưu tiên đã chốt trong `docs/next-steps-five-data-flows.md`:
  - thay dữ liệu demo bằng dữ liệu thật,
  - vận hành ổn định như hệ thống nội bộ dùng hằng ngày,
  - workflow AI nghiệp vụ ngắn gọn, thực dụng, có thể kiểm chứng.
- Bao phủ tối thiểu 3 nhóm use case:
  - tra cứu hồ sơ công trình,
  - kiểm tra hồ sơ đã có và còn thiếu qua manifest/gap analysis,
  - theo dõi task, milestone, risk, timeline ở mức điều hành dự án.

### Ngoài phạm vi

- Mở rộng toàn bộ công ty trong đợt đầu.
- Tự động hóa hoàn toàn mọi bước chuẩn hóa hồ sơ.
- Cam kết AI trả lời đúng cho dữ liệu chưa ingest hoặc chưa được kiểm soát.
- Thay thế hoàn toàn bước xác nhận thủ công của đội vận hành.

## 3. Tập dữ liệu và use case pilot

| Nhóm | Nội dung pilot | Mục đích |
| --- | --- | --- |
| Hồ sơ công trình | hồ sơ pháp lý, hợp đồng, kỹ thuật, nghiệm thu, thanh toán | tạo lớp tri thức lõi để retrieval dùng được |
| Manifest và gap analysis | hồ sơ đã có, còn thiếu, readiness, next action | kiểm soát chất lượng và giải thích vì sao thiếu |
| Điều hành dự án | project, milestone, task, risk, timeline event | hỗ trợ theo dõi tiến độ và rủi ro vận hành |
| Con người và vai trò | đầu mối phụ trách, bộ phận, vai trò | hỗ trợ phân vai, giao việc, escalation |
| Nhật ký nhân sự | log dùng thật, lỗi thật, phản hồi thật | tạo vòng lặp cải tiến ngắn |

## 4. Giai đoạn triển khai

### Giai đoạn 1 - Chốt phạm vi và dữ liệu pilot

- Chọn 1-2 công trình có nhu cầu thật trong 2 tuần gần nhất.
- Chốt đầu mối phụ trách cho từng nhóm:
  - hồ sơ công trình,
  - ingest/metadata,
  - điều hành dự án,
  - xác nhận kết quả pilot.
- Phân loại tài liệu thành 3 mức:
  - sẵn sàng ingest,
  - cần chuẩn hóa thêm,
  - chỉ dùng tham chiếu.
- Đồng bộ thuật ngữ với:
  - `workflow.md`,
  - `docs/knowledge-taxonomy.md`,
  - `docs/next-steps-five-data-flows.md`.

**Điều kiện qua giai đoạn**
- Có danh sách công trình pilot rõ ràng.
- Có danh sách tài liệu và use case kiểm thử cho từng công trình.
- Không còn lẫn giữa dữ liệu tri thức và dữ liệu vận hành.

### Giai đoạn 2 - Ingest có kiểm soát

- Ingest theo lô nhỏ, ưu tiên:
  - hồ sơ công trình,
  - manifest và gap analysis,
  - dữ liệu điều hành dự án thật.
- Giữ metadata lõi nhất quán để lọc và truy vết:
  - công trình,
  - loại tài liệu,
  - giai đoạn,
  - nguồn,
  - trạng thái draft/final nếu có.
- Sau mỗi đợt ingest, kiểm tra:
  - truy xuất có ra đúng tài liệu không,
  - metadata có đủ để lọc không,
  - dữ liệu điều hành có map đúng dự án, nhân sự, timeline không.

**Điều kiện qua giai đoạn**
- Mỗi công trình pilot có ít nhất một bộ hồ sơ truy xuất được.
- Manifest/gap analysis phản ánh đúng tình trạng đã có và còn thiếu.
- Điều hành dự án đọc được các thực thể cốt lõi: task, milestone, risk, timeline.

### Giai đoạn 3 - Dùng thật trên việc thật

- Cho nhóm pilot dùng hệ thống trên các tác vụ phát sinh thật.
- Ưu tiên câu hỏi thuộc 3 nhóm:
  - tìm hồ sơ theo công trình/gói thầu/loại hồ sơ,
  - kiểm tra thiếu hồ sơ và bước tiếp theo,
  - theo dõi tiến độ, việc sắp tới, rủi ro đang mở.
- Ghi nhận lỗi theo 3 nhóm nguyên nhân:
  - lỗi dữ liệu,
  - lỗi cách hỏi,
  - lỗi chất lượng AI/RAG.

**Điều kiện qua giai đoạn**
- Có log câu hỏi thật và kết quả kiểm tra lại.
- Có thể tách rõ lỗi do kho dữ liệu với lỗi do truy xuất hoặc do người dùng hỏi chưa chuẩn.

### Giai đoạn 4 - Đánh giá và quyết định rollout tiếp

- Tổng hợp kết quả pilot theo:
  - giá trị sử dụng,
  - điểm nghẽn dữ liệu,
  - điểm nghẽn ingest,
  - điểm nghẽn điều hành.
- Xếp ưu tiên sửa theo mức ảnh hưởng đến:
  - thanh toán,
  - quyết toán,
  - kiểm toán,
  - điều hành tiến độ.
- Chốt quyết định:
  - mở rộng thêm công trình,
  - giữ pilot để làm sạch dữ liệu,
  - hoặc tách riêng một luồng cần sửa sâu hơn.

**Điều kiện hoàn tất pilot**
- Có kết luận ngắn, có số đo cơ bản và có next action rõ cho vòng tiếp theo.

## 5. Tiêu chí chấp nhận

### Tiêu chí nghiệp vụ

- Trả lời được các câu hỏi cơ bản:
  - công trình hiện có hồ sơ nào,
  - còn thiếu gì,
  - ai phụ trách,
  - việc nào đang làm,
  - milestone hoặc risk nào cần chú ý.
- Mỗi câu trả lời quan trọng phải lần được về nguồn tương ứng:
  - hồ sơ công trình,
  - manifest/gap analysis,
  - dữ liệu điều hành dự án.
- Không trộn lẫn thông tin giữa các công trình hoặc giữa dữ liệu demo và dữ liệu thật.

### Tiêu chí dữ liệu

- Hồ sơ công trình và manifest/gap analysis có metadata tối thiểu đủ dùng.
- Dữ liệu điều hành dự án giữ đúng quan hệ giữa:
  - dự án,
  - công ty,
  - nhân sự,
  - task,
  - milestone,
  - risk,
  - timeline event.
- Phân biệt được tài liệu nháp và tài liệu chính thức nếu nguồn có đủ dấu hiệu.

### Tiêu chí vận hành

- Có checklist trước và sau ingest.
- Có người xác nhận kết quả cho từng đợt pilot.
- Có log lỗi ngắn, có phân loại nguyên nhân và có trạng thái xử lý.
- Người dùng pilot biết khi nào nên tin kết quả và khi nào phải kiểm tra thủ công.

## 6. Rủi ro chính

| Rủi ro | Tác động | Cách giảm thiểu |
| --- | --- | --- |
| Hồ sơ công trình chưa sạch | retrieval sai hoặc thiếu ngữ cảnh | ingest theo lô nhỏ, kiểm tra ngay sau mỗi lô |
| Manifest/gap analysis không cập nhật | hệ thống tưởng đủ hồ sơ khi thực tế còn thiếu | dùng manifest và gap analysis như nguồn kiểm soát bắt buộc |
| Metadata không nhất quán | khó lọc, khó truy vết, dễ lẫn công trình | bám taxonomy chung và rà metadata trước khi ingest |
| Dữ liệu điều hành map sai quan hệ | dashboard và tóm tắt điều hành sai | kiểm tra chéo dự án, nhân sự, milestone, task, risk trước khi dùng thật |
| Người dùng hỏi quá mơ hồ | khó tách lỗi dữ liệu với lỗi truy xuất | hướng dẫn hỏi theo công trình, gói thầu, loại hồ sơ, giai đoạn |
| Kỳ vọng rollout quá rộng | pilot kéo dài nhưng khó kết luận | giữ phạm vi hẹp, chỉ đo các use case đang phát sinh thật |

## 7. Next action ưu tiên

1. Chốt 1-2 công trình pilot có nhu cầu thật và có người xác nhận kết quả.
2. Hoàn tất chuẩn hóa cụm hồ sơ công trình mẫu và tài liệu điều hành dự án đang ưu tiên trong `docs/`.
3. Chốt bộ câu hỏi kiểm thử ngắn cho 3 nhóm:
   - tra cứu hồ sơ,
   - kiểm tra thiếu hồ sơ,
   - theo dõi tiến độ và rủi ro.
4. Ingest theo thứ tự ưu tiên:
   - hồ sơ công trình,
   - manifest/gap analysis,
   - dữ liệu điều hành dự án.
5. Ghi log lỗi hằng ngày và phân loại theo:
   - dữ liệu,
   - cách hỏi,
   - AI/RAG.
6. Cuối vòng pilot, so sánh kết quả để quyết định mở rộng hay quay lại xử lý chất lượng dữ liệu.

## 8. Cách dùng tài liệu này

- Dùng file này để điều phối rollout pilot ở mức quản lý ngắn gọn.
- Không dùng thay cho manifest, ingest plan hay tài liệu taxonomy chi tiết.
- Đọc cùng:
  - `docs/next-steps-five-data-flows.md`,
  - `workflow.md`,
  - các tài liệu manifest/gap analysis của công trình pilot.
- Khi đổi phạm vi pilot hoặc thứ tự rollout, cập nhật lại file này trước khi ingest vòng tiếp theo.