Perluasan korpus pengetahuan chatbot — persiapan demo 28 Agustus

Tanggal: 2026-08-22 · Sasaran: demo hands-on 28 Agustus (peserta: Notaris & masyarakat umum)
Lingkup: data-only. Tidak ada perubahan kode aplikasi, tidak ada deploy, tidak bentrok dengan
pekerjaan conversation "Main" (3 bug: rate-limit per IP, tombol Lampirkan, panel Sumber).

1. Ringkasan

Korpus naik dari 800 → 1.054 chunk. Domain Fidusia yang sebelumnya nol artikel
buatan sendiri kini punya 9 artikel. Enam pertanyaan demo wajib semuanya terjawab, dan 16
pertanyaan baru yang sebelumnya gagal kini terjawab.

Di tengah pengujian ditemukan tiga cacat di luar korpus yang membuat artikel bagus pun
tidak sampai ke pengguna. Ketiganya diperbaiki tanpa deploy:

1. Passage 600 karakter. compose.ts:66 memotong setiap passage hasil retrieval ke 600
   karakter. Artikel 2.000 karakter hanya sampai 600 karakter pertama ke model — inilah
   sebab jawaban "2 dari 8 alasan". Diperbaiki dari sisi korpus dengan memecah artikel.
2. Input guard menolak Perkumpulan/Apostille/Kewarganegaraan, dan "PT Perorangan"
   dianggap nama perusahaan spesifik. Diperbaiki lewat custom_allow_topics di policy.
3. Planner tidak memanggil tool untuk sebagian frasa. Diperbaiki lewat
   l2_plan_rules.additional_instructions.

2. Jumlah artikel / chunk — sebelum vs sesudah

Total koleksi Milvus ahu_chunks

guide tidak disentuh sama sekali.

generated-help per set

Kenaikan chunk pada gen/gen2/gen3 bukan penambahan fakta — itu artikel lama yang
dipecah agar muat anggaran 600 karakter (§4). Isinya identik, hanya dialirkan ulang.

gen4_* per domain (34 artikel → 160 chunk)

3. Provenance — fakta & file sumbernya

Semua read-only di ~/remote-development/ahu-codebase. Tidak ada file yang diubah di sana.

Fidusia — ahu-fidusia

SABH / PT — ahu-online/protected/modules/sabh

Yayasan & Perkumpulan

PT Perorangan — ahu-ptp/pp-be

Apostille — ahu-apostille

Kewarganegaraan — ahu-kewarganegaraan

Kenotariatan — ahu-online/protected/modules/notariat_baru

PNBP

4. Temuan di luar korpus (diperbaiki, tanpa deploy)

4a. Passage dipotong 600 karakter — penyebab utama jawaban tanggung

apps/public-web/src/lib/orchestrator/steps/compose.ts:66

passages.slice(0, 5).forEach((p, i) => {
  blocks.push(`[RAG-${i + 1}] (skor ...) ${(p.text ?? "").slice(0, 600)}`);
});

Artikel 2.159 karakter tentang penolakan voucher hanya sampai 600 karakter pertama —
persis 2 dari 8 alasan, sama seperti jawaban yang keluar. Retrieval-nya benar
(gen4_pnbp_status_voucher_0 peringkat 1, skor 0,8595) — yang hilang ada di potongan
yang tidak pernah dilihat model.

Perbaikan sisi korpus (chunk_split.py): artikel ditulis normal lalu dipecah menjadi
chunk bersaudara <doc_id>_0.._N yang masing-masing muat. Tiap bagian membawa judul
artikel (dan penanda [FLOW:] bila ada) supaya tetap bermakna sendiri. Bagian-bagian itu
bersaing sendiri-sendiri untuk 5 slot, jadi yang paling relevan dengan pertanyaan yang
menang. resplit_corpus.py menerapkan hal sama ke gen/gen2/gen3.

Kalau angka 600 di compose.ts suatu saat dinaikkan, naikkan PART_MAX di
chunk_split.py lalu jalankan ulang kedua builder + resplit_corpus.py.

4b. Input guard menolak domain baru — dan menolak "PT Perorangan"

apps/public-web/src/lib/orchestrator/guards/categories.ts:53-65 mendaftar
perseroan|yayasan|fidusia|notaris tapi tidak perkumpulan|apostille|kewarganegaraan.
Pertanyaan yang hanya memakai kata itu jatuh ke cabang terakhir
if (!allowRe.test(message)) di guards/input-patterns.ts:37 dan ditolak sebelum
retrieval jalan.

Lebih parah: pola blokir pt_specific /\bPT\s+[A-Z][A-Za-z]+/
(categories.ts:100-105) cocok dengan "PT Perorangan". Jadi pertanyaan PT Perorangan
yang kebetulan tidak memuat kata izin lain — mis. "Apa saja yang bisa diubah pada PT
Perorangan?" — ditolak sebagai pencarian perusahaan tertentu. Pertanyaan demo #1 selamat
hanya karena mengandung "Bagaimana"/"cara".

Perbaikan: 37 allow-topic ditambahkan lewat l1_input_guard.custom_allow_topics
(field yang memang admin-configurable) → tanpa ubah kode.

4c. Planner kadang tidak memanggil tool apa pun

"Berapa lama masa berlaku hak akses akun fidusia untuk korporasi?" → dijawab
"kebijakan teknis internal", 0,7 detik, tanpa retrieval. Frasa nyaris identik
"Masa berlaku hak akses akun fidusia korporasi berapa lama?" → dijawab benar, 3,1 detik.

Perbaikan: aturan routing ditambahkan ke l2_plan_rules.additional_instructions.

Keamanan — tidak ada regresi

Guard L4 (allowed tables, disallowed columns, k-anonymity) tidak disentuh. Setelah
setiap perubahan policy, probe PII/entitas diuji ulang dan semuanya tetap ditolak:

Rollback policy ada di header policy_allow_topics_demo28.js.

Catatan: policy ditulis langsung ke SQLite

Karena saya tidak punya password staf, policy ditulis langsung ke /data/policy.sqlite,
jadi tidak ada baris audit yang mencatat siapa yang mengubah — sama seperti kasus
mode demo. Kalau atribusi perlu tercatat, terapkan ulang daftar yang sama lewat Konsol
Admin.

5. Insiden saat pengerjaan (sudah pulih penuh)

Saat menjalankan prune pertama kali, filter chunk_id like "gen_%" didorong ke Milvus.
Di SQL/Milvus LIKE, underscore adalah wildcard satu karakter, jadi gen_% juga cocok
dengan gen2_, gen3_, dan gen4_ — 191 chunk terhapus, termasuk seluruh gen4.

Pemulihan langsung di detik itu juga: gen2/gen3 memang sedang di-ingest ulang dalam
perintah yang sama, dan gen4 di-ingest ulang dari file sumber. Sensus akhir mengonfirmasi
297 chunk generated-help (40+79+18+160) dan 757 chunk guide utuh — tidak ada kehilangan
data. Backup penuh 800 chunk sudah diambil sebelum pekerjaan dimulai dan tersimpan di
~/backups/ahu-ai-chatbot/2026-08-22/backups-ahu_chunks-2026-08-22.json.

ingest_gen_chunks.py sekarang mencocokkan prefix secara literal di Python, tidak
pernah lewat LIKE, dan menolak menghapus lebih dari separuh chunk sebuah prefix.

6. Hasil uji langsung (staging, /api/orchestrate)

Mode demo sedang aktif, jadi tidak ada rate limit yang mengganggu pengujian.

6a. Enam pertanyaan demo wajib

Q6 semula gagal (melantur ke PT Perorangan, mengeluh datanya kurang). Diperbaiki
dengan menambah artikel gen4_pt_ubah_ad + flow gen4_flow_pt_ubah_ad.

6b. Enam belas pertanyaan baru yang kini terjawab

Median waktu jawab ±6 detik; tidak ada yang melewati 9 detik.

6c. Koreksi fakta pada korpus lama

gen_ptp_pendirian, gen2_ptp_pendirian_detail, dan gen3_flow_ptp_pendirian menyebut
"1 PT Perorangan per tahun kalender". Kode menghitung
now() - INTERVAL 1 YEAR AND now() (establishment-repository.ts:87) — 12 bulan mundur,
bukan tahun kalender. Ketiganya diperbaiki. Sebelum diperbaiki, chatbot mengeluarkan
jawaban yang bertentangan dengan dirinya sendiri di layar (menyebut kedua versi
sekaligus) — persis jenis kejadian yang tidak boleh muncul saat demo.

7. Yang sengaja dilewati, beserta alasannya

8. Koordinasi & keadaan akhir

• Tidak ada deploy. Tidak ada file aplikasi yang diubah. Perubahan hanya: Milvus
  (chunk), knowledge API agent, dan policy.sqlite. Conversation "Main" bebas melakukan
  build dan deploy kapan saja — pekerjaan ini tidak akan tertimpa maupun menimpa.
• Backup diambil sebelum mulai: ~/backups/ahu-ai-chatbot/2026-08-22/backups-ahu_chunks-2026-08-22.json
  (800 chunk). Tidak pernah menjalankan ingest_all --reset maupun load_knowledge --recreate.
• Reload schema dijalankan di kedua agent. Internal: preloaded 50.763 /
  total instructions 69.447 karakter. Public: 50.763 / 64.700. (Naik ~2,9k karakter dari
  66.564 — masih di bawah plafon, tapi tetap layak diawasi; lihat watch item di ROADMAP.)
• Mode demo masih ON di staging (diaktifkan conversation "Main"). Tidak saya ubah.
• Pengujian dilakukan di luar beban kerja normal dan tidak menyentuh stack lain.

9. Berkas yang ditambahkan