feat: optimisation globale des performances #86 (scan differentiel, excalidraw differe, garde-fou replace; inverted index/PDF lazy/caps regex deja livres via BUG-033/040/025)

docs/ROADMAP.md

@@ -1,6 +1,6 @@
 # ObsiGate — Roadmap
 
-> **Version :** 2.15.0 | **Dernière mise à jour :** 2026-09-22
+> **Version :** 2.16.0 | **Dernière mise à jour :** 2026-09-22
 > **Ce fichier ne contient que le travail à venir** (🔵 En cours + ⚪ Backlog) et un index compact
 > vers les fonctionnalités livrées.
 > - **Méthode de livraison à appliquer pour toute tâche : [DELIVERY_WORKFLOW.md](./DELIVERY_WORKFLOW.md)**
@@ -107,15 +107,6 @@
   - [ ] Persister index, JTI révoqués et compteurs de rate-limit (SQLite/Redis)
   - [ ] Verrous asyncio autour de l'index global et des stores JSON ; service de partage public (expiration, révocation, quotas)
 
-### 86. Optimisation globale des performances (phase 3)
-
-- **Effort :** 4-6 jours | **Impact :** 🟡 | **Zone :** backend (`search.py`, `indexer.py`, `mutations.py`)
-- **Description :** brancher l'inverted index (déjà construit) sur la recherche simple et le tool IA `search_fulltext`, indexation incrémentale, extraction PDF lazy.
-- **Sous-tâches :**
-  - [ ] Recherche simple + tool IA via l'inverted index (suppression du balayage O(N) en mémoire)
-  - [ ] Indexation incrémentale + scan différentiel au démarrage (remplace le `rglob` complet)
-  - [ ] Extraction PDF/excalidraw différée (hors scan) ; caps CPU sur les opérations regex
-
 ### 87. Amélioration continue — tests, CI/CD, revues de sécurité (phase 4)
 
 - **Effort :** 3-5 jours | **Impact :** 🟡 | **Zone :** `.gitea/workflows/`, `tests/`
@@ -190,6 +181,7 @@
 | 105 | Guide d'utilisation — audit de couverture complet, téléchargement Markdown/PDF, guide desktop élargi, section Architecture (Mermaid) + BUG-067 | 2.13.0 | [features/guide-coverage-105.md](./features/guide-coverage-105.md) |
 | 106 | Assistant IA — Actions instantanées contextuelles, catalogue « Toutes les actions » & frontmatter complet | 2.14.0 | [features/ai-quick-actions.md](./features/ai-quick-actions.md) |
 | 107 | Configuration — Gestion des clés API & MCP : création/révocation de jetons longue durée (1 j, 1 mois, 6 mois, 1 an, sans fin), une seule clé pour l'API REST et le serveur MCP, « dernière utilisation », store `data/api_tokens.json` sans secret persisté | 2.15.0 | [features/api-mcp-tokens-107.md](./features/api-mcp-tokens-107.md) |
+| 86 | Optimisation globale des performances (phase 3) — scan différentiel, excalidraw différé, garde-fou `replace` (inverted index / PDF lazy / caps regex déjà livrés via BUG-033/040/025) | 2.16.0 | [features/perf-phase3-86.md](./features/perf-phase3-86.md) |
 
 ---
 
@@ -197,11 +189,11 @@
 
 | Priorité | Items | Effort total estimé |
 |---|---|---|
-| ✅ Complété | #1 → #59, #61–72, #74–76, #78–84, #88–93, #94–100, #102–107, #92 | ~116 jours réalisés |
+| ✅ Complété | #1 → #59, #61–72, #74–76, #78–84, #86, #88–93, #94–100, #102–107, #92 | ~120 jours réalisés |
 | 🔵 P2 restant | #77 Desktop : signature de code (non retenue), 6 tests E2E **manuels** ([protocole](./DESKTOP_E2E_CHECKLIST.md)) | ~0,5-1 jour |
 | ⚪ P4 restant | #73 Sync (6-8j) | 6-8 jours |
-| ⚪ P0/P1 restant | #85-87 Refonte architecturale, performance, CI/CD (BUG-035 → BUG-040 corrigés) | ~15-23 jours |
-| **Total restant** | **7 items + finitions** | **~27-42 jours** |
+| ⚪ P0/P1 restant | #85, #87 Refonte architecturale, CI/CD (BUG-035 → BUG-040 corrigés, #86 livré) | ~11-17 jours |
+| **Total restant** | **6 items + finitions** | **~23-36 jours** |
 
 ---
 

docs/features/perf-phase3-86.md

@@ -0,0 +1,69 @@
+# #86 — Optimisation globale des performances (phase 3)
+
+> **Statut :** ✅ livré | **Zone :** backend (`indexer.py`, `mutations.py`)
+> **Prérequis déjà livrés :** BUG-033 (recherche via inverted index), BUG-040 (PDF lazy),
+> BUG-025 (caps regex).
+
+## Contexte
+
+La roadmap #86 demandait : recherche simple + tool IA via l'inverted index, indexation
+incrémentale + scan différentiel au démarrage, extraction PDF/excalidraw différée et caps
+CPU sur les opérations regex. Trois de ces cinq points étaient déjà couverts par des
+correctifs antérieurs ; cette livraison ferme les deux points restants.
+
+## Ce qui était déjà livré (rappel)
+
+| Point #86 | Livré par | État |
+|---|---|---|
+| Recherche simple + `search_fulltext` via inverted index | BUG-033 | `search()` récupère ses candidats via l'inverted index (intersection + expansion de préfixes), repli scan pendant la construction |
+| Extraction PDF différée | BUG-040 | `_scan_vault` ne lit que les métadonnées ; `enrich_pdf_texts()` extrait après index |
+| Caps CPU regex | BUG-025 | `validate_regex` (longueur ≤ 500, rejet quantificateurs imbriqués), contenu tronqué à 200 kio, matchs plafonnés à 1 000 |
+
+## Livré ici
+
+### 1. Scan différentiel au démarrage (`backend/indexer.py`)
+
+- `_scan_vault(..., previous_files)` : quand un snapshot `{relative_path: file_info}` est
+  fourni, toute entrée dont `size` **et** `modified` sont inchangés est réutilisée sans
+  lecture disque ni re-parse (copie du dict, tags recomptés, wikilinks ré-enregistrés
+  depuis le contenu caché pour reconstruire l'index de backlinks).
+- `build_index()` capture le snapshot précédent avant le `clear()` et le transmet à
+  chaque scan de vault (via `functools.partial` pour l'executor) ; `reload_single_vault()`
+  fait de même pour son vault. Seuls le `os.walk` + `stat` (bon marché) tournent à
+  chaque passe ; le retour inclut `reused` (hits différentiels, loggé par vault).
+- Premier démarrage (aucun snapshot) : comportement identique à avant.
+
+### 2. Extraction excalidraw différée (`backend/indexer.py`)
+
+- Le scan ne lit plus les `.excalidraw` / `.excalidraw.md` : titre dérivé du nom de
+  fichier, `content` vide, flag `excalidraw_text_pending` (plus de décompression
+  lz-string pendant le scan).
+- `enrich_pdf_texts()` traite désormais les deux flags (`pdf` + `excalidraw`) via
+  `_read_excalidraw_indexable_text()` exécuté dans l'executor, avec notification du hook
+  d'index incrémental comme pour les PDF. Nom conservé pour compatibilité (tests,
+  `main.py`, `reload_index`, `reload_single_vault` inchangés côté appel).
+- Le chemin incrémental fichier-à-fichier (`_index_single_file_sync`, watcher) reste
+  immédiat : un seul fichier ne justifie pas le différé.
+
+### 3. Garde-fou taille sur `replace_in_files` (`backend/services/mutations.py`)
+
+- Nouvelle constante `MAX_REPLACE_FILE_BYTES` (5 Mio) : tout fichier dépassant le plafond
+  est sauté (warning loggé) au lieu d'être lu intégralement puis balayé par le pattern
+  utilisateur. Complète les caps BUG-025 (qui couvrent la recherche, pas le remplacement
+  qui opère sur le contenu disque complet par nature).
+
+## Tests
+
+`tests/test_perf_phase3.py` (9 tests) : différé excalidraw au scan (`.excalidraw` +
+`.excalidraw.md`), remplissage par l'enrichissement, `reused == 0` au premier scan,
+réutilisation à l'identique, re-parse du fichier modifié, ajout/suppression, skip
+`replace` sur fichier surdimensionné + cas passant nominal.
+
+## Limites connues
+
+- Pas de persistance disque de l'index : le différentiel joue sur les rebuilds dans le
+  même processus (`reload_index`, `reload_single_vault`), pas entre deux redémarrages
+  (persistance = #85, phase 2).
+- La comparaison `size + mtime` ne détecte pas une modification qui conserverait taille
+  et mtime à la milliseconde près (cas pathologique, le watcher temps réel couvre les
+  modifications en cours d'exécution).