Phase 3 - Cache Serveur et Optimisations Avancées pour ObsiViewer

🎯 Objectif

Implémenter un système de cache serveur intelligent pour réduire la charge serveur de 50%, améliorer les temps de réponse et optimiser l'indexation Meilisearch tout en maintenant la cohérence des données.

📋 Contexte

✅ Ce qui a été accompli en Phase 1 & 2

Phase 1 (Metadata-First) : Chargement ultra-rapide des métadonnées uniquement (75% d'amélioration)
Phase 2 (Pagination) : Support pour 10,000+ fichiers avec virtual scrolling et pagination curseur-based

❌ Limites actuelles nécessitant la Phase 3

Re-scans répétés : Le serveur rescane le système de fichiers à chaque requête metadata
Indexation bloquante : Meilisearch bloque le démarrage du serveur pendant l'indexation initiale
Charge serveur élevée : Chaque requête implique des opérations I/O coûteuses
Pas d'optimisation mémoire : Cache inexistant côté serveur

🎯 Pourquoi la Phase 3 est nécessaire

Pour réduire la charge serveur de 50% et améliorer l'expérience utilisateur :

Cache en mémoire : Éviter les re-scans répétés du système de fichiers
Indexation différée : Ne pas bloquer le démarrage pour l'indexation
Invalidation intelligente : Maintenir la cohérence lors des changements
Optimisations mémoire : Réduire l'empreinte serveur

📊 Spécifications Techniques

1. Cache de Métadonnées en Mémoire

Architecture du Cache

class MetadataCache {
  private cache: Map<string, CachedMetadata> = new Map();
  private lastUpdate: number = 0;
  private readonly ttl: number = 5 * 60 * 1000; // 5 minutes
  private readonly maxSize: number = 10000; // Max 10k entrées
  
  // Métriques de performance
  private hits: number = 0;
  private misses: number = 0;
  
  get hitRate(): number {
    const total = this.hits + this.misses;
    return total > 0 ? (this.hits / total) * 100 : 0;
  }
}

interface CachedMetadata {
  data: NoteMetadata[];
  timestamp: number;
  checksum: string; // Pour détecter les changements
}

Stratégie de Cache

TTL : 5 minutes (configurable)
Invalidation : Sur changements de fichiers détectés par chokidar
Taille max : 10,000 entrées pour éviter les fuites mémoire
Fallback : Rechargement depuis filesystem si cache expiré

2. Indexation Meilisearch Différée

Problème Actuel

// ACTUELLEMENT (bloquant)
app.listen(PORT, () => {
  console.log('Server started');
  // Indexation bloque le démarrage !
  await fullReindex(vaultDir); // ← 30-60 secondes
  console.log('Indexing complete');
});

Solution Proposée

// NOUVEAU (non-bloquant)
app.listen(PORT, () => {
  console.log('Server started');
  // Démarrage immédiat, indexation en arrière-plan
  scheduleIndexing(); // ← Non-bloquant
});

async function scheduleIndexing() {
  if (indexingInProgress) return;
  
  setImmediate(async () => {
    try {
      await fullReindex(vaultDir);
      console.log('[Meilisearch] Background indexing complete');
    } catch (error) {
      console.warn('[Meilisearch] Background indexing failed:', error);
    }
  });
}

3. Invalidation Intelligente du Cache

Événements de Changement

// Surveillance des changements avec chokidar
const watcher = chokidar.watch(vaultDir, {
  ignored: /(^|[\/\\])\../, // ignore dotfiles
  persistent: true,
  ignoreInitial: true
});

// Invalidation sélective du cache
watcher.on('add', (path) => {
  console.log(`[Cache] File added: ${path}`);
  metadataCache.invalidate();
  // Optionnel: recharger seulement les nouvelles métadonnées
});

watcher.on('change', (path) => {
  console.log(`[Cache] File changed: ${path}`);
  metadataCache.invalidate();
});

watcher.on('unlink', (path) => {
  console.log(`[Cache] File deleted: ${path}`);
  metadataCache.invalidate();
});

🛠️ Plan d'Implémentation (1-2 jours)

Jour 1 : Cache de Métadonnées (6-8 heures)