feat: lives PeerTube/Rumble, page Admin, TTL par provider, import/export playlists
CI / build-and-test (push) Successful in 14m56s

#1 Live
- PeerTube: API native ?isLive=true (recherche sepiasearch + videos de chaine),
  mapPeertubeItem exporte la regle live (type/kind/isLive, viewers, jamais de
  duree), caps pt live:true, themes « En direct » branches pt/ru
- Rumble: mode 'live' de scrapeRumbleList (rumble.com/browse/live, SSR), items
  type:live + extraction channelId (/c/<slug>), route GET /api/rumble/live,
  onglet chaine live filtre par channelId (plafond page 1 = 50 directs)
- Odysee: N/A prouve (proxy na-backend sous jeton, probe 2026-10), caps inchangees
- Tests: npm run test:live (25 assertions), assertion adapter_contract mise a
  jour (seuls tw/pt/ru declarent live)

#2 Playlists natives
- Twitch: NON FAISABLE — probe avec token app valide: GET/POST /helix/playlists
  et /helix/playlists/{id}/videos -> 404 (controle /helix/users -> 400).
  Matrice README: Twitch/Odysee/Rumble en N/A avec preuves

#3 Quick wins
- Page Administration /#/admin (entree sidebar Informations + i18n nav.admin
  FR/EN): healthz + providers/metrics rendus (statut, yt-dlp, clés actives/
  bannies, anti-ban, cache par provider, compteurs 1h, quota du jour) ;
  healthz sert aussi sous /proxy/api/healthz
- TTL par provider: server/env-ttl.mjs (<BASE>_<P> -> <BASE> -> defaut, jamais
  nul), branche sur les caches details et transcripts ; suggest reste global
  (cle agregee multi-providers) ; tests npm run test:cache
- Import/Export playlists JSON: GET /playlists/export (newtube-playlists-v1,
  avant /playlists/:id) + POST /playlists/import (dedoublonnage par titre),
  boutons [Exporter] [Importer] sur la page listes de lecture

README: matrice fournisseurs (Live pt/ru OK, od N/A, playlists N/A prouves),
roadmap deplace en ✅ (Live, import/export, Admin, TTL) + 🟡 mis a jour.
This commit is contained in:
2026-10-02 20:25:08 -04:00
parent 5f1bb78c3b
commit 326455adfe
22 changed files with 850 additions and 117 deletions
+39 -15
View File
@@ -397,18 +397,29 @@ async function ptContent(externalId, { type, page, limit, sort, q }) {
nextPage: (data?.data || []).length >= perPage ? (page || 1) + 1 : null, total: data?.total ?? null,
};
}
if (type === 'live' || type === 'shorts') return { items: [], nextPage: null };
if (type === 'shorts') return { items: [], nextPage: null };
// Live : l'API accepte `?isLive=true` sur les vidéos de chaîne (probe
// 2026-10 : reconnu — isLive=false → 35 vidéos, true → 0 sur une chaîne
// hors direct). Sans ce paramètre l'onglet Live retournait toujours [].
const isLive = type === 'live';
const qs = new URLSearchParams({ start: String(start), count: String(perPage), sort: sort === 'popular' ? '-views' : '-publishedAt' });
if (isLive) qs.set('isLive', 'true');
if (q) qs.set('search', q);
const data = await readJson(await fetchWithTimeout(`https://${instance}/api/v1/video-channels/${encodeURIComponent(channel)}/videos?${qs}`));
const items = (data?.data || []).map((v) => ({
id: String(v.uuid || v.id), title: v.name, thumbnail: v?.thumbnailPath ? `https://${instance}${v.thumbnailPath}` : undefined,
url: v?.url, uploaderName: v?.channel?.displayName || channel,
channelId: externalId, channelExternalId: externalId,
// Phase 2.2 - idem : jamais de 0 pour une durée/vues inconnues.
...(Number(v.duration) > 0 ? { duration: Number(v.duration) } : {}),
...(Number(v.views) > 0 ? { views: Number(v.views) } : {}), publishedAt: v.publishedAt, type: 'video',
}));
const items = (data?.data || []).map((v) => {
const live = v.isLive === true;
return {
id: String(v.uuid || v.id), title: v.name, thumbnail: v?.thumbnailPath ? `https://${instance}${v.thumbnailPath}` : undefined,
url: v?.url, uploaderName: v?.channel?.displayName || channel,
channelId: externalId, channelExternalId: externalId,
// Phase 2.2 - idem : jamais de 0 pour une durée/vues inconnues.
// Direct : durée non émise (temps écoulé), spectateurs via `viewers`.
...(!live && Number(v.duration) > 0 ? { duration: Number(v.duration) } : {}),
...(Number(v.views) > 0 ? { views: Number(v.views) } : {}),
publishedAt: v.publishedAt, type: live ? 'live' : 'video',
...(live ? { kind: 'live', isLive: true, ...(Number(v.viewers) > 0 ? { viewers: Number(v.viewers) } : {}) } : {}),
};
});
return { items, nextPage: items.length >= perPage ? (page || 1) + 1 : null, total: data?.total ?? null };
}
@@ -445,20 +456,33 @@ async function odContent(externalId, { type, page, limit, sort, q }) {
// ---- Rumble : pas d'API publique -> recherche unifiée filtrée par chaîne ----
async function ruContent(externalId, { type, page, limit, q }, ctx) {
const needle = String(externalId || '').replace(/^@/, '').toLowerCase();
// Predicate partagé vidéos / live : channelId (slug /c/<slug>) en priorité,
// sinon acheminement large sur nom + chaîne + URL.
const matchChannel = (r) => {
if (r?.channelId && needle && String(r.channelId).toLowerCase() === needle) return true;
const hay = `${r?.uploaderName || ''} ${r?.channelId || ''} ${r?.url || ''}`.toLowerCase();
return !needle || hay.includes(needle);
};
if (type === 'live') {
// Directs Rumble : la seule source publique est la page SSR
// rumble.com/browse/live (le fetch /live de rumble.com est muré login).
// ponytail: plafond — page 1 bornée à 50 directs ; une chaîne live mais
// hors des 50 premières n'apparaît pas, monter la pagination si ça compte.
const { scrapeRumbleList } = await import('./rumble.mjs');
const list = await scrapeRumbleList({ page: 1, limit: 50, mode: 'live' });
const items = (list?.items || []).filter(matchChannel).slice(0, Number(limit || 24));
return { items, nextPage: null };
}
if (type !== 'videos') return { items: [], nextPage: null };
const searchRegistry = ctx?.searchRegistry || ctx;
const mod = searchRegistry?.ru;
if (!mod || typeof mod.search !== 'function') return { items: [], nextPage: null };
const needle = String(externalId || '').replace(/^@/, '').toLowerCase();
// Phase 3.5 - filtre sur `channelId` en priorité : c'est l'identifiant
// canonique extrait en phase 1.5, donc plus fiable qu'une comparaison de
// sous-chaîne sur le nom ou l'URL.
const results = await mod.search(q || needle || 'videos', { limit: 50, page: 1 });
const items = (results || []).filter((r) => {
if (r?.channelId && needle && String(r.channelId).toLowerCase() === needle) return true;
const hay = `${r?.uploaderName || ''} ${r?.channelId || ''} ${r?.url || ''}`.toLowerCase();
return !needle || hay.includes(needle);
}).slice(0, Number(limit || 24));
const items = (results || []).filter(matchChannel).slice(0, Number(limit || 24));
return { items, nextPage: null };
}
+96 -72
View File
@@ -1,25 +1,112 @@
/**
* Minimal PeerTube provider handler
*/
/**
* Mapping d'une vidéo PeerTube vers le contrat `Suggestion`.
* Exporté pour les tests : la règle « `isLive` → `type:'live'` + `kind:'live'` »
* est le cœur de la capacité Live du provider ; sur un direct la durée (temps
* écoulé, pas une longueur) n'est jamais émise, doctrine « jamais de 0 ».
*
* @param {any} item réponse brute de l'API PeerTube / sepiasearch
* @returns {any} suggestion normalisée
*/
export function mapPeertubeItem(item) {
const rawThumb = item.thumbnailUrl || item.thumbnailPath || '';
const thumbnail = rawThumb
? rawThumb.startsWith('http')
? rawThumb
: rawThumb.startsWith('//')
? `https:${rawThumb}`
: new URL(rawThumb, item.url || 'https://sepiasearch.org').toString()
: undefined;
// Dimensions max des fichiers (signal d'orientation pour isShortItem).
// Défensif : sepiasearch n'expose pas toujours `files`.
let fw = 0;
let fh = 0;
try {
for (const f of (Array.isArray(item.files) ? item.files : [])) {
const w = Number(f?.width);
const h = Number(f?.height);
if (Number.isFinite(w) && Number.isFinite(h) && w > 0 && h > 0 && w * h >= fw * fh) {
fw = w;
fh = h;
}
}
} catch {}
const live = item.isLive === true;
return {
title: item.name,
id: item.uuid,
url: item.url,
thumbnail,
uploaderName: (item.account && (item.account.displayName || item.account.name)) || undefined,
// Phase 1.8 - les avatars de compte ET de chaine sont exposes par
// l'API sepiasearch mais n'etaient jamais mappes : la page chaine
// affichait un avatar generique sur toutes les chaines PeerTube.
uploaderAvatar: item.account?.avatars?.[0]?.path || item.account?.avatarUrl || undefined,
channelAvatarUrl: item.channel?.avatars?.[0]?.path || item.channel?.avatarUrl || undefined,
channelId: (item.channel && (item.channel.name || item.channel.uuid)) || (item.account && item.account.name) || undefined,
// Phase 1.7 - champs deja presents dans la reponse, jamais mappes.
// `views` est le nom canonique du contrat (les 5 autres adaptateurs
// l'emettaient) ; `viewCount` reste en alias pour ne pas casser un
// consommateur existant. Trouve en gelant la sortie reelle (phase 8.4) :
// le front lisait `views`, le serveur n'envoyait que `viewCount`, et les
// compteurs PeerTube n'atteignaient donc jamais l'UI.
views: Number.isFinite(Number(item.views)) ? Number(item.views) : undefined,
viewCount: Number.isFinite(Number(item.views)) ? Number(item.views) : undefined,
likes: Number.isFinite(Number(item.likes)) ? Number(item.likes) : undefined,
publishedAt: item.publishedAt || item.createdAt || undefined,
// L'API PeerTube renvoie `language` comme OBJET `{ id, label }` (et non
// `{ code }` comme le laissait croire l'ancienne garde) : sans ce
// tri, l'objet entier partait dans le contrat, où `language` est
// déclaré `string`. Le front recevait `{id: null, label: 'Unknown'}` au
// lieu d'un code ISO. Vu en gelant la sortie réelle (phase 8.4).
// `label` est volontairement exclu : c'est une étiquette lisible
// ("Unknown") et non un code — la publier produirait une langue
// inventée, que la règle « absent = undefined » interdit.
language: typeof item.language === 'string' ? item.language
: (item.language?.code || item.language?.id || undefined),
hasSubtitles: Array.isArray(item.subtitleFiles) ? item.subtitleFiles.length > 0 : undefined,
// Direct : `type`/`kind`/'isLive' posés ensemble (doctrine Twitch phase
// 3.2 — un des trois seul ne passe ni `isLiveItem()` ni la classification).
type: live ? 'live' : 'video',
kind: live ? 'live' : 'vod',
...(live ? {
isLive: true,
// `viewers` = spectateurs en direct (V2 du contrat), jamais des vues.
...(Number(item.viewers) > 0 ? { viewers: Number(item.viewers) } : {}),
} : {}),
duration: !live && typeof item.duration === 'number' && item.duration > 0 ? Math.round(item.duration) : undefined,
...(fw > 0 ? { width: fw } : {}),
...(fh > 0 ? { height: fh } : {}),
};
}
const handler = {
id: 'pt',
label: 'PeerTube',
/**
* @param {string} q
* @param {{ limit: number, page?: number }} opts
* @param {{ limit: number, page?: number, filters?: { type?: string } }} opts
* @returns {Promise<Array<any>>}
*/
async search(q, opts) {
const { limit = 10, page = 1 } = opts || {};
const { limit = 10, page = 1, filters } = opts || {};
try {
// Use PeerTube API search
const params = new URLSearchParams({
count: Math.min(limit, 50).toString(),
start: Math.max(0, (Math.max(1, Number(page || 1)) - 1) * Math.min(limit, 50)).toString(),
});
// Filtre Live : `isLive` est un paramètre natif de l'API PeerTube
// (openapi, /videos + /search/videos) ; sepiasearch l'applique aussi
// (probe 2026-10 : `search=news&isLive=true` → 0, sans texte → 113 directs).
if (filters?.type === 'live') params.set('isLive', 'true');
if (q) params.set('search', q);
const response = await fetch(
`https://sepiasearch.org/api/v1/search/videos?` +
new URLSearchParams({
search: q,
count: Math.min(limit, 50).toString(),
start: Math.max(0, (Math.max(1, Number(page || 1)) - 1) * Math.min(limit, 50)).toString()
})
`https://sepiasearch.org/api/v1/search/videos?${params}`
);
if (!response.ok) {
@@ -28,70 +115,7 @@ const handler = {
const data = await response.json();
return (data.data || []).map(item => {
const rawThumb = item.thumbnailUrl || item.thumbnailPath || '';
const thumbnail = rawThumb
? rawThumb.startsWith('http')
? rawThumb
: rawThumb.startsWith('//')
? `https:${rawThumb}`
: new URL(rawThumb, item.url || 'https://sepiasearch.org').toString()
: undefined;
// Dimensions max des fichiers (signal d'orientation pour isShortItem).
// Défensif : sepiasearch n'expose pas toujours `files`.
let fw = 0;
let fh = 0;
try {
for (const f of (Array.isArray(item.files) ? item.files : [])) {
const w = Number(f?.width);
const h = Number(f?.height);
if (Number.isFinite(w) && Number.isFinite(h) && w > 0 && h > 0 && w * h >= fw * fh) {
fw = w;
fh = h;
}
}
} catch {}
return {
title: item.name,
id: item.uuid,
url: item.url,
thumbnail,
uploaderName: (item.account && (item.account.displayName || item.account.name)) || undefined,
// Phase 1.8 - les avatars de compte ET de chaine sont exposes par
// l'API sepiasearch mais n'etaient jamais mappes : la page chaine
// affichait un avatar generique sur toutes les chaines PeerTube.
uploaderAvatar: item.account?.avatars?.[0]?.path || item.account?.avatarUrl || undefined,
channelAvatarUrl: item.channel?.avatars?.[0]?.path || item.channel?.avatarUrl || undefined,
channelId: (item.channel && (item.channel.name || item.channel.uuid)) || (item.account && item.account.name) || undefined,
// Phase 1.7 - champs deja presents dans la reponse, jamais mappes.
// `views` est le nom canonique du contrat (les 5 autres adaptateurs
// l'emettaient) ; `viewCount` reste en alias pour ne pas casser un
// consommateur existant. Trouve en gelant la sortie reelle (phase 8.4) :
// le front lisait `views`, le serveur n'envoyait que `viewCount`, et les
// compteurs PeerTube n'atteignaient donc jamais l'UI.
views: Number.isFinite(Number(item.views)) ? Number(item.views) : undefined,
viewCount: Number.isFinite(Number(item.views)) ? Number(item.views) : undefined,
likes: Number.isFinite(Number(item.likes)) ? Number(item.likes) : undefined,
publishedAt: item.publishedAt || item.createdAt || undefined,
// L'API PeerTube renvoie `language` comme OBJET `{ id, label }` (et non
// `{ code }` comme le laissait croire l'ancienne garde) : sans ce
// tri, l'objet entier partait dans le contrat, où `language` est
// déclaré `string`. Le front recevait `{id: null, label: 'Unknown'}`
// au lieu d'un code ISO. Vu en gelant la sortie réelle (phase 8.4).
// `label` est volontairement exclu : c'est une étiquette lisible
// ("Unknown") et non un code — la publier produirait une langue
// inventée, ce que la règle « absent = undefined » interdit.
language: typeof item.language === 'string' ? item.language
: (item.language?.code || item.language?.id || undefined),
hasSubtitles: Array.isArray(item.subtitleFiles) ? item.subtitleFiles.length > 0 : undefined,
type: 'video',
kind: 'vod',
duration: typeof item.duration === 'number' && item.duration > 0 ? Math.round(item.duration) : undefined,
...(fw > 0 ? { width: fw } : {}),
...(fh > 0 ? { height: fh } : {}),
};
});
return (data.data || []).map(mapPeertubeItem);
} catch (error) {
console.error('PeerTube search error:', error);
return [];
+2 -2
View File
@@ -102,9 +102,9 @@ export const PROVIDER_CAPABILITIES = {
yt: { suggest: true, live: false, channelMeta: true, channelContent: ['videos', 'shorts', 'playlists', 'live'] },
dm: { suggest: true, live: false, channelMeta: true, channelContent: ['videos', 'playlists'] },
tw: { suggest: false, live: true, channelMeta: true, channelContent: ['videos', 'live'] },
pt: { suggest: false, live: false, channelMeta: true, channelContent: ['videos', 'playlists'] },
pt: { suggest: false, live: true, channelMeta: true, channelContent: ['videos', 'playlists', 'live'] },
od: { suggest: false, live: false, channelMeta: true, channelContent: ['videos'] },
ru: { suggest: false, live: false, channelMeta: true, channelContent: ['videos'] },
ru: { suggest: false, live: true, channelMeta: true, channelContent: ['videos', 'live'] },
};
/** Ordre canonique des providers (un unique endroit, hors route). */
+20 -5
View File
@@ -612,13 +612,14 @@ export async function scrapeRumbleVideo(videoIdOrUrl) {
* `parseSearchHtml` (structurel + JSON-LD), via le registre.
*
* @param {string} html
* @param {{ mode?: 'browse'|'shorts' }} [opts]
* @param {{ mode?: 'browse'|'shorts'|'live' }} [opts]
* @returns {Array<any>} items non bornés (le dédoublonnage et la limite sont
* appliqués par `scrapeRumbleList`, pour ne jamais couper avant dédup).
*/
export function parseCardsHtml(html, { mode = 'browse' } = {}) {
const $ = load(html);
const isShortsMode = mode === 'shorts';
const isLiveMode = mode === 'live';
const found = [];
const linkSelector = isShortsMode
? 'a[href*="/shorts/v"], a[href^="/v"], a[href^="/video/"]'
@@ -695,6 +696,11 @@ export function parseCardsHtml(html, { mode = 'browse' } = {}) {
const views = parseRumbleViews(viewsText);
const uploaderName = card.find('.video-item--channel, .channel-name, a[href^="/c/"], a[href^="/user/"]').first().text().replace(/\s+/g, ' ').trim() || undefined;
// Slug de chaîne (`/c/<slug>`) : même extraction que `parseSearchHtml`
// (ligne auteurUrl) — indispensable au filtre par chaîne du branch
// « live » de channel-content, les cartes n'ayant pas de channelId sinon.
const channelHref = (card.find('a[href^="/c/"], a[href^="/user/"]').first().attr('href') || '').split('?')[0];
const channelId = (channelHref.match(/\/c\/([^/?#]+)/i)?.[1] || '').trim() || undefined;
// On renvoie TOUJOURS une URL canonique cohérente.
let videoId = null;
@@ -719,9 +725,15 @@ export function parseCardsHtml(html, { mode = 'browse' } = {}) {
// de durée est absent du HTML (la durée reste la source de vérité).
// `== null` : une durée absente vaut undefined (contrat « jamais 0 ») et
// doit rester acceptée par le flux Shorts, comme l'ancien 0 le faisait.
isShort: isShortsMode ? (durationSeconds == null || durationSeconds <= 90) : (durationSeconds > 0 && durationSeconds <= 75),
// Mode "live" (rumble.com/browse/live) : tout ce qui sort de cette page
// EST en direct — `type/isLive` posés ici, jamais un Short (durée du
// direct = temps écoulé, pas une longueur de vidéo).
isShort: isLiveMode ? false
: isShortsMode ? (durationSeconds == null || durationSeconds <= 90) : (durationSeconds > 0 && durationSeconds <= 75),
url,
type: 'video',
type: isLiveMode ? 'live' : 'video',
...(isLiveMode ? { kind: 'live', isLive: true } : {}),
...(channelId ? { channelId } : {}),
});
});
@@ -743,7 +755,8 @@ export function parseCardsHtml(html, { mode = 'browse' } = {}) {
}
/**
* Pages liste hors recherche : /videos?sort=… (browse) et /shorts.
* Pages liste hors recherche : /videos?sort=… (browse), /shorts et
* /browse/live (directs — SSR, liens /vXXXX identiques au browse).
* Envelope { items, total, page, limit, nextCursor } identique à l'ancien
* routeur. Un blocage CF → throw 503 (le front dégrade en `items: []`,
* le bandeau « bloqué temporairement » vient de /api/search).
@@ -753,7 +766,9 @@ export async function scrapeRumbleList({ page = 1, limit = 24, sort = 'viral', m
const limitNum = Math.min(50, Math.max(1, Number(limit) || 24));
const url = mode === 'shorts'
? `https://rumble.com/shorts?page=${pageNum}`
: `https://rumble.com/videos?sort=${encodeURIComponent(String(sort))}&page=${pageNum}`;
: mode === 'live'
? `https://rumble.com/browse/live?page=${pageNum}`
: `https://rumble.com/videos?sort=${encodeURIComponent(String(sort))}&page=${pageNum}`;
const r = await fetchHtml(url);
if (!r || isChallenge(r.html)) throw rumbleFail('rumble_cloudflare_challenge', 503);
if (r.status !== 200) throw rumbleFailureForStatus(r.status);