Le lac de données¶
Le lac répond à une question et à une seule : quelle donnée exacte a produit ce résultat ? Si la réponse manque, le résultat n'est pas reproductible, quelle que soit la qualité du code qui l'a produit.
Quatre étages, quatre règles¶
| Étage | Ce qu'il porte | La règle |
|---|---|---|
raw |
la réponse de la source, octet pour octet | immuable, jamais corrigée, jamais écrasée |
bronze |
le même contenu, parsé et typé | aucune décision financière |
silver |
la donnée propre | toute décision méthodologique est tracée |
gold |
les jeux consommables | pas de manifeste, pas de chargement |
Le raisonnement complet vit dans ADR-005.
Le manifeste¶
Chaque jeu porte un manifeste, écrit sous metadata/manifests/. Vingt-trois
champs, dont ceux qui décident vraiment :
| Champ | Pourquoi il compte |
|---|---|
download_timestamp |
Yahoo recalcule ses prix ajustés à chaque dividende, donc la même requête rend des valeurs différentes à six mois d'écart |
adjusted |
un prix ajusté et un prix brut ne se comparent pas |
point_in_time |
seul un jeu point-in-time peut alimenter un backtest fondamental |
survivorship_free |
vaut True, False ou None, et None signifie « non vérifié », jamais « probablement bon » |
corporate_actions |
dit ce qui a été traité, et donc ce qui ne l'a pas été |
revision_policy |
dit si la source réécrit son passé |
checksum_sha256 |
permet de prouver qu'un fichier n'a pas bougé |
parent_datasets |
reconstruit la lignée, d'un jeu gold jusqu'au fichier brut |
Un jeu sans manifeste ne se charge pas en gold. write_table lève
ProvenanceError.
Les sources retenues, et leur état mesuré¶
Toutes les vérifications ci-dessous datent du 2026-09-01, avec un en-tête d'identification HTTP.
| Source | Ce qu'elle donne | État mesuré | Point-in-time |
|---|---|---|---|
Yahoo (yfinance 1.7.0) |
OHLCV quotidien, FNB, actions | disponible | non |
SEC EDGAR (data.sec.gov) |
dépôts, XBRL, horodatages | 200, contre 403 le 2026-08-29 | oui, par les dates de dépôt |
| FRED | séries macro | 200, export CSV sans clé | non |
| ALFRED | millésimes des séries macro | 200 | oui |
| Ken French | facteurs MKT, SMB, HML, RMW, CMA, MOM | 200, fichier quotidien à 177 852 octets | non |
| AQR | jeux BAB, QMJ, valeur et momentum | 200 | non |
| Open Source Asset Pricing | plusieurs centaines de caractéristiques documentées | dépôt accessible | variable |
Le cas de la SEC mérite une note. Le 2026-08-29, tout le domaine sec.gov
répondait 403 « Request Rate Threshold Exceeded » depuis cet environnement, y
compris data.sec.gov, sur sept relances en vingt minutes. Le 2026-09-01, les
trois points d'entrée testés répondent 200 avec le même en-tête. Le blocage
était donc un débit, pas une politique, et la conclusion pratique est de
respecter la limite de dix requêtes par seconde annoncée par la SEC plutôt que
de conclure à une indisponibilité.
Ce que le lac ne peut pas donner¶
Les limites des sources gratuites sont réelles, connues et écrites : limites des données gratuites. Elles ne sont jamais cachées derrière une approximation.