S3 Proxy
Moteur de réplication S3 haute performance avec synchronisation intelligente, détection de renommages, déduplication et transferts multi-thread adaptatifs vers tout backend compatible S3.
Fonctionnalités
- Pool de workers adaptatif : Algorithme hill-climbing qui ajuste dynamiquement le nombre de threads (2-16) en mesurant le débit en temps réel. Aucune configuration statique nécessaire.
- Détection de renommages/déplacements : Identifie les fichiers déplaces par correspondance (ETag, taille) et effectue des copies server-side zéro bande passante au lieu de re-télécharger.
- Déduplication par contenu : Regroupe les objets dupliques globalement par ETag. Transfère une copie, copie server-side les autres dans le bucket destination.
- Compression S3GZ : Format propriétaire par blocs (blocs de 64 Ko, LZ77+Huffman, validation CRC32C). Niveaux configurables de 1 a 9.
- Streaming multipart : Les objets de plus de 500 Mo sont automatiquement découpes en morceaux multipart de 100 Mo avec contrôle de back-pressure mémoire.
- Versioning et Object Lock : Support du Versioning AWS S3 et Object Lock (Governance/Compliance) avec politiques de rétention configurables.
- Profils de réplication : Profils pré-configures : BackupMirror, ColdArchive, MigrationOneShot, DisasterRecovery avec ratios de suppression ajustables.
- AWS SigV4 pure Rust : Implementation complète AWS Signature V4 from scratch. Aucune dépendance crypto externe. Normalisation des requêtes compatible Ceph.
- TUI, Dashboard et FFI : Interface terminal interactive, dashboard HTTP REST avec authentification, et bindings FFI C pour intégration Perl/autres langages.
Cas d'usage
- Miroir de sauvegarde multi-régions : Répliquez les buckets en continu entre régions AWS ou fournisseurs S3 avec débit adaptatif.
- Reprise après sinistre : Maintenez des replicas hot standby avec sync delta automatique et persistance de progression crash-recovery.
- Migration de fournisseur : Migrez d'un backend S3 a un autre avec détection de renommages et zéro re-transfert des fichiers déplaces.
- Optimisation de bande passante : La dedup par contenu et les copies server-side réduisent les coûts de transfert inter-régions en éliminant les données redondantes.
- Archivage conforme : Activez Object Lock et Versioning sur la destination avec des profils de réplication adaptes aux exigences réglementaires.
- Intégration Proxmox : Les bindings FFI permettent l'intégration directe avec le S3 Proxmox Plugin pour des workflows de réplication de sauvegardes automatises.