Das EMBL European Bioinformatics Institute (EMBL-EBI) speichert Forschungsdaten und komprimierte Daten von unter 1MB bis zu 100GB Größe, bei einem aktuellen Datenbestand von ca. 50PB. Zur Datensicherung für Backup und Langzeitarchivierung werden die Daten auf Tape geschrieben. Eine hauseigene Lösung schrieb die Daten vom Objektspeicher in ein Filesystem auf Festplatte, und dann auf Tape Medien. Dieser Ansatz erwies sich aber für die wachsenden Datenmengen als nicht ausreichend performant. Außerdem wurde der Speicherplatz auf den Tapes nur zu 90% genutzt. Mit der Einführung von PoINT Archival Gateway verfügt das Forschungsinstitut nun über eine performante und kosteneffiziente Lösung, um die Daten über die standardisierte S3 Schnittstelle direkt auf Tape zu schreiben und dem Datenwachstum begegnen zu können.
"Wir sind sehr zufrieden mit dem Einsatz von PoINT Archival Gateway und besonders auch mit der Zusammenarbeit und dem Austausch mit PoINT und dem Partner Mercia. Auf das künftige Datenwachstum fühlen wir uns gut vorbereitet und freuen uns, die weiteren Entwicklungsschritte von PoINT Archival Gateway mitzugehen."
- Marc Riera (Software Development and Operations – Service and Data Management Technical Coordinator beim EMBL-EBI)
Herausforderung
- Backup und Langzeitarchivierung von Objektdaten auf Tape
- Skalierbarkeit für stetig wachsende Datenbestände
- Hohe Anforderungen an Performance und Kapazität
Lösung - PoINT Archival Gateway
- Standardisierte S3 Schnittstelle statt S3 Glacier Kommandos
- Native Tape-Anbindung
- Node-basierte Software-Lösung für hohe Skalierbarkeit und Flexibilität
Vorteile
- Kosteneffizienz durch sparsamen Hardware-Einsatz
- Performante und flexible Speicherlösung für Backup und Archivierung
- S3 Datenstrom ohne Festplatten-Buffer direkt auf Tape
- Hardware- und herstellerunabhängig