WORM
Die Abkürzung "WORM" steht für "Write once, read many". WORM-Ressourcen bieten die Möglichkeit zur Speicherung von Forschungsdaten mit hohem Sicherheitsbedarf. Dieser wird dadurch gewährleistet, dass einmal gespeicherte Daten nie wieder gelöscht, geändert oder überschrieben werden können.
Achtung: WORM-Ressourcen lassen sich nie löschen, verändern oder überschreiben
Einmal gespeicherte Dateien in einer WORM-Ressource können nicht mehr gelöscht oder bearbeitet werden! Deshalb ist dieser Ressourcentyp nur für Daten geeignet, die zwingend so hohe Sicherheitsmaßnahmen benötigen. Für die meisten Forschungsdaten bieten Web- und S3-Ressourcen bereits die benötigten Funktionalitäten ab. Bei einer unachtsamen Nutzung von WORM-Ressourcen wird unnötig Speicherplatz verschwendet, der Ihnen und anderen Forschenden dann nicht mehr zur Verfügung steht. Vor der Beantragung von WORM-Speicherplatz ist eine Beratung durch Ihren lokalen Coscine-Support nötig. Diese Teams gehen gerne Ihre Möglichkeiten mit Ihnen durch!
Eigenschaften einer WORM-Ressource
- Speicherplatz: Speicherplatz für WORM-Ressourcen muss immer über Coscine-JARDS beantragt werden.
- Anwendungsfälle: Daten mit hohem Sicherheitsbedarf, große Datenmengen, automatisierte Dateneinlieferung, Metadatenmanagement mit Readme-Dateien, Nutzung von S3-Speicherplatz in Verbindung mit Jupyter Notebooks
- Zugriffswege: Bedienoberfläche, API, S3
- Metadaten: Die Metadateneingabe über das Metadatenprofil wird nicht erzwungen. Im Speicherplatzantrag in Coscine-JARDS ist deswegen nachvollziehbar darzulegen, um welche Forschungsdaten es sich handelt und wie sichergestellt wird, dass diese mithilfe von Metadaten beschrieben und auffindbar gemacht werden. Sollen Metadaten wie die zugehörigen Daten nicht mehr veränderbar sein, können sie als Dateien (z. B. README-Dateien) im S3-Bucket gespeichert werden. Metadaten, die über die Bedienoberfläche gepflegt werden, bleiben editierbar.
- Sonstige Besonderheiten: Um einen Speicherplatzantrag für eine WORM-Ressource zu stellen, ist vorher zwingend ein Beratungsgespräch mit Ihrem lokalen Coscine-Support nötig. Nutzende, die komplexe S3-Operationen ausführen möchten, finden hier einen Überblick der in Coscine genutzten S3-Policies.
Eine WORM-Ressource erstellen und nutzen
Wenn der Speicherplatzantrag den Begutachtungsprozess erfolgreich durchlaufen hat und die Quota dem jeweiligen Projekt zugewiesen wurde, können Sie in diesem Projekt WORM-Ressourcen erstellen. Mit Klick auf das Menüsymbol öffnen Sie den Tab Ressourcen-Konfiguration. Dort finden Sie die Credentials, die Sie benötigen, um sich per S3-Protokoll über einen S3-Client direkt mit der Ressource zu verbinden.
Achtung: Empfohlene S3-Clients
Einen umfassenden Support für die Nutzung von S3-Clients kann das Coscine-Team nicht leisten. Die S3-Clients WinSCP, Cyberduck oder MinIO Client wurden bereits erfolgreich mit Coscine getestet. Auf den jeweiligen Dokumentationsseiten finden Sie nähere Informationen zur Nutzung. Für die Funktionalität von anderen Anwendungen (z. B. rclone, S3CMD) liegen keine Erfahrungen beim Coscine-Team vor.
Übersicht über die Credentials und Verbindungsparameter
Zur Verbindung mit WORM-Ressourcen werden einige Daten benötigt, die je nach Tool unterschiedlich benannt sein können. Daher hier eine kurze Erklärung der notwendigen Parameter und geläufigen Namen für diese.
Verbindungsparameter für DataStorage.nrw-Ressourcen
| Name | Wert | Kommentar |
|---|---|---|
| Server oder Endpoint | global.datastorage.nrw | - |
| Port | 443 | - |
| Bucketname | XXXXXXXX-XXXX-XXXX-... | - |
| Pfad bzw. Path | Wie Bucketname | Achtung! Je nach Tool findet sich die Pfadangabe in den erweiterten oder optionalen Einstellungen. Sie ist für die Nutzung des S3-Speichers aber notwendig! |
Hinweis
Bei der Verbindung zu den Ressourcen von DataStorage.nrw wird empfohlen, den Hostnamen im Virtual-Host-Stil anzugeben. Bei Nutzung des Path-Stils kann es zu Verbindungsproblemen kommen.
Es werden automatisch zwei Paare für Zugangsdaten erzeugt. Ein Paar für Lese- und Schreibzugriff und ein Paar, das nur Lesezugriff erlaubt.
| Name(n) | Wert | Kommentar |
|---|---|---|
| Access Key (ID) | read_XXXXXX... oder write_XXXXXX | Read und Write Access Key funktionieren jeweils nur mit dem passenden Secret Key. |
| Secret (Access) Key | XXXXXXXX-XXXX-XXXX-XXXX-... | - |