S3
Der DataStorage.nrw ist ein objektbasiertes Speichersystem für Forschungsdaten.
Hinweis
Bitte verwenden Sie WinSCP, Cyberduck oder MinIO Client anhand der Anweisungen auf den jeweiligen Unterseiten. Für die Funktionalität von anderen Anwendungen (z. B. rclone, S3CMD) können wir keinen Support anbieten.
Wann kommt S3-Speicherplatz für mich in Frage?
Für Fälle, in denen die API genutzt werden kann oder soll, steht auch eine direkte S3-Schnittstelle zum Speichersystem zur Verfügung. So können Daten leistungstark und standardisiert in den Speicher geschrieben werden. Nutzende, die komplexe S3-Operationen ausführen möchten, finden hier einen Überblick der in Coscine genutzten S3 Policies.
Was ändert sich für mich, wenn ich S3-Speicherplatz nutzen möchte?
Da in diesem Fall keine Metadaten durch Coscine sichergestellt werden können, muss zunächst ein Antrag gestellt werden, in dem beschrieben wird, um welche Forschungsdaten es sich handelt und wie sichergestellt wird, dass diese im Speichersystem auch tatsächlich wieder auffindbar gemacht werden können. Dies können lokale oder web-basierte Datenbanken sein, aber auch andere Wege, um den Überblick zu behalten sind möglich.
Falls Sie Quota für S3-Ressourcen benötigen, finden Sie das Antragsdokument unter Speicherplatz-Management.
Wie geht es dann weiter?
Wenn der Speicherplatzantrag den Begutachtungsprozess erfolgreich durchlaufen hat und die Quota zugewiesen wurde, können Sie S3-Ressourcen in dem jeweiligen Projekt erstellen. Im Tab Ressourcen-Konfiguration finden Sie hinter dem Menüsymbol (siehe Abbildung 1) die Credentials, die benötigt werden, um sich per S3-Protokoll direkt mit der Ressource zu verbinden (siehe Abbildung 2).
Übersicht der Credentials
Zur Verbindung mit S3-Ressourcen werden einige Daten benötigt, die je nach Tool unterschiedlich benannt sein können. Daher hier eine kurze Erklärung der notwendigen Parameter und geläufigen Namen für diese.
Verbindungsparameter für DataStorage.nrw-Ressourcen
| Name | Wert | Kommentar |
|---|---|---|
| Server oder Endpoint | global.datastorage.nrw | - |
| Port | 443 | - |
| Bucketname | XXXXXXXX-XXXX-XXXX-... | - |
| Pfad bzw. Path | Wie Bucketname | Achtung! Je nach Tool findet sich die Pfadangabe in den erweiterten oder optionalen Einstellungen. Sie ist für die Nutzung des S3-Speichers aber notwendig! |
Hinweis
Bei der Verbindung zu den Ressourcen von DataStorage.nrw wird empfohlen, den Hostnamen im Virtual-Host-Stil anzugeben. Bei Nutzung des Path-Stils kann es zu Verbindungsproblemen kommen.
Es werden automatisch zwei Paare für Zugangsdaten erzeugt. Ein Paar für Lese- und Schreibzugriff und ein Paar, das nur Lesezugriff erlaubt.
| Name(n) | Wert | Kommentar |
|---|---|---|
| Access Key (ID) | read_XXXXXX... oder write_XXXXXX | Read und Write Access Key funktionieren jeweils nur mit dem passenden Secret Key. |
| Secret (Access) Key | XXXXXXXX-XXXX-XXXX-XXXX-... | - |
Hinweis zum Zertifikatsfehler
Derzeit kann es bei der Verbindung mit S3-Clients zu einem Zertifikatsfehler kommen. Der Fehler kann zunächst ignoriert werden, da er die Funktion des S3 nicht einschränkt. Das neue Zertifikat ist in Arbeit.