S3
Eine S3-Ressource zeichnet sich durch einen S3-Zugang aus.
Eigenschaften einer S3-Ressource
- Speicherplatz: Speicherplatz für S3-Ressourcen muss immer über Coscine-JARDS beantragt werden.
- Anwendungsfälle: große Datenmengen, automatisierte Dateneinlieferung, Metadatenmanagement mit Readme-Dateien, Nutzung von S3-Speicherplatz in Verbindung mit Jupyter Notebooks
- Zugriffswege: Bedienoberfläche, API, S3
- Metadaten: Die Metadateneingabe über das Metadatenprofil wird nicht erzwungen. Im Speicherplatzantrag in Coscine-JARDS ist deswegen nachvollziehbar darzulegen, um welche Forschungsdaten es sich handelt und wie sichergestellt wird, dass diese mithilfe von Metadaten beschrieben und auffindbar gemacht werden.
- Sonstige Besonderheiten: Nutzende, die komplexe S3-Operationen ausführen möchten, finden hier einen Überblick der in Coscine genutzten S3-Policies.
Eine S3-Ressource erstellen und nutzen
Wenn der Speicherplatzantrag den Begutachtungsprozess erfolgreich durchlaufen hat und die Quota dem jeweiligen Projekt zugewiesen wurde, können Sie in diesem Projekt S3-Ressourcen erstellen. Mit Klick auf das Menüsymbol öffnen Sie den Tab Ressourcen-Konfiguration. Dort finden Sie die Credentials und Verbindungsparameter, die Sie benötigen, um sich per S3-Protokoll über einen S3-Client direkt mit der Ressource zu verbinden.
Achtung: Empfohlene S3-Clients
Einen umfassenden Support für die Nutzung von S3-Clients kann das Coscine-Team nicht leisten. Die S3-Clients WinSCP, Cyberduck oder MinIO Client wurden bereits erfolgreich mit Coscine getestet. Auf den jeweiligen Dokumentationsseiten finden Sie nähere Informationen zur Nutzung. Für die Funktionalität von anderen Anwendungen (z. B. rclone, S3CMD) liegen keine Erfahrungen beim Coscine-Team vor.
Übersicht über Credentials und Verbindungsparameter
Um einen S3-Client mit einer S3-Ressource zu verbinden, benötigen Sie verschiedene Daten, die je nach Client unterschiedlich benannt sein können. Im Allgemeinen wird unterschieden zwischen:
- Credentials: Credentials sind vergleichbar mit Anmelde- oder Zugangsdaten. Sie stellen sicher, dass unbefugte Dritte nicht auf die Daten in der S3-Ressource zugreifen können. Außerdem enthalten sie verschiedene Berechtigungen: Read Access Keys enthalten nur Leserechte, Write Access Keys auch Schreibrechte.
- Verbindungsparameter: Verbindungsparameter sind Informationen über den Speicher und die S3-Ressource darin (im Falle von Coscine der DataStorage.nrw), sodass der jeweilige S3-Client damit eine Verbindung aufbauen kann.
Die folgenden Tabellen geben eine Übersicht über die gängigsten Benennungen und Werte dieser Informationen:
| Name | Wert | Hinweis |
|---|---|---|
| Access Key (ID) | read_XXXXXX... oder write_XXXXXX | Read Access Key und Write Access Key funktionieren jeweils nur mit dem passenden Secret Key. |
| Secret (Access) Key | XXXXXXXX-XXXX-XXXX-XXXX-... |
| Name | Wert | Hinweis |
|---|---|---|
| Server oder Endpoint | global.datastorage.nrw | |
| Port | 443 | |
| Bucketname | XXXXXXXX-XXXX-XXXX-... | |
| Pfad bzw. Path | Wie Bucketname | Je nach Tool findet sich die Pfadangabe in den erweiterten oder optionalen Einstellungen. Sie ist für die Nutzung des S3-Speichers aber notwendig! |
Hinweis: Virtual-Host-Stil nutzen
Bei der Verbindung zu den S3-Ressourcen von DataStorage.nrw wird empfohlen, den Hostnamen im Virtual-Host-Stil anzugeben. Bei Nutzung des Path-Stils kann es zu Verbindungsproblemen kommen.