RDS-S3

Der Research Data Storage (RDS) ist ein Ressourcentyp für Speicherplatz in Coscine und ein objektbasierter Speicher ausschließlich für die Nutzung mit Forschungsdaten. Als von der DFG vorfinanzierten Speicher entstehen für Nutzende keine weiteren Kosten, solange ein gutes Forschungsdatenmanagement gewährleistet ist. RDS-S3 Ressourcen können per S3-Protokoll mit verschiedenen Tools genutzt werden.

Hinweis

Bitte verwenden Sie WinSCP, Cyberduck oder MinIO Client anhand der Anweisungen auf den jeweiligen Unterseiten. Für die Funktionalität von andere Anwendungen (z.B. rclone, S3CMD) können wir keinen Support anbieten.

Wann kommt RDS-S3 für mich in Frage?

Für Fälle, in denen die API genutzt werden kann oder soll, steht auch eine direkte S3-Schnittstelle zum RDS zur Verfügung. So können Daten leistungstark und standardisiert in den RDS geschrieben werden.

Was ändert sich für mich, wenn ich RDS-S3 nutzen möchte?

Da in diesem Fall keine Metadaten durch Coscine sichergestellt werden können, muss zunächst ein Antrag gestellt werden, in dem kurz beschrieben wird, um welche Daten es sich handelt und wie sichergestellt wird, dass die Daten im RDS auch tatsächlich wieder auffindbar gemacht werden können. Dies können lokale oder web-basierte Datenbanken sein, aber auch andere Wege, um den Überblick zu behalten sind möglich.
Falls Sie Quota für RDS-S3 Ressourcen benötigen, finden Sie das Antragsdokument unter Speicherplatz Management.

Wie geht es dann weiter?

Wenn die Quota bewilligt wurde, können Sie RDS-S3 Ressourcen in dem jeweiligen Projekt erstellen. In den Eigenschaften der Ressource finden Sie die Credentials, die benötigt werden, um sich per S3-Protokoll direkt mit der Ressource zu verbinden.

Abbildung 1 - Übersicht der Credentials in der Ressourcenkonfiguration

Übersicht der Credentials

Zur Verbindung mit RDS-S3 Ressourcen werden einige Daten benötigt, die je nach Tool unterschiedlich benannt sein können. Daher hier eine kurze Erklärung der notwendigen Parameter und geläufigen Namen für diese.

Name	Wert	Kommentar
Server oder Endpoint	coscine-s3-01.s3.fds.rwth-aachen.de	-
Port	9021	-
Bucketname	XXXXXXXX-XXXX-XXXX-...	-
Pfad bzw. Path	Wie Bucketname	Achtung! Je nach Tool findet sich die Pfadangabe in den erweiterten oder optionalen Einstellungen. Sie ist für die Nutzung des RDS-S3 aber notwendig!

Es werden automatisch zwei Paare für Zugangsdaten erzeugt. Ein Paar für Lese- und Schreibzugriff und ein Paar, das nur Lesezugriff erlaubt.

Name(n)	Wert	Kommentar
Access Key (ID)	read_XXXXXX... oder write_XXXXXX	Read und Write Access Key funktionieren jeweils nur mit dem passenden Secret Key.
Secret (Access) Key	XXXXXXXX-XXXX-XXXX-XXXX-...	-

Hinweis zum Zertifikatsfehler

Derzeit kann es bei der Verbindung mit S3-Clients zu einem Zertifikatsfehler kommen. Der Fehler kann zunächst ignoriert werden, da er die Funktion des RDS-S3 nicht einschränkt. Das neue Zertifikat ist in Arbeit.