Überblick
Coscine bietet eine Vielzahl verschiedener Speichersysteme für Ressourcen an. Objektspeicher-basierte Systeme wie der S3-Speicher speichern alle Daten in sogenannten Buckets. Zur eindeutigen Identifikation von Daten sind der Bucketname, der Objektschlüssel (Bezeichnung des Objekts) sowie der Endpunkt des Webservices nötig.
Der Zugriff auf Daten in einem S3-Bucket ist an Zugriffsrechte gebunden. Um auf Buckets im S3-Speicher zugreifen zu können, müssen sogenannte Access-Keys verwendet werden, welche entweder mit Lese- oder Schreibrechten verknüpft sein können.
Mit S3-Ressourcen kann, ebenso wie mit allen anderen Ressourcentypen in Coscine, durch die Nutzung der REST-API interagiert werden. Somit können Buckets und Objekte erstellt oder gelöscht werden, ohne die Weboberfläche von Coscine nutzen zu müssen. Die Besonderheit bei S3-Ressourcen ist, dass mit ihnen ganz ohne Coscine interagiert werden kann. Sind Access-Keys und Bucket-ID bekannt, so können S3-Libraries wie boto3 oder die im Nachfolgenden vorgestellten S3-Anwendungen zur direkten Interaktion mit den Daten benutzt werden.
In einigen Fällen, wie dem Upload und Download sehr großer Dateien kann dies von Vorteil sein, allerdings muss dabei aufgrund der Umgehung der Nutzung der Weboberfläche auf die Angabe von Metadaten verzichtet werden. Deshalb wird auch bei Speicherplatzanträgen für eine S3-Ressource darauf geachtet, dass ein gutes Metadatenmanagement überlegt und befolgt wird.
Was genau sind dann S3-Clients?
S3-Clients ermöglichen eine direkte Verbindung zum S3-Speicher. Sie agieren völlig unabhängig von Coscine und bieten daher selbst bei Ausfall der Coscine-Weboberfläche Zugang zu Ihren Daten. Über S3-Clients können beispielsweise Dateien hoch- oder heruntergeladen, aber auch entsprechend bearbeitet werden. Da die S3-Clients direkt mit dem zugrundeliegenden Speichersystem "kommunizieren" ist in der Regel ein schnelleres Hoch- und Herunterladen von (größeren) Dateien möglich. Bei kleineren Dateien ( < 5Gb ) fällt dieser Unterschied jedoch kaum ins Gewicht.
In der nachfolgenden Dokumentation stellen wir Ihnen die S3-Anwendungen Cyberduck, MinIO und WinSCP näher vor, mit denen eine unkomplizierte Anbindung an den Coscine S3-Speicher möglich ist.
Wie sieht ein Beispiel für die Interaktion mit dem S3 Speicher mittels Python aus?
Ein Beispiel für die Interaktion mit dem S3 Speicher mit Python ist im folgenden GitLab Repository zusammengefasst und kann als Inspiration zur Erstellung von eigenen S3-Clients genutzt werden.