MinIO

Hier finden Sie für Coscine ein Beispiel für die Konfiguration von MinIO Client (mc), einem kostenlosen S3-Client für Linux, macOS und Windows.

MinIO Client - S3 über die Befehlszeile nutzen

Die Open Source Anwendung MinIO ist anders als Cyberduck und WinSCP ein Client ohne Nutzeroberfläche, sondern lediglich einer Schnittstelle zur Befehlszeile. Oft wird auch von CLI gesprochen, was für Command Line Interface steht. Daher eignet sich der Client am ehesten für technisch versierte Nutzende.

Download des MinIO Clienten

Im GitHub-Repository des MinIO Clienten sind verschiedene Download-Optionen verfügbar, z. B. Binärdateien für Linux, macOS oder Windows.

Bitte beachten Sie dabei, dass der Client auf dem System installiert ist von oder zu dem Sie Daten migrieren wollen (z.B. Installation auch auf einem Rechencluster).

S3-Verbindung unter Linux oder Windows Befehlszeile

Der dem Clienten zugeordnete Befehlszeilen Befehl mc ähnelt häufig verwendeten Linux-Befehlen wie cp, ls, cat, head, mv, und rm auf S3-kompatiblen Speicherdiensten.

Konfigurationsdatei einrichten

Zwar ist es möglich, alle Parameter manuell über die Kommandozeile einzugeben, jedoch ist die Verwendung einer Konfigurationsdatei empfohlen. Die Verwendung einer solchen Datei (config.json) bietet Vorteile hinsichtlich Konsistenz, Reproduzierbarkeit und Sicherheit. Die Konfigurationsdatei wird erzeugt durch das Setzen eines Alias und kann danach ggf. manuell verändert werden. Der Befehl zum Anlegen der Konfigurationsdatei ist

mc alias set <my_resource_alias> https://global.datastorage.nrw:443/

Der Name hinter dem Term my_resource_alias kann frei gewählt werden. Die resultierende Konfigurationsdatei sollte wie folgt aussehen und unter ~/.mc/config.json unter Linux bwz. ?%USERPROFILE%\.mc\config.json unter Windows angelegt.

{
    "version": "10",
    "aliases": {
        "my_resource_alias": {
        "url": "https://global.datastorage.nrw:443/",
        "accessKey": "<READ_OR_WRITE_ACCESS_KEY_FROM_COSCINE>",
        "secretKey": "<READ_OR_WRITE_SECRET_KEY_FROM_COSCINE>",
        "api": "s3v4",
        "path": "off"
        }
    }
} 

Den Access Key und den Secret Key für die Konfigurationsdatei, finden Sie in der Ressourcenkonfiguration in Coscine. Je nachdem ob Lese oder Schreibrechtrechte benötigt werden, können Sie den Read oder Write Key angeben.

Dateioperationen:

Nach dem Erstellen der Konfigurationsdatei können nun über den Client mc verschiedene Befehle z. B. zur Datenanzeige, Upload oder Download genutzt werden. Hier zeigen wir einige Beispiele, weiterführende Informationen erhalten Sie im zum Client zugehörigen Git Repositorium.

Achtung

Für den Zugriff auf den Datastorage.nrw muss virtual host style aktiviert sein, dies ist vom Hersteller so vergeben. Außerdem muss die Option path auf "off" gestellt werden.

Dateien in einer Ressource auflisten

Run

mc ls my_resource_alias/<bucket name>

Die Ressourcen-ID wird in den Verbindungsinformationen der Ressource in Coscine angezeigt.

Hochladen einer Datei in eine Ressource

Run

mc cp ./localFile.csv my_resource_alias/<bucket name>/

Achten Sie bitte darauf, dass bei jedem Überschreiben einer Datei eine zusätzliche Dateiversion angelegt wird. Dateiversionen belegen ebenfalls Speicherplatz, bis die Aufbewahrungsfrist abgelaufen ist.

Herunterladen einer Datei aus einer Ressource

Run

mc cp my_resource_alias/<bucket name>/data.csv ./