Skoči na vsebino

Upravljanje podatkov prek porazdeljenega pomnilnika za znanstvene podatke (dCache)

Ravnanje s podatki

Vmesna programska oprema Nordugrid ARC podpira različne protokole za dostop, kot so ftp, gsiftp, http, https, httpg, dav, davs, ldap, srm, root, rucio in s3. Za vhodne podatke uporablja predpomnilnik in lahko optimizira prenose z uporabo samo enega prenosa za opravila, ki uporabljajo isti nabor podatkov, in več.

Shranjevanje podatkov na oddaljeni strežnik dCache

  • Na voljo je uporabnikom SLING, članom gen.vo.sling.si in ostalim VO.
  • Primerno za standardne vhodne in izhodne podatke o opravilih kot začasno shranjevanje (ARC), z omejeno kvoto.
  • Privzeta nastavitev ni primerna za zaupne nešifrirane podatke, člani istega VO lahko berejo podatke drugih članov.
  • Kratkoročno in dolgoročno shranjevanje na v bazenih dCache znotraj SLING.
  • Brez varnostne kopije!
  • Več o rešitvah za shranjevanje podatkov HPC Vega na povezavi.

Odjemalec ARC ponuja ukaze za neposredno rokovanje s podatki, dokumentacijo in uporabne ukaze najdete tukaj.

Objektno shranjevanje S3

HPC Vega ponuja objektno shranjevanje. Za pridobitev poverilnic je potreben odjemalec OpensSack. Za upravljanje podatkov bi moral delovati kateri koli odjemalec S3, npr. s5cmd, libs3 ali boto3. Uporabniki HPC Vega lahko uporabljajo odjemalca na prijavnih vozliščih. Začetna uporabniška kvota je nastavljena na 100 GB.

Pridobitev ključa in skrivnosti za dostop do projekta v objektnem shranjevanju S3:

openstack --os-auth-url https://keystone.sling.si:5000/v3 --os-project-domain-name sling --os-user-domain-name sling --os-project-name <project_name> --os-username <user_name> ec2 credentials create

Spremenljivke okolja:

OS_AUTH_URL=https://keystone.sling.si:5000/v3
OS_PROJECT_NAME=<project_name>
OS_PROJECT_DOMAIN_NAME=sling
OS_USER_DOMAIN_NAME=sling
OS_IDENTITY_API_VERSION=3
OS_URL=https://keystone.sling.si:5000/v3
OS_USERNAME=<user_name>

Ukaz za pridobitev ključa in skrivnosti:

openstack ec2 credentials create

Odjemalec s5cmd

Prenos podatkov z odjemalcem. Spremenljivke okolja, kot sta aws_access_key_id in secret_access_key, so shranjene v datoteki ~/.aws/credentials.

mkdir ~/.aws
chmod 700 ~/.aws
touch ~/.aws/credentials
chmod 600 ~/.aws/credentials
cat >~/.aws/credentials <<EOF
[default]q
aws_access_key_id = <access>
aws_secret_access_key = <secret>
EOF

Navedite vsebino:

s5cmd --endpoint-url https://ceph-s3.vega.izum.si ls

Ustvari vedro:

s5cmd mb mybucket01

Preverite, ali je vedro ustvarjeno:

s5cmd glava s3://mybucket01/

Kopiraj datoteko v vedro:

s5cmd --endpoint-url https://ceph-s3.vega.izum.si cp <podatki> s3://mybucket01/

Prenesi datoteko(e) iz vedra:

s5cmd cp s3://mybucket01/data01.tar.gz .

Odstrani datoteko(e) iz vedra:

s5cmd rm s3://mybucket01/data01.tar.gz

Več ukazov na s5cmd.