single.php
< Beitrag von Daniel Meinhold

Cloud-Infrastrukturen mit Amazon Web Services III: Storage

Im letzten Teil der Blog-Serie zu den Kerndiensten bei Amazon Web Services sehen wir uns das Thema Storage an. Amazon bietet Storage-Optionen für die unterschiedlichsten Anwendungsfälle an.

Aus technischer Sicht lassen sich diese wie folgt gruppieren:

Storage-Optionen bei Amazon Web Services

Storage in der Cloud: block-, objekt- und dateibasiert

  1. Blockbasierter Storage (Amazon Elastic Block Store, EBS): Die virtuelle Festplatte für die dauerhafte Datenspeicherung in verschiedenen Performance-Klassen (IOPS, Durchsatz, Verzögerung). Daher nur in Verbindung mit virtuellen Servern (Amazon EC2). Typische Anwendungsfälle sind abseits von Betriebssystem- und Daten-Volume weiterhin Enterprise-Applikationen, SQL- und NoSQL-Datenbanken, Big-Data-Umgebungen oder Data-Warehousing-Anwendungen.
  2. Objektbasierter Storage (Amazon Simple Storage Service, S3): Ein nativer „Internet-Speicherdienst“. Dynamisch skalierender, performanter Objektspeicher. Der Zugriff erfolgt über das Internet via HTTP/S. S3 wird u. a. für Backup/Restore, VM-Vorlagen (AMIs), Software im Allgemeinen, Inhalte wie Fotos, Videos, Musik und Dateien oder als Basis für ein serverloses Design als Speicherort verwendet. Objektbasierter Archivspeicher (Amazon Glacier) ist eine Lösung für Kunden, die selten benötigte Daten kostengünstig speichern möchten. Sie ermöglicht z. B. ein Lifecycle Management von Daten (Tiered Storage), die Abschaffung einer Tape-Infrastruktur oder hilft bei der Erfüllung von Compliance-Anforderungen.
  3. Dateibasierter Storage (Amazon Elastic File System, EFS): Ein skalierbarer und vielseitig einsetzbarer NFS-basierter Speicherdienst für Amazon EC2-Instanzen oder Drittsysteme z. B. in Hybrid-Szenarien. Amazon EFS wird u. a. für Compute Cluster, Home Directories, Big Data oder Web-Anwendungen eingesetzt.

Ergänzt werden diese Dienste durch verschiedene Varianten des Datentransfers: z. B. Online mittels Import/Export, Software Appliance (Amazon Storage Gateway) mit iSCSI-Schnittstelle oder aber offline per Hardware Appliance (Amazon Snowball).

Nachfolgend weitere Details zu den einzelnen Diensten.

Virtuelle Festplatten – Amazon EBS

Die Bereitstellung von blockbasiertem Speicherplatz für virtuelle Server erfolgt bei Amazon über den Service Elastic Block Store (EBS). Als Nutzer hat man dabei die Wahl zwischen 4 verschiedenen Leistungsklassen:

Volume-Typ:  SSD (Standard)  SSD (Performance)  HDD (Throughput)  HDD (Cold)
Volume-Größe:  1 GB – 16 TB  4 GB – 16 TB 500 GB – 16 TB  500 GB – 16 TB
Max. IOPS/Volume:  10.000  20.000  500 250
Max. Durchsatz/Volume: 160 MB/s 320 MB/s 500 MB/s 250 MB/s

Volumes werden 1:1 einer EC2-Instanz innerhalb einer (!) Availability Zone angebunden. Dabei können mehrere Volumes einer EC2-Instanz zugeordnet und auf Betriebssystem-Ebene konfiguriert werden. Optional können die Volumes (inkl. Boot Volume) auf Hypervisor-Ebene mittels AES verschlüsselt werden.

Jedes Volume kann klassisch per RAID je nach Anforderungen an Performance, Kapazität und Verfügbarkeit auf Betriebssystem-Ebene angepasst werden. Eine automatische Replikation des Volumes innerhalb einer Availability Zone schützt vor Ausfällen einzelner Komponenten, nicht jedoch vor dem Ausfall einer kompletten Availability Zone oder gar Region.
Laut SLA (für EC2 und EBS) wird eine monatliche Verfügbarkeit von 99,95 % angestrebt. Diese bezieht sich jedoch auf die Verfügbarkeit der Region. Der Ausfall einer Availability Zone ist daher nicht SLA-relevant. Sofern eine höhere Verfügbarkeit erforderlich ist, muss die Architektur entsprechend geplant werden.

Weitere Features von EBS sind:

  • Nutzung von Snapshots (Speicherung in S3)
  • Regionsübergreifende Nutzung via Snapshots
  • Dynamisches Vergrößern von Volumes
  • Integriertes Monitoring mittels Amazon CloudWatch

Die Preise variieren je nach Leistungsklassen und werden wie folgt berechnet (Stand: April 2017, Region: Frankfurt):

 SSD (Standard):  monatlich je GB $0.119, stundengenaue Abrechnung
 SSD (Performance):  monatlich je GB $0.149 + USD 0.078 je bereitgestellte IOPS, taggenaue Abrechnung
 HDD (Throughput):  monatlich je GB $0.054, stundengenaue Abrechnung
 HDD (Cold):  monatlich je GB $0.03, stundengenaue Abrechnung

Storage-Zugriff per HTTP – Amazon S3

Für das Speichern und Abrufen von Dateien via Internet (HTTP/S) bietet Amazon den Dienst Simple Storage Service (S3) an. Amazon S3 ist ein regionaler Service, d. h. die Wahl der Region (z. B. Frankfurt) erfolgt auf Basis von Anforderungen hinsichtlich Compliance, Performance oder Kosten.

Im Unterschied zum blockbasierten Speicherdienst EBS ist S3 nicht an virtuelle Server (EC2) gebunden, bietet eine Web-Schnittstelle (REST/SOAP) und skaliert nahezu beliebig. Als sogenannter Key-Value-Store werden Dateien in Form des Datei- bzw. Objektnamen (Key) sowie den eigentlichen Daten (Value) in einem logischen Container bzw. Ordner (sogenannter Bucket) gespeichert. Dies bedeutet aber auch, dass eine Änderung innerhalb einer Datei immer mit einem vollständigen Upload verbunden ist, da das Objekt die kleinste Übertragungseinheit darstellt. Der Bucket dient dabei sowohl als Element für das Ordnen der Daten als auch für das Umsetzen eines Berechtigungskonzepts oder das Abbilden einer Kostenstruktur.

Bezüglich der Skalierbarkeit sind max. 100 Buckets voreingestellt. Auf Nachfrage lässt sich dieses Limit jedoch erhöhen. Jedes Objekt/jede Datei darf max. 5 TB groß sein.

Bezüglich Performance und Verfügbarkeit/Langlebigkeit der Daten werden bei S3 4 Klassen unterschieden:

 S3 Standard  Standard – Infrequent Access (IA) Glacier Reduced Redundancy Storage (RRS)
 Durability:  99,999999999%  99,999999999%  99,999999999%  99,99%
 Availability:  99,99%  99,9%  99,99% (nach Restore)  99,99%

Über ein integriertes Lifecycle Management können Dateien über Regeln automatisch z. B. nach 30 Tagen von S3 Standard nach S3 Infrequent Access verschoben und somit Kosten eingespart werden.

Glacier stellt hierbei einen Sonderfall dar. Vorgesehen als günstiger Archivspeicher ist hier kein Echtzeitzugriff möglich. Die Daten müssen erst wiederhergestellt werden, was ca. 3-5 Stunden dauern kann.

Weitere Funktionen von S3 sind:

  • Events (z. B. für automatische Benachrichtigungen oder Funktionsaufrufe nach Dateiänderung)
  • Versionierung
  • Verschlüsselung (Server- und Client-seitig)

Für S3 (Standard und Infrequent Access) bietet Amazon einen SLA, welcher bei einer monatlichen Verfügbarkeit unter 99 % (S3 Standard) eine Gutschrift in Höhe von 25 % ausstellt. Maßgeblich für die Berechnung ist hierbei die durchschnittliche Fehlerquote aller Fünf-Minuten-Zeiträume eines Monats.

Die Preise variieren je nach Leistungsklassen und werden wie folgt berechnet (Stand: April 2017, Region: Frankfurt):

 S3 Standard  Standard – Infrequent Access (IA) Glacier  Reduced Redundancy Storage (RRS)
Erste 50 TB pro Monat  $0.0245 pro GB  $0.0135 pro GB  $0.0045 pro GB  $0.0255 pro GB (> 1 TB)
 Nächste 450 TB pro Monat  $0.0235 pro GB  $0.0135 pro GB  $0.0045 pro GB  $0.0251 pro GB
 Über 500 TB pro Monat  $0.0225 pro GB  $0.0135 pro GB  $0.0045 pro GB  $0.0247 pro GB (< 1000 TB)

Neben den Kosten für die Datenspeicherung kommen noch die Kosten für die Datenübertragung sowie Kosten abhängig von der Anzahl an Anfragen (PUT, COPY, POST etc.) hinzu.

Managed Service NFS – Amazon EFS

Als dateibasierten Speicher kann man bei Amazon mit Elastic File System (EFS) einen Managed Service NFS (Network File System) beziehen. Der Betrieb der dafür nötigen Infrastruktur obliegt vollständig Amazon. Angeboten wird ein hochverfügbarer und skalierbarer NFS-Dienst in Version 4.1. Kosten fallen, abgesehen von Transferkosten, nur für den genutzten Speicherplatz an.

Durch den Einsatz von NFS ist eine einfache Integration in Unix/Linux-Umgebungen möglich. Neben dem Einbinden in EC2-Instanzen ist auch eine Umsetzung von Hybrid-Cloud-Architekturen möglich. Hier kann per AWS Direct Connect auf den NFS-Dienst zugegriffen werden, z. B. zwecks Datenmigration/-austausch. Ein Zugriff via VPN ist hingegen nicht möglich.

In den Voreinstellungen sind max. 10 Dateisysteme je AWS-Kunde konfigurierbar, wobei jedes Dateisystem mehrere Petabyte groß sein kann. Dabei können tausende von EC2-Instanzen gleichzeitig auf das Dateisystem zugreifen. Bezüglich der Performance können zwischen 50 MB/s je TB bis zu 100 MB/s je TB erreicht werden.

Bezogen auf Sicherheitsmerkmale stehen neben POSIX-konformen Berechtigungen noch Access-Listen auf Basis von IP-Adressen sowie die allgemeinen Netzwerkfunktionen von AWS zur Verfügung, u. a. Security Groups und Network ACLs. Siehe auch Blog-Artikel Cloud-Infrastrukturen mit Amazon Web Services I: Netzwerk.

Amazon EFS wird derzeit (Stand: April 2017) in folgenden Regionen angeboten:

  • EU (Irland)
  • USA Ost (North Virginia, Ohio)
  • USA West (Oregon)

Die Daten werden hochverfügbar über mehrere Availability Zones verteilt. SLAs oder Angaben zur (geplanten) Verfügbarkeit werden derzeit nicht angegeben.

Das Preismodell für EFS richtet sich nach dem tatsächlich genutzten Speicherplatz (im Durchschnitt pro Monat). Der Preis für die Region EU (Irland) liegt derzeit (Stand: April 2017) bei $0.33/GB. In allen anderen Regionen bei $0.30/GB.

Zusammenfassung

Amazon Web Services decken mit block-, objekt- und dateibasiertem Speicher in Form von EBS, S3/Glacier und EFS eine Vielzahl an Anwendungsfällen zur Speicherung von Daten ab. Je nach Dienst können die Kosten durch die passende Nutzung der verschiedenen Performance- und Verfügbarkeitsklassen optimiert werden. Für die Planung der Architektur hinsichtlich Verfügbarkeit sollten die Ausnahmen und Randbedingungen der SLAs, sofern vorhanden, im Detail betrachtet werden.

Folgen
X

Folgen

E-mail : *
Kategorie: Cloud | Schlagwörter: , | Kommentare: 0

Beitrag kommentieren

CAPTCHA * Time limit is exhausted. Please reload CAPTCHA.