pNFS nach Garth und IDC

Der Gründer von Panasas und wissenschaftliche Leiter, Dr. Garth Gibson, und Steve Conway, Vizepräsident Forschung in der High-Performance-Computing-Gruppe von IDC, haben kürzlich über die HPC-Trends und Kräfte diskutiert, die Einfluss auf die Entwicklungen des  HPC-Storage-Marktes haben. In diesem ersten der drei Videoaufzeichnungen wird die Rolle von pNFS für die HPC-Speicherung diskutiert. Die Rolle der Solid-State-Technologie in HPC-Installationen sowie die Big Data sind die Themen der folgenden Gespräche.

  • Thursday, 30th May 2013 Posted 10 years ago in by Phil Alsop

Panasas und IDC pNFS (Gesprächsabschrift):

Steve Conway: Die erste Frage an Sie betrifft pNFS. Dieser Standard hat sich entwickelt und jedes Jahr heißt es 'ist dies das Jahr von pNFS'? Wie sehen Sie das?

 

Garth Gibson: Dies ist das Jahr, in dem Red Hat die ersten Arbeitsversionen von pNFS in den Client-Code übernehmen wird.  Wir verfügen natürlich schon seit einiger Zeit über Serverversionen. Erst brauchten wir den Standard - wir haben den Standard. Dann brauchten wir Serverversion von den großen Anbietern. Einige haben wir schon. Worauf sich Panasas jedoch wirklich konzentriert hat, ist die Qualität des Codes für die Linux-Clients. Daran haben gute Leute jahrelang gearbeitet. Dieser Code hat es Ende des letzten Jahres ganz nach oben geschafft und wird nun insbesondere über Red Hat in das erste experimentelle pNFS-Release einfließen. Noch nicht in allen Protokollen. Da wird noch einiges nachkommen und das heißt, dass neue Energie zurück in die anderen Backend-Protokolle fließen wird, damit auch die Vorteile anderer Technologien genutzt werden können. pNFS ist eine aufkeimende Entwicklung hinsichtlich des technischen Aufwands, der proprietären Clients anderer Marktteilnehmer, verfügbarer Linux-Versionen und vieler Protokolle – die Technologie dafür ist vorhanden. Und die Kunden stellen Forderungen. Ihnen gefällt der diese Commodity-Infrastruktur. Sie passt wirklich zur Idee einer Hadoop-Welt und, sofern man über die parallelen Hochgeschwindigkeitsdateisysteme verfügt, die NAS unterstützen – ein Protokoll, das von allen Clients unterstützt wird -,  passt das alles wirklich gut mit Hadoop zusammen.

Ja, die ersten kommerziellen Implementierungen sind für dieses Jahr (2013) geplant. Und ich sehe in den nächsten ein oder zwei Jahren vollkommen neue Protokolle aus den Vertriebshäusern kommen.

SC: Wer werden nach Ihrer Ansicht die Pilotanwender sein? Die Unternehmen? Behörden und Regierungen? Oder gibt es ein Profil, das alle diese Bereiche abdeckt?

GG: Ich glaube, es werden wohl eher die Unternehmen sein. Ich denke, dass pNFS zum großen Bild der verlässlichen Mainstream-NFS-Speicher passt und dass es eher um ein Multi-Sourcing der Technologie geht.  Behörden- bzw. regierungsseitig wird man eher auf die Protokolle eines Lieferanten mit entsprechender Nischenkenntnis setzen - das ist ein sehr spezifischer Bereich.  Ich glaube, dass man dort hohe Ausgaben für Dinge, wie die Lustre-Basis getätigt hat, sich (beispielsweise) auf die Intel-Whamcloud konzentrieren wird, und  weiterhin viel Geld aufwenden wird, damit die äußerst spezifischen Probleme in diesem Bereich gelöst werden. Ich denke, pNFS zielt eher auf den Highend-Sektor des klassischen NFS-Bereichs, denn die Schnelligkeit und Parallelität sind ausreichend, um in einem breiten HPC-Bereich eine Rolle spielen zu können. Leute, die sich mit integriertem, Enterprise- und HPC-Computing befassen werden wohl eher abgeschreckt.

SC: Wie passt das pNFS-Mapping auf Speicherarchitekturebene zu den Trends im Bereich der Speicherarchitektur?

GG: pNFS wird vorrangig wie eine Evolution der NFS-Infrastruktur daherkommen. Ebenso wie die dateibasierte Speicherung selbst in den virtualisierten Computing-Welten Management-Vorteile mit sich bringt, wird es mit pNFS wohl einfacher werden, die erwartete Performance zu erreichen.  Ich glaube, die Rolle der Dateiinfrastrukturen wird gestärkt werden. Ich glaube, dass andere Techniken, beispielsweise SSD gegenüber pNFS neutral sind. Wir haben herausgefunden, wie man SSD auf lokalen Rechner nutzen kann, aber wir können SSD, wie Panasas es getan hat, auch auf den NFS-/pNFS-Server übernehmen, wodurch unsere umfassende Unterstützung kleiner und großer Dateien noch viel effektiver werden wird. Ich denke, wir werden sehen, dass immer mehr SSD für bestimmte Daten eingesetzt werden. Genau das möchten wir sowohl für die lokale als auch für die Netzwerkspeicherung nutzen. Ich glaube, dies wird ein guter Ausgangspunkt für die gesamte Highend-Speicherung sein.

SC: Sie haben von virtualisierten Umgebungen gesprochen. Glauben Sie, dass pNFS auch eine Rolle in privaten oder öffentlichen Clouds spielen wird?

GG: Die Endbenutzer der öffentlichen Clouds verfügen über viele Technologien und sie sind sehr kostenbewusst, weil sie in ihren eigenen Infrastrukturen arbeiten.  Sie sind wohl am wenigsten geneigt etwas nur deshalb zu tun, weil es im Moment das "Beste seiner Art" ist. Allerdings werden sie es wohl doch tun, weil sie einige der Komponenten selbst aufbauen können. Ich glaube daher (und Sie werden es sehen), dass es vorrangig nicht um diese Art der Cloud gehen wird. Ich glaube, dass die private Cloud, in der  man sich auf Lieferanten verlassen kann, die die besten Lösungen entwickeln, unterstützen und garantieren, dass alles fehlerfrei laufen wird, im Vorteil ist.  Ich denke, die Integration in ein vorhandenes Disaster-Recovery und verwaltbare Infrastrukturen sind in privaten Clouds wichtiger.

SC: Sie haben Red Hat als einen der Implementierer dieses Jahres genannt. Wie wird pNFS nach Ihrer Ansicht am Markt vorangetrieben werden? Wer wird es vorantreiben? Ich vermute, dass Sie selbst einen Anteil daran haben werden.

GG: Ja. Panasas treibt die Technologie voran. Ich kann Ihnen die Namen der Unternehmen nennen, die sehr aktiv an der Entwicklung...

SC: Nicht so sehr die Namen der Unternehmen, aber die Kategorien der Marktteilnehmer, die diese Technologie vorantreiben werden.

GG: Ich glaube, der Plan für pNFS am Markt lautet Bereitstellung und Förderung von Clustern, die wirklich viele Rechnervorgänge ausführen können. HPC war in den Vergangenheit in großes Thema, vorrangig waren jedoch die Big Data das eigentliche Thema des Marktes - traditionelles NFS war einfach nicht zufriedenstellend; dies ist der Grund für die Einführung dieser neuen, konvergierten Dateisysteme. Angesichts der Geschwindigkeit von NFS/pNFS können Sie, nach meiner Ansicht, die Vorteile der Spezialisierung und optimierten Verlässlichkeit im dedizierten Speicher nutzen.

SC: Glauben Sie ebenso wie wir bei IDC, dass die Grenzen zwischen traditionellem HPC und einigen Teilen des Enterprise-Computing verschwimmen werden?

GG: Absolut. Ich glaube, dass HPC auf Unternehmensseite weniger und weniger für ein spezielles Projekt oder benutzerdefiniert aufgebaut werden wird - die Kosten sind einfach zu hoch. Es geht eher um die Lösung der Highend-Rechnerprobleme, von denen Industrie und Regierungen gleichermaßen betroffen sind.

http://panasas.com/blog/pnfs-according-garth-and-idc