Présentation du concept de clusters HPC LINUX

Un peu d'histoire

Le concept de cluster HPC (High Performance Computing) est né en 1995 avec le projet Beowulf, sponsorisé par la NASA, pour traiter par le calcul parallèle les gigantesques volumes de données des calculs sismiques.

Les clés du succès de l'architecture cluster HPC

• La disponibilité de sous-ensembles standards (microprocesseurs, cartes mères, disques et cartes d'interface de réseau) produits en masse, fiables et de faible coût.
• L'existence des logiciels Open source, comme Linux, les compilateurs GNU et les outils de programmation parallèles (MPI, PVM).
• L'expérience accumulée par les chercheurs dans les algorithmes parallèles.
• Le développement des réseaux à hautes performances à base de composants standard.
• L'augmentation des besoins de calcul dans tous les domaines

Clusters de calcul parallèle

Depuis, le concept de clusters HPC n'a fait que se développer (dans la liste des 500 plus grands supercalculateurs, 296 sont à base de clusters HPC). Le besoin en moyens de calcul pour répondre à des problématiques telles que la modélisation et la simulation de systèmes complexes, et l’évolution rapide des moyens informatiques (augmentation de la vitesse des processeurs et des mémoires ainsi que de la vitesse des réseaux) ont donné naissance aux clusters de PC (grappes de PC).

Le rapport prix / performance d’une grappe de PC est de 3 à 10 fois inférieur à celui des supercalculateurs traditionnels.

Les clusters sont composés d’un ensemble de serveurs interconnectés entre eux par un réseau rapide (cf. Gigabit Ethernet, Dolphin, Infiniband, Myrinet, ou PathScale). Ils permettent de répondre aux problématiques de Haute Performance et de Haute Disponibilité.

Dataswift, forte de son expérience dans le domaine des serveurs a développé une large gamme de clusters. L’architecture des clusters est décrite de la façon suivante : N postes esclaves nœuds de calcul (par ex des serveurs Ulys ou Cloe) sont reliés entre eux par un (ou plusieurs) réseau(x) rapides et sont également reliés à un poste maître (par ex un serveur Ulys ou Poseidon) qui permet d’administrer le calculateur, et sert d’interface avec le réseau local. L’utilisateur final se connecte de façon transparente sur la machine depuis un poste quelconque du réseau local.

Dans le cadre de son centre de compétences Linux, Dataswift propose plusieurs solutions clé en main adaptés à la demande du client. Nous avons développé un partenariat approfondi (validation, tests…) et concret avec les meilleurs éditeurs de logiciels de clustering : Rocks, Oscar, Scali.

Exemples de clusters ici

Clusters de Stockage

La question du stockage devient cruciale du fait de l’augmentation de la taille et de la quantité des calculs réalisés sur les clusters de calcul parallèles.

Dataswift propose plusieurs solutions de stockage. Quelque soit la technologie choisie : NAS, DAS, iSCSI, Baies RAID ou serveurs RAID, nous avons la solution à vos problèmes de stockage tant du point de vue matériel que logiciel.

Ces solutions ne nécessitent pas d'adaptation des applications de calcul existantes et permettent de remplacer avantageusement certaines architectures lourdes, coûteuses et propriétaires.