Uživatel:Vencokar

Z HPM wiki
Přejít na: navigace, hledání

Obsah

Osobní

Vítejte na mé wiki stránce. Moje jméno je Karel Vencovský. Mám velice rád školu a studiu věnuji veškerý svůj volný čas. :-)

Zápisky ze cvičení

Preklad C:

gcc nazev souboru

gcc -s nacev souboru

cat prog.s / vypis asm kodu


xwininfo - zobrazi informace o okne do ktereho kliknu

sudo apt-get update; sudo apt-get -y install libx11-dev - pri zadani do terminalu nainstaluje balicek libx11-dev

xwd|xwud - po zadani prikazu kliknu na okno a to se mi "zkopiruje"

xwd >soubor - zkopiruje mi to na co kliknu a vytvori z toho soubor

xwud<soubor - vyvolani toho co jsem ulozil

file soubor - vyhodi mi informace o tom vytvorenem souboru soubor


ctrl-C - killne program

ctrl-Z - zpusobi zamrznuti programu + prikaz bg ten program zase spusti, ale odstreli ho to na pozadi, abych mel volny terminal, pripadne prikaz fg to dostane zase do popredi

Návrh semestrální práce

Rocks cluster

http://www.rocksclusters.org/roll-documentation/base/5.4.3/

http://www.linux-mag.com/id/1977/

http://linuxlandit.blogspot.com/2011/08/rocks-cluster-distribution-is-linux.html - je to jeste zive - 2011-08-11: Distribution Release: Rocks Cluster Distribution 5.4.3

http://distrowatch.com/?newsid=06355

http://www.ehow.com/how_7609071_reinstall-rocks-cluster.html

Na Technické univerzitě v Liberci, fakultě Mechatroniky užívají Rocks cluster na projektu Hydra, což je jejich výpočetní cluster.

Co je to počítačový cluster?

Počítačový cluster je seskupení volných počítačů, které spolu úzce spolupracují a tak navenek pracují jako jeden počítač. Obvykle bývají propojeny počítačovou sítí. Clustery slouží k paralelní výpočtům složitých úloh a jsou nasazovány pro zvýšení výpočetní rychlosti nebo spolehlivosti než poskytne jeden samostatný počítač. Užívají se napříkald na simulaci vývoje počasí, na zpracování objemných statistických dat, nebo pro zajištění vysoké dostupnosti určité služby jakožto třeba databáze, SMS centra apod. Užívají se buď speciální víceprocesorové jednotky, nebo obyčejné PC.

Úlohy, které chceme provádět na clusterech musí být specielně navrženy.

Clustery můžeme rozdělit na několik skupin.

Typy clusterů

Výpočetní cluster slouží k zvýšení výpočetního výkonu. Obvykle jsou použity počítače střední cenové hladiny propojené pomocí vysokorychlostní počítačové sítě. Tímto způsobem vznikne vysoce výkonný celek.

Cluster s vysokou dostupností zajišťuje pomocí několika počítačů nepřetržité poskytování služby i při výpadku počítače z důvodu hardwarové závady nebo plánované údržby. Službu poskytuje jeden počítač, který je v případě výpadku automaticky zastoupen jiným počítačem.

Cluster s rozložením zátěže snižuje možnou míru zátěže tím, že službu poskytuje několik počítačů paralelně. Poskytování Stejného obsahu je zajištěno replikací obsahu mezi všechny propojené počítače nebo existencí specializovaného centrálního uložiště.

Úložný cluster zprostředkovává přístup k diskové kapacitě, která je rozložena mezi více počítačů z důvodu dosažení vyššího výkonu nebo pro zajištění vyšší spolehlivosti. Toho je dosahováno speciálními souborovými systémy, které jsou schopny zajistit rozložení zátěže, redundanci dat, pokrytí výpadků jednotlivých uzlů, mechanismus zamykání souborů a další služby s ukládáním dat spojené.

Skupin, do kterých byste mohli clustery rozdělit. Další typy jsou napříkald grid clustery, nebo server clustery.

Rocks Cluster

Logo.jpg

Rocks Cluster Distribution původním jménem NPACI Rocks (National Partnership for Advanced Computational Infrastructure) je Linuxová distribuce určená pro vysoce výkonné výpočetní clustery. Tento projekt byl odstartován v roce 2000. Původně byl Rocks založen na Red Hat distribuci Linuxu nicméně novější verze jsou nyní založeny na CentOS. Obsahují navíc modifikovaný Anaconda instalátor, který zjednodušuje instalaci na velké množství počítačů. Rock zahrnuje mnoho zařízení jako například MPI, které nejsou coučástí CentOS, ale jsou nedílnou součástí, která dělá ze skupiny počítačů cluster.

Instalace jsou velmi přizpůsobitelné dle přání spotřebitele díky takzvaným Roll CD. Což jsou CD s balíky softwaru, který se dá do instalace začlenit, a tak si zákazník vytvoří cluster přesně dle svých představ.

Od původního spuštění projektu se Rocks stal velice oblíbeným a užívaným operačním systémem pro clustery a to jak pro akademické, vládní, tak i komerční organizace. Po světě je 1376 clusterů, jsou na každém kontinentu vyjma Antarktidy. Nejrozsáhlejší akademický cluster je složen z 8632 CPU, nachází se v Německu ve městě Karlsruhe a je spravován místním institutem technologie.

Hlavní výhodou tohoto OS je právě velmi lehká rozšiřitelnost clusteru, díky tomu se Rocks stali tak žádanými.

Tato společnost se snaží řídit jedním heslem a to jest dělat clustery jednoduše. Slůvkem jednoduše je myšleno, aby clutsery byly jednoduché na instalaci, správu, upgrade a rozšiřitelnost.

Instalace clusteru krok za krokem

Podpora hardwaru

Procesory

Sítě

Minimální HW požadavky

Fyzické zapojení

Následující obrázek ukazuje, jak musí být řídící a výpočetní body zapojeny. Je mnoho způsobů jak fyzicky cluster zapojit, Rocks upřednostňují umístění v racku, jelikož je to zapojení spolehlivé a nezabere tolik místa. Ale klidně si můžete jejich cluster postavit z mini towerů jako jsou v naší učebně. Je jen na vás co se Vám líbí a co Vám dává smysl.

Topologie.jpg

Jak vidíte na obrázku výpočetní body jsou svým síťovým rozhraním připojeny do switche a tvoří síť. Tato síť by určitě měla být privátní (s IP neroutovatelnými "venku"), aby byla fyzicky oddělena od vnější, veřejné sítě napříkald internetu.

Řídící bod tedy musí mít dvě síťová rozhraní. Jedno z nich bude připojeno do stejně sítě jako výpočetní body a druhé do nějaké vnější sítě například internetu, nebo nějakého firemního intranetu.

Instalace řídícího bodu

Po vložení Boot CD, se nám podobně jako u Knoppixu objeví obrazovka a zde musíme stihnout napsat "build". Dá se to nestihnout stejně snadno jako u Knoppixu. Pokud toto nestihneme napsat, je potřeba resetovat počítač, jinak by instalace proběhla, ale jakožto výpočetní bod, nikoliv řídící. Po napsaní a potvrzení "build" se spustí instalace řídicího bodu.

Jako první se objeví obrazovka, kde se nastavuje síťové rozhraní řídicího bodu pro vnější síť. Nastavíme tedy například podporu IPv4, vybereme manuální nastavení pro IPv4 a vypneme podporu IPv6. Poté nás instalace zavede na nastavení TCP/IP protokolů, kde nastavíme veřejnou IP adresu + masku.

Nyní postupně dáme do PC všechna CD co máme připravna k instalaci a označíme je, že je chceme instalovat. Po takovémto označení bude naše obrazovka vypadat zhruba takto:

Rolls.jpg

Pokud jsme s tímto hotovi, klepneme na tlačítko submit a objeví se nám tato obrazovka:

Cluster information.jpg

Velmi důležité je tu pole Fully-Qualified Host Name, všechna ostatní pole jsou pouze volitelná. Je potřeba aby bylo Host Name vybráno pečlivě, jelikož se zapíše to vekého množství souborů a to jak na řídicím bodě, tak i na výpočetních bodech. Pokud bude hostname změněno poté, co je řídicí bod nainstalován, je celkem jisté, že spousta služeb clusteru nebude schopna nalézt řídicí bod, čili bude nedostupná. Pokud jsme vybrali to správné hostname a vyplnili všechna námi požadovaná pole, můžeme pokračovat klepnutím na tlačítko next.

Dále budeme nastavovat rozhraní do naší privátní sitě. Je doporučeno prostě odkliknout defaultně zadané hodnoty, ale pro ty co mají nějaké zvláštní požadavky na svou interní síť mohou nastavit IP adresu rozhraní a netmask tak jak chtějí. Poté nastavíme rozhraní, které přísluší vnější síti, tedy například internetu, pokud do ní náš cluster bude připojen. Zde nastavíme IP adresu a netmask tak, jak ji máme přidělenou od ISP, také zde nastavíme defualtní gateway a preferovaný DNS server.

Následují nastavení jako root heslo, nastavení času, časového pásma popřípadě serveru, který nám bude poskytovat přesný čas.

Poté přijde na řadu rozdělení disku. Můžeme si vybrat ze 2 možností. Buď automatické, nebo ruční rozdělení. Při automatickém rozdělení, rozdělí program disk takto:

Disk partition.jpg

Pozor - automatické rozdělní disku, zformátuje a rozdělní první pevný disk, který najde. Čili všechna data, která na disku byla budou smazána! Většinou to bývá tak, že máte-li v PC více disků, některé připojeny přes IDE rozhraní, jiné přes SATA rozhraní. Tak disk, který je připojen přes IDE býva zpravidla tím, který je první objeven. Ale stává se, že disk který neočekáváte, že bude objeven jako první najde nástroj jako první a smaže Vám z něho data. Ostatní jednotky ponechá bez zásahu. Proto máte-li v PC více jednotek, je určitě lepší použít manuální rozdělní disku, popřípadě nechat připojen pouze disk, který chci použít pro náš cluster a ostatní disky po čas instalace odpojit.

Vybereme-li si manuální rozdělení disku, průvodce nás jím provede. Je ale důležité, abychom vytvořili part rootminimálně 16GB velký a dále pak oddělený part /export.

Nyní je vše potřebné hotovo a proběhne instalace. U které musíme postupně založit všechna CD, u kterých jsme na začátku instalace potvrdili, že je máme. Obsah všech těchto CD, bude nyní zkopírován na pevný disk našeho řídicího bodu. Po zkopírování všech částí na HDD, započne samotná instalace.

Řídicí bod je také možno nainstaloval po síti z centrálního serveru přes WAN. Řídicí bod získá vše potřebné ke své instalaci po Internetu a nainstaluje se.

Je také možné si spustit trvalý přístup z vnější sítě, například Internetu na náš řídicí bod. Některé nejcitlivější části budou automaticky chráněny, ale přesto je dobré věnovat tomuto nastavení dostatek pozornosti a řádně vše nastavit, aby se nám nikdo nemohl do našeho clusteu nabourat a zničit naši práci.

Instalace výpočetního bodu

Nyní je nutné přihlásit se na řídicí bod jako rootuživatel a spustit program, který bude odchytávat a vkládat do Rock MySQL databáze DHCP požadavky od výpočetních bodů.

Zapneme první výpočetní bod. Na řídicím bodě by nám mělo vyskočit okno, které signalizuje, že byl zachycen DHCP request. Je velikou výhodou, mají-li výpočetní body bootování po síti, jelikož kickstart soubory mohou být získány po síti z řídicího bodu. Posílají se přes HTTPS (port 443). Takto to uděláme na všech výpočetních bodech. Chceme-li například pořítače nějak rozlišit, nebo máme 2 místnosti s výpočetními body. Tak jednoduše ukončíme program na odchytávání DHCP požadavků a pustíme ho znova s s ID číslem 1. Defaultně je tam nastavená 0, čili všechny body se budou pojmenovávat postupně: 0-0, 0-1, 0-2 atd. Pro odlišení tedy zapneme program znova s ID 1 a výpočetní body se nám nyní budou pojmenovávat postupně: 1-0, 1-1, 1-2 atd.

Sítě, podsítě, VLANy v Clusteru

Rocks používá SQL databázi, ve které uchovává veškeré informace o daných zařízeních, což zahrnuje i síťové informace. Od verze 5.1 je zavedena podpora pro VLAN označení rozhraní, což nám umožňuje například vytvoření virtuálního clusteru v clusteru a dalších komplikovaných síťových scénářů. Můžeme použít spoustu příkazů, které nám umožňují konfigurace podsítí, fyzických rozhraní i virtuálních VLAN rozhraní. Máme tedy možnost konfigurace tří typů rozhraní: fyzických, logických a virtuálních. Čili z jednoho fyzického rozhraní mohu udělat třeba 3. Jedno je samotné fyzické rozhraní (eth0) a další 2 jsou virtuální a součástí různých VLAN.

Defaultně jsou požadovány a vytvořeny 2 podsítě - veřejná a privátní. Ale administrátor clusteru si jich může nadefinovat libovolné množství. U Rocks je požadováno, aby na všech bodech clusteru (výpočetní, řídicí) byla nadefinována privátní síť. Řídicí bod musí mít navíc ještě nadefinovanou veřejnou síť, proto musí řídicí bod vlastnit 2 síťová rozhraní.

Většina nastavení probíhá bez grafického rozhraní, čili je nutné znát dílčí příkazy, nebo mít všechny potřebné někde zaznamenány.

Linuxové distribuce podoporují VLAN popisky. Čili jak už jsem zmínil, jde z 1 fyzického portu udělat například 3 virtuální. Budou se odlišovat popisky, které budou například vlan 1, vlan 2, vlan 3. Díky těmto popiskům, může tento jeden fyzický port být součástí několika různých sítí. A díky těmto popiskům dojde i k tomu, že broadcast komunikace, bude broadcastem pouze v té síti, do které daný virtuální interface patří.

Příkazem rock list network si lze všechny vytvořené podsítě nechat vypsat. Vypsaný seznam může vypadat například takto:

Subnet.jpg

Přizbůsobení naší instalace

Instalace jde samozřejmě přizpůsobit doinstalováním různých balíčků, popřípadě celých aplikací. Tyto balíčky a aplikace nejsou v instalaci rovnou zahrnuty z důvodu minimalizace instalace. Přecijen každý má na svůj cluster jiné požadavky a to co je pro jednoho u clusteru nepostradatelné může druhého obtěžovat a zabírat mu zbytečně místo na disku. Ovšem instalace těchto rozšíření není zdaleka tak jednoduchá jako například u KNOPPIXu, kde to byla pouhopouhá "klikačka". Zde se rozšíření musí nakopírovat do správné složky a korektně pojmenovat svým base name. Vše probíhá samozřejmě jak jinak než v příkazovém řádku. Ale s uživatelskou příručkou vše hravě zvládnete.

Můj názor na Rocks

Myslím, že je to velmi silná společnost a dělá kvalitní clustery. Někdo by asi ocenil více grafických rozhraní pro různá nastavení a instalace, ale to byl celý systém mnohem větší a náročnější na výkon a délku instalace. Což my samozřejmě nechceme. Ale určitě bych uvítal, kdyby tato společnost vytvořila nějaký pogram pro simulaci jejich zařízení. Kde si uživatel postaví a třeba i nainstaluje svůj cluster virtuálně v programu. Jelikož kdybych při instalaci zjistil nějaký problém, že mých 30 výpočetních bodů, které jsem za němalé peníze pořídil nebude v konečné fázi fungovat tak jak má, určitě bych z toho radost neměl a to by asi platilo i o mém šéfovi. Ikdyž je určitě také pravda, že jakožto začátečník bych se určitě nedostal ke konstrukci nějakého velkého výpočetního clusteru.

Novinky

Aktuální verze je Rocks 5.4.3 (Viper) pro Linux.

NBCR vydala APBS aplikaci pro Rock verzi 5.4. APBS je Poissonův-Boltzmannův nástroj na řešení rovnic používaný pro zkoumání elektrostatických vlastnostní nano-biomolekulárních systémů. Samozřejmě tyto rovnice lze na clusteru řešit i bez tohoto nástroje, ale tento nástroj výrazně zlehčuje jejich implementaci na Rock cluster.

Slovníček pojmů

Zdroje

[1] http://en.wikipedia.org/wiki/Rocks_Cluster_Distribution

[2] User guide 5.4.3

[3] http://www.rocksclusters.org


odkaz na superPC světa(žebříčky):

http://www.top500.org/

Vozák D.

Osobní nástroje
Jmenné prostory
Varianty
Akce
Navigace
Nástroje