Uživatel:Vencokar

Z HPM wiki
Přejít na: navigace, hledání

Obsah

Osobní

Vítejte na mé wiki stránce. Moje jméno je Karel Vencovský. Mám velice rád školu a studiu věnuji veškerý svůj volný čas. :-)

Zápisky ze cvičení

Preklad C:

gcc nazev souboru

gcc -s nacev souboru

cat prog.s / vypis asm kodu


xwininfo - zobrazi informace o okne do ktereho kliknu

sudo apt-get update; sudo apt-get -y install libx11-dev - pri zadani do terminalu nainstaluje balicek libx11-dev

xwd|xwud - po zadani prikazu kliknu na okno a to se mi "zkopiruje"

xwd >soubor - zkopiruje mi to na co kliknu a vytvori z toho soubor

xwud<soubor - vyvolani toho co jsem ulozil

file soubor - vyhodi mi informace o tom vytvorenem souboru soubor


ctrl-C - killne program

ctrl-Z - zpusobi zamrznuti programu + prikaz bg ten program zase spusti, ale odstreli ho to na pozadi, abych mel volny terminal, pripadne prikaz fg to dostane zase do popredi

Návrh semestrální práce

Rocks cluster

http://www.rocksclusters.org/roll-documentation/base/5.4.3/

http://www.linux-mag.com/id/1977/

http://linuxlandit.blogspot.com/2011/08/rocks-cluster-distribution-is-linux.html - je to jeste zive - 2011-08-11: Distribution Release: Rocks Cluster Distribution 5.4.3

http://distrowatch.com/?newsid=06355

http://www.ehow.com/how_7609071_reinstall-rocks-cluster.html

Na Technické univerzitě v Liberci, fakultě Mechatroniky užívají Rocks cluster na projektu Hydra, což je jejich výpočetní cluster.

Co je to počítačový cluster?

Počítačový cluster je seskupení volných počítačů, které spolu úzce spolupracují a tak navenek pracují jako jeden počítač. Obvykle bývají propojeny počítačovou sítí. Clustery slouží k paralelní výpočtům složitých úloh a jsou nasazovány pro zvýšení výpočetní rychlosti nebo spolehlivosti než poskytne jeden samostatný počítač. Užívají se napříkald na simulaci vývoje počasí, na zpracování objených statistických dat, nebo pro zajištění vysoké dostupnosti určitě služby jakožto třeba databáze, SMS centra apod. Užívají se buď speciální víceprocesorové jednotky, nebo obyčejné PC.

Úlohy, které chceme provádět na clusterech musí být specielně navrženy.

Clustery můžeme rozdělit na několik skupin.

Typy clusterů

Výpočetní cluster slouží k zvýšení výpočetního výkonu. Obvykle jsou použity počítače střední cenové hladiny propojené pomocí vysokorychlostní počítačové sítě. Tímto způsobem vznikne vysoce výkonný celek.

Cluster s vysokou dostupností zajišťuje pomocí několika počítačů nepřetržité poskytování služby i při výpadku počítače z důvodu hardwarové závady nebo plánované údržby. Službu poskytuje jeden počítač, který je v případě výpadku automaticky zastoupen jiným počítačem.

Cluster s rozložením zátěže snižuje možnou míru zátěže tím, že službu poskytuje několik počítačů paralelně. Poskytování Stejného obsahu je zajištěno replikací obsahu mezi všechny propojené počítače nebo existencí specializovaného centrálního uložiště.

Úložný cluster zprostředkovává přístup k diskové kapacitě, která je rozložena mezi více počítačů z důvodu dosažení vyššího výkonu nebo pro zajištění vyšší spolehlivosti. Toho je dosahováno speciálními souborovými systémy, které jsou schopny zajistit rozložení zátěže, redundanci dat, pokrytí výpadků jednotlivých uzlů, mechanismus zamykání souborů a další služby s ukládáním dat spojené.

Skupin, do kterých byste mohli clustery rozdělit. Další typy jsou napříkald grid clustery, nebo server clustery.

Rocks Cluster

Logo.jpg

Rocks includes many tools (such as MPI) which are not part of CentOS but are integral components that make a group of computers into a cluster.

Installations can be customized with additional software packages at install-time by using special user-supplied CDs (called "Roll CDs"). The "Rolls" extend the system by integrating seamlessly and automatically into the management and packaging mechanisms used by base software, greatly simplifying installation and configuration of large numbers of computers.[4] Over a dozen Rolls have been created, including the SGE roll, the Condor roll, the Lustre roll, the Java roll, and the Ganglia roll.

Since its initial release, Rocks has become a widely-used cluster operating system, for academic, government, and commercial organizations, employed in 1,376 clusters worldwide, on every continent except Antarctica.[5] The largest registered academic cluster, having 8632 CPUs, is GridKa, operated by the Karlsruhe Institute of Technology in Karlsruhe, Germany. There are also a number of clusters ranging down to less than 10 CPUs, representing the early stages in the construction of larger systems, as well as being used for courses in cluster design. This easy scalability was a major goal in the development of Rocks, both for the researchers involved[1], and for the NSF: "Broader impact mirrors intellectual merit, and specifically lies in Rocks' new capabilities enabling management of very large clusters such as those emerging from the NSF Track 2 program, the ease of configuration of clusters supporting virtualization capabilities and generally the continuing effect of Rocks on installation and use of Linux clusters across NSF communities."[3]

Rocks Cluster Distribution původním jménem NPACI Rocks (National Partnership for Advanced Computational Infrastructure) je Linuxová distribuce určená pro vysoce výkonné výpočetní clustery. Tento projekt byl odstartován v roce 2000. Původně byl Rocks založen na Red Hat distribuci Linuxu nicméně novější verze jsou nyní založeny na CentOS. Obsahují navíc modifikovaný Anaconda instalátor, který zjednodušuje instalaci na velké množství počítačů.

Tato společnost se snaží řídit jedním heslem a to jest dělat clustery jednoduše. Slůvkem jednoduše je myšleno, aby clutsery byly jednoduché na instalaci, správu, upgrade a rozšiřitelnost. Což asi bude vize všech společností, které se zabývají clustery.

Instalace clusteru krok za krokem

Podpora hardwaru

Procesory

Sítě

Minimální HW požadavky

Fyzické zapojení

Následující obrázek ukazuje, jak musí být řídící a výpočetní body zapojeny. Je mnoho způsobů jak fyzicky cluster zapojit, Rocks upřednostňují umístění v racku, jelikož je to zapojení spolehlivé a nezabere tolik místa. Ale klidně si můžete jejich cluster postavit z mini towerů jako jsou v naší učebně. Je jen na vás co se Vám líbí a co Vám dává smysl.

Topologie.jpg

Jak vidíte na obrázku výpočetní body jsou svým síťovým rozhraním připojeny do switche a tvoří síť. Tato síť by určitě měla být privátní (s IP neroutovatelnými "venku"), aby byla fyzicky oddělena od vnější, veřejné sítě napříkald internetu.

Řídící bod tedy musí mít dvě síťová rozhraní. Jedno z nich bude připojeno do stejně sítě jako výpočetní body a druhé do nějaké vnější sítě například internetu, nebo nějakého firemního intranetu.

Instalace řídícího bodu

Po vložení Boot CD, se nám podobně jako u Knoppixu objeví obrazovka a zde musíme stihnout napsat "build". Dá se to nestihnout stejně snadno jako u Knoppixu. Pokud toto nestihneme napsat, je potřeba resetovat počítač, jinak by instalace proběhla, ale jakožto výpočetní bod, nikoliv řídící. Po napsaní a potvrzení "build" se spustí instalace řídicího bodu.

Jako první se objeví obrazovka, kde se nastavuje síťové rozhraní řídicího bodu pro vnější síť. Nastavíme tedy například podporu IPv4, vybereme manuální nastavení pro IPv4 a vypneme podporu IPv6. Poté nás instalace zavede na nastavení TCP/IP protokolů, kde nastavíme veřejnou IP adresu + masku.

Nyní postupně dáme do PC všechna CD co máme připravna k instalaci a označíme je, že je chceme instalovat. Po takovémto označení bude naše obrazovka vypadat zhruba takto:

Rolls.jpg

Pokud jsme s tímto hotovi, klepneme na tlačítko submit a objeví se nám tato obrazovka:

Cluster information.jpg

Velmi důležité je tu pole Fully-Qualified Host Name, všechna ostatní pole jsou pouze volitelná. Je potřeba aby bylo Host Namevybráno pečlivě, jelikož se zapíše to vekého množství souborů a to jak na řídicím bodě, tak i na výpočetních bodech. Pokud bude hostname změněno poté, co je řídicí bod nainstalován, je celkem jisté, že spousta služeb clusteru nebude schopna nalézt řídicí bod, čili bude nedostupná. Pokud jsme vybrali to správné hostname a vyplnili všechna námi požadovaná pole, můžeme pokračovat klepnutím na tlačítko next.

Dále budeme nastavovat rozhraní do naší privátní sitě. Je doporučeno prostě odkliknout defaultně zadané hodnoty, ale pro ty co mají nějaké zvláštní požadavky na svou interní síť mohou nastavit IP adresu rozhraní a netmask tak jak chtějí. Poté nastavíme rozhraní, které přísluší vnější síti, tedy například internetu, pokud do ní náš cluster bude připojen. Zde nastavíme IP adresu a netmask tak, jak ji máme přidělenou od ISP, také zde nastavíme defualtní gateway a preferovaný DNS server.

Následují nastavení jako root heslo, nastavení času, časového pásma popřípadě serveru, který nám bude poskytovat přesný čas.

Poté přijde na řadu rozdělení disku. Můžeme si vybrat ze 2 možností. Buď automatické, nebo ruční rozdělení. Při automatickém rozdělení, rozdělí program disk takto:

Disk partition.jpg

Pozor - automatické rozdělní disku, zformátuje a rozdělní první pevný disk, který najde. Čili všechna data, která na disku byla budou smazána! Většinou to bývá tak, že máte-li v PC více disků, některé připojeny přes IDE rozhraní, jiné přes SATA rozhraní. Tak disk, který je připojen přes IDE býva zpravidla tím, který je první objeven. Ale stává se, že disk který neočekáváte, že bude objeven jako první najde nástroj jako první a smaže Vám z něho data. Ostatní jednotky ponechá bez zásahu. Proto máte-li v PC více jednotek, je určitě lepší použít manuální rozdělní disku, popřípadě nechat připojen pouze disk, který chci použít pro náš cluster a ostatní disky po čas instalace odpojit.

Vybereme-li si manuální rozdělení disku, průvodce nás jím provede. Je ale důležité, abychom vytvořili part rootminimálně 16GB velký a dále pak oddělený part /export.

Nyní je vše potřebné hotovo a proběhne instalace. U které musíme postupně založit všechna CD, u kterých jsme na začátku instalace potvrdili, že je máme. Obsah všech těchto CD, bude nyní zkopírován na pevný disk našeho řídicího bodu. Po zkopírování všech částí na HDD, započne samotná instalace.

Řídicí bod je také možno nainstaloval po síti z centrálního serveru přes WAN. Řídicí bod získá vše potřebné ke své instalaci po Internetu a nainstaluje se.

Je také možné si spustit trvalý přístup z vnější sítě, například Internetu na náš řídicí bod. Některé nejcitlivější části budou automaticky chráněny, ale přesto je dobré věnovat tomuto nastavení dostatek pozornosti a řádně vše nastavit, aby se nám nikdo nemohl do našeho clusteu nabourat a zničit naši práci.

Instalace výpočetního bodu

Nyní je nutné přihlásit se na řídicí bod jako rootuživatel a spustit program, který bude odchytávat a vkládat do Rock MySQL databáze DHCP požadavky od výpočetních bodů.

Zapneme první výpočetní bod. Na řídicím bodě by nám mělo vyskočit okno, které signalizuje, že byl zachycen DHCP request. Je velikou výhodou, mají-li výpočetní body bootování po síti, jelikož kickstart soubory mohou být získány po síti z řídicího bodu. Posílají se přes HTTPS (port 443). Takto to uděláme na všech výpočetních bodech. Chceme-li například pořítače nějak rozlišit, nebo máme 2 místnosti s výpočetními body. Tak jednoduše ukončíme program na odchytávání DHCP požadavků a pustíme ho znova s s ID číslem 1. Defaultně je tam nastavená 0, čili všechny body se budou pojmenovávat postupně: 0-0, 0-1, 0-2 atd. Pro odlišení tedy zapneme program znova s ID 1 a výpočetní body se nám nyní budou pojmenovávat postupně: 1-0, 1-1, 1-2 atd.

Sítě, podsítě, VLANy v Clusteru

Rock používá SQL databázi, ve které uchovává veškeré informace o daných zařízeních, což zahrnuje i síťové informace. Od verze 5.1 je zavedena podpora pro VLAN označení rozhraní, což nám umožňuje například vytvoření virtuálního clusteru v clusteru a dalších komplikovaných síťových scénářů. Můžeme použít spoustu příkazů, které nám umožňují konfigurace podsítí, fyzických rozhraní i virtuálních VLAN rozhraní. Máme tedy možnost konfigurace tří typů rozhraní: fyzických, logických a virtuálních. Čili z jednoho fyzického rozhraní mohu udělat třeba 3. Jedno je samotné fyzické rozhraní (eth0) a další 2 jsou virtuální a součástí různých VLAN.

Defaultně jsou požadovány a vytvořeny 2 podsítě - veřejná a privátní. Ale administrátor clusteru si jich mže nadefinovat libovolné množství.

Slovníček pojmů


Zdroje

Osobní nástroje
Jmenné prostory
Varianty
Akce
Navigace
Nástroje