Počítač sestavený pro záchranu lidských životů

Život IQE a jeho činnosti v oblasti DC

Dne 12. 2. 1989 se ve Vsetínské nemocnici narodil chlapec Michal Pavelka, kterému sudičky nepřály moc dlouhý život. V půl roce života byla u Michala diagnostikována zákeřná nemoc, svalová dystrofie (konkrétně Werding-Hoffmanova typu II). Rodiče byli seznámeni s průběhem nemoci a s předpokládaným věkem dožití maximálně do tří let.

Pojďme se na tuto nemoc podívat trochu podrobněji, abychom získali lepší představu, oč se vlastně jedná. Svalová dystrofie je vrozené onemocnění způsobené mutací chromozomu X v genu kódujícím protein Dystrofin. Je to smrtelné a zatím neléčitelné onemocnění, které se vyskytuje pouze u chlapců. Četnost postižení u mužské populace v naší republice je jeden případ na 3500 narozených. Lék na tuto nemoc nebyl bohužel dosud nalezen, existuje pouze podpůrná léčba. Běžně se průběh nemoci projevuje postupnou svalovou ochablostí, která nejdříve postihuje nohy a pánevní svalstvo a později se rozšiřuje na horní končetiny, krk a dýchací svaly. Nejpozději kolem třináctého roku života jsou chlapci upoutáni na invalidní vozík. Smrt nastává obvykle mezi dvacátým a třicátým rokem jako důsledek srdeční nebo dechové nedostatečnosti. Dívky jsou převážně pouze přenašečky, které nemají vůbec žádné obtíže, nebo jen minimální. Je známo pouze několik případů, kdy svalovou dystrofií v plném rozsahu trpěla žena.

Vraťme se nyní k Michalovi, který od počátku věděl o nemoci, kterou trpí, od svých rodičů. Věděl od počátku, jaká vyšetření jej čekají a proč se u něho provádí. Ve svém okolí se setkával s dětmi s jinými postiženími a věděl dobře, že není jediný, kdo má nějaký zdravotní hendikep. Jeho rodiče ovšem nikdy neslyšeli, že by si na svůj stav stěžoval, naopak, snažil se pomáhat druhým. Rodina mu od narození vytvářela podmínky, aby ho jeho hendikep omezoval co nejméně. S pomocí rodičů, učitelů a spolužáků ve školách, které navštěvoval, a osobních asistentek Michal absolvoval docházku na základní i střední škole a účastnil se i mimoškolních akcí svých tříd. Výuku na střední škole úspěšně ukončil maturitní zkouškou. V posledním roce svého života pokračoval ještě v bakalářském studiu na UTB (Univerzita Tomáše Bati) ve Zlíně, kde zvládl před svou smrtí (červenec 2009) dokončit první ročník, obor procesní inženýrství.

S počítačem se poprvé seznámil, když mu byly čtyři roky. Jednalo se o osmibitový stroj Atari, který vlastnil jeho otec. Na něm se ale v té době prakticky hrály jen hry. Později jeho otec přinesl domů počítač z tehdejšího zaměstnání kvůli programování. To byl už klasický šestnáctibitový PC AT s operačním systémem MS DOS. Míšu na počítači zaujala hra Sokoban – panáček, který přesunuje ve skladu krabice. Když byl pak Michal ve druhé třídě, podařilo se pro něj rodičům sehnat z Konta Bariéry starší počítač, na kterém pak zpracovával různé úkoly do školy, nebo hledal na internetu podklady ke studiu. V devíti letech se již naučil pracovat ve 3D CADu (vymodeloval pro svou oblíbenou kočku boudu), naučil se sám připojit k internetu a procházet stránky, které ho zajímaly.

V roce 1999 rodiče koupili nový počítač a na něm už Michal trávil prakticky všechen volný čas. Před nástupem na střední průmyslovou školu strojírenskou se pak za pomoci nadací a příspěvku od města podařilo koupit notebook, který si Michal s sebou nosil i do výuky. Tvořil na něm veškeré práce včetně technických výkresů a zpráv. Stejný princip výuky pak používal i na vysoké škole. Na internetu hledal vše, co ho zajímalo, a dá se říct, že využil všech možností, které internet nabízí pro komunikaci, studium i zábavu. Kromě mailu tak používal ICQ, chat a facebook, poslouchal hudbu na oblíbených stanicích, hrál hry po síti – nejčastěji ponorkový a letecký simulátor. Zajímal se o kosmonautiku a často sledoval online přenosy z NASA.

Mezi jeden z největších zájmů v posledních letech jeho života patřily distribuované výpočty (DC). V roce 2005 se stal aktivním členem Czech National Teamu a byl jedním z mála dlouhodobě aktivních členů týmu na fóru. Stal se počtářem několika vědeckých projektů, převážně se zaměřením na astronomii. Mnozí lidé z DC komunity jej znali z týmového fóra, ale téměř nikdo z nich neznal Michala skutečně, tedy jako mladého člověka s těžkým zdravotním postižením. O svém skutečném stavu totiž řekl jen několika lidem, se kterými blíže spolupracoval. I přes svou smrtelnou nemoc pomáhal v propagaci distribuovaných výpočtů v naší republice. Jako jeden z mála byl natolik aktivní, že pomohl při prosazování propagačních článků o DC na některých serverech a pomáhal v zapojení do projektů dalším lidem prostřednictvím sepsaných návodů.

Závěrem této kapitoly ještě k Michalově internetové přezdívce IQE. Tu si dle rodičů zvolil potom, když v devíti letech musel absolvovat psychologické vyšetření kvůli získání elektrického vozíku. Součástí tohoto vyšetření byly i IQ testy. V těch mu byla naměřena hodnota přes 140 a snad právě proto si dal přezdívku IQE, kde přídavek „E“ doplnil podle výslovnosti.

Jeho životní pouť a hlavně jeho přístup k životu všem, kdo mají zájem, hodně přibližuje prezentace, kterou před časem zpracovali (ještě za Michalova života) k jiné příležitosti jeho rodiče Michal_Pavelka.pps

Sbírka na PC-IQE, popis a uvedení do provozu

Zpráva o Michalově úmrtí na fóru hodně zasáhla do života celého Czech National Teamu. Myšlenka sestrojení týmového počítače na Michalovu počest vznikla velice spontánně a po počátečních obavách o finance na jeho pořízení nakonec vznikl z příspěvků stroj, který je v DC komunitě opravdu ojedinělý.

Původní plány na sestavení počítače s dvoujádrovým procesorem a deskou se dvěma sloty PCI-E pro postupně přikupované výkonné grafické karty se postupně měnily. Prvním, kdo tyto plány posunul o úroveň výše, byla společnost Intel, která na počítač věnovala zdarma čtyřjádrový procesor (s HT) i7 920, v hodnotě 6.500,- Kč. Tím dokázala, že tento příběh není lhostejný ani firmám s celosvětovou působností. Další posun ve výkonu v plánované sestavě zajistilo rovných 20.000,- Kč, které poslali samotní Michalovi rodiče. Byly to peníze, které měl Michal na svém stavebním spoření, čímž se i on sám nakonec značnou měrou podílel na pořízení samotného počítače. Na základě těchto financí a dalších velkých darů od členů týmu bylo rozhodnuto, že se pořídí základní deska pro celkem 4 dvouslotové grafické karty PCI-E 16x. Celkem členové CNT, Michalova rodina i další lidé z DC komunity věnovali finance a díly v celkové hodnotě téměř 100.000,- Kč. Celý počítač má jeden hlavní úkol - pomáhat v projektech distribuovaných výpočtů se zaměřením na oblast biologie.

Finální podoba PC-IQE.

Sestavení tohoto počítače nebylo rozhodně snadné, což je jistě patrné již z výpisů samotných dílů. Jednak na to komukoli chyběla zkušenost a v době sestavení neexistoval ani v celém systému distribuovaných výpočtů BOINC žádný podobný počítač. Pro jeho umístění v serverovně, snadnou údržbu a variabilitu při řešení chlazení jsme zvolili pro sestavení 19'' rack.

Čelní pohled na sestavený PC-IQE.

První problém nastal již při samotném uložení základní desky. Ta sice má rozměry standardní ATX desky, ovšem po osazení všech 4 dvouslotových GPU (tedy obsazení celkem osmi pozic), vycházelo vyústění první karty (nejblíže u CPU) do zadního krytování a jednoho z ventilátorů racku. Naštěstí se forestovi> podařilo tento problém menší úpravou vnitřního uspořádání vyřešit. Úvodnímu sestavení se dvěma kartami a prvotním testům tedy nebránilo nic v cestě.

Na fotce je patrné nutné odsazení desky od zadního čela a mírně do boku.

Detail nutné úpravy zadního čela racku, bez které by nebylo možné desku usadit.

Samotné spuštění, instalace i zapojení CPU i dvou GPU (4 GPU jader) do výpočtů proběhlo kupodivu zcela hladce. Dle očekávání ovšem rychle narůstala teplota na všech dílech a tak byly vyměněny všechny základní ventilátory v racku i na CPU za mnohem silnější a problém byl vyřešen.

Detailní pohled na sání do racku. Jako první je 12cm ventilátor, který je před grafikami posílen ještě dvěmi 8cm větráky.

Jelikož byl obrovský aktivní ventilátor na CPU zapojen na molex, byla vypnuta detekce CPU FAN. Následovalo hledání maximálního dostupného taktu CPU, které skončilo na hranici 4GHz. Pro zdravý non-stop provoz nakonec byla zvolena hranice 3,7GHz a PC po důkladném týdenním testování putoval do místa trvalého provozu. CPU je od té doby taktováno na 3,7 GHz při 20x násobiči a 185 BCLK frekvenci, napětí na CPU kupodivu stačí jen 1,16875V (CPU voltage). V BIOSu byly vypnuty všechny šetřící režimy, tedy C1E, Intel Speed Step, A20M (ta dovoluje OS měnit nastavení CPU) a zapnuto HT.

Ve velmi krátké době po spuštění získalo občanské sdružení CNT o.s. dostatek finančních prostředků na pořízení posledních dvou grafických karet, které ihned putovaly do racku. Zde nastal ovšem značný problém. Instalovaný systém Windows Vista Home Premium (32-bit) si nedokázal s obsluhou 4 GPU (celkem 8 grafických jader) poradit. Jakmile se zatížily všechny karty, systém se odporoučel. Následovalo testování systému Windows 7 a nakonec i Windows XP Professional (64-bit). Ani jeden ze systémů ovšem nebyl schopný provozu a to přes instalování všech dostupných ovladačů a všech dodaných kabelových propojek karet. Navíc zde bylo jedno velké zdržení, a to instalací driverů GPU. Vždy trvala okolo 30 minut a monitor při tom několikrát zkolaboval, jelikož se pořád vypínaly a zapínaly výstupy. Řešením nebylo ani vynucené rozšíření plochy na všech 8 monitorů, jelikož bez monitoru to prostě nejelo. A také nepomohla instalace driverů, které nabízí MS (na nich to nejelo vůbec), či vyextrahování samotného INF souboru a ruční instalace bez SW (nV control center). Nepomohlo ani kontaktování podpory společnosti nVidia. Jejich odpověď byla strohá - „podporujeme pouze 3-way SLI“. Na dotaz, zda se v brzké době chystají na podporu 4 GPU se dvěma jádry, pouze odpověděli, že své plány do budoucna neprozrazují.

Jeden z pokusů o zprovoznění pod systémem Windows.

V té době pomohla samotná DC komunita. Během řešení našeho problému se na projektu GPUGRID objevil počítač s 8 jádry 295 GTX (tedy 4 kartami jako měl náš PC-IQE). Po kontaktu vlastníka počítače nám bylo sděleno, že na systému LINUX nemá s provozem takové konfigurace žádný problém. Protože v té době právě vyšla nová verze Ubuntu 9.10, volba padla na ni. Tento systém je naštěstí zcela zdarma, takže ani finančně nic nebránilo to otestovat. Asi po dvou hodinách samotné instalace systému, ovladačů CUDA a systému BOINC výpočty bez problémů naběhly na všech CPU i GPU jádrech, což uvítal celý tým. Hlavně však Mojmír Konečný (Jamoko), který má non-stop provoz PC na starosti, a už to pomalu vzdával. Při finálním provozu DC nejsou potřeba propojky (SLI můstky) dodávané ke grafickým kartám. Systém i BOINC si najdou všech 8 grafických jader a dokáží se o jejich plné vytížení postarat.

Při plném zatížení a dlouhodobém provozu jsme postupně narazili na několik nedostatků:

• Grafické karty se i přes všechny přídavné ventilátory poměrně hodně zahřívaly. Hlavním nedostatkem byl centrální ventilátor na každé z karet, který ofukuje chladící blok. Polovinu tepla žene sice ven z case, ale tu druhou směrem dovnitř. Při 4 kartách to je znatelný problém a tak jsme byli nuceni krytování karet částečně odstranit (v mezích zachování záruky) kvůli lepšímu proudění vzduchu rackem. Teploty karet okamžitě klesly o víc jak 10 °C.
• Při několikatýdenním provozu se zjistilo, že jedna grafická karta byla od začátku vadná, přesněji řečeno jedno z jejích dvou jader. Tuto kartu jsme tedy v polovině prosince 2009 vyreklamovali, ovšem poměrně složitým způsobem. S uplatněním reklamace problém nebyl, ale model 295GTX byl totálně nedostupný po celé Evropě. Raději jsme tedy přistoupili na výměnu za jinou grafickou kartu (ATI Radeon HD5870) a tu jsme použili hned do druhého týmového PC (Cimrmana) Při posledním upgrade Cimrmana byla přesunuta do CNT-MATFYZ-FARM. Potřebnou čtvrtou 295GTX pro dokončení počítače věnoval jeden ze členů týmu (Honza Kalina) ze svého osobního HW vybavení.
• Po čase jsme zjistili, že při původní instalaci Ubuntu prostřednictvím utility WUBI přímo z Windows nelze systém částečně aktualizovat, tedy například kernel. Systém byl tedy nakonec přeinstalován načisto. Po každém update kernelu se musejí zároveň i přeinstalovat drivery ke grafickým kartám, ale to už není takový problém.

Čelní pohled na oba týmové počítače v místě svého non-stop provozu.>

Po odstranění těchto tří velkých problémů běží PC-IQE na plný výkon a stal se postupně nejvýkonnějším počítačem na světě v distribuovaných výpočtech systému BOINC osazeným grafickými kartami nVidia. O non-stop provoz počítače je naštěstí prozatím dobře postaráno. Statistiky PC-IQE, aktuální stav i odváděný výkon na jednotlivých projektech můžete sledovat zde. Na spoustu fotek se můžete podívat přímo v týmové galerii zde. Fotky jsou postupně aktualizované, tak jak dochází v průběhu let k různým změnám v konfiguraci stroje.

Nemálo čtenářů jistě bude zajímat i spotřeba tohoto počítače:

• Plně osazený PC bez vytížení – 180 W
• Plně osazený PC s plně zatíženým CPU (8 vláken) – 330 W
• Zatížení každé z karet 295 GTX přidalo na spotřebě +/- 200 W, tedy celková spotřeba PC-IQE při svém běžném plně vytíženém provozu v distribuovaných výpočtech je 1130 W.

Na ukázku z provozu a finální spotřeby prvotní sestavy se můžete podívat zde. Omluvte prosím nízkou kvalitu záznamu. Teploty GPU směrem od CPU klesají od 84 – 60 °C. Mezní hodnota, kdy dojde k pádu systému, je přitom 105 °C. Každý den odvádí PC-IQE do oblasti distribuovaných výpočtů výkon 3.300 GigaFLOP (3,3 TeraFLOPS).

Fotogalerie - zrození PC-IQE v obrazech

Zde bych vám chtěl podrobně představit postupný vývoj PC-IQE. Naštěstí se většina věcí při sestavování fotila, takže si můžete podrobně prohlédnout celou konstrukci počítače.

Vybalený rack, před usazením jednotlivých dílů.	Při koupi je vybaven pouze jedním 12cm čelním ventilátorem a jedním 8cm ventilátorem v zadním panelu.
V takovémto originálním dárkovém balení přicestoval do sídla CNT o.s. Intel i7 920.	Jeden ze členů CNT (Honza Kalina) poslal jako dar pro sestavení tento luxusní HDD i s chlazením.
Základní deska ASUS Supercomputer, byla vybrána na základě recenze na tomto webu (PCTuning.cz).	Detail napastovaného CPU a desky s osazenými pamětmi.
Chladič CPU byl vybrán po negativních zkušenostech při sestavování PC-Cimrmana se širokým žebrováním. Dochází tak k mnohem rychlejšímu vychlazování bloku i samotného procesoru.	Při prvotním usazení byl použit originální ventilátor dodávaný k chladiči. Později se ukázalo, že na provozní přetaktování je jeho výkon nedostačující.
Detail nutného odsazení desky od zadního čela racku. Bez tohoto odsazení by nebylo možné do prvního a posledního PCI-E slotu osadit dvouslotovou grafickou kartu.	Čelní pohled na prvotní sestavení počítače.
Záměrně byly osazeny okrajové PCI-E sloty základní desky, aby byla jistota že bude možné později doplnit i dvě poslední plánované grafiky.	Napájení bylo rovněž ihned nachystáno na místo plánovaného dokoupení třetí a čtvrté 295GTX.
Do zadního čela byl doplněn druhý 8cm větrák.	Po prvotních testech v zátěži byl vyměněn ventilátor na CPU, i čelní nasávací 12cm ventilátor racku, za mnohem silnější kousky.
Snímek (i když nekvalitní) nastavení přetaktu CPU na 8x3.7 GHz. S tímto nastavením jede PC-IQE celou dobu svého provozu bez nejmenších problémů.	Prvotní testování (7 dní) jsem dělal přímo doma. Po prvních pár hodinách mně ale manželka s PC-IQE vyhodila na půdu. On se ten hukot opravdu dlouhodobě nedal poslouchat ;-)
Po dlouhodobějším testovacím provozu bylo potřeba změnit trochu vnitřní uspořádání dílů. První na řadu přišlo přesunutí HDD před čelní 12cm ventilátor.	Dále došlo k lepšímu usměrnění proudění vzduchu uvnitř racku.
Pro větší průvan uvnitř a rozložení proudění na všechny grafické karty, bylo sání posíleno o další dva 8cm ventilátory, hned za 12cm ventilátor v čele.	Také bylo zapotřebí lepší uspořádání napájecích kabelů, aby nebránily vnitřnímu proudění vzduchu.
Dva malé 8cm ventilátory byly umístěny tak, aby každý z nich va finále přiváděl vzduch k jednomu páru grafických karet.	Vše již tedy bylo připraveno na plné osazení čtyřmi kartami.
Hned několik dní po uvedení do plného provozu přispěli lidé z DC komunity na nákup dvou posledních 295GTX.	Byly to stejné modely, které již několik dní v PC-IQE byly v provozu. Nikdo tehdy netušil, že jedna z nich je již z výroby vadná.
Pro lepší chlazení bylo potřeba ze všech karet odstranit zadní plech, který částečně bránil výfuku teplého vzduchu ven z racku.	Plně osazený PC-IQE.
Detail odsazení desky od zadního čela racku v plné náloži.	Venkovní pohled na zadní čelo. Pro snadné připojení monitoru při tak velkém odsazení karet, byla na první kartu umístěna redukce, která ústí v místě výřezu pro zadní plech desky.
Přední část racku byla rovněž přelepena pro lepší směrování proudění vzduchu.	Naštěstí byl zdroj vybírán s maximální pečlivostí, takže s množstvím kabelů a dostatečným příkonem pro karty nebyl nejmenší problém.
Po popisované reklamaci, nás naštěstí zachránil Honza Kalina, který věnoval na trhu totálně nedostupnou 295GTX ze svého výpočetního arzenálu. Jedině díky němu se PC-IQE před vánoci mohl rozjet opravdu naplný výkon.	Finální podoba PC-IQE.
Umístění PC-IQE při jeho non-stop provozu. Najdete jej hned nad Cimrmanem.	Zadní pohled na oba týmové počítače CNT.

Ještě na závěr fotogalerie přikládám odkazy na krátké (a méně kvalitní) video ze samotného provozu obou počítačů:

PC-IQE

PC-Cimrman

Projekty, ve kterých je PC-IQE aktivní

Výpočty na CPU

Výkonný čtyřjádrový procesor (s HT) Intel i920 je celý věnován přímo zpracovávání dat potřebných pro pokrok v oblasti hledání léků na svalovou dystrofii, která byla Michalovi krutým společníkem po celou dobu jeho života.

Projekt World Community Grid (dále jen WCG) patří mezi projekty s dlouholetou historií, která sahá ještě před vznik platformy BOINC (2004). Nejedná se o samostatný projekt, ale pod hlavičkou WCG se skrývá několik podprojektů, jejichž výzkumná činnost je zaměřena především do oblasti biologie. Na vzniku tohoto projektu se podílela společnost IBM, která se zároveň významně zasloužila o rozvoj a rozšíření distribuovaných výpočtů. Projekt vznikl na základě prvotní spolupráce společností IBM a United Devices. Tehdy se jednalo o výzkum léku proti neštovicím. Studie zahrnovala ověření 35 milionů molekul a jejich reakce s několika bílkovinami, které tvoří toto virové onemocnění, za účelem nalezení potenciálních léků. Během prvních 72 hodin funkčnosti projektu bylo odevzdáno na 100 tisíc výsledků. Po skončení studie bylo nalezeno 44 velmi nadějných kandidátů. Na základě tohoto úspěchu se IBM rozhodla vytvořit technické prostředí, pod kterým by mohly fungovat další humanitární výzkumy. Samotný projekt WCG odstartoval 16. listopadu 2004.

O zařazení výzkumného projektu pod WCG rozhoduje mezinárodní vědecká rada složená ze zástupců nejprestižnějších vědeckých, výzkumných a charitativních organizací na světě včetně národních zdravotnických institucí, Oxfordské univerzity, Světové zdravotnické organizace a Rozvojového programu OSN. Aby byl projekt přijat, musí kromě podpory distribuovaných výpočtů splňovat několik základních kritérií. Především se musí jednat o projekt vedený veřejnou neziskovou organizací, musí být zaměřen na řešení problémů, které mohou pomoci celému lidstvu a jeho výsledky musí být veřejně dostupné. Tedy volně k dispozici všem, kdo by chtěli pracovat na výzkumu léků z dané oblasti.

V současné době (listopad 2010) je aktivních celkem 7 podprojektů. Výzkum je zaměřen na boj proti hladovění v zaostalých zemích, hledání léků proti nemoci AIDS, malárii, různým druhům rakoviny a také svalové dystrofii, kterou trpěl i Michal Pavelka (IQE). Tento projekt nese název Help Cure Muscular Dystrophy (dále jen HCMD) a právě možnost zapojení přímo do výzkumu proti této zákeřné nemoci byla hlavním impulsem sestavení týmového počítače na jeho památku.

Co přesně je cílem podprojektu HCMD a kdo za jeho vznikem stojí?

Tento projekt se zabývá oblastí výzkumu neurosvalových onemocnění a různých druhů svalové dystrofie. Neurosvalové onemocnění je obecný pojem pro skupinu poruch (více než 200), které snižují svalovou činnost, a to buď přímo prostřednictvím svalové patologie (svalové dystrofie) nebo nepřímo prostřednictvím nervové patologie. Většina z těchto poruch je vzácná (postihují méně než jednu osobu z 2000), mají genetický původ (80 %) a mezi postiženými jsou jak děti, tak i dospělí. Tato chronická onemocnění vedou ke snížení svalové síly a působí vážná postižení motorických funkcí (pohybu, dýchání, srdce atd.). I přes pokroky v medicíně v současné době není k dispozici žádná léčebná metoda pro osoby postižené neurosvalovými onemocněními.

Tento výzkum do distribuovaných výpočtů přinesli výzkumní pracovníci podporovaní organizací Decrypthon, sdružující AFM (French Muscular Dystrophy Association), CNRS (French National Center for Scientific Research), Universite Pierre et Marie Curie, ENS Lyon, Université Paris XI, Bordeaux 1, Lille 1 a IBM. Zkoumají vzájemné interakce mezi více než 2200 známými strukturami bílkovin se zaměřením na ty, které hrají roli v neurosvalových onemocněních. Vytvořená databáze získaných informací pomůže výzkumníkům navrhnout molekuly, které by mohly vést k léčbě svalové dystrofie a dalších neurosvalových onemocnění.

Ukázka grafického výstupu projektu HCMD při zpracování na počítači.

Jak probíhá zpracování dat v podprojektu HCMD?

Hledání párů vzájemně se ovlivňujících bílkovin a ligandů (ligand je atom, iont nebo molekula, která poskytuje jeden nebo více elektronových párů centrálnímu atomu), nebo větších komplexů vzájemně se ovlivňujících bílkovin patří do základního výzkumu v biologii s bezprostředním dopadem na vývoj nových léků. HCMD je multidisciplinární projekt, který se zabývá právě tímto druhem výzkumu. Zpracování dat spočívá v prohledávání databáze známých bílkovin (obsahující tisíce bílkovin) se zaměřením na určitou oblast vazeb na jiné bílkoviny nebo ligandy. Hlavním úkolem je určit, zda jsou dvě vybrané bílkoviny potenciálními partnery vzájemného působení v buňce. Dále zjišťuje, jak bude tato interakce pozměněna přírodními nebo umělými mutacemi buď v jednom z interagujících partnerů, nebo výsledkem působení vnější molekuly, tedy nějakého farmaceutika. Databáze těchto informací má v medicíně obrovský význam, protože podobný výzkum v laboratorních podmínkách je příliš nákladný a zdlouhavý.

Molekulární modelování za pomoci výpočetní techniky dnes dokáže napodobovat chování molekul na základě různých vstupních dat a ověřovat tak mnoho vědeckých teorií. Vzájemné působení bílkovin a ligandů je technika molekulárního modelování, která vychází z předpovědi polohy a orientace bílkovin ve 3D prostředí. Tato metoda je založena na čistě fyzikálních principech a je schopna do modelů zahrnout i bílkoviny s dosud neznámými funkcemi. Jedinou podmínkou je, že jejich 3D struktura byla určena buď experimentálně nebo ji lze odhadnout na základě některých podobností. Program, který byl vytvořen pro zjednodušení tohoto 3D modelování se nazývá Joint Evolutionary Trees (dále jen JET).

Ukázka funkce programu JET, který systematicky určí výchozí pozici bílkovin, a určí výchozí body pro zpracování (zelené koule na bílkovinách). Modrými a červenými tečkami je znázorněna pozice ligandu. Zelenou tečnou jsou opět zobrazeny ty pozice, které je potřeba zpracovat.

U složitých struktur, jako jsou bílkoviny (nejmenší jsou složeny ze stovek atomů), je k určení správné polohy a vzájemného působení dvou bílkovin zapotřebí obrovského množství výpočetního výkonu. Bez zapojení do distribuovaných výpočtů projektu World Community Grid by výpočetní nároky potřebné k tomuto modelování byly neúnosně náročné. Jen pro zpracování prvních 168 vybraných bílkovin byl odhadovaný čas na 2 Ghz procesoru 8000 let. Lidem trpícím neurosvalovými onemocněními tak díky projektu HCDM svitla naděje, že se svého léku dožijí.

První fáze projektu HCMD

První fáze zpracování dat byla ukončena v červnu 2007. Údaje vyplývající z této první etapy byly jednak použity k nastavení různých parametrů programu JET a také ke zjištění, jak daleko můžeme jít ve filtrování bílkovin pro další zpracování bez ztráty důležitých kandidátů pro pomoc v oblasti neurosvalových nemocí.

Celkem bylo modelováno vzájemné působení 168 bílkovin, které byly zkoumány již pomocí krystalografie a o kterých existovaly předem důkazy o vzájemném působení v buňce. Průzkum probíhal za pomoci algoritmu MAXDo. Byly postupně zkoumány všechny páry bílkovin (28 224) a jejich energetické hodnoty. Dle výsledků samotného provozu první fáze došlo i k menším úpravám algoritmu MAXDo, aby výsledky druhé fáze byly přesnější, zpracování rychlejší a tedy i celkový výzkum efektivnější. Nově upravený algoritmus by měl již automaticky rozlišit výsledky na pozitivní (došlo ke vzájemnému působení bílkovin) a negativní (u kterých ke vzájemnému působení nedošlo). Po zpracování výsledků z první fáze a dokončení příprav byla dne 13. 5. 2009 spuštěna druhá fáze projektu.

Ukázka vzájemných kombinací všech vybraných bílkovin.

Druhá fáze projektu HCMD

Nová verze MAXDo již zohledňuje informace vytvořené programem JET. Tím došlo k poklesu potřebného výpočetního času k určování výchozí pozice bílkovin o 85 %. V kombinaci s dalšími vylepšeními algoritmu MAXDo je pro modelování vzájemného působení dvou vybraných bílkovin potřeba jen 3% výpočetního výkonu oproti modelováním v první fázi.

Ve druhé fázi výzkumu je zpracováváno celkem 2246 lidských bílkovin, jejichž trojrozměrné struktury jsou známé (a uložené v databázi bílkovin www.rcsb.org). Druhá fáze projektu HCMD tedy zpracovává celkem 2 466 753 párů bílkovin a zkoumá jejich vzájemné působení. Na tento výzkum je tedy i přes velké urychlení výpočtů potřeba několikanásobně více výpočetního výkonu než tomu bylo v první fázi. Čím více výkonu běžných osobních počítačů tedy bude do HCMD zapojeno, tím rychleji půjde výzkum potřebných léků proti neurosvalovým onemocněním a svalové dystrofii kupředu.

Výpočty na GPU

Projektem, do kterého je zapojena druhá část výkonu PC-IQE, nese název GPUGRID. Tento projekt má částečné návaznosti na HCMD a využívá ke zpracování dat (v současné době) pouze výkonu grafických karet nVidia. Všechny 4 karty (8 grafických jader) PC-IQE odvádějí neuvěřitelné množství výpočetního výkonu do této oblasti výzkumu.

Projekt je zaměřen na výpočty v oblasti biologie a biomedicíny. Přesněji se jedná o studium vlastností biomolekul, jejich vzájemného ovlivňování a dynamického chování. K výpočtům jsou používány různé metody pro popis biologických problémů v atomárních, molekulárních i nadmolekulárních systémech. Zkoumá se zde také vzájemné působení mezi různými bílkovinami, nebo bílkovinami a ligandy. Podobnost výzkumu s výpočty podprojektu HCMD pod projektem WCG není náhodná. Zde ovšem nejde o úzce zaměřenou oblast bílkovin a konkrétního využití, ale o celkové porozumění molekulárním interakcím. Momentálně probíhá výzkum dopaminových receptorů, bílkoviny SH2 a enzymu TPI. Projekt v současné době kromě výpočtů prostřednictvím grafických karet nVidia s podporou technologie CUDA rozjíždí ještě testování aplikace pro grafické karty ATI. Prvotní fáze projektu (rok 2007-2008) ovšem probíhala pod názvem PS3GRID a využívala výhradně výpočtů prostřednictvím herních konzolí playstation 3 a jejich sedmijádrových procesorů CELL.

Cílem projektu je doplnit informace o bílkovinách, jejich funkci, vzájemném působení, struktuře a tím rozšířit možnosti boje proti některým zákeřným nemocem.

IQE vs. Cimrman = nVidia vs. ATI

Jak již bylo popsáno, tak prioritou sestavení PC-IQE nebylo získat maximální výkon v systému BOINC, ale pomoc v konkrétních výpočtech na konkrétních projektech. Všeobecně je známo, že grafické karty společnosti nVidia nemají v distribuovaných výpočtech takový výkon jako ATI. Karty nVidia mají ale mnohem širší podporu projektů. V oblasti biologie je v systému BOINC možnost nasazení výkonu grafických karet zatím pouze u projektu GPUGRID a právě ten prozatím podporuje pouze nVidia karty. Volba tedy byla předem jasná.

Na projektu GPUGRID se PC-IQE vyšvihl po odladění veškerých překážek při sestavování na první místo. Má zde jedinou konkurenci, kterou je obdobný počítač osazený rovněž čtyřmi 295GTX kartami (8 GPU jader). Ten se ovšem potýká již delší dobu s chybovostí při výpočtech a tak na výkon našeho počítače nestačí. Další počítače za ním už mají „pouze“ tři a méně 295GTX, tedy logicky výkonově zaostávají.

Tabulka nejlepších pěti počítačů na projektu GPUGRID (únor 2010). Důležitá je kolonka "Recent average credit", což je průměrný bodový zisk za posledních několik týdnů.

Na ostatních projektech v systému BOINC podporujících grafické karty nVidia podobný stroj zatím není. Mimo systém BOINC podporuje tyto grafické karty ještě projekt Folding (pro srovnání použít nelze, jelikož nemá CUDA aplikaci pro Linux) a projekt Distributed.net, kde jsem podobný stroj také nenašel. PC-IQE se tak může nyní (únor 2010) pyšnit titulem nejvýkonnějšího počítače na světě osazeného grafickými kartami nVidia zapojeného do distribuovaných výpočtů. Jedinou konkurencí u této značky by pro něj mohly být stroje osazené fyzikálními kartami Tesla, které nám ale bohužel dosud nebyly na testování zapůjčeny a které jsou několikanásobně dražší. V systému BOINC se místy ukazují, ale jen po příliš krátký čas na jakékoliv porovnání. Na projektu Folding zase není korektní srovnání, protože do něj kvůli absenci Linuxové aplikace PC-IQE nelze zapojit.

Jinak již vychází porovnání jeho výkonu se stroji osazenými grafickými kartami ATI. Pro názornost nemusíme chodit daleko a jako příklad pro porovnání použiji první týmový počítač Czech National Teamu, PC-Cimrmana.

<

Finální podoba PC-Cimrmana.

Tento počítač byl sestaven v naprosto jiném duchu a jeho cílem bylo od začátku odvádět denně co největší bodový výkon pro tým CNT. Jeho nasazení se aktuálně mění podle provozu a ohodnocení jednotlivých projektů ale projekty s největším ohodnocením jsou dlouhodobě dané.

• AQUA (Adiabatic QUantum Algorithms - adiabatické kvantové algoritmy) - Jedná se o výzkumný projekt, jehož cílem je odhadnout výkonnost adiabatických supravodivých kvantových počítačů s ohledem na rozmanitost značných problémů, které vznikají v oblastech od materiálového inženýrství (věda o vlastnostech a možnostech použití materiálů) až po uplatnění v praxi.

  Pojem adiabatický je termodynamický děj, při kterém nedochází k tepelné výměně mezi látkou a okolím. Děj probíhá při dokonalé tepelné izolaci, takže soustava žádné teplo nepřijímá ani nevydává. Za adiabatický lze pokládat takový děj, který proběhne tak rychle, že se výměna tepla s okolím nestačí uskutečnit.

  Tento projekt je velice náročný na výpočetní výkon a jako zatím jediný dokáže provádět jeden výpočet na všech dostupných jádrech CPU. Pro zapojení do výpočtu je potřeba minimálně dvoujádrový procesor, ale ideální jsou čtyři jádra. Zde tedy PC-Cimrman využívá všech osmi výpočetních vláken CPU najednou pro jeden výpočet a odvádí každý den v průměru 36.000 kreditu do systému BOINC. To je oproti většině projektů až několikanásobné ohodnocení. Kupříkladu PC-IQE odvádí na projektu HCMD (podprojekt World Community Grid popsaný v předchozí kapitole) v průměru 2.600 kreditu denně, tedy necelou desetinu na stejném CPU a stejném taktu.

• Collatz Conjecture - Projekt se zabývá metodou 3x+1, nazývanou jinak také Collatz Conjecture. Tato metoda je jakýmsi rozkladem čísel, a to čím většího čísla, tím je rozklad složitější. Metoda spočívá v následujícím. Pokud je číslo dělitelné dvěma a po vydělení získáme celé číslo, vydělíme jej. Pokud celé číslo nedostaneme, vynásobíme jej třemi a přičteme jedničku. Takhle postupujeme, až se nakonec dostaneme k jedničce.

  Názorný příklad: máme číslo 20. Vydělíme jej dvěma, dostaneme deset. Desítka jde vydělit dvěma, dostaneme celé číslo, pět. Pětka dělitelná beze zbytku není, vynásobíme ji tedy třemi a přičteme jedničku, výsledkem je šestnáct a to je až do výsledku jedna dělitelné dvěma.

  Číselné vyjádření: 20/2 = 10, 10/2 = 5, 5*3+1 = 16, 16/2 = 8, 8/2 = 4, 4/2 = 2, 2/2 = 1

  Každé číslo by mělo jít touto metodou rozebrat, záleží pouze na počtu operací. Nu a zde se dostáváme k tomu, oč v projektu jde. Ke každému číslu se snaží najít počet operací a zároveň potvrdit že jde takto rozebrat opravdu každé číslo.

  Jedná se o třetí nejziskovější projekt pro nasazení grafických karet v systému BOINC. V průměru zde lze získat s jednou Cimrmanovou ATI HD5970 až 220.000 kreditu. Při jeho dvou kartách je to denně okolo 440.000 kreditu jen na dvou grafických kartách. Projekt má také aplikaci pro výpočty na CPU. Cimrmanův CPU (bez zapojení grafických karet) by zde byl schopný odvádět výkon v průměru „pouze“ za 12.000 kreditu.

• MilkyWay - Projekt byl založen v Rensselaer Computer Science Department a zabývá se průzkumem a modelování vývoje naší Galaxie - Mléčné dráhy.

  Jde o druhý nejziskovější projekt pro grafické karty. Každá z Cimrmanových HD5970 zde získává 250.000 kreditu denně, tedy celkem 500.000 při současných dvou těchto kartách. Jen pro porovnání, takový výkon ještě před třemi lety odvedl v systému BOINC ten nejlepší CPU za celý rok non-stop provozu s použitím uživatelem optimalizované aplikace na míru procesoru. Možnost nasazení takto výkonných grafických karet do distribuovaných výpočtů tak výrazně maže rozdíly ve statistikách mezi letitými počtáři a nováčky. Jen pro názornost Cimrmanův CPU zde při nasazení optimalizované aplikace je schopný odvádět výkon 15.000 kreditu denně.

• DNETC - DNETC@ Home je wrapper mezi BOINC a projektem distributed.net. Počítá se bloková šifra RC5 (aktuálně RC5-72). Distributed.net byl první projekt na bázi distribuovaných výpočtů a funguje již od roku 1997. Výzkum RC5 je Pokus o prolomení blokové šifry RC5 hrubou silou.

  RC5-56 byla prolomena 19.10.1997 13:25 UTC
  RC5-64 byla prolomena 14.07.2002 01:50 UTC
  RC5-72 se aktuálně počítá.
   

  DNETC je nejziskovější projekt pro grafické karty. Každá z Cimrmanových HD5970 zde získává 2700.000 kreditu denně, tedy celkem 540.000 při současných dvou těchto kartách.

Drtivá síla ATI

Těmito kartami je PC-Cimrman aktuálně osazen.

Jelikož jsou oba stroje on-line dostupné a řízené z vedení týmu, můžeme snadno porovnat výkon Cimrmanových ATI s kartami nVidia v PC-IQE. Na projektu GPUGRID odvádějí všechny 4 grafiky 295GTX 260.000 kreditu za den, tedy v průměru 65.000 na kartu. Jedna Cimrmanova grafická karta strčí i na méně výnosném projektu Collatz tento výkon do kapsy. Nejedná se o nijak přemrštěné ohodnocení, nýbrž u obou projektů o dobře optimalizovanou aplikaci a plné využití skutečného výkonu grafických karet.

Kde je zakopaný pes tak velkého rozdílu ve výkonu obou výrobců? V distribuovaných výpočtech prostřednictvím grafických karet se využívá pro fyzikální výpočty převážně double precision. A právě zde nVidia za svou konkurencí značně pokulhává.

V herním světě tento rozdíl nemusí být až tak patrný, ale při plném využití výkonového potenciálu karet je tento rozdíl propastný. Je to ovšem na každém z počtářů distribuovaných projektů co je pro ně prioritní, jelikož zatím jen hrstka projektů výpočty na grafických kartách podporuje. Kdo jde po maximálním zisku bodů a chce rychle stoupat ve statistikách počtářů, koupí si jednu grafickou kartu ATI a drtí letité statistiky výpočtů na CPU. Kdo chce širší možnost výběru projektů a tím i jistotu, že bude mít vždy co zpracovávat, koupí si nVidii a bude mu lhostejné, že nedosáhne na stejný bodový příděl jako u ATI. Velice znatelné je to při porovnání týmových počítačů CNT, kde Cimrman válcuje IQE v poměru 540.000 : 260.000 kreditu za den. Myšlenka sestavení PC-IQE je ovšem nade vší výkon a pomoc v dané oblasti biologie je pro lidi, kteří na něj přispěli, prioritní. Právě i proto se podařilo získat více finančních prostředků na PC-IQE a zkompletovat jej v krátkém čase.

V porovnání spotřeby vychází lépe grafické karty nVidia. Oproti 200 W na kartu u 295GTX je spotřeba jedné HD5970 při plném zatížení 250 W na kartu. Je to v podstatě stejná spotřeba, jakou má přetaktovaný CPU Intel i7 920, kterým jsou osazeny oba týmové počítače CNT, ale výkonově jsou na tom bohužel CPU mnohem hůře. Když pomineme projekt AQUA, lze získat v průměru s tímto procesorem v systému BOINC ohodnocení okolo 7500 kreditů za den.

Pohled na mohutné chlazení Cimrmanova CPU. Bohužel velká hustota žeber brání lepšímu průtoku vzduchu, bez ohledu na sílu ventilátoru. Z toho jsme se při stavění PC-IQE poučili a rozdíl v teplotách je více než 10°C.

Můžete si to zkusit i sami

Ještě krátká poznámka pro čtenáře, kteří vhodnou grafickou kartu pro výpočty mají a chtěli by také přispět jejím výkonem v některém z projektů, nebo si jen otestovat vlastní výkon. Je potřeba si jen stáhnout poslední ovladače od výrobce grafické karty, dále pak program BOINC a připojit se do některého z podporovaných projektů, k jejich výběru vám asi nejlépe poslouží následující přehled.

Jsou dvě možnosti, jak na grafické kartě i CPU zpracovávat práci pro projekty distribuovaných výpočtů. Jak u CPU, tak i u grafických karet existuje volba počítání pouze v době, kdy je počítač zapnutý, ale vy na něm nic neděláte, nebo lze nastavit tak, aby výpočty probíhaly po celou dobu provozu. Jelikož u některých projektů a grafických karet výpočty na GPU zpomalovaly odezvu počítače, po instalaci jsou výpočty na grafické kartě při práci na počítači (nebo třeba hraní) zakázány. Toto lze ale v nastavení BOINC Managera snadno povolit a zpracovávat data z projektů po celou dobu provozu, volba je pouze na vás. Pro zvýšení odváděného výkonu doporučuji každopádně vypnout veškeré spořiče obrazovky a zapnout pouze funkci automatického vypnutí monitoru pří několikaminutové nečinnosti.

Kdo by chtěl podpořit samotný Czech National Team a přidat se tak k 10.000 jeho členům, není nic snazšího, než se na projektech, které počítáte k týmu připojit. Vás to nic stát nebude a pomůžete tak ve zviditelnění naší republiky v této oblasti vědeckého pokroku. Zároveň tak získáte perfektní statistický přehled své činnosti na projektech a můžete se i zapojit do několika soutěží v rámci týmu.

...a jak tento příběh bude pokračovat dál?

Aktivity Czech National Teamu mají v distribuovaných výpočtech široký záběr a tak vše neskončilo jen u sbírky na zmíněný týmový superpočítač a jeho spuštění. Příspěvek v podobě vloženého výkonu PC-IQE do výzkumu v oblasti svalové dystrofie je pouhý zlomek nutné práce na projektu. V prosinci 2009 CNT uspořádal mezinárodní turnaj „In memory Michal Pavelka – IQE“, kde vyzval všechny počtáře k odvedení co největšího výkonu pro projekt HCMD. Zároveň byl Michalův příběh mezinárodně představen jako ukázkový příklad následků této zhoubné nemoci. Ve světové konkurenci nakonec odvedl největší díl práce právě český národní tým, ale to nebylo podstatné. Podstatný byl nadprůměrný odvedený podíl práce v rámci WCG na projekt HCMD a tím doufejme i urychlení samotného výzkumu.

Michalovi už bohužel pomoci nemůžeme. Na světě žijí ale miliony chlapců s tímto onemocněním a další se stále rodí.

Michalův příběh čeká poslední kapitola

Čtyřjádrový procesor Intel i7 920 (s HT), který v sobě PC-IQE má, je velmi vytížený obsluhou výpočtů na grafických kartách projektu GPUGRID. Těm věnuje převážnou část svého výkonu a tak po zdárném zprovoznění vyvstala nová myšlenka. Myšlenka sestrojení druhého počítače se zaměřením pouze na projekt HCMD, tedy jehož výkon odváděný pro výzkum svalové dystrofie by byl ještě větší a jeho konstrukce by směřovala právě tímto směrem. Jelikož projekt HCMD a ani další z projektů WCG nepodporují výpočty na grafických kartách, cesta druhého počítače se ubírala právě směrem víceprocesorového řešení. Představa byla koupit základní desku pro osazení čtyřmi vícejádrovými procesory a postupným dokupováním zvyšovat výkon počítače. Vše bylo ale dáno množstvím finančních prostředků, které by se podařilo získat na tuto poslední akci na Michalovu počest.

Během několika prvních týdnů nové sbírky se sešlo celkem 15.000,- kč. Čím dál více se ale vyskytovaly nabídky poskytnutí počítačových dílů a tak foresta napadlo originální řešení celé situace. Navrhnul a po dohodě s ostatními členy týmu i zkonstruoval skříň, pro celkem 12 samostatných počítačů, které by bylo možné průběžně sestavovat a do provozu doplňovat. Tento multipočítač nese od té doby označení CNT-IQE-FARM a obsahuje již (listopad 2010) 8 plně funkčních samostatných počítačů, čítajících celkem 23 CPU jaded. Kdokoliv ze čtenářů se může nadále zapojit do samotné sbírky a to jak finančním příspěvkem, tak po dohodě i některým potřebným počítačovým dílem. O zajištění non-stop provozu se nemusíme bát, o ten se opět stará Jamoko.

Nová týmová zbraň, která byla sestavena pro výzkum v oblastí svalové dystrofie. Na obrázku je první z plánovaných tří boxů pro 4 samostatné šuplíkové počítače.

Hlavním cílem tohoto nového multi počítače je tedy pomoc v oblasti svalové dystrofie, pokud možno přímo na projektu HCMD. Statistika je totiž neúprosná a jeden z 3500 chlapců (mužů) není zas tak malé číslo. Dokládá to například i zjištění během prosincového turnaje 2009, kdy se ozval další ze členů týmu (neutronek), jehož pětiletý syn trpí úplně stejnou chorobou, jakou měl Michal. Michalovi již pomoci nemůžeme, ale například tomuto chlapci snad ještě ano. Věcné a finanční dary přímo jemu by byly prakticky zbytečné. Nasedl do vlaku, ve kterém se veze a pokud někdo nepřehodí výhybku, cíl jeho cesty je jasný a nepomůže mu nic, co si ve vlaku poveze s sebou. Je to právě moderní medicína, která může vstoupit do tohoto jinak nezvratného osudu více než tisíce podobných případů jen v naší republice.

Svalová dystrofie nepostihuje ale pouze děti. Například forma Emery-Dreifuss postihuje až dospívající chlapce a Distální svalová dystrofie se stejně jako forma Myotonic projevuje mezi 20–60 rokem věku. Různé podoby nemoci se liší ve věku, kdy se začínají projevovat a oblasti svalů, které prvotně napadnou, končí ovšem většinou stejně. V poslední fázi napadá dystrofie životně důležité svaly, jako je srdce nebo plíce a pacient nemá šanci na přežití. Nikdo z nás si tedy nemůže být jistý, že nemoc v sobě nemá, že ji jednou nedostane naše dítě nebo že nejsme jen genetičtí přenašeči na další pokolení. Právě to je důvod, proč by nás osudy lidí postižených touto nemocí měly motivovat k zapojení se do samotného výzkumu nebo alespoň k příspěvku na stroj, který bude po několik let odvádět obrovské množství práce právě v této oblasti. Není to jednorázový příspěvek na konkrétního nemocného, není to ani příspěvek na nějakou farmaceutickou společnost, charitativní organizaci nebo podobné sbírky, kde člověk neví, jak bude s prostředky naloženo a zda nebudou použity jen na následky nemoci. V projektu HCMD jdeme přímo k jádru problému a přispíváme na konkrétní výzkum, tedy každá takto investovaná koruna (nebo vlastní výkon) má mnohem větší váhu, než příspěvek na usnadnění dožití již postiženého člověka.

Pětiletý Honza, syn jednoho ze členů CNT. Tento chlapec se teprve se svalovou dystrofií učí žít. Žádnou zbraň pro boj s ní ale zatím bohužel nemá.

Na sestavení nového počítače pro tento výzkum může přispět kdokoli bude chtít a nezáleží na výši částky. Finanční příspěvky lze posílat na účet sdružení Czech National Team o.s. (č.ú. 225350335, kód banky 0300) s variabilním symbolem 061. CNT o.s. je nezisková organizace založená pro správu Czech National Teamu a jeho majetku. Z toho vyplývá i její povinnost vše využívat jen v duchu distribuovaných výpočtů a zároveň nedovoluje mít z této činnosti jakýkoliv zisk. Nemusíte se tedy bát, že by vámi zaslaný příspěvek nebyl využit čistě jen na cíl, o kterém tu byla řeč.

Autor:
Dušan Vykouřil (forest) - Czech National Team

Korektura:
JardaM - Czech National Team
 

Svůj komentář na tento článek, co by mělo být opraveno, či doplněno můžete napsat do této sekce na našem týmovém fóru. Téma s komentářem k tomuto konkrétnímu článku, by mělo nést stejný název, jako článek na webu.