SVAROG - HPC klaster tipa Beowulf, prepiskaSubject: PozdravDate: Fri, 7 Dec 2001 07:09:55 -0800 (PST) Draga Vladana, zovem se Jakov Seizovic, trenutno zivim u Pasadeni, CA, USA, i jedan sam od ETF ovaca (elektronika, 1986) na Vasoj mailing listi. Zeleo bih najpre da Vam zahvalim sto nas, koji smo sticajem okolnosti daleko od ETF-a, i u dobra i u losa vremena informisete o svemu kroz sta prolazite. Narocito me obradovala jedna od skorasnjih poruka o donacijama raznovrsne racunarske opreme i strucne literature. Vasa energija, i Vasa licna, i ona koja se kroz Vase poruke promalja sa celog ETF-a i dalje (pozdravite profesorku Turajlic kad budete imali priliku, verovatno me se jos seca), je zarazna. I ja sam zarazen. Ja sam jedan od osnivaca kompanije Myricom (www.myri.com), koja proizvodi mreze za ono sto ovde zovu "clusters," odnosno tesno-povezane grupe racunara, spojene brzom mrezom, koji se najcesce primenjuju kao jeftinija alternativa tradicionalnim super-kompjuterima, a polako prodiru i u druge sfere. Nasi standardni proizvodi (PCI interfejsi i switch-evi) koriste dupleks linkove 2+2 Gbit/s. Gotovo svi veliki cluster-i u svetu koriste nasu mrezu. Predsednik kompanije, inace svojevremeno moj mentor na postdiplomskim studijama, se slozio da Vam ponudimo donaciju nase opreme za Vas racunski centar. Jedini uslov je da oprema bude "put to good use." Ja ne sumnjam da ce se to desiti, ali bih ipak hteo da razjasnim sta pod tim podrazumevamo. Iako se nasa mreza moze koristiti kao svaki drugi LAN, za IP traffic, to nije ono za sta je dizajnirana. "Good use" ovde znaci da bude primenjena za cluster koji ce se koristiti kao takav, a ne samo kao brzi LAN. Moja vizija je da u ETF-u napravimo super-kompjuter (cluster), i mi bi u to ime dali donaciju mreze (switch-evi, interfejsi, kablovi, softver, garancija) za 32 racunara. Idealno bi bilo ako se neko na ETF-u vec ovim bavi (paralelni racunari), i mozda vec ima cluster sa sporijom mrezom. Cluster-i su relativno nova oblast i ima puno tehnickih detalja kroz koje cemo morati da prodjemo da bi se ovo realizovalo, ali otom-potom. Mozda bi za "ETF super-kompjuter" mogli od nekog da dobijete i racunare. Javite mi sta o svemu ovome mislite. S postovanjem, Jakov Seizovic Subject: Re: PozdravDate: Fri, 07 Dec 2001 22:10:07 +0100 Dragi Jakove, obzirom da sam nikakav strucnjak za RC (ja sam mikrotalasdzija, a kao sto sam kazala u nekom od prethodnih cirkularnih mejlova, malo me pritisli da budem sef RC-a, jer su svi bezali), moracu da se iskonsultujem sa klincima (klinci su programeri i administratori), pa cemo da se javimo kad snimimo situaciju. A stvarno sam dirnuta kako se nasi brinu o nama. I znas sta je jos lepo?, sve se to procuje medju studentima, pa je njima strasno milo kako se bivsi ETFovci brinu - bila su ovde teska vremena, pa su pozitivne vibracije dragocene, narocito za omladinu - da vide da zivot nije samo otimacina. Voli te Vladana. P.S. sa svima sa kojima se dopisujem sam na "ti" - uzajamno! Ajd' da ne kvarimo tradiciju! Subject: smislili smo!Date: Wed, 12 Dec 2001 19:38:04 +0100 Dragi Jakove (pogledala sam tvoju sliku na sajtu, ali te se ne secam) od kako sam dobila tvoje lepo pismo (u kome si me i pohvalio, pa mi je bilo milo - hvala ti!) konsultujem sa po fakultetu sa raznim u vezi tvoga predloga. Moram da kazem da smo mi u RC-u stidljivo razmisljali o jednom takvom projektu (Beowulf klaster) od jedno 10-tak nodova, sa, istina, 100Mbps svicovanim Ethernet backplane-om, ali zbog nedostatka opreme nismo to mogli realizovati. Na Fakultetu definitvno postoji potreba za necim takvim (katedre za primenjenu matematiku, RTI i fizicka elektronika, stvari oko kodovanja mi odmah padaju na pamet). …. Sve ovo znaci da smo mi VEOMA zainteresovani za saradnju sa Myricomom koju si nam predlozio i rado bismo prihvatili ponudu za backplane za 32-nodni PC klaster Beowulf klase. Ustvari, uzzzzasno smo se obradovali ponudi! Dekan Bora (Lazic) nam je obecao deo materijalne podrske, a nesto cemo oteti od ministarstva (nadam se), nesto od donatora, tako da je sasvim izvesno da cemo moci da sakupimo potreban preostali HW. Trenutno razmisljamo (posteno da kazem o tome razmisljaju klinci, a ne ja, jer sam ja tu malo u dvoristu, a ne kod kuce) o jednoprocesorskim PIII/Athlon konfiguracijama sa …. ……..(itd. dalje ide strucan tekst)….. Molila bih te da mi potvrdis da li je ova konfiguracija OK. Ukoliko imas neki pametniji predlog ili primedbe molim te da mi napises, ako mozes sto pre, pa da vidimo sta mi ovde mozemo da nabavimo od onoga sto bi eventualno prelozio. To bi bilo sve za ovo javljanje. Voli te Vladana. P.S. Bora Lazic i Dejan Zivkovic te se bogznakako secaju, pa su rekli, a i Srba je rekla, da te mnogo pozdravim. Subject: Re: smislili smo!Date: Wed, 12 Dec 2001 13:49:48 -0800 (PST) Odlicno! Moram da priznam da sam bio malkice razocaran tvojim prvim odgovorom (videcemo, pa cemo ti javiti). Pomislio sam da nije bilo pristojno s moje strane postavljati uslove (dacemo vam opremu, al' nemoj da je ne koristite). E sad posto smo probili led, mozemo normalno da nastavimo komunikaciju. Ja sam inace diplomirao na smeru elektronika 1986, ne mislim da smo se upoznali, ali sam o tebi cuo puno puta od mog dobrog druga iz generacije, Zorana Zvonara. Sto se tice konfiguracije za racunare, i ja sam ti tu vise u dvoristu nego kod kuce, jer provodim vreme projektujuci chipove. Verovatno najbolji izvor informacija su mesta koja se bave Beowulf cluster-ima. Jedino sto znam da je kriticno je PCI-performance, jer ima puno maticnih ploca sa jako losim PCI implementacijama. Na Linux je definitivno najbolji izbor. Sto se tice PVM biblioteke, …. Da li postoji neki vremenski okvir za ovaj projekat? Sto se tice mog dela posla, ja cu to poceti odmah. Javicu vam ubrzo kako da ovo formalno pokrenemo. Pozdrav, Jakov Subject: pitanje Dragi Jakove, nisi shvatio dogadjaje! Kada si mi napiso da postoji mogucnost donacije, lepo sam se smrzla od treme. Pa sam morala da se rastrcim i da vidim kako da nabavimo sve za cluster,i nisam se uvredila na iskaz: dacemo vam opremu, al' nemoj da je ne koristite, jer je on ustvari logican - a sto bi nam pa davali opremu da skuplja prasinu. E sad pitanje: moji RC-klinci su mi kazali sta bi tvoja firma mogla da nam da (znaju za nju), ali ja bih ipak da cujem iz tvojih usta, odnosno mejla. To pitam zato da vidim sta mi tacno ovde da jurimo od ostalih stvari. Voli te Vladana. Subject: nesto smo se ucutali s obe straneDate: Sun, 23 Dec 2001 01:26:30 +0100 Dragi Jakove, kao sto se iz subjekta vidi, konstatujem da smo se malo ucutali i odavde i odande. Ustvari, mi se nismo ucutali, nego radimo da sve prasti. Veselin i Bole su napravili dve varijante konfiguracije, pa su videli da su se nesto presli (priznali mi, a nisu morali), pa sad prave trecu varijantu. Mene samo boli glava, jer je svaka nova varijanta skuplja od prethodne. Pa zato sad ovde malo jurim donatore, a pusticu buvu i po svetu. Informatika mi je obecala da ce pripomoci, ali jos nismo perfektuirali u kom opsegu. Ma ima da rodimo. Uzgred, ti si sad nadrljao ako ti se sef predomisli, jer se proculo (uopste ne znam kako, ja nisam pricala, bar ne u pocetku, a sad kad me pitaju moram da kazem ...sta cu!!!) da stize cluster. Klinci se raduju (mislim na mladje saradnike na ETF-u, a zapitkuju i sa drugih fakulteta), od regularnog clustera naraslo osmo svetsko cudo, ma koji cluster ... svemirski brod. Rekla sam klincima iz RC-a (ovim mojim administratorima i programerima (ma oni su proneli pricu, garant ... iako sam im kazala da ne laju okolo)): ako se ovi iz myricoma predomisle, ja cu morati da prodam kucu u selu i pazarim cluster, jer me od bruke nece oprati atlanski okean. Prema tome, sta bi? Da li se sef predomislio? Ako se i predomislio, nemoj se sekirati, bice clustera drugom prilikom, pricekacemo jos malo. A ni kucu necu prodati - ionako mi muz ne bi dao, to je njegova dedovina! Voli te Vladana. Subject: Re: nesto smo se ucutali s obe strane > ako se ovi iz myricoma predomisle, ja cu morati da prodam kucu u selu i pazarim cluster Ovde su sad praznici, ali ocekujem da cu sa sefom razgovarati do kraja nedelje. Dragi Jakove, izgleda da smo resili ovde probleme - dobicemo donaciju od domace firme za resto (od Informatike - ali su mi kazali da jos ne trubim o tome okolo, pa je ova informacija samo za tvoje oci). To je prilicna suma, ali resili da se isprse. Veselin je cak i krstio ceo sistem. Posto je u fazi slovenskih mitova (srecom pre mesec dana je izasao iz faze nordijskih mitova) imena buduceg klastera su staroslovenska: SVAROG - Linux Beowulf Cluser, master nod je BJELBOG, a nodovi SVAROZZIKI <---- (ZZ je kao ZZuto-boja) Prilazem Veselinovo pismo - konfiguracija je pravljena u saradnji sa Krajkom, a pripomagali Bole i Srdjan. Krajko je sa katedre za telekomunikacije i zaduzen je za mrezu, a ostali su iz RC-a. Samo da se zna ko su majstori - ja sam tu nevina, ja sam zaduzena samo za kontakte sa javnoscu. E pa sad dastisnemo zube i navijamo i za tebei za nas (da uspes kod sefa u muntanju). Voli te Vladana. Subject: Myrinet contribution Dr. Vladana Likar-Smiljanic Subject: Myrinet contributionDate: Thu, 14 Feb 2002 00:53:01 +0100 Dear Dr. Seitz, first of all, let me thank You on the behalf of our Dean, Dr. Borivoj Lazic and myself for Your kind donation to our Computing Centre and Belgrade University. The Myricom equipment will have an important role in educating our students and faculty, and as a valuable resource for the researchers of Belgrade University and other Yugoslav institutions. Yugoslav technical community will greatly appreciate this opportunity provided by Myricom. I will send you soon information about the required paperwork. With kind regards, Subject: Re: Myrinet contributionDate: Sun, 24 Feb 2002 18:53:57 -0800 (PST) Dear Dr. Likar-Smiljanic, Attached is an advance, email copy of the letter I'll fax to you tomorrow. We'll be ready to ship the components to you as soon as we receive the "ok" from you by email. Best wishes, --Chuck Seitz Subject: da li smem ????Date: Tue, 26 Feb 2002 21:03:25 +0100 Dragi Jakove, primila sam obavestenje da je fax prosao, ali cu ga dobiti tek sutra, posto je posle podne racunovodstvo zakljucano. (fax sa izjavom o donaciji – objasnjenje Vladanino) A sad jedno kratko pitanje: spremam se da napisem cirkularni mejl narodu. Pa, da li smem da kazem kako ste nam poklonili sve ono, odnosno da je Myricom postao ETF donator, a zahvaljujuci Jakovu i Chuck-u (nemoj da mu kazes da mu tepam - u pismu ce da bude imenovan oficijelno), ili da pricekam da oprema stigne, pa onda da objavljujem. Voli te Vladana. Subject: Re: da li smem ????Date: Tue, 26 Feb 2002 12:42:02 -0800 (PST) Ja mislim da je bolje da sacekas da oprema dodje, tako je dosad bilo i sa svom drugom opremom. Kad mislis da cete dobiti tu potvrdu? Ovo bi trebalo da vam stigne brzo, to su dve relativno male kutije za elektroniku, plus nekoliko velikih za kablove. Ja mislim da mi sve saljemo UPS (ne znam da li ide za Jugu) ili nesto slicno, tako da ce putovati manje od nedelju dana. Jakov Subject: Re: da li smem ????Date: Wed, 27 Feb 2002 23:25:20 +0100 Dragi Jakove, kazu mi klinci iz RC-a (zaposleni, mislim) da ide UPS za YU. Sto se tice potvrde stvar stoji ovako: sutra saljemo sve u ministarstvo finansija. Onda posle nedelju dana (posto zasigurno dotle nece dati potvrdu o oslobodjenju od poreza) krecemo da ih gusimo. U najboljem slucaju potvrdu mozemo dobiti za dve nedelje, u najgorem slucaju do penzije. Malo optimistickiji najgori slucaj se krece do mesec dana. A roba ne sme da krene dok se papir ne dobije, jer onda lezi na carini i svaki dan kosta lezarina, a carina ne da dere, ne mozes da poverujes koje su to sume - da kupis pola fakulteta. Znas, ovde ti je birokratija ...ustvari, ni ova vlast nije mnogo bolja nego prosla … ne mozzeees im niiiistaaaa.....!!!!! Voli te Vladana! Subject: samo da se javnem Dragi Jakove, jos nista nema novo, ali da se javnem, da se ne misli da smo odustali (ili da vi ne odustanete, pa da se ubijemo). Elem, nisam lenja, svaki drugi dan zivkam ministarstvo finansija. Ima tamo neki dasa, zaduzen za carinu, i on je veoma ljubazan: kazao je da ce, sto se tice carine, biti sve o.k. E sad su papiri kod jedne dame, koja oslobadja od poreza. E pa dama je malo dugopotezna, zali se kako ima puno posla, a plata mala, i nije raspolozena za prijatno anglosaksonsko caskanje kroz koje se obave poslovi (kao dzentlmen zaduzen za carinu). Danas sam se cula sa njom, odslusala partituru lamentacije i blago negodovanje sto je tako prezaposlenu gnjavim. Rekla mi je da je ponovo pozovem sutra ili preksutra. Cim bude bilo nesto konkretno, odmah se javljam. Voli te Vladana. Subject: ETF donacijaDate: Mon, 25 Mar 2002 09:17:03 -0800 (PST) Dragi Sveto, od Vladane sam dobio dobre vesti da su dobili potvrde o oslobadjanju od carine za donacije Myricom opreme. Sad je sve spremno za slanje, jedino jos da vidimo kako mozemo da se dogovorimo sa ETF-BAFA. Razgovarao sam sa mojim sefom, on kaze da se nase knjigovodstvo slaze da treba da donacija prodje kroz vas, jer cemo time moci da ostvarimo poreske olaksice. Ovo ce vama takodje biti izvanredna reklama. U razgovoru i sa Vladanom i sa mojim sefom, slozili smo se da ne smemo ovu donaciju ukljuciti u vase redovne posiljke kontejnerom iz nekoliko razloga. Najvazniji je da je oprema dosta vredna (nesto manje od $60,000) i ne smemo dozvoliti da se nesto izgubi ili slomi, a za slucaj da se to desi, moramo biti pokriveni nekim osiguranjem. Takodje je svima vec dosta cekanja i grickanja noktiju, organizacija ove donacije traje vec skoro cetiri meseca. Moj sef se zove Charles Seitz, glavni iz racunovodstva je Jim Grimard, I verujem da ce vam se neko od njih dvojice ubrzo javiti (verovatno Jim). Moj predlog je da se donacija da ETF-BAFA, a onda ETF-BAFA angazuje Myricom da to posalje direktno na ETF. Ako ne moze, mislim da treba Myricom da da donaciju ETF-BAFA u iznosu troskova slanja za Beograd. Srdacno vas pozdravljam, i svecano obecavam da cu se napokon uclaniti u ETF-BAFA i platiti clanarinu za pet godina unapred. Jakov Subject: donacijaDate: Wed, 17 Apr 2002 10:13:03 -0700 (PDT) Draga Vladana, evo sad mi je glavni iz knjigovodstva rekao da mu je iz americke poreske sluzbe potvrdjeno da mozemo da posaljemo opremu direktno na vas, iako formalno prolazi kroz ETF-BAFA. Ovo je idealno resenje. Ja ocekujem da se u sledecih nekoliko dana ovo i fizicki posalje, ali i dosad je sve trajalo mnogo duze nego sto sam ja ocekivao. Jakov Subject: pazi sadDate: Tue, 23 Apr 2002 09:12:20 -0700 (PDT) 4 kutije poslate juce popodne, UPS tracking numbers (mozete da proverite gde su paketi kroz http://www.ups.com/etracking/tracking.cgi): 1Z15XW376641415693 Jakov Subject: Re: pazi sadDate: Tue, 23 Apr 2002 20:49:01 +0200 iiijaooooo, sad cu da se onesvestim !!!! a pogledala sam i sta se sa paketima desava, pa jedan kao nesto zapeo? ... ali valjda su resili problem. voli te Vladana, a voli i Chaka !!! Subject: Re: pazi sadDate: Tue, 23 Apr 2002 11:58:17 -0700 (PDT) > jedan kao nesto zapeo Ovo sam video, i poslao ti namerno da vidis da i ovde stvari zapinju. Jakov Subject: odglavljenoDate: Tue, 23 Apr 2002 12:08:02 -0700 (PDT) Apr 23, 2002 10:30 A.M. SAN GABRIEL, CA, US INVOICE MISSING, Subject: pazi sad ti!Date: Thu, 25 Apr 2002 22:19:18 +0200 stiglo do Becha .... pratimo kretanje .... opste uzbudjenje .... Subject: Re: pazi sad ti!Date: Thu, 25 Apr 2002 14:13:13 -0700 (PDT) > stiglo do Becha .... pratimo kretanje .... opste uzbudjenje .... Kao da ja ne proveram svakih pola sata... Subject: Re: pazi sad ti!Date: Thu, 25 Apr 2002 23:25:32 +0200 > Kao da ja ne proveram svakih pola sata... znala sam ..... !!! Subject: Re: pazi sad ti!Date: Thu, 25 Apr 2002 23:30:16 +0200 S T I G L O O O O OOOOOOOOOOOOO !!!!!!!! voliiiii teeeee vladana !!! Subject: jos malo ... Dragi Jakove, A zbiva se sledece, stiglo sve, javila mi se jedna dama iz UPSa, ja je povezala sa nasim spediterom. E, onda se ispostavilo da moramo i carini da napisemo izjavu da necemo vas poklon koristiti komercijalno i da je to poklon (a to smo vec pisali ministarstvu finansija, ali izgleda da je carina iz druge drzave). Izjavu smo sredili pa bi sad trebalo da u ponedeljak podignemo robu sa carine (carina radi u ponedeljak i utorak). Pa cu tako raditi i u ponedeljak, a bas sam se radovala sto je raspust, jer nam u nedelju dolazi cerka Aleksandra posle godinu dana. I umesto da se igram sa detetom, ja odoh da se igram sa spediterima i carinicima. Al' takav je zivot! Javicu ti cim budemo imali robu u rukama. Voli te Vladana. Subject: kod mene u sobi jeeeeeeeDate: Mon, 29 Apr 2002 23:10:53 +0200 Dragi Jakove, danas smo svecano oteli cetiri myricom paketa od carine. Bila sam u tremi hoce li akcija uspeti, i uspela je !!! Paketi stigli kasno popodne u RC. Fakultet inace ne radi (mada je Bora dekan bio danas prisutan i navijao), i tek u utorak 7 maja ponovo se radi. Fakultet je kao Sahara. Danas (ponedeljak) i sutra rade po neke firme (kao carina na primer), ali dosta sveta ne radi. Ovo ti pisem zbog toga sto ce oficijelna zahvalnost Dr Chuku da okasni. Osim sto cu mu se javnuti mejlom, kazi mi da li da posaljemo jos nesto. Obicno saljemo kao neku zahvalnicu fakulteta ... Kazi kakav je obicaj da ne ispadnemo nikakvi. Cekam da prodju praznici pa da krenem da dizem medijsku graju. Klinci su kopirali neke knjige o klasterima, opste je uzbudjenje. Pokusavam da uzicam i rekove od jedne nemacke firme, ali sad cu dve nedelje biti malo manje aktivna, jer nam je kao sto znas dosla cerka (a ostaje samo dve nedelje, shmrc). Voli te Vladana. Subject: Re: kod mene u sobi jeeeeeeeDate: Mon, 29 Apr 2002 14:38:31 -0700 (PDT) Draga Vladana, pozdrav svima, srecan sam sto se sve lepo zavrsilo, ma u stvari sad tek pocinje. Mora da je sad anti-klimaks, doslo par kutija i malo kablova, tresla se gora rodio se mis. Sto se tice Chuck-a, mail mu posalji odmah, a kasnije neko kratko pismo Myricom-u. Ja mislim da bi njemu bilo vaznije da kasnije dobije par reci da sve to funkcionise i da se koristi, nego nekakva formalna zahvalnica. Jakov P.S. Ja cu biti u Beogradu od 16. maja do 1. juna, pa cemo se i videti. Subject: Re: kod mene u sobi jeeeeeeeDate: Tue, 30 Apr 2002 12:41:36 +0200 Dragi Jakove, Sve cu te obavestavati. Sad odosmo malo u selo, vracamo se u cetvrtak. Voli te Vladana. Subject: Myrinet contributionDate: Tue, 30 Apr 2002 12:35:13 +0200 Dear Dr. Seitz, Myricom equipment has arrived to our Computer Centre. Custom procedure went smoothly. Thank You very much again for Your generous donation. We are very excited to built this advanced computing facility and we will keep You updated as the cluster is installed. With kind regards, Subject: ipak se mrda .. Dragi Jakove, Jesam li ti poslala slike sa faksa i iz Informatike??? Jel' mozes da mi ucinis sledece, da se cela vasa firma slika, onako kao maturske slike, pa da mi posaljes, ali da bude sto veca. Pa ja posle od toga napravim fotos i obesim na zid. Posto smo sredili onu duguljastu ucionicu sa onim sto smo dobili od vas, tj BAFA USA, tu sam obesila nekoliko BAFA slika koje imam i koje su mi lepe. Sad mora i prica o Myricomu da se istakne. Subject: Re: ipak se mrda .. > Dala nam je informatika 8 dellovih nodova + master nod. Subject: raaaaadi....!!! Dragi Jakove, Subject: Re: raaaaadi....!!! Draga Vladana, > Ej Jakove, Jakove, nikad neces biti svestankakvu si nam radost priredio - ti si, poklanjajuci Jakov Subject: cluster named SVAROG Dear Dr Seitz, I would be very grateful if you could provide me with a group photo of Myricom employees, which I could hang on the wall with the photographs of other donors. Subject: pitanje i molba Dragi Jakove: Subject: Re: pitanje i molba Cao Vladana, Subject: Re: pitanje i molba > radi, jasta!!! Na promociji sledeceg cetvrtka, objavicemo i otvaranje naloga. Cenim da ce promocija biti svecana, posto se i Informatika umesala u organizaciju, a oni umeju to da odrade profesionalno. Sto se nas tice, mi cemo da napravimo ppt prezentaciju za siroke narodne mase kako klaster radi. Takodje smo svi sebi napravili dukse sa znakom RCa (to mi ovde izmislili), pa cemo da se uparadimo da bude svecanije. Jedino je nezgodno sto su dukse juce bile gotove, pa svi krenuli da ih nose, a ja ne dam - da ostanu nove za svecanost. Al' ne mozes se sa klincima izboriti ... Voli te Vladana. Subject: izvestaj sa prezentacije Dragi Jakove, prezentacija je prosla odlicno. Bilo je prisutno oko stotinak ljudi, nije moglo da se udje u centar. Bila su dva doministra: Srba (prosveta) i Golijanin (etfovac-za nauku), bila je rektorka, prorektor, nekoliko dekana, dosta direktora raznih velikih firmi. Zvali smo i mi i informatika. Birali Uvece mi se javila gomila ljudi da kaze kako je prezentacija bila fenomenalna, a i jutros se javljaju da nam to kazu. U sledecem mejlu cu ti poslati neke fotografije sa prezentacije. Obrati paznju da smo bili mi iz RCa "uniformisani", svi smo imali crne dukse sa kapuljacama i izvezenim znakom RCa koji je izmislio Panzer. Organizovali smo sami da napravimo ovakve dukserice i svako je svoju platio. Publika nas je stalno zapitkivala gde ima da se kupe. Nema nigde! Mi smo unikatni ;) voli te vladana |