کلاستر با openMOSIX

[بمب منطقی]

با سلام خدمت اساتید و دوستان عزیز بخش لینوکس:
من یه چند ماهی میشه که دارم رو مبحث کلاسترینگ کار میکنم و تو همین چند ماه کاربا لینوکس رو بصورت حرفه ای شروع کردم(البته هنوز چیز قابل توجه از لینوکس بلد نیستم). و یه چند روزی میشه که با openMosix سه تا از کامپیوترهای site دانشگاه کلاستر کردم که این 3 کامپیوتر به وسیله یک سوئیج بطور مستقل از سایر کامپیوتر ها به هم متصل هستن که مشخصاتشون به شرح زیر هست (کرنل هر سه سیستم 2.4.26 و توزیع هر سه REDHAT9 می باشد):

Node 1:

• CPU: P4,2.66 GHZ
• RAM:256
• NIC:10/100

Node 2:

• Cpu:P4,1.8 GHZ
• RAM:256
• NIC:10/100

Node 3:

• Cpu:P4,2.66 GHZ
• RAM:512
• NIC:10/100

بعد از بر پا سازی کلاستر و آزمایش اون زیر بار ،با نتایج غیر قابل انتظار و عجیبی رو برو شدم.طبق نتایج زیر استفاده از openmosix باعث میشه که پردازش کندتر صورت بگیره !!! فکر میکنید علت از چیزه ؟ از سخت افزار خاصی هست یا دلیل دیگه ای داره؟
در آزمایش اول و دوم ، 3 و سپس 9 فایل wave با نرم افزار lame به شرح زیر به mp3 تبدیل شدن و در آزمایش سوم دو for تو در تو (10000 × 10000) اجرا شده که در دو آزمایش اول openMosix کندتر عمل کرده ولی در سومی سریعتر.
Node اجرائی (نودی که آزمایش ها روی اون صورت گرفته) Node 1 می باشد.

تبدیل 3 فایل Wave به MP3 (به حجم زیر):

1- 35.4 MB

2- 48.8 MB

3- 43.3 MB

با استفاده از OPENMOSIX:
اجرای همزمان تمامی فایل ها : 2:44.7 دقیقه
اجرای ترتیبی و پشت سر هم : 4:17.4 دقیقه
بدون استفاده از OPENMOSIX :
اجرای همزمان تمامی فایل ها : 1:50.7 دقیقه

اجرای ترتیبی و پشت سر هم : 1:35 دقیقه

نمودار مربوط به زمان تبدیل 3 فایل

تبدیل 9 فایل Wave به MP3 (به حجم زیر):

1- 35.4 MB

2- 48.8 MB
3- 43.3 MB
4- 33.0 MB
5- 37.8 MB
6- 43.0 MB
7- 17.6 MB
8- 36.0 MB
9- 42.0 MB

با استفاده از OPENMOSIX :
اجرای همزمان تمامی فایل ها : 6:18.4 دقیقه
اجرای ترتیبی و پشت سر هم : 12:12.0 دقیقه
بدون استفاده از OPENMOSIX :
اجرای همزمان تمامی فایل ها : 4:16.7 دقیقه

اجرای ترتیبی و پشت سر هم : 4:12.7 دقیقه

نمودار مربوط به زمان تبدیل 9 فایل

اجرای دو FOR تودرتو (10000× 10000) :

با استفاده از OPENMOSIX :

0:59 دقیقه
بدون استفاده از OPENMOSIX :
2.33.3 دقیقه

نمودار مربوط به زمان اجرای دو For تو در تو

با تشکر

[بمب منطقی]

چی شد پس؟! این یعنی اینکه یعنی کسی اصلا با کلاسترها کار نکرده؟ یا اینکه جواب سوال منو نمیدونید.
نظر خودم اینه که over-head مربوط به migration (یا به عبارتی frame های ارسالی) بیشتر از خود data هستش.نظر شما چیه؟
از این قضیه که بگذریم کسی میدونه که اصلا openMosix با چه قاعده ای process رو ارسال میکنه؟به عبارتی الگوریتم تقسیم بندی process ها به چه صورتی هست؟ اصلا یه پروسس رو غلفتی (کسی میدونه غلفتی رو چجوری مینویسن؟!!!) میفرسته یا تبدیل به چند thread میکنه و هر thread رو جداگانه میفرسته؟

خیلی ممنون میشم اگه حوصله کنین و به من جواب (هر چند مختصر) بدین.

[Inprise]

راستش رو بخوای این مبحث خیلی مفصل هست . من تجربه مختصری دارم . نه وقت و نه انگیزه ای برای نوشتن در موردش رو ندارم . فکر هم نمیکنم که در بعضی از زمینه ها که تخصص و تجربه اش ارزان و متداول نیست به سوالات زیادی بصورت رایگان جواب داده بشه .

بهر حال ،
مسئله کلاسترینگ اصلا به این شکل نیست که تو با یک نرم افزار و ده تا سیستم ناگهان به یک بهبود حاد برسی . اصل بحث طراحی است . این مسئله خیلی پیچیده و مفصل هستش . بله در موارد متعددی کلاستر رسما کیفیت و کمیت جوابگوئی پردازش رو کاهش میده . این مبحث به مسائل مختلفی بستگی داره . فاکتورهاش خیلی زیاده . متاسفم که نمیتونم راهنمائی مفیدتری بهت بکنم . شاید همینکه متوجه باشی خیلی پیچیده تر از اون هست که در نگاه اول به نظر میاد کمک کنه که مطالعه جدی تری بکنی و وقت بیشتری بذاری .

[بمب منطقی]

اینطور که معلومه راه طول درازی در پیش دارم چون با pvm,mpi,hpvm,mpich,openmp,corbaو بسیاری دیگر از تکنولوژی های کلاسترینگ هم آشنا و بسیار علاقه مند شدم.
آخرین سوال تو این تاپیک : اینطور که متوجه شدم این سوپر کامپیوتری که چند وقت پیش تو بوق کردن(تو ایران) که برای پردازش داده های هواشناسی ساختن هم از کلاسترینگ برای پیاده سازیش استفاده شده بود! درست میگم یا اشتباه میکنم؟! و اگه درست می گم،خبر دارین که از کدوم تکنولوژی و نرم افزار استفاده کرده بودن؟

بازم ممنون که جواب دادین.

[Inprise]

بهشون ایمیل بزن . قاعدتا بهتر راهنمائی میکنن . کامپیوترشون یک کلاستر بر اساس لینوکس هست . از MPI هم استفاده کردن

[بمب منطقی]

خیلی خیلی ممنون

[salimipour]

با سلام
برای کسب اطلاعات بیشتر در مورد گرید کامپیوتیینگ و کلاستر ها سری به وبلاگم بزنید

مهم نیست از چه سیستم کلاستری استفاده می کنیم مهم اینست در آن سیستم وقتی بار شبکه بالا می رود سیستم کلاستر باز هم سریع کار کند

[aakh1361]

1 - با توجه به سرعت پردازنده ها کارتهای شبکه تون یک گلوگاه ایجاد کرده از لن گیگابایتی استفاده کنید
2 - نود 3 رو نود اجرای تون انتخاب کنید (ترجیحا سیستم رو در مد متنی بالا بیارید)

[بمب منطقی]

کاربر سلیمی پور، از سایت پربارتون خیلی ممنونم من در هنگام تحقیقاتم در مورد کلاسترینگ به وبلاگتون برخورد کردم و از مطالبش بهره زیادی بردم. مفتخر هستم که شما یکی از اعضای سایت برنامه نویس هستید.

1 - با توجه به سرعت پردازنده ها کارتهای شبکه تون یک گلوگاه ایجاد کرده از لن گیگابایتی استفاده کنید

اتقاقا هدف کلاسترینگ استفاده از قطعات معمولی(و حتی ضعیف) برای ساخت سیستمی پرقدرت هست!
بازم ممنون از راهنمائیتون