HADOOP

[sir_hedayat]

سلام مهندس، اگه بتونی راه درست نصب hadoop روی ویندوز 8 همراه با نرم افزارهایی که لازم دارد را بهم معرفی بفرمایید ممنون میشم ضمنا ابونتو 14.10 رو هم جداگانه روی سیستم دارم ولی چون زیاد باهاش کار نکرده ام باهاش مشکل دارم ، اگه بتونید از روی ویندوز آموزش و راهنمایی بفرمایید ممنون ممنون ممنون میشم.

[sir_hedayat]

استفاده از نرم افزار Cloudera-quickstart

[arashsh79]

سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با

Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید

[مبین رنجبر]

سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با

Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید

نحوه نصب رو اینجا نوشتم. برای ویندوز 7 هم فرقی ندارد.

[arashsh79]

ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم شرمنده
حالا من این بسته

Cloudera را دانلود کردم بعد توسط vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه
بی نهایت سپاسگزارم

[مبین رنجبر]

ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم شرمنده
حالا من این بسته

Cloudera را دانلود کردم بعد توسط vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه
بی نهایت سپاسگزارم

معروف ترین مثال و در عین حال ساده ترین مثالی که میشه داشت مثال Word Count هست. کد کامل و نحوه اجرا در اینجا به طور کامل توضیح داده شده:

http://hadoop.apache.org/docs/curren...eTutorial.html

[arashsh79]

ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم


Snapshot_2015-04-22_192631.png

[arashsh79]

از مهندسین عزیز خواهشمندم اگه جواب منو میدونن پاسخ بدن ممنون میشم. بی نهایت سپاسگزارم

[مبین رنجبر]

ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم


Snapshot_2015-04-22_192631.png

تنظیمات مربوط به Intel VT-x/AMD-V و Virtualization را در بایوس سیستم فعال کنید.

[arashsh79]

ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های

Word Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟

[مبین رنجبر]

ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های

Word Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟

خوب پس سیستم عامل شما 32 بیتی هست و نسخه 64 بیتی را دانلود کردید. کد رو که نمیشه در در ترمینال به صورت خام اجرا کرد.می بایست کدهارو تبدیل به پروژه با فایل اجرایی jar کنید و در بخش job ها یک task نوع MapReduce در پنل مدیریتی Hue ایجاد کنید تا اجرا شود.

[arashsh79]

خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟

[مبین رنجبر]

خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟

البته اون آموزشی که من لینکش رو قرار دادم به صورت کامل از طریق ترمینال(با دستوران جاوا و هدوپ) توضیح داده که اجرا کنید که نیازمند نصب بسته عمومی است. ولی چون شما نسخه آماده مجازی سازی شده رو دانلود کردید و استفاده می کنید مراحل زیر را برای اجرای یک عمل Map/Reduce دنبال کنید:

پس از راه اندازی ماشین مجازی cloudera با تصویر زیر مواجه می شوید:

mr1.jpg

بر روی Hue کلیک کرده تا وارد پنل واسط کاربری Hue شوید(اگر اکانت نساختید می توانید از یوزرنیم cloudera و cloudera استفاده کنید). پس از وارد شدن از نوار ابزار بالا بر روی Job Designer کلیک کنید تا با پنجره زیر روبرو شوید:

mr2.jpg

در این پنجره بر روی گزینه New Action کلیک کنید و از نوار بازشده ، MapReduce را انتخاب کنید. با اینکار با پنجره زیر روبرو می شوید که به دلیل طولانی بودن تبدیل به دو عکس کردم:

mr3.jpg
mr4.jpg

در اینجا یک نام دلخواه برای job ای که میخواهید انجام دهید انتخاب میکنید. در بخش jar path آدرس فایل اجرایی پروژه را بعد از کامپایل می نویسید.(در صورت وجود و نیاز می توانید بخش های Job Properties و Files رو تکمیل نمایید).

پس از آن بر روی دکمه Save کلیک کنید. تا الان Job شما در لیست قرار گرفته است. برای اجرای این Job می بایست نام Job را از لیست انتخاب کنید و بر روی دکمه Submit کلیک کنید تا اجرا شود. روند کار با می توانید از بخش Log View پیگیری کنید.

[arashsh79]

ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم خط به خط ..اینم شانس منه
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم
ممنون میشم توضیح بدید
سپاسگزارم

[مبین رنجبر]

ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم خط به خط ..اینم شانس منه
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم
ممنون میشم توضیح بدید
سپاسگزارم

در پست های قبل آموزش نصب به صورت عادی رو توضیح دادم. لطفا مطالعه کنید.

[arashsh79]

داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که (

در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم

[مبین رنجبر]

داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که (

در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم

شما سورس کد هدوپ رو دانلود کردید که نیاز به کامپایل دارد. فکر میکنم چون کامپایل سورس کد شما رو گیج میکنه بهتر هست که بسته اجرایی اصلی رو از اینجا دانلود کنید. فرقی نمیکنه که کجا استخراج میکنید ولی بهتر است که در ریشه درایو در ویندوز و در پوشه home در لینوکس باشد. شما با دستورات خط فرمان آشنا نیستید؟ با دستور cd به پوشه ای که فایل های هدوپ در آن قرار دارد بروید و دستورانی که در آن مثال لینک بالا آمده را خط به خط اجرا کنید.

[arashsh79]

ممنون از راهنمایی که زحمت میکشید من مجددا به یه مشکل برخورد کردم و چند سوال برام پیش اومد
اول اینکه اینبسته اجرایی که زحمت کشیدید را باید چگونه استفاده کنم
دوم اینکه در چه محیطی میتوانم به سورس کد هاش دسترسی داشته باشم
سوم اینکه چطوری با هادپ ارتباطش را برقرار کنم
من با دستورات خط فرمان داس و ویندوز آشنایی دارم ولی متوجه منظور شما از ورود به فولدر مربوطه با فرمان cd نشدم چون نمیدونم فایلی که اکسترکت کردم رو بعد از ورود به پوشه در محیط شل داس چطوری بهره برداری کنم؟
ممنون از پاسخگویی شما

[arashsh79]

از مهندسین عزیز کسی نیست جواب منو بده خیلی لنگ شدم !!!!

[forogh68]

سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟

[مبین رنجبر]

سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟

زبان اصلی برنامه نویسی در هدوپ جاوا هست ولی برای زبان های دیگر مثل پایتون و اسکالا و ... هم درایور هایی وجود دارد که می توان در آنها برای هدوپ برنامه نوشت.

[joker]

استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که سرعت دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)

[مبین رنجبر]

استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که سرعت دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)

بله امکانش هست.

[suraty]

سلام،

برای مشاهده آموزش

نصب Hadoop و اجرای روش MapReduce (تک نود Single Node)

روی ubuntu میتوانید به آدرس زیر مراجعه بفرمایید.

http://narmafzaria.blogfa.com/post/10