# پایگاه‌های داده > NoSQL >  HADOOP

## sir_hedayat

سلام مهندس، اگه بتونی راه درست نصب hadoop روی ویندوز  8 همراه با نرم افزارهایی که لازم دارد را بهم معرفی بفرمایید ممنون میشم  ضمنا ابونتو 14.10 رو هم جداگانه روی سیستم دارم ولی چون زیاد باهاش کار  نکرده ام باهاش مشکل دارم ، اگه بتونید از روی ویندوز آموزش و راهنمایی  بفرمایید ممنون ممنون ممنون میشم.

----------


## sir_hedayat

استفاده از نرم افزار Cloudera-quickstart

----------


## arashsh79

سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید

----------


## مبین رنجبر

> سلام و خسته نباشید خدمت مهندسین
> میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
> ممنون میشم راهنماییم کنید


نحوه نصب رو اینجا نوشتم. برای ویندوز 7 هم فرقی ندارد.

----------


## arashsh79

ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم  شرمنده
حالا من این بسته _Cloudera  را دانلود کردم بعد توسط  vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه 
بی نهایت سپاسگزارم_

----------


## مبین رنجبر

> ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم  شرمنده
> حالا من این بسته _Cloudera  را دانلود کردم بعد توسط  vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه 
> بی نهایت سپاسگزارم_


معروف ترین مثال و در عین حال ساده ترین مثالی که میشه داشت مثال Word Count هست. کد کامل و نحوه اجرا در اینجا به طور کامل توضیح داده شده: 

http://hadoop.apache.org/docs/curren...eTutorial.html

----------


## arashsh79

ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم


Snapshot_2015-04-22_192631.png

----------


## arashsh79

از مهندسین عزیز خواهشمندم اگه جواب منو میدونن پاسخ بدن ممنون میشم. بی نهایت سپاسگزارم

----------


## مبین رنجبر

> ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
> من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
> ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم
> 
> 
> Snapshot_2015-04-22_192631.png


تنظیمات مربوط به Intel VT-x/AMD-V و Virtualization را در بایوس سیستم فعال کنید.

----------


## arashsh79

ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510 
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های Word Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟

----------


## مبین رنجبر

> ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510 
> ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های Word Count را میزنم همش میگه :
> no such file or directory یا command not found !!!
> فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟


خوب پس سیستم عامل شما 32 بیتی هست و نسخه 64 بیتی را دانلود کردید. کد رو که نمیشه در در ترمینال به صورت خام اجرا کرد.می بایست کدهارو تبدیل به پروژه با فایل اجرایی jar کنید و در بخش job ها یک task نوع MapReduce در پنل مدیریتی Hue ایجاد کنید تا اجرا شود.

----------


## arashsh79

خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟

----------


## مبین رنجبر

> خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
> بخش job کجاش میشه؟
> پنل مدیریت hue کجاشه؟


البته اون آموزشی که من لینکش رو قرار دادم به صورت کامل از طریق ترمینال(با دستوران جاوا و هدوپ) توضیح داده که اجرا کنید که نیازمند نصب بسته عمومی است. ولی چون شما نسخه آماده مجازی سازی شده رو دانلود کردید و استفاده می کنید مراحل زیر را برای اجرای یک عمل Map/Reduce دنبال کنید:

پس از راه اندازی ماشین مجازی cloudera با تصویر زیر مواجه می شوید:
mr1.jpg
بر روی Hue کلیک کرده تا وارد پنل واسط کاربری Hue شوید(اگر اکانت نساختید می توانید از یوزرنیم cloudera و cloudera استفاده کنید). پس از وارد شدن از نوار ابزار بالا بر روی Job Designer کلیک کنید تا با پنجره زیر روبرو شوید:

mr2.jpg

در این پنجره بر روی گزینه New Action کلیک کنید و از نوار بازشده ، MapReduce را انتخاب کنید. با اینکار با پنجره زیر روبرو می شوید که به دلیل طولانی بودن تبدیل به دو عکس کردم:

mr3.jpg
mr4.jpg
در اینجا یک نام دلخواه برای job ای که میخواهید انجام دهید انتخاب میکنید. در بخش jar path آدرس فایل اجرایی پروژه را بعد از کامپایل می نویسید.(در صورت وجود و نیاز می توانید بخش های Job Properties و Files رو تکمیل نمایید).

پس از آن بر روی دکمه Save کلیک کنید. تا الان Job شما در لیست قرار گرفته است. برای اجرای این Job می بایست نام Job را از لیست انتخاب کنید و بر روی دکمه Submit کلیک کنید تا اجرا شود. روند کار با می توانید از بخش Log View پیگیری کنید.

----------


## arashsh79

ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم  خط به خط ..اینم شانس منه 
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم 
ممنون میشم توضیح بدید 
سپاسگزارم

----------


## مبین رنجبر

> ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم  خط به خط ..اینم شانس منه 
> حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
> تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم 
> ممنون میشم توضیح بدید 
> سپاسگزارم


در پست های قبل آموزش نصب به صورت عادی رو توضیح دادم. لطفا مطالعه کنید.

----------


## arashsh79

داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که ( در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم  اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم

----------


## مبین رنجبر

> داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
> اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
> دوم اینکه تو توضیحات فرمودین که ( در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم  اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
> سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
> بازم از پاسخگوییتون بی نهایت سپاسگزارم


شما سورس کد هدوپ رو دانلود کردید که نیاز به کامپایل دارد. فکر میکنم چون کامپایل سورس کد شما رو گیج میکنه بهتر هست که بسته اجرایی اصلی رو از اینجا دانلود کنید. فرقی نمیکنه که کجا استخراج میکنید ولی بهتر است که در ریشه درایو در ویندوز و در پوشه home در لینوکس باشد. شما با دستورات خط فرمان آشنا نیستید؟ با دستور cd به پوشه ای که فایل های هدوپ در آن قرار دارد بروید و دستورانی که در آن مثال لینک بالا آمده را خط به خط اجرا کنید.

----------


## arashsh79

ممنون از راهنمایی که زحمت میکشید من مجددا به یه مشکل برخورد کردم و چند سوال برام پیش اومد
اول اینکه اینبسته اجرایی که زحمت کشیدید  را باید چگونه استفاده کنم
دوم اینکه در چه محیطی میتوانم به سورس کد هاش دسترسی داشته باشم
سوم اینکه چطوری با هادپ ارتباطش را برقرار کنم
من با دستورات خط فرمان داس و ویندوز آشنایی دارم ولی متوجه منظور شما از ورود به فولدر مربوطه با فرمان cd نشدم چون نمیدونم فایلی که اکسترکت کردم رو بعد از ورود به پوشه در محیط شل داس چطوری بهره برداری کنم؟
ممنون از پاسخگویی شما

----------


## arashsh79

از مهندسین عزیز کسی نیست جواب منو بده خیلی لنگ شدم !!!!

----------


## forogh68

سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟

----------


## مبین رنجبر

> سلام دوستان.
> برنامه نویسی هدوپ همون جاوا محسوب میشه؟


زبان اصلی برنامه نویسی در هدوپ جاوا هست ولی برای زبان های دیگر مثل پایتون و اسکالا و ... هم درایور هایی وجود دارد که می توان در آنها برای هدوپ برنامه نوشت.

----------


## joker

استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع  فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که *سرعت* دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)

----------


## مبین رنجبر

> استاد گرامی هدوپ مسءلتون:
> امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع  فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
> به طور خلاصه یک فایل سرور خیلی حجیم داریم که *سرعت* دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)


بله امکانش هست.

----------


## suraty

*سلام،

برای مشاهده آموزش

**نصب Hadoop و اجرای روش MapReduce (تک نود Single Node)*

*روی ubuntu میتوانید به آدرس زیر مراجعه بفرمایید.

*http://narmafzaria.blogfa.com/post/10

----------

