PDA

View Full Version : HADOOP



sir_hedayat
چهارشنبه 22 بهمن 1393, 23:01 عصر
سلام مهندس، اگه بتونی راه درست نصب hadoop روی ویندوز 8 همراه با نرم افزارهایی که لازم دارد را بهم معرفی بفرمایید ممنون میشم ضمنا ابونتو 14.10 رو هم جداگانه روی سیستم دارم ولی چون زیاد باهاش کار نکرده ام باهاش مشکل دارم ، اگه بتونید از روی ویندوز آموزش و راهنمایی بفرمایید ممنون ممنون ممنون میشم.

sir_hedayat
چهارشنبه 29 بهمن 1393, 15:56 عصر
استفاده از نرم افزار Cloudera-quickstart

arashsh79
دوشنبه 31 فروردین 1394, 14:45 عصر
سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با
Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید

مبین رنجبر
دوشنبه 31 فروردین 1394, 18:55 عصر
سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که با
Cloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید


نحوه نصب رو اینجا (http://barnamenevis.org/showthread.php?492543-%D9%86%D8%AD%D9%88%D9%87-%D9%86%D8%B5%D8%A8-%D9%87%D8%AF%D9%88%D9%BE-%D8%A8%D9%87-%D8%B5%D9%88%D8%B1%D8%AA-Single-Node) نوشتم. برای ویندوز 7 هم فرقی ندارد.

arashsh79
دوشنبه 31 فروردین 1394, 21:37 عصر
ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم شرمنده
حالا من این بسته
Cloudera را دانلود کردم بعد توسط vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه
بی نهایت سپاسگزارم

مبین رنجبر
دوشنبه 31 فروردین 1394, 21:46 عصر
ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم شرمنده
حالا من این بسته
Cloudera را دانلود کردم بعد توسط vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه
بی نهایت سپاسگزارم


معروف ترین مثال و در عین حال ساده ترین مثالی که میشه داشت مثال Word Count هست. کد کامل و نحوه اجرا در اینجا به طور کامل توضیح داده شده:

http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

arashsh79
چهارشنبه 02 اردیبهشت 1394, 18:48 عصر
ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم


130553

arashsh79
شنبه 05 اردیبهشت 1394, 00:05 صبح
از مهندسین عزیز خواهشمندم اگه جواب منو میدونن پاسخ بدن ممنون میشم. بی نهایت سپاسگزارم

مبین رنجبر
دوشنبه 07 اردیبهشت 1394, 11:50 صبح
ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم


130553

تنظیمات مربوط به Intel VT-x/AMD-V و Virtualization را در بایوس سیستم فعال کنید.

arashsh79
دوشنبه 07 اردیبهشت 1394, 13:37 عصر
ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های
Word Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟

مبین رنجبر
دوشنبه 07 اردیبهشت 1394, 17:38 عصر
ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد های
Word Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟


خوب پس سیستم عامل شما 32 بیتی هست و نسخه 64 بیتی را دانلود کردید. کد رو که نمیشه در در ترمینال به صورت خام اجرا کرد.می بایست کدهارو تبدیل به پروژه با فایل اجرایی jar کنید و در بخش job ها یک task نوع MapReduce در پنل مدیریتی Hue ایجاد کنید تا اجرا شود.

arashsh79
دوشنبه 07 اردیبهشت 1394, 18:26 عصر
خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟

مبین رنجبر
دوشنبه 07 اردیبهشت 1394, 19:57 عصر
خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟

البته اون آموزشی که من لینکش رو قرار دادم به صورت کامل از طریق ترمینال(با دستوران جاوا و هدوپ) توضیح داده که اجرا کنید که نیازمند نصب بسته عمومی است. ولی چون شما نسخه آماده مجازی سازی شده رو دانلود کردید و استفاده می کنید مراحل زیر را برای اجرای یک عمل Map/Reduce دنبال کنید:

پس از راه اندازی ماشین مجازی cloudera با تصویر زیر مواجه می شوید:

130682

بر روی Hue کلیک کرده تا وارد پنل واسط کاربری Hue شوید(اگر اکانت نساختید می توانید از یوزرنیم cloudera و cloudera استفاده کنید). پس از وارد شدن از نوار ابزار بالا بر روی Job Designer کلیک کنید تا با پنجره زیر روبرو شوید:


130684


در این پنجره بر روی گزینه New Action کلیک کنید و از نوار بازشده ، MapReduce را انتخاب کنید. با اینکار با پنجره زیر روبرو می شوید که به دلیل طولانی بودن تبدیل به دو عکس کردم:


130687
130688

در اینجا یک نام دلخواه برای job ای که میخواهید انجام دهید انتخاب میکنید. در بخش jar path آدرس فایل اجرایی پروژه را بعد از کامپایل می نویسید.(در صورت وجود و نیاز می توانید بخش های Job Properties و Files رو تکمیل نمایید).

پس از آن بر روی دکمه Save کلیک کنید. تا الان Job شما در لیست قرار گرفته است. برای اجرای این Job می بایست نام Job را از لیست انتخاب کنید و بر روی دکمه Submit کلیک کنید تا اجرا شود. روند کار با می توانید از بخش Log View پیگیری کنید.

arashsh79
سه شنبه 08 اردیبهشت 1394, 14:34 عصر
ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم خط به خط ..اینم شانس منه
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم
ممنون میشم توضیح بدید
سپاسگزارم

مبین رنجبر
چهارشنبه 09 اردیبهشت 1394, 08:12 صبح
ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم خط به خط ..اینم شانس منه
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم
ممنون میشم توضیح بدید
سپاسگزارم

در پست های قبل آموزش نصب به صورت عادی رو توضیح دادم. لطفا مطالعه کنید.

arashsh79
چهارشنبه 09 اردیبهشت 1394, 13:22 عصر
داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که (
در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم

مبین رنجبر
پنج شنبه 10 اردیبهشت 1394, 12:48 عصر
داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که (
در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم


شما سورس کد هدوپ رو دانلود کردید که نیاز به کامپایل دارد. فکر میکنم چون کامپایل سورس کد شما رو گیج میکنه بهتر هست که بسته اجرایی اصلی رو از اینجا (http://mirrors.supportex.net/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz) دانلود کنید. فرقی نمیکنه که کجا استخراج میکنید ولی بهتر است که در ریشه درایو در ویندوز و در پوشه home در لینوکس باشد. شما با دستورات خط فرمان آشنا نیستید؟ با دستور cd به پوشه ای که فایل های هدوپ در آن قرار دارد بروید و دستورانی که در آن مثال لینک بالا آمده را خط به خط اجرا کنید.

arashsh79
جمعه 11 اردیبهشت 1394, 12:40 عصر
ممنون از راهنمایی که زحمت میکشید من مجددا به یه مشکل برخورد کردم و چند سوال برام پیش اومد
اول اینکه اینبسته اجرایی که زحمت کشیدید را باید چگونه استفاده کنم
دوم اینکه در چه محیطی میتوانم به سورس کد هاش دسترسی داشته باشم
سوم اینکه چطوری با هادپ ارتباطش را برقرار کنم
من با دستورات خط فرمان داس و ویندوز آشنایی دارم ولی متوجه منظور شما از ورود به فولدر مربوطه با فرمان cd نشدم چون نمیدونم فایلی که اکسترکت کردم رو بعد از ورود به پوشه در محیط شل داس چطوری بهره برداری کنم؟
ممنون از پاسخگویی شما

arashsh79
پنج شنبه 24 اردیبهشت 1394, 10:04 صبح
از مهندسین عزیز کسی نیست جواب منو بده خیلی لنگ شدم !!!!

forogh68
جمعه 06 آذر 1394, 12:40 عصر
سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟

مبین رنجبر
جمعه 06 آذر 1394, 13:44 عصر
سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟

زبان اصلی برنامه نویسی در هدوپ جاوا هست ولی برای زبان های دیگر مثل پایتون و اسکالا و ... هم درایور هایی وجود دارد که می توان در آنها برای هدوپ برنامه نوشت.

joker
جمعه 06 آذر 1394, 13:52 عصر
استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که سرعت دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)

مبین رنجبر
جمعه 06 آذر 1394, 14:41 عصر
استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که سرعت دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)

بله امکانش هست.

suraty
شنبه 24 مهر 1400, 10:05 صبح
سلام،

برای مشاهده آموزش

نصب Hadoop و اجرای روش MapReduce (تک نود Single Node)

روی ubuntu میتوانید به آدرس زیر مراجعه بفرمایید.

http://narmafzaria.blogfa.com/post/10