PDA

View Full Version : نحوه نصب هدوپ به صورت Single Node



مبین رنجبر
دوشنبه 31 فروردین 1394, 18:53 عصر
سیستم عامل: همه سیستم عامل ها


نوع نصب: Single Node Cluster


برای نصب هدوپ راه های گوناگونی وجود دارد. با توجه به سطح آشنایی شما با فریم ورک هدوپ می تواند این فرآیند آسان و یا سخت باشد ولی نگران نباشید ما تمامی مراحل را شرح می دهیم.


بسته عمومی هدوپ یا Hadoop Common


بسته عمومی هدوپ که از سایت رسمی به صورت بسته رسمی هدوپ قابل دریافت است و همینطور در صفحه اصلی این سایت به صورت مستقیم قرار گرفته است شامل پروژه ها و سرویس های HDFS یا سیستم فایل توزیع شده هدوپ،YARN یا زمان بند وظایف و مدیر کلاستر،MapReduce یا سیستم پردازش موازی داده های عظیم و همچنین فایل اجرایی hadoop می باشد که برای پیکربندی کلی هدوپ می باشد. به دلیل اینکه هدوپ به زبان جاوا نوشته شده است نسخه های مختلف برای سیستم عامل های مختلف وجود ندارد و یک بسته می تواند با استفاده از JRE بر روی تمامی سیستم عامل ها اجرا شود.


مراحل نصب عادی بسته عمومی


قبل از هر چیز مطمئن شوید که JRE یا Java Runtime Environment را بر روی سیستم خود نصب کرده اید. می توانید با اجرای دستور java –version در محیط خط فرمان از نصب بودن این برنامه مطمئن شوید.
بسته عمومی هدوپ را از سایت رسمی یا از طریق همین وب سایت دانلود و فایل ها را استخراج نمایید. (توجه: اگر در سیستم عامل لینوکس هستید مطمئن شوید فایل ها را در مکانی استخراج کرده اید که دسترسی مدیر را دارا می باشد و همینطور قابلیت اجرا را به فایل هاعمال کرده اید. به همین جهت پیشنهاد می شود بسته را در پوشه Home خود استخراج کنید.)
پس از استخراج به پوشه موردنظر رفته و وارد پوشه bin شوید. در اینجا فایل ها و پروژه هایی که در بالا توضیح داده شد را مشاهده می کنید.
در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ، می تواند با اجرای هر دستور مثل hadoop ، hadoop fs شروع به کار با هدوپ کنید.


نصب آسان

برای نصب آسان هدوپ نیاز به دانلود بسته عمومی و دارا بودن JRE ندارید ولی پیش نیازهای زیر را می بایست دارا باشید:



حداقل یک گیگابایت حافظه رم (پیشنهاد شده: 2 گیگابایت حافظه رم)
توانایی دانلود بسته های اینترنتی با حجم بالا
آشنایی با نرم افزارهای مجازی سازی نظیر VMware و VirtualBox
اگر سه شرط بالا را دارا می باشید به خواندن ادامه دهید.


بسته های آماده هدوپ را شرکت های مختلفی چه به صورت بسته کامل و چه به صورت گزینشی ارائه می کنند. این شرکت ها عبارتند است از:



IBM
Cloudera
Hortonworks



هر کدام از این شرکت ها بسته های آماده ای را به صورت رایگان فراهم می کنند که هرچند دارای حجم بالایی هستند ولی می توانند توسط نرم افزارهای مجازی سازی به صورت مستقل اجرا شوند و همچنین این بسته ها عموما دارای امکانات بالاتری نسبت به بسته عمومی هدوپ است. این بسته های آماده حتی شامل واسط های مدیریتی گرافیکی است که توانایی کار با هدوپ را آسانتر می کند. نکته دیگر این است که این بسته ها شامل زیرپروژه های بیشتری نسبت به بسته عمومی می باشند.


برای استفاده از این بسته ها کافی است به لینک های زیر مراجعه کنید و بسته مربوط به نرم افزار مجازی سازی خود را بارگیری نمایید و اجرا کنید:




InfoSphere BigInsights Quick Start Edition (به دلیل تحریم بودن سایت IBM برای کاربران ایرانی بارگیری این بسته به سختی ممکن است) (http://www-01.ibm.com/software/data/infosphere/biginsights/quick-start/downloads.html)
Cloudera QuickStart VMs (http://www.cloudera.com/content/cloudera/en/downloads/quickstart_vms.html)
Hortonworks Data Platform (http://hortonworks.com/hdp/downloads/)


نویسنده: مبین رنجبر
منتشر شده در مرجع هدوپ ایران (http://hadoop.ir/howtoinstall/)

forogh68
یک شنبه 22 آذر 1394, 14:39 عصر
سلام. وقت بخیر.
عذر می خوام چه فرقی بین سینگل نود و مالتی نود وجود دارد؟

همچنین امکان داره لینک دقیق بسته عمومی هدوپ یا Hadoop Common رو قرار بدید؟ من الان روی لینوکس هستم و می خوام این رو اجرا کنم!

مبین رنجبر
یک شنبه 22 آذر 1394, 17:52 عصر
سلام. وقت بخیر.
عذر می خوام چه فرقی بین سینگل نود و مالتی نود وجود دارد؟

همچنین امکان داره لینک دقیق بسته عمومی هدوپ یا Hadoop Common رو قرار بدید؟ من الان روی لینوکس هستم و می خوام این رو اجرا کنم!

فرق آن در یک کلمه خلاصه می شود: رسیدن به قدرت و سرعت پردازشی بالاتر.

لینک دانلود:
http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

forogh68
سه شنبه 24 آذر 1394, 15:49 عصر
سلام. وقت بخیر.
عذر می خوام ما اگر بیاییم روی یک نرمافزار مجازی ساز لینوکس نصب کنیم و بعدش هدوپ رو اونجا اضاف کنیم امکانش هست؟
یعنی امکان همچین کاری وجود داره؟

مبین رنجبر
چهارشنبه 25 آذر 1394, 12:46 عصر
سلام. وقت بخیر.
عذر می خوام ما اگر بیاییم روی یک نرمافزار مجازی ساز لینوکس نصب کنیم و بعدش هدوپ رو اونجا اضاف کنیم امکانش هست؟
یعنی امکان همچین کاری وجود داره؟

بله امکانش هست.

shahram hosseini
سه شنبه 23 شهریور 1395, 07:45 صبح
سلام من VirtualBox ورژن 4.3.22r98236 را روی ویندوز 7 نصب کردم و از طریق سایت hortonworks.com فایل hortonworks sandbox with HDP 2.4 را دانلود کردم و توسط VirtualBox گزینه Import Appliance را رفتم و برنامه را با موفقیت بارگذاری کردم.
حالا هنگام اجرا تحت VirtualBox با خطای طبق عکس پیوست مواجه می شوم؟. در ضمن از طریق لینک Hortonworks Data Platform
نمی توانم دانلود کنم.و سئوال دیگر اینکه فرق Hortonwordks Data Platform با Hortonworks sandbox with HDP 2.4 در چیست ؟.142530

mani2000
جمعه 27 اسفند 1395, 10:15 صبح
سلام
ببخشید نمیدونستم کجا باید بپرسم
من میخوام هدوپ رو روی ویندوز7 نصب کنم اما
هر کاری میکنم بمیشه
کسی هدوپ رو روی ویندوز نصب کرده راهنماییم کنهخواهش میکنم
حیاتیه
ممنون

suraty
شنبه 24 مهر 1400, 10:04 صبح
سلام،

برای مشاهده آموزش

نصب Hadoop و اجرای روش MapReduce (تک نود Single Node)

روی ubuntu میتوانید به آدرس زیر مراجعه بفرمایید.

http://narmafzaria.blogfa.com/post/10