مقایسه بین موتورهای پردازش هدوپ - spark- storm- flink [بایگانی]

arshad89

چهارشنبه 23 دی 1394, 12:48 عصر

سلام
یه بررسی بین این سه تا موتور میخوام . اگه کسی با این موتورهای پردازش کار کرده لطفا تجربیات خودتون رو بفرمایید.
سرچ زدم. یه سری اطلاعات پیدا کردم تو سایت های مختلف. ولی در عمل میخوام کاراییشون رو بدونم. کدام در عمل کارایی بهتری داره. سرعت بالاتری داره و شرایط اجرای خاصی داره که محدودش کنه؟؟
در سایت های مختلف تقریبا همه عنوان کرده بودند که storm , flink سرعت بالاتری نسبت به spark داره. یه جورایی storm موتور spark را پوشش میده. آیا این برداشت درست هست؟؟؟

arshad89

جمعه 25 دی 1394, 12:34 عصر

یه نفر لطفا راهنمایی کنه

forogh68

جمعه 25 دی 1394, 13:15 عصر

تا جایی که من می دونم هدوپ و اسپارک رو باید با هم مقایسه کرد.
استورم برای کار با داده های streamهست که باید استورم رو روی هدوپ نصب کرد به هدوپ چسباند که بتونه کار کنه.

ولی در اسپارک طبق معماری ای که داشت و من دیدم برای این کار آماده داره و دیگه نیاز نیست از جایی آورد.
اسپارک ادعا داره چون با مموری کار می کنه سرعتش بالاتره ولی خود اسپارک ادعای این رو داشته است.

forogh68

جمعه 25 دی 1394, 13:24 عصر

درباره flink اینجا رو مشاهده کنید

https://flink.apache.org/faq.html

arshad89

جمعه 25 دی 1394, 13:35 عصر

تا جایی که من می دونم هدوپ و اسپارک رو باید با هم مقایسه کرد.
استورم برای کار با داده های streamهست که باید استورم رو روی هدوپ نصب کرد به هدوپ چسباند که بتونه کار کنه.

ولی در اسپارک طبق معماری ای که داشت و من دیدم برای این کار آماده داره و دیگه نیاز نیست از جایی آورد.
اسپارک ادعا داره چون با مموری کار می کنه سرعتش بالاتره ولی خود اسپارک ادعای این رو داشته است.

. تا این حد اطلاعات دارم یه کم اطلاعات بیشتر و تخصصی تر. لطفا اساتید راهنمایی بفرمایید.
ممنون

مبین رنجبر

شنبه 26 دی 1394, 07:24 صبح

فکر میکنم در تاپیک ماهوت و اسپارک (http://barnamenevis.org/showthread.php?513289-%D9%85%D8%A7%D9%87%D9%88%D8%AA-%D9%88-%D8%A7%D8%B3%D9%BE%D8%A7%D8%B1%DA%A9) در مورد این موضوع بحث کردیم و بنده تصویری هم از مقایسه موتورهای پردازشی هم در آن تاپیک قرار دادم.
همیشه برتری با معیاری سر و کار داره که آن برتری رو به اثبات برسونه. باید دید برتری از چه دیدگاهی برای ما مهم است و کاملا بستگی به مسائلی داره که در حال حل آن هستید. Storm تنها بخشی از موتور پردازشی Spark را پوشش می دهد به این صورت که شما در اسپارک با ۴ ابزار مختلف روبرو هستید: اسپارک داده جریانی یا Streaming ، ابزار یادگیری ماشین MLlib ، ابزار کار با داده های رابطه ای Spark SQL و GraphX . در واقع Storm فقط بخش Streaming را پوشش می دهد.

اگر در مسئله ای شما فقط با داده های جریانی کار میکنید شاید Storm بهتر از Spark عمل کند. در مسائلی که نیازمند استفاده از هدوپ و Storm هستید به دلیل اینکه Storm از ZooKeeper برای ایجاد بستر استراتژی توزیع شده استفاده میکنه شما در کلاستر خودتان باید چند گره را به ZooKeeper اختصاص دهید که Storm با آن کار کند ولی اگر از اسپارک استفاده کنید نیازی به ZooKeeper دیگر ندارید(اگرچه وجود آن می تواند مزایایی برای کلاستر ما داشته باشد.)

arshad89

شنبه 26 دی 1394, 13:42 عصر

فکر میکنم در تاپیک ماهوت و اسپارک (http://barnamenevis.org/showthread.php?513289-%D9%85%D8%A7%D9%87%D9%88%D8%AA-%D9%88-%D8%A7%D8%B3%D9%BE%D8%A7%D8%B1%DA%A9) در مورد این موضوع بحث کردیم و بنده تصویری هم از مقایسه موتورهای پردازشی هم در آن تاپیک قرار دادم.
همیشه برتری با معیاری سر و کار داره که آن برتری رو به اثبات برسونه. باید دید برتری از چه دیدگاهی برای ما مهم است و کاملا بستگی به مسائلی داره که در حال حل آن هستید. Storm تنها بخشی از موتور پردازشی Spark را پوشش می دهد به این صورت که شما در اسپارک با ۴ ابزار مختلف روبرو هستید: اسپارک داده جریانی یا Streaming ، ابزار یادگیری ماشین MLlib ، ابزار کار با داده های رابطه ای Spark SQL و GraphX . در واقع Storm فقط بخش Streaming را پوشش می دهد.

اگر در مسئله ای شما فقط با داده های جریانی کار میکنید شاید Storm بهتر از Spark عمل کند. در مسائلی که نیازمند استفاده از هدوپ و Storm هستید به دلیل اینکه Storm از ZooKeeper برای ایجاد بستر استراتژی توزیع شده استفاده میکنه شما در کلاستر خودتان باید چند گره را به ZooKeeper اختصاص دهید که Storm با آن کار کند ولی اگر از اسپارک استفاده کنید نیازی به ZooKeeper دیگر ندارید(اگرچه وجود آن می تواند مزایایی برای کلاستر ما داشته باشد.)

مجددا ممنون بابت راهنماییتون. مطلبی در یه سایت خوندم که کمی باعث سردرگمی من شده بود. در واقع میخواستم مطمئن بشم. :تشویق: