ضمن تایید این حرف ولی اگر دوست داشتید از map-reduce استفاده کنید، apache spark نسخه بهبود یافته و جدیدتری هست که باز از Apache هست.پس پیادهسازی دوم ازش که معروفترینش توی دنیای متنباز هست و در اختیار همه هست، پیادهسازی apache هست که تو دل hadoop هست.
زبان های Scala, java,python و R پشتیبانی میکنه که Scala و Java کاملتر هستند. به نظرم Scala بهتره (Scala زبونی که باز از ماشین جاوا استفاده میکنه، در اصل کدهاش به java تبدیل و کامپایل میشه)