PDA

View Full Version : استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات



ahmad19
پنج شنبه 03 فروردین 1396, 06:56 صبح
سلام
من حدود 300 میلیون رکورد اطلاعات دارم ک خیلی هاش تکراریه
و با فرمت های مختلفی هست
یه سری هاش فایل sql هست
یه سری اکسس
یه سری هم تو فایل تکست هست ک با , یا : از هم جدا شدند
خالا می خوام همه اینا رو بکنم یه دیتابیس ک بتونم تو برنامه ازشون استفاده کنم
بهم پیشنهاد دادن از nosql استفاده کنم
حالا کدوم بهتره و ایا می شه همه این فایل ها رو باهم تو دیتابیسی جمع آوری کرد یا تکراری هاش رو حذف کرد
ممنون می شم کسایی ک بلدن راهنمایی کنن

ahmad19
پنج شنبه 03 فروردین 1396, 22:45 عصر
اساتید گرامی امیدی داشته باشم به راهنمایی ؟

phoenix87
دوشنبه 21 فروردین 1396, 01:56 صبح
هر دیتابیسی از فرمت خاصی استفاده می کنه و هر فرمتی هم زبان query خودش رو داره.پس شما هم باید تمام داده ها را به یک فرمت تبدیل کنید تا در دیتابیس ذخیره کنید.برای تبدیل کردن فرمت ها ابزارهای زیادی هست.مثلا بعضی دیتابیس ها خودشون ابزار import دارند.اما این روش غلطی هست که صرفا برای فرمت خاصی یک دیتابیس جدید یاد بگیری.پس بهترین روش تبدیل فرمت داده ها به دیتابیسی هست که فکر می کنی برای سیستم شما مناسب.
بهترین راه استفاده از ETL هست.یعنی بعد از استخراج داده Exract اونها رو Transformation یا تغییر فرمت می دی و بعد در دیتابیس نهایی Load می کنی. من خودم از apache NiFi استفاده می کنم.کاملا ساده و پرقدرت هست.
اما با توجه به فرمت داده هایی که شما دارین با mysql هم راحت کارت راه می افته.اون رکوردهایی که به قول شما , دارند بهش می گن cvs که راحت می شه به فرمت sql تبدیل کرد و ذخیره کرد.