# پایگاه‌های داده > NoSQL >  استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

## ahmad19

سلام
من حدود 300 میلیون رکورد اطلاعات دارم ک خیلی هاش تکراریه 
و با فرمت های مختلفی هست 
یه سری هاش فایل sql هست 
یه سری اکسس 
یه سری هم تو فایل تکست هست ک با , یا : از هم جدا شدند
خالا می خوام همه اینا رو بکنم یه دیتابیس ک بتونم تو برنامه ازشون استفاده کنم 
بهم پیشنهاد دادن از nosql استفاده کنم 
حالا کدوم بهتره و ایا می شه همه این فایل ها رو باهم تو دیتابیسی جمع آوری کرد یا تکراری هاش رو حذف کرد 
ممنون می شم کسایی ک بلدن راهنمایی کنن

----------


## ahmad19

اساتید گرامی امیدی داشته باشم به راهنمایی ؟

----------


## phoenix87

هر دیتابیسی از فرمت خاصی استفاده می کنه و هر فرمتی هم زبان query خودش رو داره.پس شما هم باید تمام داده ها را به یک فرمت تبدیل کنید تا در دیتابیس ذخیره کنید.برای تبدیل کردن فرمت ها ابزارهای زیادی هست.مثلا بعضی دیتابیس ها خودشون ابزار import دارند.اما این روش غلطی هست که صرفا برای فرمت خاصی یک دیتابیس جدید یاد بگیری.پس بهترین روش تبدیل فرمت داده ها به دیتابیسی هست که فکر می کنی برای سیستم شما مناسب.
بهترین راه استفاده از ETL هست.یعنی بعد از استخراج داده  Exract اونها رو Transformation یا تغییر فرمت می دی و بعد در دیتابیس نهایی Load  می کنی. من خودم از apache NiFi استفاده می کنم.کاملا ساده و پرقدرت هست.
اما با توجه به فرمت داده هایی که شما دارین با mysql هم راحت کارت راه می افته.اون رکوردهایی که به قول شما , دارند بهش می گن cvs که راحت می شه به فرمت sql تبدیل کرد و  ذخیره کرد.

----------

