نمایش نتایج 1 تا 3 از 3

نام تاپیک: استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

  1. #1

    استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

    سلام
    من حدود 300 میلیون رکورد اطلاعات دارم ک خیلی هاش تکراریه
    و با فرمت های مختلفی هست
    یه سری هاش فایل sql هست
    یه سری اکسس
    یه سری هم تو فایل تکست هست ک با , یا : از هم جدا شدند
    خالا می خوام همه اینا رو بکنم یه دیتابیس ک بتونم تو برنامه ازشون استفاده کنم
    بهم پیشنهاد دادن از nosql استفاده کنم
    حالا کدوم بهتره و ایا می شه همه این فایل ها رو باهم تو دیتابیسی جمع آوری کرد یا تکراری هاش رو حذف کرد
    ممنون می شم کسایی ک بلدن راهنمایی کنن

  2. #2

    نقل قول: استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

    اساتید گرامی امیدی داشته باشم به راهنمایی ؟

  3. #3

    نقل قول: استفاده از پایگاه nosql برای ذخیره سازی 300 میلیون رکورد اطلاعات

    هر دیتابیسی از فرمت خاصی استفاده می کنه و هر فرمتی هم زبان query خودش رو داره.پس شما هم باید تمام داده ها را به یک فرمت تبدیل کنید تا در دیتابیس ذخیره کنید.برای تبدیل کردن فرمت ها ابزارهای زیادی هست.مثلا بعضی دیتابیس ها خودشون ابزار import دارند.اما این روش غلطی هست که صرفا برای فرمت خاصی یک دیتابیس جدید یاد بگیری.پس بهترین روش تبدیل فرمت داده ها به دیتابیسی هست که فکر می کنی برای سیستم شما مناسب.
    بهترین راه استفاده از ETL هست.یعنی بعد از استخراج داده Exract اونها رو Transformation یا تغییر فرمت می دی و بعد در دیتابیس نهایی Load می کنی. من خودم از apache NiFi استفاده می کنم.کاملا ساده و پرقدرت هست.
    اما با توجه به فرمت داده هایی که شما دارین با mysql هم راحت کارت راه می افته.اون رکوردهایی که به قول شما , دارند بهش می گن cvs که راحت می شه به فرمت sql تبدیل کرد و ذخیره کرد.

تاپیک های مشابه

  1. سوال: استفاده از بهترين روش براي ذخيره فيلم
    نوشته شده توسط SUNMOON در بخش برنامه نویسی در Delphi
    پاسخ: 5
    آخرین پست: پنج شنبه 30 اردیبهشت 1389, 16:42 عصر
  2. سوال: استفاده از Stream Writer برای ذخیره محتویات RichTextBox
    نوشته شده توسط Ehsan Programmer در بخش C#‎‎
    پاسخ: 4
    آخرین پست: پنج شنبه 19 فروردین 1389, 16:29 عصر
  3. سوال: راهنمایی درباره چگونگی استفاده از OR Mapping برای ذخیره اصلاعات؟
    نوشته شده توسط sayyadhunter1366 در بخش VB.NET
    پاسخ: 2
    آخرین پست: سه شنبه 10 شهریور 1388, 20:39 عصر
  4. سوال: نحوه استفاده از save all برای ذخیره یک سری از تصاویر؟
    نوشته شده توسط sayyadhunter1366 در بخش VB.NET
    پاسخ: 0
    آخرین پست: یک شنبه 08 شهریور 1388, 13:37 عصر

قوانین ایجاد تاپیک در تالار

  • شما نمی توانید تاپیک جدید ایجاد کنید
  • شما نمی توانید به تاپیک ها پاسخ دهید
  • شما نمی توانید ضمیمه ارسال کنید
  • شما نمی توانید پاسخ هایتان را ویرایش کنید
  •