عملکرد leveldb با value های بزرگ [بایگانی]

FastCode

پنج شنبه 24 مرداد 1392, 21:33 عصر

سلام.
چند روزی میشه که leveldb چشمم رو گفته.
حتی wrapperش رو هم fork کرم که پشتیبانی Unicode بهش اضافه کنم(و کردم)
مشکل و سوالی که دارم اینه که آیا این دیتابیس میتونه ساعتی ۵۰۰ تا pair ه ۵۰۰ بایت تا ۱ مگی رو تحمل کنه یا نه؟سرعتش به مرور زمان با زیاد شدن level ها به شکل محسوس تغییر میکنه یا نه؟اصلا برای value های بزرگتر از ۱۰ مگ جواب میده؟
کسی تا حالا باهاش کار کرده؟

هدفی که دارم اینه که دیتابیس توزیع شده ای که نوشتم ۱۰ هزار تا فایل توی هارد کاربر ول نکنه و اطلاعات یک جا جمع باشه.و چون دو نوع snapshot هم پشتیبانی میکنه سر جمع ۴ نوع snapshot توی دیتابیسم خواهم داشت.

مبین رنجبر

جمعه 25 مرداد 1392, 12:37 عصر

سلام.
چند روزی میشه که leveldb چشمم رو گفته.
حتی wrapperش رو هم fork کرم که پشتیبانی Unicode بهش اضافه کنم(و کردم)
مشکل و سوالی که دارم اینه که آیا این دیتابیس میتونه ساعتی ۵۰۰ تا pair ه ۵۰۰ بایت تا ۱ مگی رو تحمل کنه یا نه؟سرعتش به مرور زمان با زیاد شدن level ها به شکل محسوس تغییر میکنه یا نه؟اصلا برای value های بزرگتر از ۱۰ مگ جواب میده؟
کسی تا حالا باهاش کار کرده؟

هدفی که دارم اینه که دیتابیس توزیع شده ای که نوشتم ۱۰ هزار تا فایل توی هارد کاربر ول نکنه و اطلاعات یک جا جمع باشه.و چون دو نوع snapshot هم پشتیبانی میکنه سر جمع ۴ نوع snapshot توی دیتابیسم خواهم داشت.

شرکت گوگل بنچمارکی رو با سناریو های مختلف از LevelDB در اختیار گذاشته که بر طبق اون در مواجهه با مقادیر بزرگ ، LevelDB حتی ضعیف تر و کند تر از SQLite عمل می کند.

FastCode

جمعه 25 مرداد 1392, 14:38 عصر

http://leveldb.googlecode.com/svn/trunk/doc/benchmark.html
رو دیدم.
سوالم اینه که بعد از اینکه این مقدار write رو انجام دادیم.سرعت خوندن چقدر تغییر میکنه؟
آیا وجود SST ها و ثابت بودنشون واقعا زمان query ها رو ثابت نگه میداره؟با بعد از زیاد شدن تعداد میشه همون آش و همون کاسه؟

مبین رنجبر

جمعه 25 مرداد 1392, 16:05 عصر

http://leveldb.googlecode.com/svn/trunk/doc/benchmark.html
رو دیدم.
سوالم اینه که بعد از اینکه این مقدار write رو انجام دادیم.سرعت خوندن چقدر تغییر میکنه؟
آیا وجود SST ها و ثابت بودنشون واقعا زمان query ها رو ثابت نگه میداره؟با بعد از زیاد شدن تعداد میشه همون آش و همون کاسه؟

اطلاعات موردنظر در لینک بنچمارک اومده ولی با توجه به شرایط اولیه که در قسمت Baseline مشخص شده میتونید متوجه بشید که سرعت خوندن با توجه به وجود داده هایی با آن شرایط چطور عمل میکنند.که در بار هایی که وجود داره برای خواندن ترتیبی و تصادفی اطلاعات کامل در اختیار گذاشته.

واقعی بودنش رو باید در سناریو خودتون به چالش بکشید.و اینکه شاید نتیجتا مجبور باشید از یکی دیگر از اعضای خانواده NoSQL استفاده کنید.