سوال: کار کردن روی دیتاهای سنگین و پردازش کوئری ها با رکوردهای بسیار بالا و حجیم [بایگانی]

m.esmaeilzadeh

سه شنبه 12 خرداد 1394, 13:43 عصر

خیلی وقت بود درباره تکنیک های جدید و نسخه های جدید php و امکانات ویژه فریم ورک ها و ابزارهای ساختاری تحقیق و مطالعه نکرده بودم !!!
تو یک جلسه ای که داشتم بنده خدایی گفت میشه با یک کدنویسی بسیار بسیار کوچیک یک خطی سمت دیتابیس حتی میلیون ها رکورد رو پردازش و سریع جواب رو دریافت و بدون مشکلی پردازش کرد !!!
میخواستم بدونم کسی در این باره اطلاعاتی داره که این تکنیک چی هستش ؟!
چون وقت نشد از همون طرف بپرسم و اطلاعات بیشتر بگیرم ...
ظاهرا فریم ورک های مدرن امروزی مثل Symfony , Yii یا ... از این قابلیت ها دارن
ممنون

arta.nasiri

سه شنبه 12 خرداد 1394, 16:01 عصر

بستگی داره منظورتون از پردازش چی باشه! اینکه مثلا محاسبات سنگین ریاضی رو رکوردها انجام بده بعدش خروجی رو فقط تو یک رکورد برگردونه یا نه فقط چند میلیون رکورد رو select کنه و برگردونه! یا اینکه الگوریتم های داده کاوی روی داده ها اجرا کنید.

تو اینجور مواقع اصلا بحث سر یک یا دو خط کد اضافی نیست بلکه اینجا الگوریتم شما باید بهینگی لازم رو داشته باشه. بعدشم شما سبک سنگین بکنید ببینید اصلا منطقی هست یک میلیون رکورد یکجا فچ بشه؟ شاید تو مواقعی لازم باشه ولی باز روشهایی هست که بشه این مقدار رو به حداقل رسوند.

m.esmaeilzadeh

چهارشنبه 13 خرداد 1394, 13:28 عصر

بستگی داره منظورتون از پردازش چی باشه! اینکه مثلا محاسبات سنگین ریاضی رو رکوردها انجام بده بعدش خروجی رو فقط تو یک رکورد برگردونه یا نه فقط چند میلیون رکورد رو select کنه و برگردونه! یا اینکه الگوریتم های داده کاوی روی داده ها اجرا کنید.

تو اینجور مواقع اصلا بحث سر یک یا دو خط کد اضافی نیست بلکه اینجا الگوریتم شما باید بهینگی لازم رو داشته باشه. بعدشم شما سبک سنگین بکنید ببینید اصلا منطقی هست یک میلیون رکورد یکجا فچ بشه؟ شاید تو مواقعی لازم باشه ولی باز روشهایی هست که بشه این مقدار رو به حداقل رسوند.
ببینید یک اصطلاح به کار برد که تکنیک روز دنیا برای بهینه سازی ارتباط با دیتابیس بود , از سمت لایه دیتابیس فریم ورک های مدرن روز !!!
متاسفانه یادداشت نکردم , مثلا چطور Active record داریم , این هم چیزی شبیه به این بود , متاسفانه سریع یادم رفته ...

under22

چهارشنبه 13 خرداد 1394, 13:35 عصر

ببینید یک اصطلاح به کار برد که تکنیک روز دنیا برای بهینه سازی ارتباط با دیتابیس بود , از سمت لایه دیتابیس فریم ورک های مدرن روز !!!
متاسفانه یادداشت نکردم , مثلا چطور Active record داریم , این هم چیزی شبیه به این بود , متاسفانه سریع یادم رفته ...
شاید منظورش stored procedure بوده
نمیدونم کار کردید یا خیر ولی مثل این می مونه که یه تابع سمت sql نوشته میشه ممکنه خیلی کارها انجام بده بعد از سمت php صدا زده میشه و اگه ورودی داره ارسال میشه اینطوری هم خیلی سریعتر هست هم خود mysql کش میکنه دفعه دوم 40 درصد سریعتر پاسخ رو میده