ardvisoor
سه شنبه 11 بهمن 1384, 14:09 عصر
مقاله زیر را من از اینترنت گرفتم، متاسفانه منبع دقیق آن را یادم نیست. در هر صورت امیدوارم مفید باشد.
داده کاوی
داده کاوی فرایندی تحلیلی است که برای کاوش داده ها ( معمولا حجم عظیمی از داده ها - در زمینه های کسب وکار و بازار) صورت می‌گیرد و یافته‌ها‌با‌به‌کارگیری الگوهایی،احراز اعتبار می‌شوند . هدف اصلی داده کاوی پیش بینی است. فرایند داده کاوی شامل سه مرحله می باشد : 1. کاوش اولیه 2. ساخت مدل یا شناسایی الگو با کمک احراز اعتبار/ تایید و 3. بهره برداری.
مرحله 1 : کاوش. معمولا‌این‌مرحله با آماده سازی داده ها صورت می گیرد که ممکن است شامل پاک سازی داده ها ،تبدیل داده ها‌و‌انتخاب زیرمجموعه‌هایی از رکوردها‌با‌حجم‌عظیمی‌از‌متغ یرها( فیلدها ) باشد . سپس با توجه‌به‌ماهیت‌مساله تحلیلی، این‌مرحله‌به‌مدل‌های پیش بینی ساده یا مدل‌های‌آماری‌و‌گرافیکی برای شناسایی متغیرهای مورد نظر و تعیین پیچیدگی مدل‌ها برای استفاده در مرحله بعدی نیاز دارد .
مرحله 2:ساخت و احراز اعتبار مدل. این‌مرحله‌به بررسی‌مدل‌های مختلف و گزینش بهترین مدل با توجه به کارآیی پیش‌بینی آن می پردازد. شاید این مرحله ساده به نظر برسد، اما اینطورنیست. تکنیک‌های‌متعددی‌برای‌رسیدن به‌این‌هدف توسعه یافتند.و " ارزیابی رقابتی مدل ها"نام گرفتند. بدین منظور مدل‌های مختلف برای مجموعه داده‌های یکسان‌‌به‌کار‌می‌روند‌تا‌کار یی‌شان‌با‌هم مقایسه‌شود ،سپس مدلی که‌بهترین کارآیی راداشته باشد، انتخاب می‌شود.این‌تکنیک‌ها عبارتند از : Bagging,Boosting ,Stacking و Meta-learning.
مرحله 3 : بهره برداری. آخرین‌مرحله‌مدلی‌راکه‌درمرح له قبل‌انتخاب‌شده است، در داده‌های‌جدیدبه کار‌می‌گیردتا پیش‌بینی‌های‌خروجی‌های مورد انتظاررا تولید نماید.داده کاوی‌به‌عنوان‌ابزار‌مدیریت طلاعات‌برای‌تصمیم گیری،عمومیت‌یافته‌است. اخیرا،توسعه تکنیک های تحلیلی جدید در این زمینه مورد توجه قرار گرفته است (مثلا Classification Trees)،اما هنوز داده کاوی مبتنی بر اصول آماری نظیر(Exploratory Data Analysis (EDA)می باشد.
بااین وجود تفاوت عمده ای بین داده کاوی و EDA وجود‌دارد.داده‌کاوی‌بیشتر‌ب ه‌برنامه‌های‌کاربردی گرایش دارد تا ماهیت اصلی پدیده .به عبارتی‌داده کاوی کمتر با شناسایی روابط بین متغیرها سروکار دارد .
مفاهیم اساسی در داده کاوی
Bagging: این مفهوم برای ترکیب رده بندی های پیش بینی شده از چند مدل به کار می رود.فرض کنیدکه قصدداریدمدلی برای رده بندی پیش بینی بسازیدو مجموعه داده های مورد نظرتان کوچک است.شمامی توانید نمونه هایی( با جایگزینی) را از مجموعه داده ها انتخاب و برای نمونه های حاصل ازدرخت رده بندی (مثلا C&RT وCHAID )استفاده نمایید.به طورکلی برای نمونه های مختلف به درخت های متفاوتی خواهید رسید.سپس برای پیش بینی با کمک درخت های متفاوت به دست آمده از نمونه ها ،یک رای گیری ساده انجام دهید.رده بندی نهایی ، رده بندی ای‌خواهد بود که درخت های مختلف آنرا پیش بینی کرده اند .
Boosting: این مفهوم برای تولید مدل‌های چندگانه (برای پیش بینی یا رده بندی)به کار می‌رود. Boosting نیزاز روش C&RT یا CHAID استفاده وترتیبی از classifier ها را تولید خواهد کرد .
Meta-Learning : این مفهوم برای ترکیب پیش بینی‌های حاصل از چند مدل به کار می‌رود.و هنگامی که انواع مدل‌های موجود در پروژه خیلی متفاوت هستند، کاربرد دارد. فرض کنید که پروژه داده کاوی شما شامل Tree classifierها نظیر C&RTو CHAID، تحلیل خطی و شبکه های عصبی است.هر یک از کامپیوترها،رده بندی هایی رابرای نمونه ها‌پیش بینی کرده اند.تجربه نشان می‌دهدکه ترکیب پیش بینی های چند روش دقیق تراز پیش بینی های هریک از روشهاست.پیش بینی های حاصل از چند classifier را می توان به عنوان ورودی meta-linear مورد استفاده قرار داد. meta-linear پیش بینی هارا ترکیب می کند تا بهترین رده بندی پیش بینی شده حاصل شود.
داده کاوی
داده کاوی فرایندی تحلیلی است که برای کاوش داده ها ( معمولا حجم عظیمی از داده ها - در زمینه های کسب وکار و بازار) صورت می‌گیرد و یافته‌ها‌با‌به‌کارگیری الگوهایی،احراز اعتبار می‌شوند . هدف اصلی داده کاوی پیش بینی است. فرایند داده کاوی شامل سه مرحله می باشد : 1. کاوش اولیه 2. ساخت مدل یا شناسایی الگو با کمک احراز اعتبار/ تایید و 3. بهره برداری.
مرحله 1 : کاوش. معمولا‌این‌مرحله با آماده سازی داده ها صورت می گیرد که ممکن است شامل پاک سازی داده ها ،تبدیل داده ها‌و‌انتخاب زیرمجموعه‌هایی از رکوردها‌با‌حجم‌عظیمی‌از‌متغ یرها( فیلدها ) باشد . سپس با توجه‌به‌ماهیت‌مساله تحلیلی، این‌مرحله‌به‌مدل‌های پیش بینی ساده یا مدل‌های‌آماری‌و‌گرافیکی برای شناسایی متغیرهای مورد نظر و تعیین پیچیدگی مدل‌ها برای استفاده در مرحله بعدی نیاز دارد .
مرحله 2:ساخت و احراز اعتبار مدل. این‌مرحله‌به بررسی‌مدل‌های مختلف و گزینش بهترین مدل با توجه به کارآیی پیش‌بینی آن می پردازد. شاید این مرحله ساده به نظر برسد، اما اینطورنیست. تکنیک‌های‌متعددی‌برای‌رسیدن به‌این‌هدف توسعه یافتند.و " ارزیابی رقابتی مدل ها"نام گرفتند. بدین منظور مدل‌های مختلف برای مجموعه داده‌های یکسان‌‌به‌کار‌می‌روند‌تا‌کار یی‌شان‌با‌هم مقایسه‌شود ،سپس مدلی که‌بهترین کارآیی راداشته باشد، انتخاب می‌شود.این‌تکنیک‌ها عبارتند از : Bagging,Boosting ,Stacking و Meta-learning.
مرحله 3 : بهره برداری. آخرین‌مرحله‌مدلی‌راکه‌درمرح له قبل‌انتخاب‌شده است، در داده‌های‌جدیدبه کار‌می‌گیردتا پیش‌بینی‌های‌خروجی‌های مورد انتظاررا تولید نماید.داده کاوی‌به‌عنوان‌ابزار‌مدیریت طلاعات‌برای‌تصمیم گیری،عمومیت‌یافته‌است. اخیرا،توسعه تکنیک های تحلیلی جدید در این زمینه مورد توجه قرار گرفته است (مثلا Classification Trees)،اما هنوز داده کاوی مبتنی بر اصول آماری نظیر(Exploratory Data Analysis (EDA)می باشد.
بااین وجود تفاوت عمده ای بین داده کاوی و EDA وجود‌دارد.داده‌کاوی‌بیشتر‌ب ه‌برنامه‌های‌کاربردی گرایش دارد تا ماهیت اصلی پدیده .به عبارتی‌داده کاوی کمتر با شناسایی روابط بین متغیرها سروکار دارد .
مفاهیم اساسی در داده کاوی
Bagging: این مفهوم برای ترکیب رده بندی های پیش بینی شده از چند مدل به کار می رود.فرض کنیدکه قصدداریدمدلی برای رده بندی پیش بینی بسازیدو مجموعه داده های مورد نظرتان کوچک است.شمامی توانید نمونه هایی( با جایگزینی) را از مجموعه داده ها انتخاب و برای نمونه های حاصل ازدرخت رده بندی (مثلا C&RT وCHAID )استفاده نمایید.به طورکلی برای نمونه های مختلف به درخت های متفاوتی خواهید رسید.سپس برای پیش بینی با کمک درخت های متفاوت به دست آمده از نمونه ها ،یک رای گیری ساده انجام دهید.رده بندی نهایی ، رده بندی ای‌خواهد بود که درخت های مختلف آنرا پیش بینی کرده اند .
Boosting: این مفهوم برای تولید مدل‌های چندگانه (برای پیش بینی یا رده بندی)به کار می‌رود. Boosting نیزاز روش C&RT یا CHAID استفاده وترتیبی از classifier ها را تولید خواهد کرد .
Meta-Learning : این مفهوم برای ترکیب پیش بینی‌های حاصل از چند مدل به کار می‌رود.و هنگامی که انواع مدل‌های موجود در پروژه خیلی متفاوت هستند، کاربرد دارد. فرض کنید که پروژه داده کاوی شما شامل Tree classifierها نظیر C&RTو CHAID، تحلیل خطی و شبکه های عصبی است.هر یک از کامپیوترها،رده بندی هایی رابرای نمونه ها‌پیش بینی کرده اند.تجربه نشان می‌دهدکه ترکیب پیش بینی های چند روش دقیق تراز پیش بینی های هریک از روشهاست.پیش بینی های حاصل از چند classifier را می توان به عنوان ورودی meta-linear مورد استفاده قرار داد. meta-linear پیش بینی هارا ترکیب می کند تا بهترین رده بندی پیش بینی شده حاصل شود.