امار پایه و مفاهیم کاربردی در علم داده

پیش از ظهور علم داده، روش‌ها و استنتاج‌های آماری جهت تحلیل داده‌ها مورد استفاده قرار می‌گرفت، از این رو علم آمار قدمت بیشتری نسبت به علم داده داشته و آن را می‌توان سنگ بنای علم داده نامید؛ چرا که بسیاری از روش‌های داده‌کاوی از جمله مباحث مربوط به تخمین، پیش‌بینی و ارزیابی مبتنی بر روش‌های آماری می‌باشند. با توجه به پیوند ناگسستنی میان علم داده و علم آمار، درک صحیح روش‌های آماری به همراه کاربرد استفاده از این روش‌ها در علم داده می‌تواند به درک روش‌های داده‌کاوی و استفاده از این روش‌ها در تحلیل داده‌های کلان کمک شایانی نماید. هدف از تالیف این کتاب، ارائه منبعی است که مفاهیم پرکاربرد آماری در علم داده را بخوبی بیان نموده و به شیوه‌ای کاملاً کاربردی مفاهیم آماری و نحوه استفاده از آنها در علم داده را تشریح کند. بیشتر منابع موجود در حوزه علم داده به تشریح الگوریتم‌های یادگیری ماشین و مباحث هوش مصنوعی پرداخته و مفاهیم آماری معمولا به صورت یک فصل به صورت کاملا خلاصه بدون ذکر مثال‌های کاربردی بیان می‌شوند. از طرف دیگر، منابع آماری این حوزه نیز غالباً به تشریح مفاهیم آماری به زبان ریاضیاتی پرداخته و فاقد توضیحات مناسب در خصوص کاربرد این مفاهیم از منظر علم داده می‌باشند. با توجه به گستردگی علم داده در رشته‌های مختلف، نیاز به وجود منبعی می‌باشد که علاوه بر تشریح مفاهیم مهم آماری، کاربرد این مفاهیم در علم داده را نیز به‌خوبی بیان نماید، به‌طوری‌که برای کلیه رشته‌ها و تمامی سطوح مخاطبان مورد استفاده قرار گیرد. مخاطبین اصلی این کتاب دانشجویان کلیه رشته‌ها می‌باشند که به حوزه علم داده علاقه‌مند هستند و قصد دارند از داده‌کاوی در زمینه‌های مرتبط به رشته تحصیلی خود استفاده نمایند و همچنین شرکت‌ها و افرادی که روی پروژه‌های مختلفی کار می‌کنند که قصد دارند از داده‌کاوی در تحلیل کسب و کار خود بهره جسته و داده‌ها را به دانش تبدیل نمایند. این کتاب در پنج فصل به گونه‌ای تدوین شده است که مفاهیم اصلی و پایه‌ای آمار را با رویکردی داده ـ محور به همراه مثال‌های کاربردی در علم داده و پیاده‌سازی این مثال‌ها در زبان‌های برنامه‌نویسی R و پایتون بیان می‌نماید. تمرکز اصلی این کتاب بر روی کاربرد استفاده از روش‌های آماری در داده‌کاوی بوده و شامل الگوریتم‌های یادگیری ماشین نمی‌باشد. هدف اصلی کتاب این است که مخاطبین کلیه رشته‌های تحصیلی حتی با داشتن کمترین دانش در علم آمار، مفاهیم پایه‌ای آماری و نحوه استفاده از آن در تحلیل داده‌ها را فرا گرفته و با اصلی‌ترین مفاهیم و چالش‌های علم داده در تجزیه و تحلیل داده‌ها آشنا شده و در نهایت بتوانند به صورت کاملاً کاربردی با استفاده از مثال‌ها و کدهای پیاده‌سازی شده آن‌ها، از این مباحث در پژوهش‌ها و پروژه‌های عملیاتی خود بهره جویند. فهرست مطالب کتاب آمار پایه و مفاهیم کاربردی در علم داده پیشگفتار 7 فصل 1. تحلیل اکتشافی داده‌ها 11 1-1. ساختارهای داده 11 1-2. دسته‌بندی انواع داده‌ها 19 1-3. مبانی، مفاهیم و تکنیک‌های اولیه آماری برای علم داده 25 1-4. بررسی متغیرهای عددی 47 1-5. بررسی متغیرهای دسته‌ای 64 فصل 2. تحلیل آماری داده‌ها 71 2-1. نمونه‌برداری و نمونه‌برداری مجدد 71 2-2. فرضیه‌های آماری 87 2-3. توزیع‌های آماری 94 2-4. آنالیز واریانس 123 فصل 3. سازماندهی داده‌ها 125 3-1. ایجاد یک دیتافریم 125 3-2. توصیف داده 127 3-3. پیمایش دیتافریم‌ها 128 3-4. انتخاب سطرها بر اساس شرط 130 3-5. جایگزین کردن مقادیر 131 3-6. تغییر نام ستونها 133 3-7. یافتن کمترین، بیشترین، مجموع، میانگین و تعداد 134 3-8. یافتن مقادیر یکتا 135 3-9. مدیریت مقادیر از دست رفته 136 3-10. حذف یک ستون 137 3-11. حذف یک سطر 138 3-12. حذف سطرهای تکراری 139 3-13. گروه‌بندی سطرها توسط مقادیر 140 3-14. حلقه (تکرار) بر روی یک ستون 142 3-15. اعمال یک تابع بر روی همه مقادیر یک ستون 142 3-16. اعمال یک تابع بر روی یک گروه 143 3-17. قرار دادن (چسباندن) دیتافریم‌ها کنار یکدیگر 144 3-18. ادغام دیتافریم‌ها 145 فصل 4. پیش‌ پردازش داده‌ها 149 4-1. مدیریت و تصمیم‌گیری درباره داده‌های مفقود شده (از دست رفته) 150 4-2. مدیریت و تصمیم‌گیری درباره داده‌های پرت 160 4-3. گسسته‌سازی خصیصه‌ها 174 4-4. نرمال‌سازی داده‌ها 177 4-5. ایجاد خصیصه محاسباتی جدید 182 فصل 5. مهندسی ویژگی‌ها 185 5-1. انتخاب خصیصه 187 5-2. استخراج خصیصه 206 5-3. تغییر شکل خصیصه 215 ضمیمه 225 اصطلاحات رایج مورد استفاده در سازماندهی و پیش‌پردازش داده‌‌ها 225 مراجع 227