داده کاوی و کاوش قوانین ارتباطی

داده کاوی و کاوش قوانین ارتباطی

وب کاوی
متن کاوی
داده کاوی
دیتا ماینینگ
کاوش قوانین ارتباطی داده کاوی
دانلود پایان نامه رشته کامپیوتر
داده کاوی و کاوش قوانین ارتباطی
دانلود پایان نامه داده کاوی
دانلود پروژه داده کاوی
دانلود پایان نامه کامپیوتر

رفتن به سایت اصلی

دانلود پایان نامه رشته کامپیوتر

داده کاوی و کاوش قوانین ارتباطی

 

چکیده:

در دو دهه قبل توانایی های فنی بشر برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات  دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند.

 

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده  و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.

 

به لحاظ اینکه در چند سال اخیر مبحث داده کاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرم افزار های آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.در این پایان نامه درفصل مروری بر داده کاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه داده ها را ذکر کردیم که داده کاوی یکی از مراحل آن است.در فصل 2 یکی از شیوه های داده کاوی که از سبد خرید گرفته شده  است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دسته بندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح می دهیم و در آخر آن دو را با هم مقایسه می کنیم . در فصل 3 مباحث وب کاوی و متن کاوی را که در بسیاری از مراجع جزء کاربردهای داده کاوی به حساب می آید شرح داده خواهد شد.

 

 

کلمات کلیدی:

وب کاوی

متن کاوی

داده کاوی

دیتا ماینینگ

کاوش قوانین ارتباطی داده کاوی

 

 

 

 

مقدمه:

امروزه با گسترش سیستم‌های پایگاهی و حجم بالای داده‌های ذخیره شده در این سیستم‌ها، نیاز به ابزاری است تا بتوان داده‌های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.با استفاده از پرسش‌های ساده در SQL و ابزارهای گوناگون گزارش‌گیری معمولی، می‌توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه‌گیری در مورد داده‌ها و روابط منطقی میان آنها بپردازند. امّا وقتی که حجم داده‌ها بالا باشد، کاربران هرچند زبر دست و با تجربه باشند نمی‌توانند الگوها مفید را در میان حجم انبوه داده‌ها تشخیص دهند و یا اگر قادر به این کار هم باشند، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است. از سوی دیگر، کاربران معمولاً فرضیه‌ای را مطرح می‌کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می‌پردازند، در حالی که امروزه نیاز به روشهایی است که اصطلاحاً به کشف دانش   بپردازند یعنی با کمترین دخالت کاربر و بصورت خودکار الگوها و رابطه‌های منطقی را بیان نمایند.

 

داده کاوی  یکی از مهمترین این روشها است که به الگوهای مفید در داده‌ها با حداقل دخالت کاربران شناخته می‌شوند واطلاعاتی را در اختیار کاربران و تحلیل گران قرار می‌دهند تا براساس آن تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.اصطلاح داده کاوی زمانی بکار برده می‌شود که با حجم بزرگی از داده‌ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تأکید شده است. هرچه حجم داده‌ها بیشتر و روابط آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکل تر می‌شود و نقش داده کاوی بعنوان یکی از روش های کشف دانش، روشن‌تر می‌گردد.داده کاوی بطور همزمان از چندین رشته علمی بهره می‌برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه‌های عصبی، آمار، الگو، سیستم‌های مبتنی بر دانش ، حصول دانش ، بازیابی اطلاعات ، محاسبات سرعت بالا  و بازنمایی بصری داده .

 

 

 

 

فهرست مطالب

چکیده 2

فصل1: مقدمه ای بر داده کاوی   13

1-1 تعریف داده کاوی   . 15

2-1 تاریخچه داده کاوی   16

3-1 چه چیزی سبب پیدایش داده کاوی شده است؟   17

4-1 اجزای سیستم داده کاوی   . 19

5-1 جایگاه داده کاوی در میان علوم مختلف   21

6-1 قابلیتهای داده کاوی   . 22

7-1 چرا به داده کاوی نیاز داریم؟   . 23

8-1 داده کاوی چه کارهایی نمی تواند انجام دهد؟   25

9-1 کاربردهای داده کاوی   . 25

1-9-1 کاربردهای پیش بینی کننده   . 27

2-9-1 کاربردهای توصیف کننده   27

10-1 ابزارهای تجاری داده کاوی   . 28

11-1 داده کاوی و انبار داده ها   . 29

1-11-1 تعاریف انبار داده   29

2-11-1 چهار خصوصیت اصلی انبار داده   . 30

3-11-1 موارد تفاوت انبار داده و پایگاه  داده   31

12-1 داده کاوی و OLAP   . 33

1-12-1 OLAP   . 33

2-12-1 انواع OLAP   . 34

13-1 مراحل فرایند کشف دانش از پایگاه داده ها   . 34

1-13-1 انبارش داده ها   35

2-13-1 انتخاب داده ها   36

3-13-1 پاکسازی- پیش پردازش- آماده سازی   36

4-13-1 تبدیل داده ها   36

5-13-1 کاوش در داده ها (Data Mining)   . 37

6-13-1 تفسیر نتیجه   38

 

فصل 2: قوانین ارتباطی   . 39

1-2 قوانین ارتباطی   40

2-2 اصول پایه   . 41

1-2-2 شرح مشکل جدی   . 41

2-2-2 پیمایش فضای جستجو   . 43

3-2-2 مشخص کردن درجه حمایت مجموعه اقلام   . 45

3-2 الگوریتمهای عمومی   45

1-3-2 دسته بندی   45

2-3-2 BFS و شمارش رویداد ها   . 46

3-3-2 BFS و دونیم سازی TID-list   . 47

4-3-2 DFS و شمارش رویداد   47

5-3-2 DFS و دو نیم سازی TID-list   48

4-2 الگوریتم Apriori   48

1-4-2 مفاهیم کلیدی   . 48

2-4-2 پیاده سازی الگوریتم Apriori   49

3-4-2 معایب Apriori و رفع آنها   . 54

5-2 الگوریتم رشد الگوی تکرارشونده   55

1-5-2 چرا رشد الگوی تکرار سریع است؟   . 58

6-2 مقایسه دو الگوریتم Apriori و FP-growth   59

7-2 تحلیل ارتباطات   63

 

فصل 3: وب کاوی و متن کاوی   . 65

1-3 وب کاوی   . 66

1-1-3 الگوریتمهای هیتس و لاگسام   . 69

2-1-3 کاوش الگوهای پیمایش مسیر   76

2-3 متن کاوی   . 90

1-2-3 کاربردهای متن کاوی   . 92

1-1-2-3 جستجو و بازیابی   95

2-1-2-3 گروه بندی و طبقه بندی   97

3-1-2-3 خلاصه سازی   99

4-1-2-3 روابط میان مفاهیم   . 101

5-1-2-3 یافتن و تحلیل گرایشات  

6-1-2-3 برچسب زدن نحوی (pos)   .

7-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک   . 107

2-2-3 فرایند متن کاوی   .

3-2-3 روشهای متن کاوی   . 110

مراجع   . 116

 

 

فهرست اشکال

1-1 مراحل فرایند کشف دانش   17

2-1 سیر تکاملی صنعت پایگاه داده   19

3-1 معماری یک نمونه سیستم داده کاوی   . 20

4-1 نرخ رشد اطلاعات   . 24

5-1 کاربرد پیش بینی کننده   27

6-1 داده ها از انبار داده ها استخراج می گردند   32

7-1 داده ها از از چند پایگاه داده  استخراج می گردند   32

1-2 شبکه‌ای برای     .

3-2 دسته بندی الگوریتمها   46

4-2 پایان الگوریتم Apriori   52

5-2 درخت الگوی تکرار   57

6-2 اندازه گیری کارکرد درجه حمایت برای پایگاه داده D1 40K   61

7-2 اندازه گیری Apriori با درجه حمایت/تراکنش   . 62

8-2 اندازه گیری FP-growth با درجه حمایت/تراکنش   62

1-3 مقداردهی اولیه الگوریتم HITS   72

2-3 مثالی از الگوهای پیمایش   . 80

3-3 فرایند متن کاوی   . 86

4-3 مثال یافتن روابط   . 88

 

 

فهرست جداول

1-2 کاوش FP-tree با ایجاد پایگاه های الگوشرطی   . 58

2-2 پارامترها   . 59

3-2 نتایج برای فاکتور درجه حمایت 5%   60

4-2 نتایج برای D1 150K با درجه حمایت   . 61

1-3 تراکنش های توصیف شده توسط مجموعه ای از URLها   . 75

2-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش   75

3-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است   76

 

مبانی نظری و پیشینه تحقیق رفتار شهروندی سازمانی کارکنان

مبانی نظری و پیشینه تحقیق رفتار شهروندی سازمانی کارکنان مبانی نظری رفتار شهروندی سازمانی دانلود مبانی نظری رفتار شهروندی سازمانی پیشینه تحقیق رفتار شهروندی سازمانی ادبیات نظری رفتار شهروندی سازمانی فصل دوم پایان نامه رفتار شهروندی سازمانی مبانی نظری و…

مبانی نظری و پیشینه تحقیق تنش خشکی در گیاهان

مبانی نظری و پیشینه تحقیق تنش خشکی در گیاهان مبانی نظری تنش خشکی در گیاهان دانلود مبانی نظری تنش خشکی در گیاهان پیشینه تحقیق تنش خشکی در گیاهان ادبیات نظری تنش خشکی در گیاهان فصل دوم پایان نامه تنش خشکی…

سیستم های كنترل و سرپرستی داده و کاربرد آنها در صنعت برق

سیستم های كنترل و سرپرستی داده و کاربرد آنها در صنعت برق کنترل نظارتی سیستم اسکادا سیستمهای كنترل و سرپرستی داده کاربرد سیستم های اسکادا در صنعت برق سیستم های كنترل و سرپرستی داده و کاربرد آنها در صنعت برق…

پاورپوینت آشنایی و بررسی لامپ حبابی

پاورپوینت آشنایی و بررسی لامپ حبابی پاورپوینت آشنایی و بررسی لامپ حبابی لامپ حبابی کاربرد های لامپ اجزای لامپ روش تولید لامپ-رشته حباب لامپ پایه لامپ مونتاژ حباب و پایه بهبود کیفیت ضعف های لامپ های حبابی راهکار برای کاهش…

سیر تفکر انتقادی در تربیت اسلامی و بررسی موانع آن

سیر تفکر انتقادی در تربیت اسلامی و بررسی موانع آن تعقل و تفکر در قرآن و روایات تفکر انتقادی در تربیت اسلامی مراحل تفکر و تعقل انتقادی مفهوم تفکر در قرآن رابطه مفهوم قرآنی تفکر با تعقل و مراتب آنها…

پروژه رشته مکانیک و حمل و نقل با عنوان شبیه سازی سیستم های نیوماتیكی

پروژه رشته مکانیک و حمل و نقل با عنوان شبیه سازی سیستم های نیوماتیكی تحلیل رفتار دینامیكی شیر شیر ترمز اتوماتیك لكوموتیو تشریح عملكرد سوپاپ ترمز اتوماتیك شبیه سازی سیستم های نیوماتیكی دانلود پروژه رشته مکانیک خرید پروژه رشته مکانیک…

نقش سوگند در اثبات دعوی

نقش سوگند در اثبات دعوی اثبات دعوی ادله اثبات دعوی ادله اثبات دعوی سوگند در اثبات دعوی کاربرد قسم در اثبات دعاوی سوگند در اثبات دعوی در قوانین ایران نقش سوگند در اثبات دعوی دانلود مقاله سوگند در اثبات دعوی…

پاورپوینت شبیه سازی سیستمها تحلیل دینامیکهای سیستم

پاورپوینت شبیه سازی سیستمها تحلیل دینامیکهای سیستم پاورپوینت شبيه سازي سيستمهاي گسسته پيشامد پاورپوینت شبیه سازی سیستمها پاورپوینت علم و هنر شبیه سازی سیستمها پاورپوینت شبیه سازی سیستمهای گسسته پیشامد ppt رفتن به سايت اصلي دانلود پاورپوینت شبیه سازی سیستمها…

مبانی نظری و پیشینه تحقیق هوش رقابتی 57 صفحه

مبانی نظری و پیشینه تحقیق هوش رقابتی 57 صفحه کلمات کلیدی : فصل دوم پایان نامه هوش رقابتی مبانی نظری هوش رقابتی پیشینه تحقیق هوش رقابتی پیشینه داخلی هوش رقابتی پیشینه خارجی هوش رقابتی پیشینه پژوهش هوش رقابتی پیشینه نظری…

پایان نامه بررسی ادبیات کودک در عراق

پایان نامه بررسی ادبیات کودک در عراق کلمات کلیدی : پایان نامه ادبیات کودک شعر کودکان در کشور عراق نمایش کودکانه در کشور عراق  پایان نامه ارشد ادبیات کودک و نوجوان ادبیات کودک در ادبیات معاصر عربی سیر تاریخی ادبیات کودک در…

پیشینه نظری و فصل دوم پایان نامه اضطراب کودکان

پیشینه نظری و فصل دوم پایان نامه اضطراب کودکان کلمات کلیدی : فصل دوم پایان نامه اضطراب کودکان مبانی نظری اضطراب کودکان پیشینه تحقیق اضطراب کودکان پیشینه داخلی اضطراب کودکان پیشینه خارجی اضطراب کودکان پیشینه پژوهش اضطراب کودکان پیشینه نظری…

منوگرافی روستای سیاهكلان

منوگرافی روستای سیاهكلان مونوگرافی تک نگاری روستای سیاهكلان دانلود مقاله منوگرافی روستای سیاهكلان سیستم همکاری در فروش فایل فایلینا همکاری در فروش فایل همکاری در فروش فروش فایل انجام پروژه و پایان نامه رشته جغرافیا خرید پروژه و پایان نامه…

پاورپوينت آموزشی سیستم ایمنی بدن

پاورپوينت آموزشی سیستم ایمنی بدن پاورپوینت سیستم ایمنی بدن پاورپوینت دستگاه ایمنی بدن دانلود پاورپوینت ایمنی بدن رفتن به سايت اصلي دانلود پاورپوينت آموزشی سیستم ایمنی بدن جهت رشته پزشکی در قالب 21 اسلايد و با فرمت ppt به صورت…

مبانی نظری و پیشینه تحقیق هوش معنوی کارکنان 37 صفحه

مبانی نظری و پیشینه تحقیق هوش معنوی کارکنان 37 صفحه کلمات کلیدی : مبانی نظری هوش معنوی کارکنان دانلود مبانی نظری هوش معنوی کارکنان پیشینه تحقیق هوش معنوی کارکنان ادبیات نظری هوش معنوی کارکنان فصل دوم پایان نامه هوش معنوی…

دانلود پاورپوینت بازاریابی اینترنتی

دانلود پاورپوینت بازاریابی اینترنتی دانلود پاورپوینت بازاریابی اینترنتی پاورپوینت در مورد بازاریابی اینترنتی رفتن به سايت اصلي دانلود پاورپوینت بازاریابی اینترنتی جهت رشته مدیریت در 50 اسلاید و با فرمت pptx  بصورت کامل و جامع و با قابلیت ویرایش  …

ادبیات نظری و پیشینه تجربی کمال گرایی

ادبیات نظری و پیشینه تجربی کمال گرایی کلمات کلیدی : فصل دوم پایان نامه کمال گرایی مبانی نظری کمال گرایی پیشینه تحقیق کمال گرایی پیشینه داخلی کمال گرایی پیشینه خارجی کمال گرایی پیشینه پژوهش کمال گرایی پیشینه نظری کمال گرایی…

مبانی نظری و پیشینه تحقیق نوآوری دانشگاهی

مبانی نظری و پیشینه تحقیق نوآوری دانشگاهی مبانی نظری نوآوری دانشگاهی دانلود مبانی نظری نوآوری دانشگاهی پیشینه تحقیق نوآوری دانشگاهی ادبیات نظری نوآوری دانشگاهی فصل دوم پایان نامه نوآوری دانشگاهی مبانی نظری و پیشینه تحقیق نوآوری دانشگاهی ادبیات و مبانی…

بررسی عوامل تاثیرگذار بر ساخت و شکل گیری هویت سازمانی

بررسی عوامل تاثیرگذار بر ساخت و شکل گیری هویت سازمانی کلمات کلیدی : انواع هویت سازمانی ابعاد هویت سازمانی اهمیت هویت سازمانی پایان نامه هویت سازمانی تعریف هویت سازمانی نظریه هویت سازمانی هویت یابی سازمانی عوامل موثر بر شکل گیری…

پاورپوينت علف های هرز مهم مزارع ذرت

پاورپوينت علف های هرز مهم مزارع ذرت پاورپوينت علف های هرز مهم مزارع ذرت پاورپوینت علف های هرز پاورپوینت در مورد علف های هرز دانلود پاورپوینت علف های هرز رفتن به سايت اصلي دانلود پاورپوينت علف های هرز مهم مزارع…

گزارش كارآموزی رشته کامپیوتر و آی تی با عنوان آشنایی با روتر و نقش آن درشبكه

گزارش كارآموزی رشته کامپیوتر و آی تی با عنوان آشنایی با روتر و نقش آن درشبكه روتر مسیر یاب پیكربندی روتر نقش روتر در شبكه دانلود گزارش كارآموزی رشته کامپیوتر و آی تی با عنوان آشنایی با روتر و نقش…

پاورپوینت استاندارد حسابداري شماره 32 (کاهش ارزش دارایی ها)

پاورپوینت استاندارد حسابداري شماره 32 (کاهش ارزش دارایی ها) دانلود رایگان پاورپوینت استاندارد حسابداري شماره 32 (کاهش ارزش دارایی ها) پاورپوینت استاندارد حسابداري شماره 32 (کاهش ارزش دارایی ها) پاورپوینت استاندارد حسابداري شماره سی و دو پاورپوینت استاندارد حسابداري شماره…

درآمدی بر روش پژوهش فراتحلیل در تحقیقات آموزشی

درآمدی بر روش پژوهش فراتحلیل در تحقیقات آموزشی کلمات کلیدی : مدل های فراتحلیل کارکردهای فراتحلیل مراحل روش فراتحلیل فراتحلیل در تحقیقات آموزشی مبانی فراتحلیل در روانشناسی دانلود پایان نامه فراتحلیل پایان نامه با موضوع فراتحلیل رفتن به سایت اصلی…

پاورپوینت برنامه ریزی حمل و نقل

پاورپوینت برنامه ریزی حمل و نقل کلمات کلیدی : پاورپوینت برنامه ریزی حمل و نقل برنامه ریزی حمل و نقل تحقیق برنامه ریزی حمل و نقل بررسی برنامه ریزی حمل و نقل مقاله برنامه ریزی حمل و نقل اصول برنامه…

پاورپوینت راهنمای مبحث بیست ویکم - پدافند غیرعامل

پاورپوینت راهنمای مبحث بیست ویکم - پدافند غیرعامل پاورپوینت مبحث بیست ویکم پاورپوینت مبحث بیست و یکم پدافند غیرعامل پاورپوینت پدافند غیرعامل پاورپوینت مبحث بیست و یکم پدافند غیرعامل پاورپوینت درمورد پدافند غیرعامل رفتن به سايت اصلي دانلود پاورپوینت راهنمای…

مبانی نظری و پیشینه تحقیق رابطه عزت نفس و پیشرفت تحصیلی

مبانی نظری و پیشینه تحقیق رابطه عزت نفس و پیشرفت تحصیلی مبانی نظری عزت نفس پیشینه تحقیق عزت نفس دانلود مبانی نظری عزت نفس مبانی نظری رابطه عزت نفس و پیشرفت تحصیلی مبانی نظری پیشرفت تحصیلی پیشینه تحقیق پیشرفت تحصیلی…

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *