Fuzzy Decision Tree PDF

Preview

Summary

‫تشخیص رٍتاتّای ٍب تا استفادُ از سیستن استٌتاج فازی هثتٌی تر درخت‬ ‫تصوین‬ ‫‪3‬‬ ‫خَاز ضخت ًیب‪1‬؛ هْسیِ شثیحی‪2‬؛ هدیس ٍفبیی خْبى‬ ‫چکیذُ‬ ‫رٍتاتّا یا خسًذُّای ٍب ترًاهِ ّایی ترای استخراج داًش از صفحات ٍب ّستٌذ کِ کار خَد را تا تعذادی صفحِ آغاز کردُ ٍ تِ‬ ‫صَرت تازگشتی توام اسٌاد قاتل دسترسی از ایي...

Description

Accelerat ing t he world's research.

Fuzzy Decision Tree javad rajabnia

Related papers

Download a PDF Pack of t he best relat ed papers 

‫تشخیص رٍتاتّای ٍب تا استفادُ از سیستن استٌتاج فازی هثتٌی تر درخت‬ ‫تصوین‬

‫خَاز ضخت ًیب‪1‬؛ هْسیِ شثیحی‪2‬؛ هدیس ٍفبیی خْبى‬

‫‪3‬‬

‫چکیذُ‬ ‫رٍتاتّا یا خسًذُّای ٍب ترًاهِ ّایی ترای استخراج داًش از صفحات ٍب ّستٌذ کِ کار خَد را تا تعذادی صفحِ آغاز کردُ ٍ تِ‬ ‫صَرت تازگشتی توام اسٌاد قاتل دسترسی از ایي صفحات را تازدیذ هیکٌٌذ‪ .‬رٍتاتّای ٍب تا رفتار ّای هتفاٍت اعن از هخرب ٍ غیر‬ ‫هخرب‪ ،‬در کٌار کارتراى اًساًی‪ ،‬جسء تازدیذکٌٌذگاى ٍب تِ حساب هیآیٌذ‪ .‬در ایي هقالِ از یک سیستن استٌتاج فازی هثتٌی تر درختاى‬ ‫تصوین ترای تشخیص ًَع تازدیذگٌٌذگاى ٍب استفادُ شذُ است‪ .‬تازدیذگٌٌذگاى تِ دٍ دستِ اًساى ٍ رٍتات تقسین هیشًَذ‪ .‬ترای توایس‬ ‫ایي دٍ دستِ از ‪ٍ 41‬یژگی استفادُ شذُ است‪ .‬کارایی سیستن پیشٌْادی در غالة سِ هعیار صحت‪ ،‬فراخَاًی ٍ ‪ F1‬تا سایر رٍشْای ارائِ‬ ‫شذُ ترای تشخیص رٍتات ّای ٍب‪ ،‬ارزیاتی هیشَد‪ .‬عاٍُ ترایي از آزهَى تی ٍ هٌحٌی ‪ Roc‬ترای سٌجش ًتایج استفادُ شذُ است‪.‬‬ ‫ًتایج ًشاى هیدّذ کِ سیستن پیشٌْادی دقت را ًسثت تِ رٍشْای یادگیری ٍزىدار شذُ هحلی ‪ ،‬طثقِتٌذی کٌٌذُ ‪ٍ Adaboost‬‬ ‫‪ ، C4.5 ،Bagging‬شثکِ تیسیي ٍشثکِ تاٍر تیسی تْثَد هی تخشذ‪.‬‬ ‫‪.‬‬

‫کلوات کلیذی‬

‫رٍتاتّای ٍب‪ ،‬خسًذُّای ٍب‪ ،‬سیستن استٌتاج فازی‪ ،‬درختاى تصوین‪ ،‬فایل ثثت ٍقایع‪ ،‬کارترد کاٍی ٍب‬

‫زاًطدَی وبضضٌبسی اضضس ًطم افعاض‪،‬زاًطگبُ اهبم ضضب‪ ،‬هطْس‪-‬ذیبثبى زاًطگبُ‪ -‬ذیبثبى اسطاض‪-‬زاًطگبُ اهبم ضضب‪[email protected]،‬‬

‫زاًطدَی وبضضٌبسی اضضس ًطم افعاض‪،‬زاًطگبُ اهبم ضضب‪ ،‬هطْس‪-‬ذیبثبى زاًطگبُ‪ -‬ذیبثبى اسطاض‪-‬زاًطگبُ اهبم ضضب‪[email protected]،‬‬

‫زوتطی ترػػی ًطم افعاض‪ ،‬زاًطگبُ آظاز اساهی ٍاحس هطْس‪ ،‬هطْس ‪ -‬لبسن آثبز ‪ -‬استبز یَسفى ‪ -‬زاًطگبُ آظاز اساهی‪[email protected]،‬‬

Web robot detection with fuzzy inference system based on decision tree Javad rajabnia; Mahdieh zabihi; Majid vafaei jahan ABSTRACT

Web robots or crawlers are programs to extract knowledge from Web pages that traverse the Web autonomously, starting from a „„seed” list of Web pages and recursively visiting documents accessible from that list. Web robots with different behaviors, including destructive and non-destructive, with human users, are considered as website visitors. In this paper, fuzzy inference systems based on decision trees are used to identify website visitors. Visitors are divided into two categories, humans and robots. To distinguish these two sets, 14 features were used. Proposed system performances are compared with other methods to detect Web robots by three criteria in terms of precision, recall and F1. Moreover, the T-test and Roc curve are used to assess the results. The results show that the proposed system improves accuracy than locally weighted learning, Adaboost, Bagging, C4.5, Bayesian belief networks and Bayesian networks. KEYWORDS

Web robots, Web crawlers, fuzzy inference system, Decision tree, Access log file, Web usage mining

‫‪4‬‬

‫‪ .1‬همسهِ‬ ‫زًیبی اهطٍظ زًیبیی ٍاثستِ ثِ ایٌتطًت است‪ .‬ایٌتطًت زض ظهیٌِّبی هرتلف ًظبهی‪ ،‬آهَظش‪ ،‬تدبضت‪ ،‬غٌؼت ٍ ثسیبضی حَظُّبی زیگط ًمص پطوبضثطزی زاضز‪ .‬هسلوب‬ ‫زض ایي ثستط ٍسیغ‪ ،‬حدن گستطزُای اظ زازُ شذیطُ هیضَز‪ً .‬یبظ زًیبی وًٌَی‪ ،‬وست زاًص ٍ اعاػبت اظ ایي زازُّبست‪ .‬ثطای ایي هٌظَض اظ اثعاض هرتلفی زض سغح ٍة‬ ‫استفبزُ هیضَز‪ .‬یىی اظ ایي اثعاضّب‪ ،‬ضٍثبتّبی ٍة ًبم زاضًس‪ .‬ضٍثبتّبی ٍة ثطًبهِ ّبیی ثطای استرطاج زاًص اظ غفحبت ٍة ّستٌس وِ وبض ذَز ضا اظ تؼسازی غفحِ‬ ‫آغبظ وطزُ ٍ ثِ غَضت ثبظگطتی توبم اسٌبز لبثلزستطس اظ ایي غفحبت ضا ثبظزیس هیوٌٌس‪ .‬ضٍثبتّبی ٍة ضا گبُ ذعًسُ‪ٍ5‬ة‪ ،‬ػٌىجَت‪ ٍ 6‬یب ثطزاضتوٌٌسُ‪7‬هیًبهٌس‪.‬‬ ‫ذعًسُّبی هَتَضّبی خستدَ ثط اسبس ًظوی هطرع ثِ ثطزاضت هحتَا اظ ٍة هیپطزاظًس‪ .‬ضٍثبتّبی ذطیساض‪ 8‬اغلت سبیتّبی تدبضی ضا خْت ٍاضسی لیوتّب ٍ‬ ‫اخٌبس ذطیساضی ضسُ پیوبیص هیوٌٌس‪ .‬ذعًسُ ّبی توطوعوٌٌسُ ‪9‬ضٍثبت ّبیی ّستٌس وِ سطاسط ٍة ضا خْت یبفتي ٍ ثطضسی غفحبت هتؼلك ثِ یه حَظُ هؼٌبیی‬ ‫ذبظ خستدَ هیوٌٌس‪ .‬ذعًسُّبی ثبظثیٌی‪ً 10‬یع ثب ّسف یبفتي لیٌهّبی ذطاة یب ضىستِ ثِ ٍاضسی غفحبت ٍة هیپطزاظًس‪ .‬ثطزاضتوٌٌسُّب ًَع زیگطی اظ ضٍثبتّبی‬ ‫ٍة ّستٌس وِ هٌبثؼی هبًٌس غفحبت اذ تی ام ال‪ ،‬ػىس ٍ یب اسٌبز ضا اظ غفحبت ٍة تمبضب هیوٌٌس(‪.)17ٍ11‬‬ ‫ایيّب تٌْب ًوًَِ هحسٍزی اظ اًَاع ضٍثبتّبی ٍة ّستٌس‪ .‬ضٍثبتّبی ٍة زض ثستط ٍة ضفتبضّبی هتفبٍتی ضا ًطبى هیزٌّس‪ .‬ثطذی اظ ضٍثبتّبی ٍة ضفتبضی ثب‬ ‫لبػسُ زاضًس ٍ زض هَاخِ ثب ٍةسطٍض ثطاسبس پطٍتىل "‪ "robot.txt‬ػول وطزُ ٍ اظ فطستبزى تؼساز ظیبزی زضذَاست ثِ سطٍض خلَگیطی هیوٌٌس‪ .‬زض حبلیىِ ثطذی اظ‬ ‫ضٍثبت ّبی ٍة زلیمب ثِ غَضت ّسفوٌس زض عَل ظهبًی وَتبُ‪ ،‬حدن ٍسیؼی اظ تمبضب ثِ یه ٍةسطٍض هیفطستٌس‪ .‬ایي ضٍثبتّب هؼوَا ضٍثبتّبیی ثطای حوات تَظیؼی‬ ‫هرتلوٌٌسُ‪ّ 11‬ستٌس‪.‬‬ ‫ایي حوات ثب ّسف اظ وبض اًساذتي سطٍیسّبی ٍة سطٍض‪ ،‬سیل ػظیوی اظ تمبضبی تَظیؼی ضا ثِ آى اضسبل هیوٌٌس‪ًَ .‬ع ذبغی اظ ایي حوات‪ ،‬هؼطٍف ثِ‬ ‫حوات ایِ ‪ 7‬یب ایِ وبضثطز‪ ،‬اظ ضٍثبت ٍة ثطای پیطجطز اّساف ذَز استفبزُ هیوٌٌس‪ .‬ایي هیتَاًس زلیل هحىوی ثطای ًیبظ ثِ تطریع ضٍثبتّبی ٍة ثبضس‪ .‬اظ زیگط‬ ‫زایل تطریع ضٍثبتّبی ٍة هیتَاى ثِ هَاضز ظیط اضبضُ وطز‪ )1 .‬اغلت ضٍثبتّب ثطای استرطاج زاًص اظ سبیتّبی تدبضی اثطات هرطثی ضا زض آى ثِ خبی هیگصاضًس‪)2 .‬‬ ‫ضٍثبت ّبی ٍة پٌْبی ثبًس ظیبزی ضا ثِ ذَز اذتػبظ زازُ ٍ سطػت پبسد زّی سیستن ضا وبّص هیزٌّس‪ ) 3 .‬ضٍثبت ّبی ٍة سَْا یب ػوسا اعاػبت ٍثسبیتّب ضا زض‬ ‫پبیگبُ زازُ هطثَط ثِ هَتَضّبی خستدَ هٌتطط هیوٌٌس(‪.)3‬‬ ‫زض ایي همبلِ اظ یه سیستن استٌتبج فبظی هجتٌی ثط زضذتبى تػوین ثطای تطریع ٍ زستِثٌسی ثبظزیسوٌٌسگبى ٍة استفبزُ هیضَز‪ .‬ثبظزیسوٌٌسگبى ٍة ثِ زٍ‬ ‫زستِ وبضثطاى اًسبى ٍ ضٍثبت ٍة تمسین هیگطزًس‪ .‬فبیل ثجت ٍلبیغ‪ 12‬هطثَط ثِ سطٍض پبضس ٍة(‪ )27‬هیثبضس‪ .‬اظ فبیل ثجت ٍلبیغ ‪ 14‬ذػیػِ ضٌبذتِ ضسُ استرطاج‬ ‫هیضَز‪ّ .‬سف‪ ،‬همبیسِ زلت سیستن پیطٌْبزی ًسجت ثِ سبیط ضٍضْبی استفبزُ ضسُ زض ایي ظهیٌِ است‪ .‬زض ثرص ‪ 2‬وبضّبی هطتجظ هؼطفی هیگطزًس‪.‬‬ ‫‪ .2‬وبضّبی هطتجظ‬ ‫ضٍشّبی هتؼسزی زض ظهیٌِ تطریع ضٍثبت ٍة هَضز هغبلؼِ لطاض گطفتِ ‪ ،‬وِ تاش آًْب ثطای تطریع ٍ زستِثٌسی ثبظزیسوٌٌسگبى ٍة ثب استفبزُ اظ فبیل ثجت‬ ‫ٍلبیغ ثَزُ است‪ .‬یىی اظ اٍلیي ضٍضْبی اضائِ ضسُ تَسظ وَهبض ٍ تبى زض سبل ‪ 2002‬اضائِ گطزیس‪ .‬آًْب زستِ ثٌسی ثبظزیسوٌٌسگبى ٍة ضا زض زٍ زستِ وبضثطاى اًسبًی ٍ‬ ‫ضٍثبتّبی ٍة ثب استفبزُ اظ زضذت تػوین ‪ C4.5‬اًدبم زازًس(‪ .)13ٍ9‬ثؼس اظ آى زض سبل ‪ 2003‬ثام ٍّوىبضاًص ثب استفبزُ اظ تست تَضیٌگ(‪ ،)12‬زض سبل ‪2005‬‬ ‫ثَهْبضت ثب استفبزُ اظ ضجىِ ثیعیي(‪ ،)26‬زض سبل ‪ٍ 2006‬یخَ ٍ ضبى ثب استفبزُ اظ ظًدیطُّبی هبضوَف(‪ٍ ،)24‬لیي ٍّوىبضاًص ثب استفبزُ اظ ضٍش تطافیه پیَستِ زض‬ ‫سبل ‪ ، )25(2008‬استبسَپَلَ ٍ زیىبیىَس ثب استفبزُ اظ ضٍش ضجىِ ػػجی زض سبل ‪ 2009‬ثِ تطریع ضٍثبتّبی ٍة پطزاذتِاًس(‪ .)11‬استَاًٍَیر ثب استفبزُ اظ ضٍش‬ ‫ضجىِ ػػجی زض سبل ‪ 2013‬ثِ زستِثٌسی ٍ تفىیه ثبظزیسوٌٌسگبى ٍة زض زْبض زستِ ضٍثبتّبی هرطة‪ ،‬ضٍثبتّبی غیطهرطة‪ ،‬ثبظزیسوٌٌسگبى ًبضٌبذتِ‪ ،‬وبضثطاى‬ ‫اًسبًی پطزاذتِاًس(‪.)10‬‬

‫‪5 crawler‬‬ ‫‪6 spider‬‬ ‫‪7 harvester‬‬ ‫‪8 Shopping bot‬‬ ‫‪9 Focused crawler‬‬ ‫‪10 verifier‬‬ ‫‪11 DDos‬‬ ‫‪12 Access log‬‬

‫‪ .3‬ضٍش ضٌبسبیی‬ ‫هسئلِ تطریع ضٍثبت ٍة ضبهل هطاحل ‪ )1‬پیص پطزاظش فبیل ثجت ٍلبیغ‪ )2 .‬تطریع ٍ استرطاج ٍیژگیّب‪)3 .‬ثطزستگصاضی ّط ًطست ( ثطزستگصاضی‬ ‫ثطاسبس زٍ زستِ ضٍثبت ٍ اًسبى)‪ )4 .‬تؼییي هسل واسثٌسی ثبظزیسوٌٌسگبى ٍة‪ )5 .‬اضظیبثی هسل پیطٌْبزی(‪.)11ٍ3ٍ1‬‬ ‫‪ .1.3‬پیص پطزاظش‬

‫زض هسئلِ تطریع ضٍثبتّب‪ ،‬گبم پیصپطزاظش ضبهل تؼییي ًطست ّبی هَخَز زض فبیل ثجت ٍلبیغ است‪ ،‬وِ ثب تمسین ٍ زستِثٌسی ًطستّب ثطاسبس آزضس آیپی‬

‫ٍ اعاػبت ػبهل وبضثط غَضت هیگیطز‪ّ .‬ط ًطست خسیس ثطاسبس یه ثبظُی ظهبًی هطرع (وِ زض ایي همبلِ ‪ 30‬زلیمِ زض ًظط گطفتِ ضسُاست) ایدبز هی‪-‬‬ ‫ضَز(‪.)11ٍ6ٍ5ٍ4ٍ3‬‬ ‫‪ .1.1.3‬استرطاج ٍیژگی‬ ‫زض ایي همبلِ‪ ،‬ػولیبت زستِ ثٌسی ثبظزیسگبى ٍة تَسظ هسل پیطٌْبزی ثب زض ًظط گطفتي ‪ 14‬ذػیػِ ثطضسی هیضَز وِ ایي ٍیژگی ّب ثِ ضطح ظیط‬ ‫ّستٌس(‪:)11ٍ3ٍ1‬‬ ‫‪ )1‬هست ًطست‪ :‬ثِ هست ظهبى ثیي اٍلیي ٍ آذطیي زضذَاست گفتِ هیضَز‪ّ .‬طزِ هست ظهبى ثیطتط ثبضس ثبظزیسوٌٌسُ ثِ ضٍثبت ًعزیىتط است‪.‬‬ ‫‪ )2‬حساوثط ًطخ ولیه‪ :‬ثِ حساوثط تؼساز زضذَاست فبیل ‪ HTML‬گفتِ هیضَز‪ّ .‬ط زِ هیعاى ایي زض ذَاست ثیطتط ثبضس‪ ،‬ثبظزیسوٌٌسُ ثِ ضٍثبت ًعزیهتط است‪.‬‬ ‫‪ )3‬زضذَاست فبیل "‪ : "robot.txt‬ضٍثبتّبی ضٌبذتِ ضسُ هؼوَا ثطای زضذَاست اعاػبت ٍ زستطسی ثِ یه سبیت اثتسا ایي فبیل ضا زضذَاست هیوٌٌس‪ ،‬ثِ ػٌَاى‬ ‫ًوًَِ یه ضٍثبت ثطای زضذَاست اعاػبت اظ سبیت‬ ‫"‪ "www.google.com‬اثتسا "‪ "www.google.com/robot.txt‬ضا زضذَاست هیزّس‪ (.‬ثطزستگصاضی ًطست)‬ ‫‪ )4‬زضغس زضذَاست ‪ HTTP‬اظ ًَع ‪ :Head‬ضٍثبت ّبی ٍة ثطای وبّص حدن اعاػبت هطثَط ثِ زض ذَاست‪ ،‬اظ اضسبل یه ػٌَاى ثِ سطٍض استفبزُ هیوٌٌس‪ .‬ایي‬ ‫زضحبلیست وِ وبضثطاى اًسبًی ثب استفبزُ اظ هطٍضگطّب زضذَاست ذَز ضا ثِ سطٍض اضسبل هیوٌٌس‪ ،‬وِ زض ایي ضٍش هتس زضذَاست ‪ GET‬است‪.‬‬ ‫‪ )5‬زضغس زضذَاست ثب اضخبػبت ذبلی‪ :‬یه ذػیػِ ػسزی است وِ زضغس زضذَاستّب ثب اضخبع ذبلی زض یه ًطست وبضثط ضا ًطبى هیزّس‪ .‬ایي ذػیِ ثطای اوثط ضٍثبت‬ ‫ّب همساض ثبایی زاضز زطاوِ هطٍضگطّبی ٍة اغلت اعاػبتی ضا ثِ ػٌَاى اضخبػبت ثِ غَضت پیصفطؼ همساضزّی هیوٌٌس‪.‬‬ ‫‪ )6‬هیعاى زضذَاست فبیل ‪ :css‬هطٍضگطّبی ٍة ثِ غَضت ذَزوبض یه زضذَاست ثطای فبیل ‪ css‬اضسبل هیوٌٌس زض حبلی وِ ضٍثبتّبی ٍة ًیبظی ثِ هطبّسُ فبیل ‪css‬‬ ‫ًساضًس‪ ،‬پس اگط زض یه ًطست توبم زضذَاستّب اظ یه ًَع هٌجغ ثبضس ٍ فبیل ‪ css‬هطبّسُ ًطسُ ثبضس آًگبُ آى ًطست هطىَن ثِ ضٍثبت ٍة هیثبضس‪.‬‬ ‫‪ )7‬حدن اعاػبت زضذَاستی‪ :‬ایي ذػیػِ ػسزی حدن اعاػبت زضذَاستی زض یه ًطست ضا ثطحست ثبیت ثیبى هیوٌس وِ ّطزِ ثیطتط ثبضس ثبظزیسوٌٌسُ ثِ ضٍثبت‬ ‫ٍة ًعزیهتط است‪.‬‬ ‫‪ً )8‬طخ زضذَاست زًجبلِ هتَالی‪ :‬یه ذػیػِ ػسزی است وِ زضغس زضذَاست ّبی هتَالی ثطای غفحبت هتؼلك ثِ یه هسیط یىسبى اظ ٍة ضا زض عَل یه ًطست‬ ‫ًطبى هیزّس‪ .‬ثطای هثبل زضذَاست "*‪ "/google/translate/*.‬ثِػٌَاى یه زًجبلِ هتَالی اظ زضذَاستّبی ‪ HTTP‬زض ًظط گطفتِ هیضَز‪.‬‬ ‫‪ )9‬پبسد ذغبی ‪ :404‬ضٍثبت ّبی ٍة ًسجت ثِ وبضثطاى اًسبًی زاضای زضغس ثباتطی اظ اًتربة لیٌهّبی ذطاة ّستٌس‪( .‬ثطای ثطزستگصاضی ًطستّب) ‪.‬‬ ‫‪ )10‬ػوك زضذَاست غفحِ‪ :‬یه ذػیػِ ػسزی است وِ ػوك غفحِ زض توبم زضذَاستّبی هَخَز زض یه ًطست ضا ًطبى هیزّس‪ .‬ثطای هثبل زضذَاست‬ ‫"‪ "/google/translate/persianpage.html‬ثب ػوك ‪ 3‬تؼییي هیضَز‪ ٍ .‬زضذَاست "‪ "/google/translate.html‬ثب ػوك ‪ 2‬زض ًظط گطفتِ هیضَز‪.‬‬ ‫‪ )11‬زضغس زضذَاست فبیل ‪ :PSS ٍ PDF‬ضٍثبتّبی ٍة زضذَاستّبی ثیطتطی ثطای فبیل ّبی ‪ Postscript ٍ PDF‬خْت خوغآٍضی اعاػبت زاضًس‪.‬‬ ‫‪ً )12‬سجت زضذَاست ‪ Html‬ثِ تػَیط‪ :‬ضٍثبتّبی ٍة ًسجت ثِ وبضثطاى اًسبًی فبیل ‪ Html‬ثیطتطی ضا زضذَاست هیزٌّس‪ ،‬ثطػىس ایي‪ ،‬وبضثطاى اًسبًی زضذَاست‬ ‫ثیطتطی ثطای تػَیط زاضًس‪ ،‬ثٌبثطایي ّط زِ ایي ًسجت ثیطتط ثبضس ثبظزیسوٌٌسُ ثِ ضٍثبت ًعزیهتط است‪.‬‬ ‫‪ )13‬زضغس زضذَاست فبیل ّبی زیگط‪ :‬هطٍضگطّبی ٍة ثِ غَضت ذَزوبض ولیِ هٌبثغ خبسبظی ضسُ زض یه غفحِ ٍة ضا هطبّسُ هیوٌٌس‪ .‬زض یه ًطست اگط تٌْب یه‬ ‫ًَع اظ هٌبثغ زضذَاست ضسُ ثبضس آى ًطست هطىَن ثِ ضٍثبت ٍة است‪ .‬ثٌبثطایي اگط غفحِ ٍثی ثسٍى هطبّسُ توبم هٌبثغ خبسبظی ضسُ زض آى‪ ،‬زض یه ًطست‬ ‫هطبّسُ ضَز‪ ،‬آى ًطست هطىَن ثِ ضٍثبت ٍة است‪.‬‬ ‫‪ )14‬زضغسی اظ وَویّب ‪ :‬وَویّب اعاػبتی ّستٌس وِ سطٍض ‪ HTTP‬هی تَاًس ثِ ّوطاُ هٌجغ زضذَاست ضسُ ثِ هبضیي وبضثط اضسبل وٌس‪ .‬وبضثط هوىي است ایي‬ ‫اعاػبت ضا شذیطُ وٌس ٍ هتؼبلجب ٌّگبم اضسبل زضذَاستّبی ثؼسی اعاػبت آى ضا ثِ سطٍض پس ثفطستس‪ .‬اگط زضغس وَویّب زض یه ًطست غفط ثبضس ًطست هطىَن‬ ‫ثِ ضٍثبت است‪.‬‬

‫‪ .2.1.3‬ثطزست گصاضی ًطستّب‬ ‫پس اظ تؼییي ذػیػِّب ثطای ّط ًطست‪ًَ ،‬ثت ثِ ثطزستگصاضی ًطستّب هیضسس‪ .‬زض هطحلِ اٍل توبم ًطستّبیی وِ ذػیػِ”‪ “robot.txt‬آًْب همساض یه است‪،‬‬ ‫ثِ ػٌَاى ضٍثبت زض ًظط گطفتِ هیضًَس‪ .‬زض ازاهِ ضضتِ ػبهل وبضثط ولیِ ًطستّبی ثبلیوبًسُ ثب لیست ضضتِ ػبهل وبضثط ضٍثبتّبی ضٌبذتِ ضسُ ٍة همبیسِ هیضَز‪ .‬زض‬ ‫غَضتیىِ ضضتِ ػبهل وبضثط ثب لیست ثطٍظضسُ ػبهلّبی وبضثط ضٍثبت ّبی ٍة هغبثمت زاضت‪ ،‬آى ًطست ًیع ثِ ػٌَاى ضٍثبت ٍة ضٌبذتِ هیضَز‪ .‬اگط ضضتِ ػبهل وبضثط‬ ‫ثب لیست ثطٍظضسُ هطٍضگطّبی ٍة هغبثمت زاضتِ ثبضس ٍ فبیل "‪ "robot.txt‬زض ایي ًطست ذَاًسُ ًطسُ ثبضس‪ً ،‬طست ثِ ػٌَاى اًسبى ثطزستگصاضی هیضَز‪.‬‬ ‫‪.4‬‬

‫هسل پیطٌْبزی‬

‫‪ .1.4‬سیستن استٌتبج فبظی‬

‫استٌتبج فبظی فطایٌس فطهَلِوطزى یه ًگبضت اظ ٍضٍزی ّبی زازُ ضسُ ثِ یه ذطٍخی‪ ،‬ثب استفبزُ اظ هٌغك فبظی است‪ .‬ایي ًگبضت‪ ،‬اسبسی ثطای گطفتي یه‬

‫تػوین یب تطریع یه سطی الگَ ذَاّس ثَز(‪ .)20‬سبذتبض ایي سیستن زض ضىل ظیط آهسُاست(‪:)22ٍ21‬‬

‫ضىل ‪ .1‬سبذتبض ولی یه سیستن استٌتبج فبظی‬

‫تَغیفی اظ اخعای ضىل (‪:)1‬‬ ‫پبیگبُ زاًص‪ّ :‬ستِ سیستن وِ ضبهل ولیِ لَاًیي سیستن ٍ تؼطیف تَاثغ ػضَیت هطثَط ثِ همسم ٍ تبلی ّط یه اظ لَاًیي است‪.‬‬ ‫هَتَض استٌتبج‪ :‬وِ ثط اسبس یه هىبًیعم اظ پیصتؼطیف ضسُ‪ ،‬اعاػبت پبیگبُ زاًص ضا ثِ وبض هیثطز‪.‬‬ ‫فبظیسبظ ٍ لغؼیسبظ‪ :‬زٍ ثان وِ ثِ تطتیت هَتَض استٌتبج ضا ثِ ٍضٍزیّب ٍ ذطٍخی سیستن هتػل هیوٌٌس‪.‬‬ ‫زض ایي همبلِ‪ٍ ،‬ضٍزیّبی سیستن‪ 14 ،‬ذػیػِ هطثَط ثِ تطریع ضٍثبت‪ ٍ ،‬ذطٍخی ًیع هتغیطی است وِ اًسبى یب ضٍثبت ثَزى ّط ًطست ضا تؼییي هیوٌس‪.‬‬ ‫ػاٍُ ثط ایي ًَع سیستن استٌبج فبظی ثىبض ضفتِ هوساًی است‪ .‬زض ایي سیستن‪ ،‬استٌتبج اظ پٌح هطحلِ اغلی ظیط تطىیل هیضَز‪:‬‬ ‫‪ -1‬فبظیسبظی ٍضٍزیّب‬ ‫‪ -2‬ثِ وبض ثطزى ػولگطّبی فبظی‪ .‬زض ایي همبلِ هتس هَضزاستفبزُ ثطای ػولگط ‪ ،AND‬هتس حساللسبظ‬

‫‪13‬‬

‫ٍ ثطای ػولگط ‪ ،OR‬هتس حساوثطسبظ‬

‫‪14‬‬

‫است‪.‬‬

‫‪ -3‬استفبزُ اظ هتس استٌجبط‪ .15‬زض ایي همبلِ اظ هتس حساللسبظ ثطای استٌجبط استفبزُ ضسُ است‪.‬‬ ‫‪ -4‬یىیوطزى توبم ذطٍخیّب‪ .16‬زض ایي همبلِ‪ ،‬اظ تبثغ حساوثطسبظ ثطای ایي وبض استفبزُ ضسُ است‪.‬‬ ‫‪ -5‬لغؼیسبظی‪ .17‬زض ایي همبلِ اظ هتس "‪ "centroid‬استفبزُ ضسُ است‪.‬‬

‫‪13‬‬

‫‪Min method‬‬ ‫‪Max method‬‬ ‫‪15‬‬ ‫‪Implication method‬‬ ‫‪16‬‬ ‫‪Aggregation method‬‬ ‫‪17‬‬ ‫‪Defuzzification‬‬ ‫‪14‬‬

‫زض ضٍش پیطٌْبزی‪ ،‬خْت آهَظش ٍ ایدبز تَاثغ ػضَیت ثطای ّط یه اظ ‪ 14‬ذػیػِ‪ ،‬اظ زضذت تػوین ‪ C4.5‬استفبزُ هیضَز‪ .‬اثتسا ثب استفبزُ اظ هدوَػِ زازُ‬ ‫هَخَز‪ ،‬زضذت تػوین سبذتِ هی ضَز‪ .‬سپس اظ زضذت حبغل ثطای استرطاج لَاًیي ٍ ًمبط ضىست استفبزُ هیضَز‪ .‬ثِ عَضیىِ ثِ اظای ّط ذػیػِ ًمبط ضىست‬ ‫هتفبٍتی ثسست هی آیس‪ .‬زض ازاهِ‪ ،‬ثب زاضتي ًمبط ضىست‪ ،‬تَاثغ ػضَیت هطثَط ثِ ّط ذػیػِ هطرع هیگطزز‪ .‬ضىل(‪ً )2‬وًَِ ای اظ ایي تَاثغ ضا ًطبى هیزّس‪.‬‬ ‫پس اظ تؼطیف ٍ ضسن تَاثغ ػضَیت‪ ،‬لَاػس استرطاج ضسُ اظ زضذت ثؼٌَاى لَاًیي سیستن استٌتبج فبظی ثجت هیضًَس ٍ ثسیي تطتیت هطحلِ آهَظش ثط ضٍی‬ ‫سیستن پیطٌْبزی اػوبل هی گطزز‪ .‬زض هطحلِ آظهَى‪ ،‬هدوَػِ زازُ تست ثؼٌَاى ٍضٍزی ثِ سیستن زازُ هیضَز‪ .‬ذطٍخی ًیع ػسزی ثیي ‪ 0‬تب ‪ 1‬است‪ .‬زض ایي همبلِ‬ ‫ًمغِ ضىست ثطای تبثغ ػضَیت ذطٍخی ثطاثط ‪ 0.4‬زض ًظط گطفتِ ضسُاست وِ ثیطتطیي زلت ضا زض تطریع ًَع ثبظزیسوٌٌسگبى ٍة زاضز‪.‬‬

‫ضىل ‪ً .2‬وَزاض هطثَط تبثغ ػضَیت ذػیػِ "ًطخ زضذَاست هتَالی"‬ ‫هیبًگیي ‪F1‬‬

‫هیبًگیي‬

‫ًطخ‬

‫هیبًگیي غحت‬

‫هیبًگیي زلت‬

‫فطاذَاًی‬

‫تؼساز ًطست اظ‬

‫تؼساز ًطست اظ‬

‫تؼسازول ًطست‬

‫ًَع ضٍثبت‬

‫ًَع اًسبى‬

‫ّب‬

‫هطرػبت‬ ‫هدوَػِ زازُ‬

‫‪99.15‬‬

‫‪99.07‬‬

‫‪99.24‬‬

‫‪98.97‬‬

‫‪1181‬‬

‫‪1181‬‬

‫‪2846‬‬

‫‪PW_Ds1‬‬

‫‪99.02‬‬

‫‪99.05‬‬

‫‪99‬‬

‫‪98.7‬‬

‫‪1181‬‬

‫‪757‬‬

‫‪2422‬‬

‫‪PW_Ds2‬‬

‫‪97.98‬‬

‫‪98.02‬‬

‫‪97.95‬‬

‫‪97.84‬‬

‫‪757‬‬

‫‪757‬‬

‫‪1998‬‬

‫‪PW_Ds3‬‬

‫خسٍل ‪ .1‬هطرػبت هدوَػِ زازُّب‬

‫‪.5‬‬

‫همبیسبت ٍ آظهبیطبت‬

‫آظهبیطبت اًدبم ضسُ زض ایي همبلِ ثط ضٍی فبیل ثجت ٍلبیغ سطٍض پبضسٍة اًدبم گطفتِاست‪ .‬هدوَػِ زازُ حبغل ثِ ًبم ‪ PW_Ds2‬زاضای ‪ً 2422‬طست ضبهل‬ ‫‪ 757‬اًسبى ٍ ‪ 1181‬ضٍثبت هیثبضس‪ .‬ثطای ضفغ هطىل ػسم تَاظى واسّب اظ تَلیس هدسز ًوًَِّب‪ 18‬استفبزُ ضسُاست(‪ .)11‬زض ‪ً PW_Ds1‬طخ اًسبى ثِ ‪ 50‬زضغس‬ ‫ضسیسُ ٍ ثب ًطخ ضٍثبت ثطاثط ضسُاست‪ ٍ .‬زض ‪ً PW_Ds3‬طخ ًوًَِ ضٍثبت وبّص یبفتِ ٍ ثِ ًطخ اًسبى ضسیسُ است‪ .‬زض ازاهِ ضٍش پیطٌْبزی ثب ضص ضٍش زازُ وبٍی‬ ‫همبیسِ هیضَز‪.‬‬ ‫‪ .1.5‬پبضاهتطّبی اضظیبثی سیستن‬ ‫زض ایي ثرص ثِ هؼطفی پبضاهتط ّبی اضظیبثی هَضز ًیبظ ثطای سیستن ثِ غَضت ذاغِ پطزاذتِ هیضَز(‪ .)11ٍ3‬ثطای تست غحت ٍ وبضایی‪ ،‬اظ هتطیه ّبی ثبظیبثی‬ ‫اعاػبت هبًٌس ‪ F-Measure ٍ Precision ،Recall‬استفبزُ ضسُاست‪ .‬ثب تَخِ ثِ خسٍل (‪ )1‬همساض ایي پبضاهتطّب ثطای ‪ PW_Ds1‬اظ سبیطیي ثیطتط است‪ ،‬پس زض‬ ‫ازاهِ ولیِ آظهبیطبت ثط ضٍی ّویي هدوَػِزازُ اًدبم گطفتِ هیضَز‪.‬‬ ‫‪Resampling‬‬

‫‪18‬‬

‫‪ :Precision )1‬یه هتطیه ػوَهی وِ ثطای اًساظُگیطی هفیس ثَى‪ 19‬الگَضیتن پیطٌْبزی ثِ وبض هیضٍز ٍ ثِ غَضت هؼبزلِ ظیط هیثبضس‪.‬‬ ‫(‪) 1‬‬ ‫تؼییي غحت پیصثیٌی ضٍثبت‪ ،‬ضاثغِ ثبا ثِ ایي غَضت تؼطیف هیضَز وِ ‪ tp‬تؼساز ول ًطستّبی اظ ًَع ضٍثبت است وِ ثسضستی پیصثیٌی ضسُاًس ٍ ‪ fp‬تؼساز‬ ‫ًطستّبی اًسبًی است وِ اضتجبّب ضٍثبت ضٌبسبیی ضسُاًس‪.‬‬ ‫ًوَزاض ظیط هیبًگیي غحت ضٍش پیطٌْبزی زض همبیسِ ثب سبیط ضٍضْب ضا ًطبى هیزّس‪.‬‬

‫ضىل ‪ً .3‬وَزاض غحت ضٍضْبی هرتلف زض تطریع ضٍثبت ٍة‬

‫‪ :Recall )2‬یه هتطیه ػوَهی است وِ ثطای اضظیبثی سَزهٌس ثَزى‪ 20‬الگَضیتن پیطٌْبزی ثِ وبض هیضٍز ٍ ثِ غَضت هؼبزلِ ظیط ػول هیًوبیس‪.‬‬ ‫(‪) 2‬‬ ‫زض ایي ضاثغِ ًیع ثطای ًطستّبی ضٍثبت‪ fn ،‬تؼساز ول ًطستّبی ضٍثبتی است وِ اضتجبّب اًسبى پیصثیٌی ضسُاًس‪.‬‬ ‫ًوَزاض ظیط هیبًگیي ًطخ فطاذَاًی ضٍش پیطٌْبزی زض همبیسِ ثب سبیط ضٍضْب ضا ًطبى هیزّس‪.‬‬

‫ضىل ‪ً .4‬وَزاض ًطخ فطاذَاًی ضٍضْبی هرتلف زض تطریع ضٍثبت ٍة‬

‫‪ :F1 )3‬یىی زیگط اظ هتطیهّبی اضظیبثی است وِ ثب استفبزُ اظ پبضاهتطّبی ‪ Precision ٍ Recall‬ثِ غَضت ضاثغِی (‪ )3‬ثِ زست هیآیس‪.‬‬

‫‪Usefulness‬‬ ‫‪Utility‬‬

‫‪19‬‬ ‫‪20‬‬

‫ضاثغِ ظیط‪ ،‬ضاثغِ ‪ F1‬است وِ تطویجی اظ زٍ هؼیبض ثباست‪ .‬ثطای ایٌىِ ‪ F1‬همساض ثعضگی زاضتِ ثبضس‪ ،‬ثبیس غحت ٍ ًطخ فطاذَاًی همبزیط ًعزیه ثِ ّن زاضتِ ‪-‬‬ ‫ثبضٌس‪ٍ .‬گطًِ ‪ F1‬ثِ سوت همساض وَزىتط هتوبیل ذَاّس ضس‪.‬‬ ‫(‪) 3‬‬ ‫ًوَزاض ظیط هؼیبض فَق ضا ثطای ّط یه اظ ضٍشّب ًطبى هی زّس‪.‬‬

‫ضىل ‪ً .5‬وَزاض ‪ F1‬ضٍضْبی هرتلف زض تطریع ضٍثبت ٍة‬

‫‪ .2.5‬آظهَى تی‬ ‫ضاُ زیگط ثطای اضظیبثی یه ضٍش واسثٌسی‪ ،‬استفبزُ اظ آظهَى تی است(‪ . )23ٍ3‬ثؼس اظ اػوبل ضٍش واسثٌسی هطثَعِ ًطستّب ثِ زٍگطٍُ ‪ 22tn ٍ21 tp‬تمسین‬ ‫هیضًَس‪ً .‬طستّبیی زض گطٍُ ‪ tn‬زستِ ثٌسی هیضًَس وِ اًسبى ثَزُ ٍ ثِ زضستی پیصثیٌی ضسُاًس‪ً .‬طستّبی گطٍُ ‪ً tp‬یع ضٍثبت ّبیی ّستٌس وِ زضست ضٌبسبیی‬ ‫ضسُ اًس‪ .‬زض ازاهِ هیبًگیي ٍ اًحطاف هؼیبض ذػیػِ ًطخ زضذَاست زًجبلِ هتَالی زض ّط زٍ گطٍُ هحبسجِ ضسُ ٍ عجك ضاثغِ (‪ )4‬همساض آظهَى تی هطرع هیگطزز‪.‬‬

‫ایي وویت ثطای سیستن پیطٌْبزی ثطاثط ‪ 65.53‬است‪ .‬زض ایي ضاثغِ ‪ mean2 ٍ mean1‬هیبًگیي ذػیػِ ًطخ زًجبلِ هتَالی زض گطٍُّبی ‪var 2 ٍ var 1 ٍ ،2ٍ 1‬‬ ‫اًحطاف هؼیبض ایي ذػیػِ زض گطٍُّبی هصوَض است‪ n2 ٍ n1 .‬تؼساز ًطستّبی هَخَز زض ّط زٍگطٍُ ضا ًطبى هیزٌّس‪ .‬زضخِ آظازی ایي تست اظ ضاثغِ ‪n1+ n2-1‬‬

‫هحبسجِ هیضَز‪ .‬ثب تَخِ ثِ اػساز حبغل اظ آظهَى‪ ،‬یؼٌی وویت ‪ ٍ t‬زضخِ آظازی هحبسجِ ضسُ سیستن استٌتبج فبظی آظهَى تی ضا ثب زلت ‪ 99.95‬پبس هیوٌس‪ً .‬وَزاض‬ ‫ظیط ًتبیح حبغل اظ ایي آظهَى ثط ضٍی ضٍشّبی هرتلف ضا ًطبى هیزّس‪.‬‬

‫‪True positive‬‬ ‫‪True negative‬‬

‫‪21‬‬ ‫‪22‬‬

‫ضىل ‪ً .6‬وَزاض هطثَط ثِ ًتبیح تست تی‬

‫‪ .3.5‬هٌحٌی ‪Roc‬‬ ‫هٌحٌی ‪23 Roc‬ثطای ًوبیص تؼبزل هبثیي وویتّبی ‪ 25FPR ٍTPR24‬زض یه ضٍش واسثٌسی استفبزُ هیضَز(‪ TPR .)18ٍ19‬وسطی اظ ًوًَِّبی ضٍثبت است‬ ‫وِ ثِ زضستی پیصثیٌی ضسُ اًس‪ ،‬زض حبلی وِ ‪ FPR‬وسطی اظ ًوًَِّبی اًسبًی است وِ ثِ غَضت ضٍثبت تطریع زازُضسُاًس‪.‬‬ ‫ضٍاثظ ظیط ثطای هحبسجِ ایي زٍ وویت استفبزُ هیضَز‪.‬‬ ‫(‪) 5‬‬ ‫(‪)6‬‬ ‫زض هٌحٌی ‪ FPR ،Roc‬هحَض ‪ّx‬ب ٍ ‪ TPR‬هحَض ‪ّy‬ب ضا ًطبى هی زّس‪ .‬پس ّط ًمغِ ایي هٌحٌی‪ً ،‬طبى زٌّسُ ظٍخی ثِ غَضت (‪ )FPR,TPR‬است‪ .‬ثطای ثسست‬ ‫آٍضزى ایي ًمبط‪ ،‬یه حسآستبًِ هتوبیعوٌٌسُ ثطای ضٍش واسثٌسی تؼییي هیگطزز ٍ ّط ثبض ًطخ ‪ TPR ٍ FPR‬ثطای ضٍش واسثٌسی هطثَعِ ثب تَخِ ثِ ایي حس‬ ‫آستبًِ‪ ،‬هحبسجِ هی ضَز‪ .‬زضًْبیت توبم ًمبط حبغل ثب ذغَعی ثِ ّن هتػل ضسُ ٍ هٌحٌی ضىل هی گیطز‪ .‬زض ایي همبلِ‪ ،‬حسآستبًِ ثب تغییط همبزیط تبثغ ػضَیت‬ ‫ذطٍخی سیستن فبظی هیگطزز‪ .‬یه هٌحٌی ‪ Roc‬هغلَة‪ ،‬تب حساهىبى ثِ ًمغِ (‪ً )0,1‬عزیه است‪ .‬خبئیىِ ‪ FPR‬همساض غفط ٍ ‪ TPR‬همساض یه ضا زاضز‪ .‬ثِ ایي هؼٌب وِ‬ ‫هسل اضائِ ضسُ ثطای واسثٌسی‪ّ ،‬یر اًسبًی ضا ثِ ػٌَاى ضٍثبت ضٌبسبیی ًىطزُاست ٍ توبم ضٍثبتّبی هَخَز زض ًوًَِ ثسضستی ثِ ػٌَاى ضٍثبت تطریع زازُ ضسُاًس‪.‬‬ ‫ًمغِ (‪ً )0,0‬طبى زٌّسُ حس آستبًِای است وِ زض آى توبم ًوًَِّب ثِ ػٌَاى اًسبى پیصثیٌی هیضًَس ٍ ثطػىس ًمغِ (‪ )1,1‬حس آستبًِای ضا هؼطفی هیوٌس وِ ثبػث‬ ‫پیصثیٌی توبم ًوًَِّب ثِ ػٌَاى ضٍثبت هیگطزز‪ّ .‬ط زِ ًوَزاض ثب ضیت ثیطتطی ثِ سوت ًمغِ (‪ )0,1‬هتوبیل گطزز هغلَةتط است‪ .‬هطرػِ هْن ایي ًوَزاض هسبحت‬ ‫ظیط ضىل حبغل اظ آى است وِ ثِ آى ‪ 26AUC‬گَیٌس‪ .‬وویت ‪ AUC‬ثطای یه واسثٌسی ذَة ثطاثط یه است‪.‬‬

‫‪23‬‬

‫‪Receiver Operating Characteristic‬‬ ‫‪True positive rate‬‬ ‫‪25‬‬ ‫‪False positive rate‬‬ ‫‪26‬‬ ‫‪area under the curve‬‬

‫‪24‬‬

‫ سیستن پیطٌْبزی‬ROC ‫...