روشی جدید در یافتن اسناد یکسان در وب

فردین ابدالی محمدی; نصرالدین نیازی; عبدالحسین فتحی

روشی جدید در یافتن اسناد یکسان در وب

Publish place: National Conference on Computer Engineering and Information Technology Management

Publish Year: 1393

نوع سند: مقاله کنفرانسی

زبان: Persian

This Paper With 11 Page And PDF Format Ready To Download

دریافت فایل کامل Paper

Certificate
من نویسنده این مقاله هستم

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این Paper:

https://civilica.com/doc/282980

شناسه ملی سند علمی:

CSITM01_439

تاریخ نمایه سازی: 10 شهریور 1393

Abstract:

با رشد و گسترش روزافزون شبکه اینترنت و تولید اسناد و فایل های تکراری یا مشابه، سیستم های ذخیره سازی داده ها با مشکلاتی روبرو شدهاند. در راستای حل این مشکلات، الگوریتمهای زیادی برای تشخیص سندهای تکراری به وجود آمده اند که با حذف سندهای اضافی، تنها یک نسخه ی منحصربه فرد را نگهداری میکنند. با این عمل، مقدار فضای مورد نیاز برای ذخیرهسازی کاهش می یابد. همچنین، نقل و انتقال سندهای غیرتکراری در بستر اینترنت به پهنای باند کمتری نیاز خواهد داشت. در این مقاله سوالات جدیدی در مورد روش محاسبه ی مفهومی به نام Containment Document پیش میآید که با پاسخ به آنها و شبیه سازی الگوریتمهای پیشنهادی، اثبات خواهیم کرد که میتوان در مدت زمانبسیار کمتری تکراری بودن فایل ها و سندهای موجود در شبکه جهانی وب را نشان داد. به کمک این روش سندهای مشابه در یک خوشه قرار داده میشوند و در مواردی از جمله فیلترکردن نتایج به دست آمده از موتورهای جستجو، به روزرسانی گسترده ی صفحات وب توزیع شده و ... از آن استفاده می شود.

Keywords:

شباهت اسناد , شینگل , ابر شینگل , اسناد زیر مجموعه

Authors

فردین ابدالی محمدی

استادیار دانشگاه رازی کرمانشاه

نصرالدین نیازی

دانشجوی کارشناسی ارشد

عبدالحسین فتحی

استادیار دانشگاه رازی کرمانشاه

مراجع و منابع این Paper:

لیست زیر مراجع و منابع استفاده شده در این Paper را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود Paper لینک شده اند :

A.Broder, N.Eiron, M.Fontoura, M.Herscovici, R.Lempel, J.Mcpherson, & E.Shekita. (2006). Indexing ...
Abdur chowdhury, Ophir frieder, David grossman, & mccabe, Mary catherine. ...
Andrei Z. Broder, Steven C. Glassman, Mark S. Manasse, & ...
B.Stein. (2005). Fuzzy- Fingerprints for Text-based Information Retrieval. Paper presented ...
Broder, Andrei Z. (1997). On the resemblance and containment of ...
Broder, Andrei Z. (2000). Identifying and Filtering Near-Duplicate Documents. Springer- ...
C.Lyon, _ _ _ _ _ _ «f similar tes ...
C.Xiao, W.Wang, X.Lin, & J.Yu. (2008). Efficent Similarity Joins for ...
D.Fetterly, M.Manasse, & M.Najork. (2003). On the Evolution of Clusters ...
D.Manning, Christopher, Raghavan, Prabhakar, & Schitze, Hinrich. (2009). An Introduction ...
Gharghe, Zahra Eskandari, & Bidgoli, Behrouz Minaei. (2009). Weighted shingling: ...
Hajishirzi, Hannaneh, Yih, Wen-tau, & Kolcz, Aleksander. (2010). Adaptive Near-Duplicate ...
Henzinger, Monika. (2006). Finding Nea r-Duplicate Web Pages: A Large-Scale ...
Huang, Lian'en, Wang, Lei, & Li, Xiaoming. (2008). Achieving both ...
Hui Yang, & Callan, Jamie. Near-Duplicate Detection for eRulemaking. Information ...
J.Comrad, X.Guo, & C.Schriber. (2003). Online duplicate document dete ction:Signatu ...
J.G.Conrad & , C.P.Schriber. (2004). Constructing a text corpus for ...
John Gibson, BenWellner, & Lubar, Susan. Identification of Duplicate News ...
M.Charikar. (2002). Similarity estimation techniques from rounding algorithms. Paper presented ...
Mahab aleshwar, Ravindra. (2011). Effective Data Deduplication Imp lementation. Tata ...
Manku, Gurmeet Singh, Jain, Arvind, & Sarma, Anish Das. (2007). ...
Phillips, Jeff M. (2013). Jaccard Similarity and Shingling. Data Mining ...
Potthast, Martin, & Stein, Beno. (2008). New Issues in Near-duplicate ...
R.J.Bayardo, Y.Ma, & R.Srikant. (2007). Scaling up all pairs similarity ...
Rajaraman, Anand, & Ullman, Jeffrey D. (2011). Mining of Massive ...
S.Brin, J.Davis, & H.Garc ia-Molina. (1995). Copy detection mechanisms for ...
S.Sarawagi, & A.Kirpal. (2004). Efficient set joins on similarity predicates. ...
S.YE, J.WEN, & W.MA. (2006). A Systematic Study of Parameter ...
T.C.Hoad, & J.Zobel. (2003). Methods for Identifying Versioned and Plagiarised ...
U.Manber. (1994). Finding similar files in a large file system. ...
Uyar, Erkan. (2009). NEAR-DUP LICATE NEWS DETECTION USING NAMED ENTITIES. ...
Y.Bernstein, & J.Zobel. (2005). Redundant documents and search effectiveness. Paper ...
Y.Bernstein, M.Shokouhi, & J.Zobel. (2006). Compact features for detection of ...

نمایش کامل مراجع