A Comparison of Document Clustering Techniques

چکیده :

این مقاله به بررسی نتایج حاصل از مطالعات تجربی روش های متداول خوشه بندی اسناد (داکیومنت) می پردازد. به خصوص در این مقاله، دو روش اصلی خوشه بندی داکیومنت به نام های خوشه‌بندی سلسله مراتبی متراکم و روش k-mean را بررسی و مقایسه می کنیم. (در روش k-means از الگوریتم استانداردk و متغیر آن وbisecting K-means استفاده کرده ایم). خوشه بندی سلسله مراتبی اغلب به عنوان روش خوشه بندی با کیفیت بهتر به تصویر کشیده می شود، اما به دلیل پیچیدگی های زمانی کوادراتیک یا درجه دوم آن محدودیت هایی هم دارد. در مقابل، روش k-means و متغیرهای آن دارای پیچیدگی های زمانی بصورت خطی است اما خوشه های درجه دوم و پایین تری بوجود می آورد. برخی مواقع، روش سلسله مراتبی و k-means به منظور دست یابی به بهترین روش با هم ترکیب می شوند. با این حال، نتایج بدست آمده از تحقیق ما حاکی از این است که روش k-meansbisectingبهتر از استاندارد k-means است و بهتر و مناسب تر از روش سلسله مراتبی است که ما معیارهای ارزیابی خوشه را آزمایش کردیم. توضیحاتی برای این نتایج بدست آمده داریم که مبتنی بر تجزیه و تحلیل جزئییات الگوریتم خوشه بندی و ماهیت داده های داکیومنت ارائه شده است.

1) پیش زمینه و انگیزه و هدف تحقیق

خوشه بندی اسناد (داکیومنت) برای استفاده در حوزه های متعددی ازجمله معنای متن و بازیابی اطلاعات بررسی شده است. درابتدا، روش خوشه بندی اسناد (داکیومنت) در جهت بهبود دقت و یا فراخوان در سیستم های بازیابی اطلاعات [Rij79, Kow97] بررسی شد و روشی کارآمد برای این منظور مشخص گردید[BL85]. به تازگی خوشه بندی به منظور استفاده در مرور یک مجموعه ای از اسناد (داکیومنت) ارائه می شود [CKPT92] و یا در سازماندهی نتایج که بواسطه یک موتور جستجو برای کاربر مفید واقع می شود. [ZEMK97]. خوشه بندی اسناد (داکیومنت) همچنین برای تولید خودکار خوشه های سلسله مراتبی استفاده شده است [KS97]. (نسل خودکار رده بندی اسناد (داکیومنت) وب همانند موارد تولیدی یاهو (www. yahoo. com) اغلب به عنوان یک هدف ذکر شده است.). یک روش تاحدودی متفاوت هم به این صورت است که خوشه های طبیعی در رده بندی سند در حال حاضر موجود (یاهو) وجود دارد. [AGY99]. و پس از آن از این خوشه ها به منظور تولید یک رده بندی سند موثر برای اسناد (داکیومنت) جدید استفاده می شود. خوشه بندی سلسله مراتبی متراکم و روش k-means دو روش خوشه است که معمولا برای خوشه بندی سند استفاده می شود. خوشه بندی سلسله مراتبی گرچه کندتر است اما اغلب از روش k-means بهتر و کاربردی تر است. مطالعه شناخته شده گسترده ای در این زمینه وجود دارد که در [DJ88] بتفصیل بیان شده است، این مباحث نشانگر این است که خوشه بندی سلسله مراتبی نسبت به k-means ارجح تر است، گرچه باید به این نکته توجه داشته باشید که این نتایج از طریق داده های غیر داکیومنت بدست آمده است. در حوزه داکیومنت، پراکندگی / جمع آوری [CKPT92]، سیستم بازبینی داکیومنت مبتنی بر خوشه بندی با استفاده از یک روش ترکیبی که شامل هر دو روش خوشه بندی ذکر شده است انجام می گیرد. K-means روشی است که بعلت کارآمدی آن مورد استفاده قرار می گیرد و روش خوشه بندی سلسله مراتبی متراکم به دلیل کیفیت آن مورد توجه است. تحقیقات اخیر در ایجاد سلسله مراتب اسناد (داکیومنت) [LA99] استفاده از برخی از تکنیک های خوشه بندی [CKPT92] را ملزم ساخته و نتیجه این تحقیقات نشان می دهد که خوشه بندی سلسله مراتبی از روش K-means بهتر است. اگرچه این نتایج تنها در مورد یک مجموعه داده واحد کاربرد دارد و یکی ازنتایج عمده ای تحقیق ما محسوب نمی شود.

Recent Developments in Document Clustering

این گزارش مروری کوتاه بر وضعیت فعلی پژوهش  های انجام گرفته بر خوشه بندی داکیومنت دارد و پیشرفت های اخیر در این حوزه را معرفی می کند. الگوریتم های خوشه بندی با دو سناریو فرضی در ذهن در نظر گرفته می شود: خوشه بندی query آنلاین با محدودیت کارآمدی شدید و خوشه بندی آفلاین با تاکید بر صحت انجام. تجزیه و تحلیل مقایسه ای الگوریتم ها همراه با یک جدول خلاصه ویژگی های مهم انجام شده و مشکلات باز و همچنین تحقیقات آتی در این حوزه مورد بحث قرار می گیرد.

محتوا

1. 1.      مقدمه
2. 2.      خوشه بندی خوب، بد و زشت
3. 3.      مدل فضای برداری

 3.1 پیش‌ پردازی

 3.2 مثال

1. 4.      توسعه k-means

 4.1 k-meanکروی آنلاین

  4.2 k-means کرنل

1. 5.      الگوریتم زایشی

 5.1 مدل گاسین

5.2 حداکثر انتظار

 5.3 مدل میزس-فیشر

 5.4 k-means مبتنی بر مدل

1. 6.      خوشه بندی طیفی 

6.1 خوشه تقسیم و ادغام

 6.2 خوشه بندی fuzzyفازی

1. 7.      کاهش ابعادسنجی

7.1 تجزیه و تحلیل مولفه های اصلی

7.2 تجزیه ماتریس نامنفی

  7.3کوکلاسترینگ طیفی نرم

 7.4 لینگو

1. 8.      مدل مبتنی بر عبارت

 8.1 خوشه بندی درختی

8.2 نمودار ضمیمه داکیومنت

1. 9.      تحلیل مقایسه ای

 9.1 خوشه بندی جستجو Query

9.2 خوشه بندی مجموعه    

10.  نتیجه گیری

   مقدمه

خوشه بندی داکیومنت و یا متن زیر مجموعه ای از حوزه بزرگتر از خوشه بندی داده ها است که مفاهیم را از  زمینه های بازیابی اطلاعات (IR)، پردازش زبان طبیعی (NLP)، و یادگیری ماشین (ML) قرض می گیرد. خوشه بندی اسناد از این پس به سادگی به عنوان خوشه بندی معرفی شده است.

فرایند خوشه بندی با هدف کشف گروه بندی های طبیعی است و بنابراین  یک نمای کلی از رده ها(موضوعات) در مجموعه اسناد ارائه می دهد. در زمینه هوش مصنوعی،به عنوان یادگیری ماشین بدون سرپرست شناخته شده است. خوشه بندی را نباید با طبقه بندی اشتباه گرفت. در مسئله طبقه بندی شماره رده و ویژگی های آن بصورت قیاسی شناخته شده است و اسناد در این رده اختصاص داده است. در مقابل، در مسئله خوشه بندی همانطور که در شماره1 است ویژگی ها و یا عضویت (ترکیب) هر رده از پیش شناخته شده است. این تفاوت در شکل 1 نشان داده شده است. طبقه بندی مثالی از یادگیری ماشینی نظارت شده است.