گروه طبقه بندی دوتایی مبتنی بر واگرایی Bregman برای طبقه بندی چند طبقه

ما یک روش ادغام جدید طبقه بندی کننده های باینری را برای طبقه بندی چند طبقه پیشنهاد می کنیم. روش پیشنهادی به عنوان یک مشکل به حداقل رساندن مخلوط وزنی واگرایی Bregman مشخص می شود و از طبقه بندی های باینری به عنوان وکتور ویژگی وابسته به کلاس استفاده می کند. ما در مورد خصوصیات آماری روش پیشنهادی و رابطه بین روش پیشنهادی و روشهای طبقه بندی چند طبقه موجود بحث می کنیم و نشان می دهیم که بسیاری از روشهای موجود می توانند به عنوان موارد خاص روش پیشنهادی تدوین شوند. آزمایش های کوچک نشان می دهد که روش پیشنهادی می تواند به طور مؤثر اطلاعات طبقه بندی کننده های باینری را در طبقه بندی چند طبقه قرار دهد.

مقدمه

طبقه بندی تحت نظارت یکی از مهمترین مباحث در حوزه یادگیری ماشین است و به ویژه مشکل طبقه بندی چند طبقه با کلاس های G (3 ≥) یک مسئله مهم است. در حالی که روش های مشکل طبقه بندی باینری به خوبی تثبیت شده است ، طبقه بندی چند طبقه همچنان چالش برانگیز است و روش های دستیابی به آن هنوز در حال توسعه است. یک رویکرد اصلی برای طبقه بندی چند کلاس به طور مستقیم توابع تبعیض آمیز را برای چندین کلاس ایجاد می کند ، به عنوان مثال ، با برآورد چگالی احتمال مشروط برای هر کلاس. تاکنون چندین پسوند چند طبقه از SVM [5] و Adaboost (Adaboost-M2 و غیره) [7] پیشنهاد شده است. یک پیشرفت قابل توجه اخیر در این رویکرد ، روش عمیق و مبتنی بر یادگیری است [15]. رویکرد دیگر رمزگشایی از مجموعه ای از طبقه بندی کننده ها است که در آن طبقه بندی اصلی چند طبقه به مشکلات طبقه بندی چندگانه (به طور معمول باینری) تجزیه می شود ، به طوری که عملکرد تبعیض آمیز چند طبقه به گونه ای ساخته می شود تا نتایج طبقه بندی کننده های تشکیل دهنده تشکیل شود. این رویکرد از نظر محاسباتی امکان پذیر است و مطالعات زیادی مانند رمزگشایی چکش [6] ، رمزگشایی کدگذاری خروجی (ECOC) تصحیح خطا [26] ، رمزگشایی مبتنی بر از دست دادن [1] ، SVM چند طبقه [31] و Bradley-Terry (BT) رمزگشایی مبتنی بر مدل [12] ، [27] ، [33] به عنوان نمونه ای از این رویکرد پیشنهاد شده است. مسئله مهم این رویکرد این است که چگونه می توان مشکل طبقه بندی چند طبقه اصلی را به طور مؤثر به یک شکل آسان حل کرد ، که اغلب به عنوان یک مسئله رمزگذاری اصطلاحات است. به عنوان مثال ، [29] یک ساختار سلسله مراتبی مرتبط با تجزیه و [17] ، [18] ، [32] اطلاعاتی را که توسط طبقه بندی کننده های باینری در طبقه بندی کننده چند طبقه حاصل به اشتراک گذاشته می شود ، با استفاده از همزمان بهینه سازی توابع هزینه متا در نظر گرفت. برای ادغام و آموزش طبقه بندی های باینری. در حالی که تجزیه و تحلیل نظری رویکرد اول می تواند ساده باشد [34] ، عملکرد هزینه معمولاً پیچیده می شود و بهینه سازی به معنای هزینه محاسباتی به ویژه هنگامی که تعداد کلاس ها ، g ، بسیار زیاد است. از طرف دیگر ، رویکرد دوم به راحتی قابل اجرا است زیرا برنامه های بسته بندی سریع و پیشرفته می توانند به عنوان طبقه بندی کننده های باینری تشکیل دهنده در دسترس باشند و هزینه محاسباتی آن فقط متناسب با تعداد طبقه بندی کننده های باینری است. در این مطالعه ، ما یک روش طبقه بندی چند کلاس متعلق به دسته دوم ، یعنی ،

یک روش ادغام جدید طبقه بندی کننده های باینری تشکیل دهنده ، که به عنوان به حداقل رساندن مقدار وزنی واگرایی Bregman مشخص می شود. 1 روش پیشنهادی می تواند بسیاری از روشهای موجود را بر اساس رویکرد گروه به عنوان موارد خاص در بر بگیرد و می تواند با استفاده از وکتور ویژگی وابسته به کلاس که از طبقه بندی کننده های باینری ساخته شده است ، تفسیر شود.

در بخش 2 ، مقدمات فنی مورد بررسی قرار می گیرد و مهمترین مفهوم ، مدل های مخلوط ، معرفی می شود. بخش 3 روش ادغام جدید را بر اساس یک مدل مخلوط با استفاده از واگرایی Bregman توصیف می کند. در بخش 4 ، ما نشان می دهیم که روش پیشنهادی بسیاری از روشهای طبقه بندی چند طبقه موجود را به عنوان موارد خاص شامل می شود. خصوصیات آماری روش پیشنهادی در بخش 5 مورد بحث قرار گرفته است. بخش 6 عملکرد روش پیشنهادی را از طریق سه نوع آزمایش بررسی می کند. بخش 7 این مطالعه را نتیجه می گیرد.

قطعه قطعه

تنظیمات و مشکل<1 , … , G>بگذارید x یک ورودی باشد و y ∈ y =برچسب کلاس آن باشید. هدف اصلی طبقه بندی چند کلاس (3 g ≥) ، x ↦ y ، ساخت یک تابع تبعیض آمیز y ^ (x) بر اساس یک مجموعه داده معین از جفت n ورودی و برچسب کلاس آن ، d =<+ 1 , 0 , − 1>i = 1 n. بگذارید مشکل طبقه بندی G-Class اصلی ، x ↦ y ، را در مشکلات طبقه بندی باینری j تجزیه کنیم. بگذارید w<+ 1 , 0 , − 1>j × g یک ماتریس کلمه کد باشد ، که فرض می شود پیشینی داده می شود ، و z (y) = (z 1 (y) ،… ، z j (y)) t ∈

j ستون y از W ، کجا

کارهای مرتبط

در این بخش ، ما دو اثر مرتبط ، Bregman Vivergence و ترکیبی عمومی از اقدامات مثبت با واگرایی Bregman را شرح می دهیم. واگرایی Bregman نشان دهنده اختلاف بین اقدامات مثبت است و مخلوط عمومی اقدامات مثبت با یک مشکل به حداقل رساندن واگرایی Bregman تعریف می شود. ما از مدل مخلوط عمومی برای ادغام طبقه بندی کننده های باینری استفاده می کنیم.

روش پیشنهادی

ما با ادغام چندین طبقه بندی باینری ، طبقه بندی چند طبقه را انجام می دهیم. چنین ادغام با استفاده از مدل های مخلوط شرح داده شده در بخش قبلی انجام می شود.

روش پیشنهادی به شرح زیر است. 1_jما یک اندازه مثبت q می سازیم_j(y | x) از عملکرد تبعیض آمیز f_j(x) ∈ R برای هر یک از طبقه بندی های باینری (j = 1 ،… ، j). از آنجا که ما به q نیاز داریم

(y | x) فقط یک اندازه گیری مثبت باشد ، ∑ y ∈ y q j (y | x) = 1 لزوماً نگه نمی دارد. نمونه ای از یک اندازه گیری مثبت کلاس است

رابطه با روشهای دیگر

در این بخش ، ما در مورد رابطه بین روش پیشنهادی و روشهای طبقه بندی چند طبقه محبوب ، یعنی رمزگشایی چکش [6] ، SVM چند کلاس [31] ، رمزگشایی مبتنی بر ضرر [1] ، رمزگشایی ECOC [26] ، بحث می کنیم. و روشهای مبتنی بر مدل Bradley-Terry (BT) [12] ، [27] ، [33]. ما نشان می دهیم که بیشتر این روش ها را می توان به عنوان موارد خاص روش پیشنهادی مشاهده کرد. اگرچه روشهای مبتنی بر مدل BT در کلاس روش پیشنهادی گنجانده نشده است ، ما نشان می دهیم که عملکرد از دست دادن BT

تجزیه و تحلیل بدون علامت

در این بخش ، خواص آماری روش پیشنهادی را بر اساس چارچوب تجزیه و تحلیل بدون علامت نشان می دهیم. در اینجا ، ما فرضیات زیر را مطرح می کنیم: 1._jاقدامات مثبت q

(y | x) (j = 1 ،… ، j) نرمال می شوند تا در فضای توزیع احتمالی ، ص.

مدل های مخلوط P ¯ m و p ¯ u نیز نرمال شده و در صفحه.₀LET P P_j(y | x) توزیع مشروط واقعی y با داده x و η j (y | x) = q j (y | x) - p 0 (y | x) خطایی بین توزیع احتمال تخمین زده شده q است

و واقعی

آزمایش

ما سه آزمایش کوچک برای رعایت رفتارهای چارچوب پیشنهادی انجام دادیم. در آزمایش اول ، ما بحث کردیم که چگونه انتخاب واگرایی یا به طور معادل مدل مخلوط بر عملکرد طبقه بندی تأثیر می گذارد. در آزمایش دوم ، ما عملکرد روش پیشنهادی را با استفاده از مجموعه داده های واقعی بررسی کردیم. در آزمایش سوم ، ما ادعای مندرج در گزاره 9 را بررسی کردیم ، یعنی تأثیر همبستگی احتمالات مشروط بر عملکرد طبقه بندی ،

نتیجه گیری

ما یک روش رمزگشایی جدید برای طبقه بندی چند کلاس ارائه دادیم که با به حداقل رساندن مخلوط وزنی واگرایی Bregman مشخص می شود. روش ما اقدامات مثبتی را از خروجی طبقه بندی های باینری انجام می دهد و اقدامات مثبت از نظر واگرایی Bregman در یک مدل مخلوط ادغام می شوند. مدل مخلوط از اقدامات مثبت (یا طبقه بندی کننده های باینری معادل باینری) به عنوان وکتور ویژگی وابسته به کلاس ، متفاوت از مدل رگرسیون لجستیک محبوب استفاده می کند

تصدیق

این کار توسط شماره های اعطای کمک های JSPS Kakenhi 25730018 ، 15H01678 و 16K00051 از MEXT ، ژاپن و بخشی از پروژه Robot Core نسل بعدی و توسعه فناوری هوش مصنوعی از Nedo ، ژاپن پشتیبانی شده است.