У статыстыцы класіфікацыя — задача вызначэння таго, да якой катэгорыі адносіцца назіранне. Прыклады: аднясенне электроннага ліста да класа "спам" ці "не спам", а таксама прызначэнне дыягназу пацыенту на аснове яго характарыстык (пол, крывяны ціск, наяўнасць або адсутнасць пэўных сімптомаў і г.д.).

Часта асобныя назіранні аналізуюцца паводле набору ўласцівасцей, вядомых як тлумачальныя зменныя або прыкметы. Гэтыя ўласцівасці могуць быць катэгарыяльнымі (напрыклад, «A», «B», «AB» ці «O», для групы крыві), парадкавымі (напрыклад, «вялікі», «сярэдні» ці «маленькі»), цэлалікавымі (напрыклад, колькасць уваходжанняў пэўнага слова ў электронны ліст) або ў рэчаісназначнымі (напрыклад, крывяны ціск). Іншыя класіфікатары працуюць, параўноўваючы назіранні з папярэднімі назіраннямі з дапамогай функцыі падабенства або адлегласці.

Алгарытмы класіфікацыі, асабліва ў канкрэтнай рэалізацыі, завуцца класіфікатарамі. Тэрмін «класіфікатар» таксама часам адносіцца да матэматычнай функцыі, рэалізаванай у алгарытме класіфікацыі, якая суадносіць уваходныя даныя з катэгорыяй.

Тэрміналогія ў розных галінах можа розніцца. У статыстыцы, дзе класіфікацыя часта робіцца праз лагістычную рэгрэсію ці падобную працэдуру, уласцівасці назіранняў завуцца тлумачальнымі зменнымі (або незалежнымі зменнымі, рэгрэсарамі, і г.д.), а прагназаваныя катэгорыі вядомыя як вынікі, якія прызнаюцца магчымымі значэннямі залежнай зменнай. У машынным навучанні, назіранні часта вядомыя як прыклады, тлумачальныя зменныя завуцца прыкметамі (згуртаванымі ў вектары прыкмет), а магчымая катэгорыі класамі. Іншыя галіны могуць карыстацца іншай тэрміналогіяй, напрыклад у экалогіі экасістэм тэрмінам «класіфікацыя» звычайна завецца кластарны аналіз.

Сувязь з іншымі задачамі

Класіфікацыя і кластарызацыя — прыклады больш агульнай праблемы распазнавання ўзораў, якая заключаецца ў прысваенні выхаднога значэння зададзенаму ўваходнаму значэнню. Іншыя прыклады — рэгрэсія, якая прысвойвае рэчаіснае значэнне кожнаму запыту, разметка паслядоўнасці, якая прысвойвае клас кожнаму элементу паслядоўнасці значэнняў (напрыклад, разметка часцін мовы, якая вызначае часціну мовы кожнага слова ў сказе), сінтаксічны аналіз, які будуе сінтаксічнае дрэва сказа, і г.д.

Вядомы раздзел класіфікацыі — імавернасная класіфікацыя. Алгарытмы такога роду выкарыстоўваюць статыстычнае высноўванне, каб класіфікаваць назіранне. У адрозненне ад іншых алгарытмаў, якія проста знаходзяць найбольш імаверны клас, імавернасны алгарытм вызначае імавернасць таго, што назіранне адносіцца да кожнага з магчымых класаў. Такі алгарытм мае мноства пераваг перад неімавернаснымі класіфікатарамі:

• Паказвае ўзровень упэўненасці алгарытму ў выбраным класе.
• Адпаведна, можа ўстрымацца ад выбару калі ўпэўненасць у кожным з класаў занадта нізкая.
• Дзякуючы вызначаным імавернасцям, такі класіфікатар можа быць больш удала спалучаны з большымі сістэмамі машыннага навучання, часткова ці поўнасцю ўнікаючы праблемы пашырэння памылкі.

Частотныя метады

Першыя работы ў галіне статыстычнай класіфікацыі належаць Рональду Фішэру^[1][2]. Ён працаваў над задачай класіфікацыі з двума класамі і стварыў метад лінейнага дыскрымінанта^[3]. Фішэр дапускаў, што даныя кожнага з двух класаў маюць многавымернае нармальнае размеркаванне. Таксама разглядалася пашырэнне метаду на больш чым два класы з тым абмежаваннем, што функцыя класіфікацыі мусіць быць лінейнай^[3][4]. Пазнейшыя працы для многавымернага нармальнага размеркавання дапускалі нелінейныя класіфікатары^[5]: пэўныя правілы класіфікацыі могуць быць атрыманыя на аснове розных дапасаванняў адлегласці Махаланобіса, пры гэтым новае назіранне адносіцца да класу, цэнтр якога мае найменшую адлегласць ад назірання.

Баесаўскія метады

У адрозненне ад частотных метадаў, метады баесаўскай класіфікацыі забяспечваюць натуральны спосаб уліку любой даступнай інфармацыі аб адносных памерах розных класаў у генеральнай сукупнасці^[6]. Баесаўскія працэдуры, як правіла, вылічальна дарагія, і да таго, як з’явіліся вылічэнні Монтэ-Карла з ланцугамі Маркава, былі распрацаваны набліжэнні для баесаўскіх правіл класіфікацыі^[7].

Некаторыя баесаўскія метады знаходзяць імавернасць прыналежнасці класу: яны забяспечваюць больш інфарматыўны вынік, чым простае прысваенне адной меткі класа кожнаму новаму назіранню.

Бінарная і мнагакласавая класіфікацыя

Класіфікацыю можна разглядаць як дзве асобныя задачы — бінарную класіфікацыю і мнагакласавую класіфікацыю. У бінарнай класіфікацыі, больш зразумелай задачы, задзейнічаны толькі два класы, у той час як мнагакласавая класіфікацыя прадугледжвае прысваенне аб’екта аднаму з трох ці больш класаў^[8]. Праз тое, што многія метады класіфікацыі былі распрацаваны адмыслова для бінарнай класіфікацыі, мнагакласавая класіфікацыя часта патрабуе супольнага выкарыстання некалькіх бінарных класіфікатараў.

Вектары прыкмет

Большасць алгарытмаў апісвае асобнае назіранне, клас якога павінны быць вызначаны з дапамогай вектара асобных, вымерных уласцівасцей назірання. Кожная ўласцівасць называецца прыкметай, таксама вядомай у статыстыцы як тлумачальная зменная (або незалежная зменная, хоць прыкметы могуць быць статыстычна незалежнымі, а могуць і не быць). Прыкметы могуць быць бінарнымі (напрыклад, «уключана» ці «выключана»), катэгарыяльнымі (напрыклад, «A», «B», «AB» ці «O», для групы крыві), парадкавымі (напрыклад, «вялікі», «сярэдні» ці «маленькі»), цэлалікавымі (напрыклад, колькасць уваходжанняў пэўнага слова ў электронны ліст) або ў рэчаісназначнымі (напрыклад, крывяны ціск). Калі назіранне гэта выява, значэнні прыкмет могуць адпавядаць яе пікселям; калі асобнік гэта фрагмент тэксту, значэннямі прыкмет могуць быць частоты з’яўлення розных слоў. Некаторыя алгарытмы працуюць толькі з дыскрэтнымі данымі і патрабуюць, каб рэчаісныя або цэлыя прыкметы былі разбіты на групы (напрыклад, менш за 5, паміж 5 і 10 або больш за 10).

Лінейныя класіфікатары

Вялікая колькасць алгарытмаў для класіфікацыі можа быць сфармулявана ў тэрмінах лінейнай функцыі, якая прысвойвае ацэнку кожнаму магчымаму класу ${\displaystyle k}$ шляхам камбінавання вектара прыкмет назірання з вектарам вагаў, выкарыстоўваючы скалярны здабытак. У выніку назіранне адносіцца алгарытмам да класа з найбольшай ацэнкай. Гэты тып ацэначнай функцыі вядомы як лінейная прадказальная функцыя і мае наступны агульны выгляд:

$${\displaystyle \operatorname {score} (\mathbf {X} _{i},k)={\boldsymbol {\beta }}_{k}\cdot \mathbf {X} _{i},}$$

дзе ${\displaystyle \mathbf {X} _{i}}$ — вектар прыкмет для назірання ${\displaystyle i}$, ${\displaystyle {\boldsymbol {\beta }}_{k}}$ — вектар вагаў, адпаведных класу ${\textstyle k}$, а score(X_i, k) — ацэнка аднясення назірання ${\displaystyle i}$ да класа ${\displaystyle k}$. У тэорыі дыскрэтнага выбару, дзе назіранні ўяўляюць людзей, а класы ўяўляюць выбары, адзнака будзе карыснасцю выбару ${\displaystyle k}$ чалавекам ${\displaystyle i}$. Алгарытмы з такой базавай устаноўкай вядомыя як лінейныя класіфікатары. Іх адрознівае працэдура вызначэння (навучання) аптымальных вагаў/каэфіцыентаў і спосаб інтэрпрэтацыі ацэнак. Прыклады такіх алгарытмаў:

• Лагістычная рэгрэсія
  • Мультынаміяльная лагістычная рэгрэсія
• Пробіт рэгрэсія
• Перцэптрон
• Метад апорных вектараў
• Лінейны дыскрымінантны аналіз

Алгарытмы

Ніводная форма класіфікацыі не падыходзіць для ўсіх набораў даных, таму быў распрацаваны вялікі набор алгарытмаў класіфікацыі. Найбольш часта выкарыстоўваюцца:

• Штучныя нейронныя сеткі
• Бустынг
• Навучанне дрэваў рашэнняў
  • Выпадковы лес
• Генетычнае праграмаванне
• Метад k-найбліжэйшых суседзяў (k-NN)
• Навучанне вектарнаму квантаванню
• Лінейны класіфікатар
  • Лінейны дыскрымінантны аналіз
  • Лагістычная рэгрэсія
  • Наіўны баесаўскі класіфікатар
  • Перцэптрон
• Квадратычны класіфікатар
• Метад апорных вектараў (SVM)
  • Метад апорных вектараў найменшых квадратаў (LS-SVM)

Ацэнка якасці

Эфектыўнасць класіфікатара ў значнай ступені залежыць ад характарыстык даных, якія трэба класіфікаваць. Не існуе адзінага класіфікатара, які лепш за ўсё працуе для ўсіх задач (феномен, які можна растлумачыць тэарэмай аб адсутнасці бясплатнага абеду). Былі праведзены розныя эмпірычныя выпрабаванні для параўнання эфектыўнасці класіфікатараў і пошуку характарыстык даных, якія вызначаюць эфектыўнасць класіфікатара. Вызначэнне найлепшага класіфікатара для пэўнай задачы, аднак, больш мастацтва чым навука.

Выразнасць і паўната — папулярныя паказчыкі, якія ўжываюцца для ацэнкі якасці сістэмы класіфікацыі. ROC-крывыя прымяняюцца для ацэнкі кампрамісу паміж праўдзіва і хібна пазітыўнымі вынікамі алгарытмаў класіфікацыі.

У якасці меры эфектыўнасці каэфіцыент нявызначанасці мае перавагу перад простай дакладнасцю ў тым, што на яго не ўплываюць адносныя памеры розных класаў^[9]. Акрамя таго, гэты каэфіцыент не штрафуе алгарытм за перастаноўку класаў.

Сферы прымянення

Класіфікацыя мае шмат сфер прымянення. У некаторых з іх яна выкарыстоўваецца ў якасці працэдуры здабывання даных, у той час як у іншых праводзіцца больш дэталёвае статыстычнае мадэляванне.

• Біялагічная класіфікацыя
• Біяметрыя
• Камп’ютарны зрок
  • Медыцынская візуалізацыя
  • Аптычнае распазнаванне сімвалаў
  • Відэатрэкінг
• Крэдытны скорынг
• Класіфікацыя дакументаў
• Вынаходства і развіццё лекаў
  • Токсікагеноміка
  • QSAR
• Геастатыстыка
• Распазнаванне рукапіснага тэксту
• Пошукавыя сістэмы
• Распазнаванне ўзораў
• Рэкамендацыйныя сістэмы
• Распазнаванне маўлення
• Апрацоўка натуральнай мовы

Зноскі