WikiDer > Губердің жоғалуы

Huber loss

Жылы статистика, Губердің жоғалуы Бұл жоғалту функциясы жылы қолданылған күшті регрессия, бұл сезімтал емес шегерушілер мәліметтерге қарағанда квадраттық қате жоғалту. Кейде жіктеу нұсқасы қолданылады.

Анықтама

Губердің жоғалуы (жасыл,

{ displaystyle delta = 1}

) және квадраттық қате жоғалту (көк) функциясы ретінде

{ displaystyle y-f (x)}

Huber-ді жоғалту функциясы бағалау процедурасы $f$ . Хубер (1964) шығын функциясын біртіндеп анықтайды^[1]

{ displaystyle L _ { delta} (a) = { begin {case} { frac {1} {2}} {a ^ {2}} & { text {for}} | a | leq delta , delta (| a | - { frac {1} {2}} delta), & { text {әйтпесе.}} end {case}}}

Бұл функция кіші мәндер үшін квадраттық болып табылады $а$ , және үлкен мәндер үшін сызықтық, тең мәндермен және әр түрлі қималардың көлбеуімен екі нүктеде ${ displaystyle | a | = delta}$ . Айнымалы $а$ көбінесе қалдықтарға, яғни бақыланатын және болжанатын мәндер арасындағы айырмашылыққа жатады ${ displaystyle a = y-f (x)}$ , сондықтан біріншісін кеңейтуге болады^[2]

{ displaystyle L _ { delta} (y, f (x)) = { begin {case} { frac {1} {2}} (yf (x)) ^ {2} & { textrm {for} } | yf (x) | leq delta, delta , | yf (x) | - { frac {1} {2}} delta ^ {2} & { textrm {әйтпесе.}} end {case}}}

Мотивация

Екі өте көп қолданылатын функциялар: квадраттық шығын, ${ displaystyle L (a) = a ^ {2}}$ , және абсолютті шығын, ${ displaystyle L (a) = | a |}$ . Квадраттық жоғалту функциясы орташа арифметикалық-әділ бағалаушы, және абсолютті мәнді жоғалту функциясы а-ға әкеледі медиана- әділ бағалаушы (бір өлшемді жағдайда және а геометриялық медиана-көп өлшемді жағдайға арналған объективті бағалаушы). Квадраттық залалдың кемшілігі бар, ол үстемшілдердің басым болу тенденциясына ие - бұл жиынтықты қорытындылау кезінде ${ displaystyle a}$ бұл (сияқты ${ textstyle sum _ {i = 1} ^ {n} L (a_ {i})}$ ), таңдалған орташа мәнге шамадан тыс үлкен әсер етеді ${ displaystyle a}$ - таралуы ауыр құйрықты болған кездегі мәндер: бағалау теориясы, ауыр құйрықты үлестірім үшін орташа асимптотикалық салыстырмалы тиімділігі нашар.

Жоғарыда анықталғандай, Huber жоғалту функциясы болып табылады қатты дөңес оның минималды біркелкі маңында ${ displaystyle a = 0}$ ; осы бірыңғай маңайдың шекарасында Губерді жоғалту функциясы нүктелердегі аффиндік функцияға дейін дифференциалданған кеңеюге ие ${ displaystyle a = - delta}$ және ${ displaystyle a = delta}$ . Бұл қасиеттер оған орташа квадраттық, минималды-дисперсиялы бағалаушының сезімталдығының көп бөлігін (квадраттық жоғалту функциясын қолдана отырып) және медианалық бағалаушының беріктігін (абсолютті мән функциясын қолдана отырып) біріктіруге мүмкіндік береді.

Псевдо-губерді жоғалту функциясы

The Псевдо-губерді жоғалту функциясы Huber жоғалту функциясының тегіс жуықтауы ретінде қолданыла алады. Ол ең жақсы қасиеттерін біріктіреді L2 квадраттық шығын және L1 абсолютті шығын мақсатқа / минимумға жақын болған кезде қатты дөңес және экстремалды мәндер үшін аз тік болу арқылы. Бұл тік күйді басқаруға болады ${ displaystyle delta}$ мәні. The Псевдо-губерді жоғалту функциясы туындылардың барлық дәрежелерде үздіксіз болуын қамтамасыз етеді. Ол ретінде анықталады^[3]^[4]

{ displaystyle L _ { delta} (a) = delta ^ {2} left ({ sqrt {1+ (a / delta) ^ {2}}} - 1 right).}

Осылайша, бұл функция жуықтайды ${ displaystyle a ^ {2} / 2}$ кіші мәндері үшін ${ displaystyle a}$ , және көлбеуімен түзу сызыққа жуықтайды ${ displaystyle delta}$ үлкен мәндері үшін ${ displaystyle a}$ .

Жоғарыда айтылғандар ең кең таралған түрі болғанымен, Хуберді жоғалту функциясының басқа тегіс жуықтаулары да бар.^[5]

Жіктеу нұсқасы

Үшін жіктеу мақсаттары, Huber жоғалтуының нұсқасы деп аталады модификацияланған Huber кейде қолданылады. Болжау берілген ${ displaystyle f (x)}$ (нақты бағаланатын жіктеуіш ұпайы) және шын екілік сынып жапсырмасы ${ displaystyle y in {+ 1, -1 }}$ , өзгертілген Huber шығыны ретінде анықталады^[6]

{ displaystyle L (y, f (x)) = { begin {case} max (0,1-y , f (x)) ^ {2} & { textrm {for}} , , y , f (x) geq -1, - 4y , f (x) & { textrm {әйтпесе.}} end {жағдайлар}}}

Термин ${ displaystyle max (0,1-y , f (x))}$ болып табылады топсаның жоғалуы қолданған векторлық машиналар; The шарнирдің квадрат тегістелген шығыны жалпылау болып табылады ${ displaystyle L}$ .^[6]

Қолданбалар

Huber жоғалту функциясы қолданылады сенімді статистика, M-бағалау және аддитивті модельдеу.^[7]

Сондай-ақ қараңыз

Әдебиеттер тізімі

^ Хубер, Питер Дж. (1964). «Орналасу параметрін сенімді бағалау». Статистика жылнамалары. 53 (1): 73–101. дои:10.1214 / aoms / 1177703732. JSTOR 2238020.
^ Хасти, Тревор; Тибширани, Роберт; Фридман, Джером (2009). Статистикалық оқыту элементтері. б. 349. мұрағатталған түпнұсқа 2015-01-26. Хастимен салыстырғанда т.б., залал ½ коэффициентімен өлшенеді, бұл Хубердің бұрын берілген бастапқы анықтамасына сәйкес келеді.
^ Шарбонье, П .; Блан-Феро, Л .; Оберт, Г .; Барло, М. (1997). «Есептеуіш кескінді анықтайтын шеткі консервация». IEEE Транс. Кескінді өңдеу. 6 (2): 298–311. CiteSeerX 10.1.1.64.7521. дои:10.1109/83.551699. PMID 18282924.
^ Хартли, Р .; Зиссерман, А. (2003). Компьютерлік көріністегі бірнеше көріністі геометрия (2-ші басылым). Кембридж университетінің баспасы. б.619. ISBN 978-0-521-54051-3.
^ Ланж, К. (1990). «Гиббсті тегістеумен кескінді қалпына келтіру алгоритмдерінің конвергенциясы». IEEE Транс. Мед. Бейнелеу. 9 (4): 439–446. дои:10.1109/42.61759. PMID 18222791.
^ ^а ^б Чжан, Тонг (2004). Стохастикалық градиентті түсіру алгоритмдерін қолдану арқылы масштабты сызықтық болжау есептерін шығару. ICML.
^ Фридман, Дж. Х. (2001). «Функцияны ашкөздікпен жақындату: градиентті күшейту машинасы». Статистика жылнамалары. 26 (5): 1189–1232. дои:10.1214 / aos / 1013203451. JSTOR 2699986.

[1] Хубер, Питер Дж. (1964). «Орналасу параметрін сенімді бағалау». Статистика жылнамалары. 53 (1): 73–101. дои:10.1214 / aoms / 1177703732. JSTOR 2238020.

[2] Хасти, Тревор; Тибширани, Роберт; Фридман, Джером (2009). Статистикалық оқыту элементтері. б. 349. мұрағатталған түпнұсқа 2015-01-26. Хастимен салыстырғанда т.б., залал ½ коэффициентімен өлшенеді, бұл Хубердің бұрын берілген бастапқы анықтамасына сәйкес келеді.

[3] Шарбонье, П .; Блан-Феро, Л .; Оберт, Г .; Барло, М. (1997). «Есептеуіш кескінді анықтайтын шеткі консервация». IEEE Транс. Кескінді өңдеу. 6 (2): 298–311. CiteSeerX 10.1.1.64.7521. дои:10.1109/83.551699. PMID 18282924.

[4] Хартли, Р .; Зиссерман, А. (2003). Компьютерлік көріністегі бірнеше көріністі геометрия (2-ші басылым). Кембридж университетінің баспасы. б.619. ISBN 978-0-521-54051-3.

[5] Ланж, К. (1990). «Гиббсті тегістеумен кескінді қалпына келтіру алгоритмдерінің конвергенциясы». IEEE Транс. Мед. Бейнелеу. 9 (4): 439–446. дои:10.1109/42.61759. PMID 18222791.

[zhang-6] а ^б Чжан, Тонг (2004). Стохастикалық градиентті түсіру алгоритмдерін қолдану арқылы масштабты сызықтық болжау есептерін шығару. ICML.

[7] Фридман, Дж. Х. (2001). «Функцияны ашкөздікпен жақындату: градиентті күшейту машинасы». Статистика жылнамалары. 26 (5): 1189–1232. дои:10.1214 / aos / 1013203451. JSTOR 2699986.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

Navigation