Машинне навчання

Частина з циклу
Машинне навчання та добування даних
Задачі Класифікація Кластерування Регресія Виявляння аномалій Очищування даних АвтоМН Асоціативні правила Навчання з підкріпленням Структурове передбачування Конструювання ознак Навчання ознак Інтерактивне навчання Напівавтоматичне навчання Спонтанне навчання Навчання ранжуванню Виведення граматик
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтний бустинг AdaBoost Дерева рішень MARS CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH CURE Ієрархічне k-середніх Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього
Знижування розмірності Факторний аналіз Метод незалежних компонент Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій k-НС Коефіцієнт локального відхилення Відстань Кука
Штучна нейронна мережа Автокодувальник Когнітивні обчислення Глибинне навчання DeepDream Багатошаровий перцептрон Рекурентна нейронна мережа ДКЧП ВРВ МВС Обмежена машина Больцмана ГЗМ Самоорганізаційне відображення Згорткова нейронна мережа U-Net Трансформер Спайкова нейронна мережа Мемтранзистор Електрохімічна ПДД (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць
Теорія Компроміс зсуву та дисперсії Ймовірносно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання Регуляризація LASSO Тихонова Elastic net Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання
Місця машинного навчання NeurIPS ICML ML JMLR ArXiv:cs.LG
Пов'язані статті Глосарій штучного інтелекту Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання
п о р

Машинне навчання (англ. machine learning) — це підгалузь штучного інтелекту в галузі інформатики, яка часто застосовує статистичні прийоми для надання комп'ютерам здатності «навчатися» (тобто, поступово покращувати продуктивність у певній задачі) з даних, без того, щоби бути програмованими явно.

Назву «машинне навчання» (англ. machine learning) було започатковано 1959 року Артуром Семюелем. Еволюціонувавши з досліджень розпізнавання образів та теорії обчислювального навчання в галузі штучного інтелекту, машинне навчання досліджує вивчення та побудову алгоритмів, які можуть навчатися й робити передбачення з даних, — такі алгоритми долають слідування строго статичним програмним інструкціям, здійснюючи керовані даними прогнози або ухвалювання рішень шляхом побудови моделі з вибіркових входів. Машинне навчання застосовують в ряді обчислювальних задач, в яких розробка та програмування явних алгоритмів з доброю продуктивністю є складною або нездійсненною; до прикладів застосувань належать фільтрування електронної пошти, виявляння мережних вторгників або зловмисних інсайдерів, що добуваються витоку даних,оптичне розпізнавання символів (ОРС),навчання ранжуванню та комп'ютерний зір.

Машинне навчання тісно пов'язане (та часто перетинається) з обчислювальною статистикою, яка також зосереджується на прогнозуванні шляхом застосування комп'ютерів. Воно має тісні зв'язки з математичною оптимізацією, яка забезпечує цю галузь методами, теорією та прикладними областями. Машинне навчання іноді об'єднують з добуванням даних, де друга підгалузь фокусується більше на розвідувальному аналізі даних, і є відомою як навчання без учителя. Машинне навчання також може бути спонтанним, і застосовуваним для навчання та встановлення базових характерів поведінки різних суб'єктів, а потім застосовуваним для пошуку виразних аномалій.

В межах галузі аналізу даних машинне навчання є методом, який застосовують для винаходження складних моделей та алгоритмів, які слугують прогнозуванню — в комерційному застосуванні це відоме як передбачувальна аналітика. Ці аналітичні моделі дозволяють дослідникам, науковцям з даних, інженерам та аналітикам «виробляти надійні, повторювані рішення та результати» та розкривати «приховані розуміння» шляхом навчання з історичних співвідношень та тенденцій в даних.

Огляд

Том Мітчелл запровадив широко цитоване формальніше визначення алгоритмів, що їх досліджують у галузі машинного навчання: «Кажуть, що комп'ютерна програма вчиться з досвіду E по відношенню до якогось класу задач T та міри продуктивності P, якщо її продуктивність у задачах з T, вимірювана за допомогою P, покращується з досвідом E.» Це визначення задач, якими займається машинне навчання, пропонує фундаментально операційне визначення, замість визначати цю галузь в когнітивних термінах. Це слідує пропозиції Алана Тюрінга в його праці «Обчислювальні машини та розум», у якій питання «Чи можуть машини думати?» замінюється питанням «Чи можуть машини робити те, що можемо робити ми (як істоти, які думають)?». У пропозиції Тюрінга викладено різні характеристики, які може демонструвати «машина, що думає», та різні наслідки для побудові такої.

Задачі машинного навчання

Задачі машинного навчання, як правило, поділяють на дві широкі категорії, залежно від того, чи доступний системі, що навчається, навчальний «сигнал», або «зворотний зв'язок»:

• Навчання з учителем (кероване навчання, англ. supervised learning): Комп'ютерові представляють приклади входів та їхніх бажаних виходів, задані «вчителем», і метою є навчання загального правила, яке відображає входи на виходи. В окремих випадках вхідний сигнал може бути доступним лише частково, або бути обмеженим особливим зворотним зв'язком:
  • Напівавтоматичне навчання (англ. semi-supervised learning): комп'ютерові дають лише неповний тренувальний сигнал: тренувальний набір, в якому відсутні деякі (часто численні) цільові виходи.
  • Активне навчання (англ. active learning): комп'ютер може отримувати тренувальні мітки лише для обмеженого набору екземплярів (залежно від бюджету), а також має оптимізувати свій вибір об'єктів для отримування міток. За інтерактивного застосування, вони можуть надаватися для мічення користувачеві.
  • Навчання з підкріпленням (англ. reinforcement learning): тренувальні дані (у вигляді винагород та покарань) надаються лише як зворотний зв'язок на дії програми в динамічному середовищі, як при керуванні автомобілем, або грі в гру з опонентом.
• Навчання без учителя (спонтанне навчання, англ. unsupervised learning): Алгоритмові навчання не дається міток, залишаючи його самому знаходити структуру в своєму вході. Навчання без учителя може бути метою саме по собі (виявлення прихованих закономірностей у даних), або засобом досягнення мети (навчання ознак).

Застосування машинного навчання

Метод опорних векторів є класифікатором, який поділяє свій вхідний простір на дві області, розділені лінійною межею. Тут він навчається розрізнювати чорні та білі круги.

Інша класифікація завдань машинного навчання виникає при розгляді бажаного виходу системи з машинним навчанням:

• У класифікації (англ. classification) входи поділяються на два або більше класів, і система-учень мусить породити модель, яка відносить небачені входи до одного або більше (багатоміткова класифікація) з цих класів. Це, як правило, намагаються розв'язувати керованим чином. Прикладом класифікації є фільтри спаму, в яких входами є повідомлення електронної пошти (або чогось іншого), а класами є «спам» та «не спам».
• У регресії (англ. regression), також керованій задачі, виходи є безперервними, а не дискретними.
• У кластеруванні (англ. clustering) набір входів повинно бути поділено на групи. На відміну від класифікації, групи не відомі заздалегідь, що зазвичай робить це завданням для спонтанного навчання.
• Оцінка густини знаходить розподіл входів у деякому просторі.
• Зниження розмірності спрощує входи шляхом відображення їх на простір меншої розмірності. Пов'язаною задачею є тематичне моделювання, в якому програмі надають перелік документів людською мовою, і ставлять задачу з'ясувати, які документи охоплюють подібні теми.

Серед інших задач машинного навчання навчання навчатися навчається свого власного індуктивного упередження на основі попереднього досвіду. Еволюційне навчання (англ. developmental learning), розроблене для навчання роботів, породжує свої власні послідовності навчальних ситуацій (також звані навчальним планом, англ. curriculum), щоби накопичувально отримувати репертуари нових навичок шляхом автономного само-дослідження та соціальної взаємодії з вчителями-людьми, і застосування провідних механізмів, таких як активне навчання, дозрівання, рухова синергія та імітація.

Історія та відношення до інших областей

Артур Семюель, американський піонер у галузі комп'ютерних ігор та штучного інтелекту, започаткував термін «машинне навчання» 1959 року, будучи в IBM. Як наукове прагнення, машинне навчання виросло з розшуків штучного інтелекту. Вже ранніми днями ШІ як академічної дисципліни деякі дослідники зацікавилися тим, щоби машини вчилися з даних. Вони намагалися наблизитися до розв'язання цієї задачі різними символьними методами, а також тим, що згодом було названо «нейронними мережами»; це були здебільшого перцептрони та інші моделі, які згодом виявилися повторними винаходами узагальнених лінійних моделей статистики. Застосовувалося також і ймовірнісне міркування, особливо в автоматизованій медичній діагностиці.

Проте зростання акценту на логічному, основаному на знаннях підході викликало розрив між ШІ та машинним навчанням. Ймовірнісні системи страждали на теоретичні та практичні проблеми збирання та представлення даних. Близько 1980 року прийшли експертні системи, щоби домінувати над ШІ, а статистика була в немилості. Робота над навчанням на основі символів/знань дійсно продовжувалася в межах ШІ, ведучи до індуктивного логічного програмування, але більш статистична лінія досліджень була тепер поза межами області справжнього ШІ, в розпізнаванні образів та інформаційному пошуку. Приблизно в цей же час ШІ та інформатикою було облишено дослідження нейронних мереж. Цю лінію також було продовжено за межами області ШІ/інформатики, як «конекціонізм», дослідниками з інших дисциплін, включно з Хопфілдом, Румельхартом та Хінтоном. Їхній головний успіх прийшов у середині 1980-х років із повторним винайденням зворотного поширення.

Машинне навчання, реорганізоване як окрема область, почало бурхливо розвиватися в 1990-х роках. Ця область змінила свої цілі з досягання штучного інтелекту на розв'язання розв'язних задач практичного характеру. Вона змістила фокус із символьних підходів, успадкованих нею від ШІ, в бік методів та моделей, позичених зі статистики та теорії ймовірності. Вона також виграла від збільшуваної доступності оцифрованої інформації та можливості розповсюджування її через Інтернет.

Машинне навчання та добування даних часто використовують одні й ті ж методи, і значно перекриваються, але в той час як машинне навчання фокусується на передбаченні на основі відомих властивостей, вивчених з тренувальних даних, добування даних фокусується на відкритті невідомих (раніше) властивостей даних (це є кроком аналізу з відкривання знань у базах даних). Добування даних використовує багато методів машинного навчання, але з іншими цілями; з іншого боку, машинне навчання також застосовує методи добування даних як «навчання без учителя», або як крок попередньої обробки для покращення точності механізму навчання. Велика частина плутанини між цими двома дослідницькими спільнотами (які часто мають окремі конференції та окремі журнали, з ECML PKDD як основним винятком) виходить з основних припущень, з якими вони працюють: у машинному навчанні продуктивність зазвичай оцінюється по відношенню до здатності відтворювати відоме знання, тоді як у відкриванні знань та добуванні даних (англ. knowledge discovery and data mining, KDD) ключовою задачею є відкривання не відомого раніше знання. При оцінці по відношенню до відомих знань неінформований (некерований) метод легко програватиме іншим керованим методам, тоді як у типовій задачі KDD керовані методи застосовуватися не можуть в силу відсутності тренувальних даних.

Машинне навчання також має тісні зв'язки з оптимізацією: багато задач навчання формулюються як мінімізація деякої функції втрат на тренувальному наборі прикладів. Функції втрат виражають розбіжність між передбаченнями тренованої моделі та дійсними зразками задачі (наприклад, у класифікації потрібно призначати мітки зразкам, і моделі тренуються правильно передбачати попередньо призначені мітки набору прикладів). Різниця між цими двома областями виникає з мети узагальнення: в той час як алгоритми оптимізації можуть мінімізувати втрати на тренувальному наборі, машинне навчення зосереджене на мінімізації втрат на небачених зразках.

Відношення до статистики

Машинне навчання та статистика є тісно пов'язаними областями. Згідно Майкла І. Джордана, ідеї машинного навчання, від методологічних принципів до теоретичних інструментів, мали довгу передісторію в статистиці. Він також запропонував термін «наука про дані» для позначення загальної області.

Лео Брейман виділив дві парадигми статистичного моделювання: модель даних, та алгоритмічну модель, де «алгоритмічна модель» означає більш-менш алгоритми машинного навчання, такі як випадковий ліс.

Деякі фахівці зі статистики запозичили методи з машинного навчання, ведучи до об'єднаної області, яку вони називають статистичним навчанням (англ. statistical learning).

Теорія

Основна мета системи, яка навчається, — це робити узагальнення зі свого досвіду. Узагальнення в цьому контексті є здатністю машини, яка вчиться, працювати точно на нових, не бачених прикладах/задачах після отримання досвіду навчального набору даних. Тренувальні приклади походять з якогось загалом невідомого розподілу ймовірності (який вважається представницьким для простору випадків), і система, яка вчиться, має будувати загальну модель цього простору, яка дозволяє їй виробляти достатньо точні передбачення в нових випадках.

Обчислювальний аналіз алгоритмів машинного навчання та їхньої продуктивності є галуззю теоретичної інформатики, відомої як теорія обчислювального навчання (англ. computational learning theory). Оскільки тренувальні набори є скінченними, а майбутнє є непевним, теорія навчання зазвичай не дає гарантій продуктивності алгоритмів. Натомість доволі поширеними є ймовірнісні рамки продуктивності. Одним зі шляхів кількісної оцінки похибки узагальнення є компроміс зсуву та дисперсії.

Для найкращої продуктивності в контексті узагальнення складність гіпотези повинна відповідати складності функції, яка лежить в основі даних. Якщо гіпотеза є менш складною за цю функцію, то модель недопристосувалася до даних. Якщо у відповідь складність моделі підвищувати, то похибка тренування знижуватиметься. Але якщо гіпотеза є занадто складною, то модель піддається перенавчанню, й узагальнення буде гіршим.

На додачу до рамок продуктивності, теоретики обчислювального навчання досліджують часову складність та здійсненність навчання. В теорії обчислювального навчання обчислення вважається здійсненним, якщо його може бути виконано за поліноміальний час. Є два види результатів часової складності. Позитивні результати показують, що певного класу функцій може бути навчено за поліноміальний час. Негативні результати показують, що певних класів не може бути навчено за поліноміальний час.

Підходи

Навчання дерев рішень

Навчання дерев рішень (англ. decision tree learning) використовує як прогностичну модель дерево рішень, яке відображує спостереження про предмет на висновки про цільове значення предмету.

Навчання асоціативних правил

Навчання асоціативних правил (англ. association rule learning) є методом відкриття цікавих зв'язків між величинами у великих базах даних.

Штучні нейронні мережі

Алгоритм навчання штучної нейронної мережі (ШНМ, англ. artificial neural network, ANN), зазвичай званої «нейронною мережею» (НМ), є алгоритмом навчання, віддалено натхненим біологічними нейронними мережами. Обчислення структуруються в термінах взаємозв'язаних груп штучних нейронів, які обробляють інформацію із застосуванням конективістського підходу до обчислень. Сучасні нейронні мережі є нелінійними статистичними інструментами моделювання даних. Їх зазвичай застосовують для моделювання складних взаємозв'язків між входами та виходами, для пошуку закономірностей в даних, або для виявлення статистичної структури в невідомому спільному розподілі ймовірності спостережуваних величин.

Глибинне навчання

Падіння цін на апаратне забезпечення та розвиток графічних процесорів для особистого використання протягом останніх кількох років зробили свій внесок у розвиток поняття глибинного навчання (англ. deep learning), яке складається з кількох прихованих шарів штучної нейронної мережі. Цей підхід намагається моделювати спосіб, яким людський мозок обробляє світло та звук для зору та слуху. Деякими з успішних застосувань глибинного навчання є комп'ютерний зір та розпізнавання мовлення.

Індуктивне логічне програмування

Індуктивне логічне програмування (ІЛП, англ. Inductive logic programming, ILP) є підходом до навчання правил із застосуванням логічного програмування як універсального представлення вхідних прикладів, зворотного поширення, та гіпотез. Маючи кодування відомого основного знання та набір прикладів, представлені як логічна база даних фактів, система ІЛП виводитиме гіпотетичну логічну програму, яка має наслідками всі позитивні й жодні з негативних прикладів. Пов'язаною областю є індуктивне програмування, яке для представлення гіпотез розглядає будь-які види мов програмування (а не лише логічне програмування), такі як функційні програми.

Метод опорних векторів

Метод опорних векторів (англ. support vector machines, SVMs) є набором пов'язаних методів навчання з учителем, які використовуються для класифікації та регресії. Маючи набір тренувальних прикладів, кожен з яких помічено як належний до однієї з двох категорій, алгоритм тренування методу опорних векторів будує модель, яка передбачає, чи новий приклад потрапляє до однієї категорії, чи до іншої.

Кластеризація

Кластерний аналіз (англ. cluster analysis) це спосіб розподілу набору спостережень на підмножини (які називають кластерами), так, що спостереження в межах одного й того ж кластеру є подібними відповідно до деякого наперед встановленого критерію або критеріїв, в той час як спостереження, взяті з різних кластерів, є несхожими. Різні методики кластеризації роблять різні припущення про структуру даних, часто визначені деякими мірами подібності, і оцінювані, наприклад, внутрішньою компактністю (подібністю членів одного й того ж кластеру) та відокремленістю між різними кластерами. Інші методи ґрунтуються на оцінюваній густині та зв'язності графу. Крастеризація є методом навчання без учителя, і поширеною методикою статистичного аналізу даних.

Баєсові мережі

Баєсова мережа, мережа переконань, або спрямована ациклічна графова модель (англ. bayesian network, belief network, directed acyclic graphical model) — це ймовірнісна графова модель, яка представляє набір випадкових величин та їхніх умовних незалежностей через спрямований ациклічний граф. Наприклад, баєсова мережа може представляти ймовірнісні взаємозв'язки між хворобами та симптомами. Маючи в розпорядженні симптоми, таку мережу можна використати для обчислення ймовірностей наявності різних хвороб. Існують ефективні алгоритми для виконання висновування та навчання.

Навчання з підкріпленням

Навчання з підкріпленням (англ. reinforcement learning) переймається тим, які дії повинен вчиняти агент в середовищі таким чином, щоби максимізувати деяке уявлення про довготермінову винагороду. Алгоритми навчання з підкріпленням намагається знайти політику, яка відображує стани світу на дії, які агент повинен вчиняти в цих станах. Навчання з підкріпленням відрізняється від навчання з учителем тим, що пари правильних входів/виходів йому ніколи не представляються, і не зовсім оптимальні дії ніколи явно не виправляються.

Навчання представлень

Декотрі алгоритми навчання, в основному алгоритми навчання без учителя, мають на меті відкривання кращих представлень входів, наданих протягом тренування. Класичні приклади включають метод головних компонент та кластерний аналіз. Алгоритм навчання представлень (англ. representation learning) часто намагається зберегти інформацію в своїх входах, але перетворити її таким чином, щоб зробити її зручною, часто як крок попередньої обробки перед виконанням класифікації або прогнозування, уможливлюючи відбудову входів, які йдуть з невідомого розподілу, що породжує дані, й у той же час не будучи обов'язково точними для конфігурацій, які є малоймовірними за того розподілу.

Алгоритми навчання многовидів намагаються робити це за обмеження, щоби навчені представлення мали низьку розмірність. Алгоритми розрідженого кодування намагаються робити це за обмеження, щоби навчені представлення були розрідженими (мали багато нулів). Алгоритми навчання полілінійного підпростору мають на меті навчання представлень низької розмірності безпосередньо з тензорних представлень багатовимірних даних без перетворення їх на (багатовимірні) вектори. Алгоритми глибинного навчання відкривають кілька рівнів представлення, або ієрархію ознак, в якій високорівневі, абстрактніші ознаки визначаються в термінах ознак нижчого рівня (або породжують їх). Було висловлено думку, що розумна машина — це така, яка навчається представлення, що розплутує чинники, які лежать в основі варіацій, що описують спостережувані дані.

Навчання подібностей та мір

У цій задачі машині, яка навчається, надають пари прикладів, які розглядаються як подібні, і пари менш подібних об'єктів. Їй потрібно навчитися функції подібності (або функції міри відстані), яка може прогнозувати, чи є нові об'єкти подібними. Це іноді використовується в рекомендаційних системах.

Навчання розріджених словників

В цьому методі дані представляються лінійною комбінацією базисних функцій, і передбачається, що коефіцієнти є розрідженими. Нехай x є d-вимірними даними, а D є матрицею d на n, кожен стовпчик якої представляє базисну функцію. r є коефіцієнтом для представлення x за допомогою D. З математичної точки зору, навчання розрідженого словника (англ. sparse dictionary learning) означає розв'язання ${\displaystyle x\approx Dr}$, де r є розрідженим. Взагалі кажучи, передбачається, що n є більшим за d, щоби дати свободу для розрідженого представлення.

Навчання словника разом із розрідженим представленням є строго NP-складним, і є також складним і для наближеного розв'язання. Популярним евристичним методом навчання розріджених словників є K-СРМ.

Навчання розріджених словників застосовувалося в кількох контекстах. У класифікації задачею є визначення, до яких класів належать раніше не бачені дані. Припустімо, що словник для кожного з класів вже було побудовано. Тоді нові дані асоціюються з таким класом, у словникові якого вони розріджено представлені найкраще. Навчання розріджених словників застосовувалося також у знешумлюванні зображень. Ключова ідея полягає в тому, що чистий клаптик зображення може бути розріджено представлено словником зображення, а шум — ні.

Генетичні алгоритми

Генетичний алгоритм (ГА, англ. genetic algorithm, GA) — це евристичний алгоритм пошуку, який імітує процес природного добору, і використовує такі методи як мутація та схрещування для породження нового генотипу в надії знайти добрі розв'язки заданої задачі. В машинному навчанні генетичні алгоритми знаходили деякі застосування в 1980-х та 1990-х роках. І навпаки, методики машинного навчання використовувалися для покращення продуктивності генетичних та еволюційних алгоритмів.

Машинне навчання на основі правил

Машинне навчання на основі правил (англ. rule-based machine learning) — це загальний термін для будь-якого методу машинного навчання, що ідентифікує, навчається або виводить «правила» для зберігання, маніпулювання або застосування знань. Визначальною характеристикою системи машинного навчання на основі правил є ідентифікування та використання набору реляційних правил, які сукупно представляють знання, отримані системою. Це є протилежністю до інших систем машинного навчання, які зазвичай ідентифікують одиничну модель, яку для отримування прогнозу можливо універсально застосовувати до будь-якого випадку. До підходів машинного навчання на основі правил належать системи навчання класифікації, навчання асоціативних правил та штучні імунні системи.

Системи навчання класифікації

Системи навчання класифікації (англ. learning classifier systems, LCS) — це сімейство алгоритмів машинного навчання на основі правил, які поєднують відкривальну складову (наприклад, зазвичай, генетичний алгоритм) з навчальною складовою (що виконує кероване навчання, навчання з підкріпленням, або спонтанне навчання). Вони прагнуть ідентифікувати набір контекстно-залежних правил, які сукупно зберігають та застосовують знання кусковим чином, щоби робити передбачення.

Застосування

До застосувань машинного навчання належать:

2006 року компанія інтернет-телебачення Netflix провела перші змагання Netflix Prize, щоби знайти програму для кращого передбачення вподобань користувачів, і покращити точність її наявного алгоритму рекомендації кінематографічних фільмів щонайменше на 10 %. Об'єднана команда дослідників з AT&T Labs-Research у співпраці з командами Big Chaos та Pragmatic Theory побудувала ансамблеву модель, яка 2009 року виграла головний приз сумою 1 мільйон доларів. Незабаром після призначення призу Netflix зрозуміли, що рейтинги користувачів були не найкращими показниками їхніх моделей перегляду («всі рекомендації»), і вони змінили свій рекомендаційний рушій відповідно.

2010 року газета The Wall Street Journal написала про компанію Rebellion Research та їхнє застосування машинного навчання для прогнозування фінансової кризи.

2012 року співзасновник Sun Microsystems Вінод Хосла спрогнозував, що протягом двох наступних десятиріч 80 % робочих місць медичних працівників буде втрачено до автоматизованого медичного діагностичного програмного забезпечення з машинним навчанням.

2014 року було повідомлено про застосування алгоритму машинного навчання в історії мистецтв для дослідження витонченого мистецтва живопису, і що воно могло виявити доти нерозпізнані впливи між митцями.

Оцінювання моделей

Хоча машинне навчання й виявилося дуже перетворювальним в деяких галузях, ефективне машинне навчання є складним, оскільки пошук закономірностей є важким, і наявних тренувальних даних часто не достатньо; в результаті, програми машинного навчання часто не вдається здати.

Класифікувальні моделі машинного навчання можливо затверджувати за допомогою таких методик оцінювання точності як метод притримування, що розбиває дані на тренувальний та випробувальний набори (загальноприйнято призначають 2/3 тренувального набору та 1/3 випробувального) та оцінює продуктивність моделі тренування на випробувальному наборі. Для порівняння, метод k-кратного перехресного затверджування випадковим чином розбиває дані на k підмножин, де k - 1 підмножин даних використовують для тренування моделі, тоді як k-ту використовують для випробування передбачувальної здатності моделі тренування. На додачу до методів притримування та перехресної перевірки, для оцінювання точності моделі можливо використовувати й натяжку, яка відбирає з набору даних n зразків із заміною.

На додачу до загальної точності, дослідники часто повідомляють чутливість і специфічність, що означають істинно позитивний та істинно негативний рівні відповідно. Аналогічно, дослідники іноді повідомляють хибнопозитивний та хибнонегативний рівні. Проте, ці рівні є відношеннями, що не розкривають своїх чисельників та знаменників. Ефективним методом вираження діагностичної здатності моделі є загальна робоча характеристика. Вона показує чисельники та знаменники згаданих вище рівнів, і, таким чином, забезпечує більше інформації, ніж широко застосовувана робоча характеристика приймача, та пов'язана з нею площа під кривою.

Етика

Машинне навчання ставить безліч етичних питань. Системи, треновані на наборах даних, зібраних з упередженнями, можуть проявляти ці упередження при використанні (алгоритмічне упередження), оцифровуючи таким чином культурні забобони, такі як інституційний расизм або класизм. Наприклад, використання даних про наймання працівників від компанії з расистськими політиками наймання може призвести до дублювання цього упередження системою машинного навчання шляхом ранжування претендентів на робоче місце згідно з подібностю до попередніх успішних претендентів. Таким чином, відповідальне збирання даних та документування алгоритмічних правил, що використовуються системою, є критичною частиною машинного навчання.

Для алгоритмів кредитного скорингу, страхування, оцінювання кандидатів на роботу, а також у будь-якій ситуації автоматизованого ухвалення рішення про розподіл ресурсів чи покарань, різні визначення того, що є справедливим, неодмінно виявляться несумісними, що не може бути виправлено в межах алгоритму та є типовим для такого типу проблем. Однак алгоритм, який є комерційною таємницею, позбавляє можливості оцінити процес ухвалювання рішення, внаслідок чого втрачається публічна відповідальність. Одним із розв'язань цієї проблеми може бути обов'язковий аудит систем машинного навчання на упередженість і дискримінацію.

Оскільки мова містить упередження, машини, треновані на мовних корпусах обов'язково також навчатимуться упереджень.

В охороні здоров'я є помітнішими інші види етичних викликів, не пов'язаних з особистими упередженнями. Серед фахівців з охорони здоров'я існують занепокоєння, що ці системи може бути розроблювано не в суспільних інтересах, а як машини для генерування доходу. Це є особливо актуальним у Сполучених Штатах, де існує вічна етична дилема покращення охорони здоров'я, але також і підвищення доходів. Наприклад, ці алгоритми може бути розроблено таким чином, щоби забезпечувати пацієнтів непотрібними аналізами чи ліками, в яких власники алгоритму мають долю. В машинного навчання існує величезний потенціал в охороні здоров'я, щоби забезпечувати фахівців чудовим інструментом для діагностування, призначення ліків та навіть планів відновлення для пацієнтів, але цього не станеться, поки не буде дано раду згаданим вище особистим, та цим «жадібним» упередженням.

Апаратне забезпечення

Починаючи з 2010-х років прогрес як в алгоритмах машинного навчання, так і в комп'ютерному обладнанні призвів до появи ефективніших методів навчання глибинних нейронних мереж (особливої вузької підобласті машинного навчання), які містять багато шарів нелінійних прихованих вузлів. До 2019 року графічні процесори (ГП), часто зі специфічними вдосконаленнями для ШІ, витіснили ЦП як панівний метод тренування великомасштабного комерційного хмарного ШІ.OpenAI підрахувала апаратні обчислення, що використовували в найбільших проєктах глибинного навчання, від AlexNet (2012), і до AlphaZero (2017), і виявила 300 000-кратне збільшення обсягу необхідних обчислень, із тенденцією подвоєння часу кожні 3,4 місяці.

Програмне забезпечення

До програмних пакетів, які містять ряд алгоритмів машинного навчання, належать наступні:

Вільне та відкрите програмне забезпечення

Власницьке програмне забезпечення з вільними або відкритими редакціями

Власницьке програмне забезпечення

Журнали

• «Journal of Machine Learning Research»
• «Machine Learning»
• «Neural Computation»

Конференції

• Conference on Neural Information Processing Systems
• International Conference on Machine Learning
• International Conference on Learning Representations
• Open Data Science Conference (ODSC) [Архівовано 24 червня 2022 у Wayback Machine.]

Див. також

Література

Книги

Журнали

• Machine Learning
• Journal of Machine Learning Research
• International Journal of Machine Learning and Cybernetics
• IEEE Transactions on Neural Networks and Learning Systems
• Foundations and Trends in Machine Learning

Посилання

• Міжнародна спільнота машинного навчання [Архівовано 30 грудня 2017 у Wayback Machine.] (англ. International Machine Learning Society) (англ.)
• Популярний онлайн-курс від Ендрю Ина на Coursera [Архівовано 24 червня 2018 у Wayback Machine.]. Використовує GNU Octave. Цей курс є безкоштовною версією справжнього курсу Стенфордського університету, який читає Ендрю Ин, лекції якого також доступні безкоштовно [Архівовано 10 березня 2016 у Wayback Machine.]. (англ.)
• Курс «Машинне навчання» [Архівовано 26 серпня 2017 у Wayback Machine.] на Prometheus (укр.)
• Онлайн-курс із машинного навчання [Архівовано 21 вересня 2020 у Wayback Machine.] від Intellipaat. (англ.)
• mloss [Архівовано 2 серпня 2018 у Wayback Machine.] — академічна база даних відкритого програмного забезпечення для машинного навчання. (англ.)
• Machine Learning Crash Course [Архівовано 28 лютого 2018 у Wayback Machine.] від Google. Це — безкоштовний курс із машинного навчання із застосуванням TensorFlow (англ.)
• Популярна книга Machine Intelligence in Design Automation [Архівовано 25 червня 2018 у Wayback Machine.]. (англ.)
• Чернеткова копія книги Ендрю Ина [Архівовано 25 червня 2018 у Wayback Machine.]. (англ.)
• Онлайн-копія книги з глибинного навчання [Архівовано 16 квітня 2016 у Wayback Machine.] Яна Ґудфелоу, Йошуа Бенжіо та Аарона Курвіля (англ. Aaron Courville). (англ.)
• Багато безкоштовних курсів від MIT на тему машинного навчання та штучного інтелекту

п о р Штучний інтелект Філософія Тест Тюрінга • Китайська кімната • Етика ШІ Напрямки Агентний підхід • Адаптивне керування • Інженерія знань • Модель життєздатної системи • Машинне навчання • Нейронні мережі • Нечітка логіка • Обробка природної мови • Розпізнавання образів • Ройовий інтелект • Еволюційні алгоритми • Експертна система • Сильний штучний інтелект • Застосування Голосове керування • Задача класифікації • Класифікація документів • Кластеризація документів • Кластерний аналіз • Локальний пошук • Машинний переклад • Оптичне розпізнавання символів • Розпізнавання мовлення • Розпізнавання рукописного введення • Комп’ютерні ігри Дослідники Джон Маккарті • Аллен Ньюелл • Герберт Саймон • Алан Тюрінг • Клод Шеннон • Артур Семюель • Норберт Вінер • Марвін Мінскі • Едвард Фейгенбаум • Вудро Вілсон Бледсоу • Террі Виноград • Френк Розенблат • Чарлз Беббідж • Ноам Чомскі • Джуда Перл • Сеймур Пейперт • Джозеф Вейценбаум • Патрік Вінстон • Дональд Мікі • Алан Банді • В. М. Глушков Організації Асоціація з розвитку штучного інтелекту • OpenAI • Інститут Аллена з питань штучного інтелекту • Міжнародна об'єднана конференція зі штучного інтелекту • Європейська конференція з питань штучного інтелекту • Європейське товариство нейронних мереж • Інститут інформатики і штучного інтелекту ДонНТУ • Machine Intelligence Research Institute • Artificial Intelligence Applications Institute

п о р Диференційовні обчислення Загальне Диференційовне програмування Нейронна машина Тюрінга Диференційовний нейрокомп'ютер Автоматичне диференціювання Нейроморфні обчислення Кабельна теорія Розпізнавання образів Теорія обчислювального навчання Тензорний аналіз Поняття Градієнтний спуск СГС Кластерування Регресія Перенавчання Змагальність Увага Згортка Функції втрат Зворотне поширення Унормовування Передавальна функція Нормована експоненційна Сигмоїда Випрямляч Регуляризація Набори даних Нарощування Мови програмування Python Julia Застосування Машинне навчання Штучна нейронна мережа Глибинне навчання Наукові обчислення Штучний інтелект Апаратне забезпечення Інтелектний процесор Тензорний процесор Зоровий процесор Мемристор SpiNNaker Програмні бібліотеки TensorFlow PyTorch Keras Theano Втілення Аудіовізуальні NateNet AlexNet WaveNet Синтез людських зображень Розпізнавання рукописного введення Оптичне розпізнавання символів Синтез мовлення Розпізнавання мовлення Розпізнавання облич AlphaFold DALL-E Словесні Word2vec Трансформер BERT Нейронний машинний переклад Project Debater Watson GPT-2 GPT-3 Вирішувальні AlphaGo AlphaZero Q-навчання SARSA OpenAI Five Самокерований автомобіль MuZero Обирання дії Керування роботами Люди Алекс Ґрейвс Ян Ґудфелоу Йошуа Бенжіо Джефрі Гінтон Ян ЛеКун Ендрю Ин Деміс Гассабіс Девід Сілвер Фей-Фей Лі Організації DeepMind OpenAI Лабораторія інформатики та штучного інтелекту Массачусетського технологічного інституту Mila Google Brain FAIR Портали: Програмування  • Техніка Категорії: Штучні нейронні мережі  • Машинне навчання