У машинному навчанні існує парадоксальна ситуація: більшість алгоритмів вчать моделі розрізняти «так» від «ні», але реальний світ часто дає нам лише «так». Медичні записи про рідкісні хвороби, системи виявлення шахрайства, рекомендаційні движки — усі вони регулярно стикаються з відсутністю або браком негативних прикладів. Саме тому область навчання лише з позитивних прикладів є однією з найбільш практично важливих, але теоретично найменш зрозумілих у всьому ML.
Нове дослідження під назвою «Surprises in Proper Positive-Only Learning», яке з'явилося на arXiv, ставить під сумнів низку усталених переконань про те, як і наскільки ефективно можна навчатися лише на позитивних зразках. І, як підказує сама назва — результати виявилися справді несподіваними навіть для дослідників.
Це не черговий incremental результат. Вчені зафіксували принципові розриви у складності між різними режимами навчання — такі, що мають пряме практичне значення для будь-кого, хто будує ML-системи без розкоші мічених негативних прикладів.
Що таке «proper» навчання і чому ця різниця критична
У теоретичному машинному навчанні термін «proper» (правильне) навчання означає: алгоритм повертає гіпотезу з того ж класу концептів, що й цільова функція. Якщо ви навчаєте класифікатор лінійних розділювачів — ваш результат теж має бути лінійним розділювачем, а не чимось складнішим за структурою.
«Improper» навчання дозволяє алгоритму повертати будь-яку гіпотезу — навіть значно складнішу. Це дає гнучкість, але зменшує інтерпретованість і передбачуваність поведінки моделі. У більшості класичних сценаріїв різниця між proper і improper — лише у константних факторах ефективності. Але у поєднанні з позитивним-тільки навчанням ця різниця набуває якісно іншого характеру.
Несподівані знахідки
За даними arXiv, дослідникам вдалося виявити суттєві відмінності у складності proper positive-only навчання порівняно з тим, що передбачала попередня теорія. Серед ключових результатів:
- Proper learning є принципово складнішим за improper у контексті позитивних-тільки прикладів. Деякі класи концептів, що легко вивчаються improper-алгоритмами, виявляються принципово невивченими у proper-режимі.
- Розрив між режимами є якісним, а не кількісним: мова йде не про константний множник на кількість прикладів, а про принципову різницю у можливості навчання взагалі.
- Більше позитивних прикладів не завжди рятує: для певних класів гіпотез proper positive-only навчання залишається неможливим навіть при необмеженій кількості зразків.
Це суперечить наївній інтуїції «більше даних — краща модель». У proper positive-only сценарії архітектурні обмеження можуть зробити збір додаткових даних принципово марним.
Практичне значення для AI-білдерів
Для розробників реальних ML-систем ці результати мають кілька прямих наслідків залежно від типу задачі.
One-class classification: задачі виявлення аномалій — fraud detection, intrusion detection, контроль якості у виробництві — часто мають лише «нормальні» приклади. Якщо ваш алгоритм обмежений proper-режимом (наприклад, SVM з фіксованим ядром), теоретичні межі можуть бути значно жорсткішими, ніж ви очікуєте. Збільшення датасету не обов'язково вирішить проблему.
PU Learning: у сценаріях із міченими позитивними та неміченими даними improper-підходи (нейромережі, ансамблі) мають принципову перевагу перед proper-обмеженими алгоритмами. Це варто закласти у вибір архітектури ще на старті проєкту, а не виявляти у production.
Low-resource медицина та право: у задачах, де негативні приклади неможливо або неетично збирати, proper positive-only навчання може залишатися єдиним варіантом. Тоді розуміння його теоретичних меж критично для правильного встановлення очікувань перед замовниками й стейкхолдерами.
Що варто зробити вже зараз:
- Перевірити, чи є ваш поточний алгоритм «proper» щодо свого класу гіпотез — багато розробників не усвідомлюють цього обмеження явно
- Розглянути improper-альтернативи (нейромережі, бустинг), навіть якщо вони менш інтерпретовані
- Не планувати вирішити проблему лише збором більшого датасету без перегляду архітектурних рішень
Висновок AiiN
Теоретичні роботи з машинного навчання часто сприймаються як академічна абстракція, далека від щоденного інженерного процесу. Але «Surprises in Proper Positive-Only Learning» — приклад того, як фундаментальна теорія безпосередньо говорить до практика.
Якщо ви будуєте систему виявлення аномалій, рекомендаційний движок або медичний діагностичний інструмент без доступу до негативних прикладів — ці результати стосуються вас напряму. Межі proper positive-only навчання — це не технічне обмеження, яке можна обійти кращим залізом або більшим бюджетом. Це фундаментальна властивість самої задачі.
У 2026 році, коли «кидай дані у LLM» стало мантрою, нагадування про принципові межі окремих парадигм навчання — важливе та своєчасне. Розуміння цих меж дозволяє приймати кращі архітектурні рішення ще до написання першого рядка коду.