Netflix тестує велику мовну модель (LLM) як альтернативу класичному рекомендаційному алгоритму, який компанія роками вручну допрацьовувала для підбору фільмів і серіалів. За даними The Decoder, ідея полягає в тому, щоб замінити частину «hand-built» логіки ранжування генеративною моделлю, яка сама вирішує, що показати конкретному глядачеві.
Для Netflix рекомендаційна система — це не другорядна фіча, а основа бізнесу: за оцінками самої компанії, персоналізований підбір контенту роками рятував мільярди доларів на утриманні підписників. Саме тому новина про експерименти з LLM звучить несподівано: якщо навіть найбільш відточена рекомендаційна інфраструктура індустрії розглядає перехід на мовну модель, це сигнал, що зміна стосується не тільки чат-ботів і асистентів, а й «тихої» інфраструктури, яку користувач ніколи не бачить напряму.
Для AI-білдерів це черговий приклад того, як LLM поступово замінюють вузькоспеціалізовані ML-системи там, де раніше домінували наробки десятиліть інженерії ознак (feature engineering) і класичні моделі ранжування.
Що саме тестує Netflix?
Netflix експериментує з підходом, за якого мовна модель бере на себе частину логіки, що раніше виконувалась класичною рекомендаційною системою. Йдеться про заміну не всього стеку одразу, а конкретного шару — того, що вирішує, який саме контент показати користувачу серед мільйонів варіантів.
Це принципово інший спосіб розв'язання задачі: замість набору правил і моделей, навчених на історичних кліках і переглядах, рішення ухвалює модель, здатна «міркувати» про контекст запиту у форматі, ближчому до природної мови, а не до числових ознак.
Чим LLM-підхід відрізняється від звичного рекомендаційного стека?
Класичні рекомендаційні системи стрімінгових сервісів роками будувалися як конвеєр із десятків окремих компонентів: колаборативна фільтрація, ембединги користувачів і контенту, моделі ранжування, окремі евристики для «холодного старту» нових тайтлів. Кожен компонент інженери підправляли вручну під конкретні edge-case.
- Класичний стек: багато вузькоспеціалізованих моделей, кожна — під свою задачу.
- LLM-підхід: одна модель загального призначення обробляє контекст і формує рекомендацію.
- Наслідок: менше ручного тюнінгу окремих компонентів, але вища залежність від якості й вартості інференсу однієї великої моделі.
За нашою оцінкою, головний компроміс тут — між гнучкістю (LLM легше «розуміє» нетипові запити й контекст) і передбачуваністю та вартістю, які роками були сильною стороною класичних ML-пайплайнів.
Кому це важливо і що з цим робити зараз?
Насамперед — командам, які підтримують власні рекомендаційні або ранжувальні системи в продакшні: пошук, e-commerce, контент-платформи. Експеримент Netflix — це не сигнал негайно переписувати робочий пайплайн на LLM, а привід перевірити, де саме у вашій системі ручна логіка стала вузьким місцем, яке дорожче підтримувати, ніж замінити моделлю.
Для інженерів, що проєктують agentic-системи, це також нагадування: обгортка навколо моделі — те, як вона отримує контекст і як інтегрована в продукт, — часто важливіша за саму модель. Ми вже розбирали цю тезу в матеріалі про те, чому agentic harness важливіший за саму модель: заміна одного компонента конвеєра на LLM працює лише тоді, коли решта інфраструктури — дані, контекст, фідбек-цикл — побудована під нову архітектуру.
- Порахуйте вартість інференсу LLM на пік навантаження — і порівняйте з вартістю підтримки поточного ML-пайплайна.
- Виділіть у своїй системі шар, де правила найчастіше ламаються на нових edge-case — саме він кандидат на заміну LLM.
- Тестуйте гібридно: LLM поруч із класичною моделлю, а не замість неї одразу в проді.
Висновок AiiN
Показовим тут є не сам факт експерименту, а те, хто його проводить. Netflix — компанія, чия рекомендаційна система десятиліттями вважалася еталоном класичного machine learning у продакшні. Якщо навіть така інфраструктура тестує заміну на LLM, це означає, що межа економічної доцільності між «дорогою, але передбачуваною спеціалізованою моделлю» і «універсальною, але дорожчою у інференсі мовною моделлю» зсувається швидше, ніж очікували самі інженери подібних систем. За нашою оцінкою, найближчими роками варто чекати не повної заміни рекомендаційних систем на LLM, а гібридних архітектур, де мовна модель бере на себе саме той шар прийняття рішень, який найважче було формалізувати правилами.
Чи Netflix повністю відмовляється від класичних рекомендацій?
Ні — Netflix тестує LLM-підхід як альтернативу конкретній частині логіки, а не повну заміну всієї рекомендаційної інфраструктури компанії.
Чому це складніше, ніж просто «підключити ChatGPT» до рекомендацій?
Тому що рекомендаційна система працює на масштабі мільйонів запитів на секунду з жорсткими вимогами до затримки відповіді, тоді як інференс великої мовної моделі історично повільніший і дорожчий за спеціалізовану модель ранжування, навчену під конкретну задачу.