Препринт «Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training» зʼявився на arXiv у серпні 2026 року й описує вузький, але показовий експеримент: дослідники ізолювали вплив одного-єдиного прикладу в масиві даних для претренування мовної моделі та виміряли, що з ним відбувається протягом усього циклу навчання.

Ідея на перший погляд проста. Пре-тренування великої мовної моделі — це мільярди чи трильйони токенів, і зазвичай ефект від одного окремого документа губиться в масі даних. Дослідники ж навпаки поставили запитання на рівні одного прикладу: чи можна точно виміряти момент, коли модель «вивчає» інформацію з нього, і чи тримається цей слід протягом усього тренування, чи зникає.

За даними arXiv, ключове слово в назві роботи — «measured»: не якісне спостереження, а кількісне вимірювання того, коли слід прикладу зʼявляється в поведінці моделі й коли він перестає бути помітним. Сама назва «Learned, Then Lost» вже фіксує головний висновок: модель спершу демонструє засвоєння факту з прикладу, а згодом ця здатність зникає — попри те, що процес тренування продовжує рухатися вперед, а не назад.

Що таке counterfactual-експеримент з одним прикладом?

Counterfactual-методологія означає порівняння двох сценаріїв, які відрізняються лише однією змінною — у цьому разі присутністю чи відсутністю конкретного прикладу в тренувальних даних. Такий контрольований дизайн дозволяє відокремити причинний ефект одного документа від шуму, який неминуче створюють мільйони інших прикладів навколо нього.

На практиці подібний експеримент передбачає щонайменше три елементи:

• два (або більше) прогони претренування, ідентичні в усьому, крім присутності одного прикладу;
• регулярні перевірки моделі на проміжних чекпоінтах, а не лише в кінці тренування;
• метрику, яка фіксує, чи «знає» модель конкретний факт із цього прикладу в кожній точці.

Саме третій пункт і дає можливість побачити не просто «модель вивчила чи ні», а криву в часі — коли слід зʼявляється і коли зникає.

Чому вивчене може зникати ще до кінця тренування?

Пре-тренування — це послідовний процес: модель бачить батчі даних один за одним, і кожне оновлення ваг трохи змінює те, що записали попередні оновлення. У спільноті machine learning явище, коли пізніші дані частково «перезаписують» представлення, сформовані раніше, давно відоме під назвою catastrophic forgetting — здебільшого його обговорюють у контексті донавчання (fine-tuning) чи неперервного навчання (continual learning), а не самого претренування з нуля.

Ймовірно, саме тому автори обрали слово «measured» у назві: без точного вимірювання на проміжних чекпоінтах ефект «вивчено, потім втрачено» легко сплутати з тим, що модель ніколи й не засвоювала факт по-справжньому.

Що це змінює для тих, хто тренує або оцінює моделі?

Для команд, які будують або файнтюнять LLM, головний практичний висновок такий: оцінка моделі в одній точці тренування нічого не каже про те, що відбувалося з конкретними знаннями раніше чи станеться пізніше. Це стосується і датасет-курації, і аудиту меморизації:

• перевірка «чи модель знає факт X» має сенс лише прив'язана до конкретного чекпоінта, а не до моделі «взагалі»;
• видалення чи додавання одного документа з тренувального корпусу може мати вимірюваний, хоч і тимчасовий ефект — а не нульовий, як часто припускають;
• для задач, де важлива стабільність конкретного факту (наприклад, для доменних баз знань), може знадобитися перевірка на кількох чекпоінтах, а не тільки на фінальній моделі.

Такий інструментарій також потенційно корисний для дослідників, що працюють над data attribution — спробами пояснити поведінку моделі впливом конкретних тренувальних прикладів.

Висновок AiiN

Наша теза: цінність цієї роботи не в тому, що «моделі щось забувають» — це в загальних рисах відомо, — а в тому, що автори пропонують контрольований, вимірюваний спосіб побачити цей процес на рівні одного прикладу, а не на рівні агрегованих бенчмарків. Для індустрії, яка звикла судити про якість моделі за фінальними метриками, це нагадування: те, що модель «знає» зараз, — лише знімок у конкретній точці довгого й нелінійного процесу навчання.

Чи означає це, що окремі приклади даних не мають значення для LLM?

Ні, навпаки. Ефект «learned, then lost» показує, що вплив одного прикладу цілком вимірюваний і реальний — просто він нестабільний у часі, а не відсутній.

Де можна прочитати саме дослідження?

Повний препринт доступний на arXiv за ідентифікатором 2608.19168 — посилання на нього наведено вище в тексті статті.