# Як LLM вивчає один приклад під час претренування і забуває його

> Новий препринт на arXiv виміряв методом counterfactual, як мовна модель засвоює факт з одного прикладу під час претренування — і як цей слід пізніше зникає.

- Опубліковано: 20 серпня 2026 р. (2026-08-20T03:57:54.880316+00:00)
- Розділ: AI-дослідження
- На основі публікації: [arXiv](http://arxiv.org/abs/2608.19168v1)
- Видання: AiiN (https://aiin.news)
- URL: https://aiin.news/article?slug=%D1%8F%D0%BA-llm-%D0%B2%D0%B8%D0%B2%D1%87%D0%B0%D1%94-%D0%BE%D0%B4%D0%B8%D0%BD-%D0%BF%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4-%D0%BF%D1%96%D0%B4-%D1%87%D0%B0%D1%81-%D0%BF%D1%80%D0%B5%D1%82%D1%80%D0%B5%D0%BD%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F-%D1%96-%D0%B7%D0%B0%D0%B1%D1%83%D0%B2%D0%B0%D1%94-%D0%B9%D0%BE%D0%B3%D0%BE

---

Препринт «Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training» зʼявився на arXiv у серпні 2026 року й описує вузький, але показовий експеримент: дослідники ізолювали вплив одного-єдиного прикладу в масиві даних для претренування мовної моделі та виміряли, що з ним відбувається протягом усього циклу навчання.

Ідея на перший погляд проста. Пре-тренування великої мовної моделі — це мільярди чи трильйони токенів, і зазвичай ефект від одного окремого документа губиться в масі даних. Дослідники ж навпаки поставили запитання на рівні одного прикладу: чи можна точно виміряти момент, коли модель «вивчає» інформацію з нього, і чи тримається цей слід протягом усього тренування, чи зникає.

За даними [arXiv](http://arxiv.org/abs/2608.19168v1), ключове слово в назві роботи — «measured»: не якісне спостереження, а кількісне вимірювання того, коли слід прикладу зʼявляється в поведінці моделі й коли він перестає бути помітним. Сама назва «Learned, Then Lost» вже фіксує головний висновок: модель спершу демонструє засвоєння факту з прикладу, а згодом ця здатність зникає — попри те, що процес тренування продовжує рухатися вперед, а не назад.

## Що таке counterfactual-експеримент з одним прикладом?

Counterfactual-методологія означає порівняння двох сценаріїв, які відрізняються лише однією змінною — у цьому разі присутністю чи відсутністю конкретного прикладу в тренувальних даних. Такий контрольований дизайн дозволяє відокремити причинний ефект одного документа від шуму, який неминуче створюють мільйони інших прикладів навколо нього.

На практиці подібний експеримент передбачає щонайменше три елементи:

- два (або більше) прогони претренування, ідентичні в усьому, крім присутності одного прикладу;
- регулярні перевірки моделі на проміжних чекпоінтах, а не лише в кінці тренування;
- метрику, яка фіксує, чи «знає» модель конкретний факт із цього прикладу в кожній точці.

Саме третій пункт і дає можливість побачити не просто «модель вивчила чи ні», а криву в часі — коли слід зʼявляється і коли зникає.

## Чому вивчене може зникати ще до кінця тренування?

Пре-тренування — це послідовний процес: модель бачить батчі даних один за одним, і кожне оновлення ваг трохи змінює те, що записали попередні оновлення. У спільноті machine learning явище, коли пізніші дані частково «перезаписують» представлення, сформовані раніше, давно відоме під назвою catastrophic forgetting — здебільшого його обговорюють у контексті донавчання (fine-tuning) чи неперервного навчання (continual learning), а не самого претренування з нуля.

Ймовірно, саме тому автори обрали слово «measured» у назві: без точного вимірювання на проміжних чекпоінтах ефект «вивчено, потім втрачено» легко сплутати з тим, що модель ніколи й не засвоювала факт по-справжньому.

## Що це змінює для тих, хто тренує або оцінює моделі?

Для команд, які будують або файнтюнять LLM, головний практичний висновок такий: оцінка моделі в одній точці тренування нічого не каже про те, що відбувалося з конкретними знаннями раніше чи станеться пізніше. Це стосується і датасет-курації, і аудиту меморизації:

- перевірка «чи модель знає факт X» має сенс лише прив'язана до конкретного чекпоінта, а не до моделі «взагалі»;
- видалення чи додавання одного документа з тренувального корпусу може мати вимірюваний, хоч і тимчасовий ефект — а не нульовий, як часто припускають;
- для задач, де важлива стабільність конкретного факту (наприклад, для доменних баз знань), може знадобитися перевірка на кількох чекпоінтах, а не тільки на фінальній моделі.

Такий інструментарій також потенційно корисний для дослідників, що працюють над data attribution — спробами пояснити поведінку моделі впливом конкретних тренувальних прикладів.

## Висновок AiiN

Наша теза: цінність цієї роботи не в тому, що «моделі щось забувають» — це в загальних рисах відомо, — а в тому, що автори пропонують контрольований, вимірюваний спосіб побачити цей процес на рівні одного прикладу, а не на рівні агрегованих бенчмарків. Для індустрії, яка звикла судити про якість моделі за фінальними метриками, це нагадування: те, що модель «знає» зараз, — лише знімок у конкретній точці довгого й нелінійного процесу навчання.

## Чи означає це, що окремі приклади даних не мають значення для LLM?

Ні, навпаки. Ефект «learned, then lost» показує, що вплив одного прикладу цілком вимірюваний і реальний — просто він нестабільний у часі, а не відсутній.

## Де можна прочитати саме дослідження?

Повний препринт доступний на arXiv за ідентифікатором 2608.19168 — посилання на нього наведено вище в тексті статті.

---

Теги: AI, LLM, претренування, arXiv, машиннеНавчання

Джерело: AiiN — https://aiin.news/article?slug=%D1%8F%D0%BA-llm-%D0%B2%D0%B8%D0%B2%D1%87%D0%B0%D1%94-%D0%BE%D0%B4%D0%B8%D0%BD-%D0%BF%D1%80%D0%B8%D0%BA%D0%BB%D0%B0%D0%B4-%D0%BF%D1%96%D0%B4-%D1%87%D0%B0%D1%81-%D0%BF%D1%80%D0%B5%D1%82%D1%80%D0%B5%D0%BD%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F-%D1%96-%D0%B7%D0%B0%D0%B1%D1%83%D0%B2%D0%B0%D1%94-%D0%B9%D0%BE%D0%B3%D0%BE. Цитуючи, посилайтесь на канонічний URL.