# Hugging Face навчили код-модель малювати акварелі через RL > Hugging Face показали, як тандем TRL і OpenEnv вчить кодову LLM писати код, що малює акварелі, — робочий шаблон RL-файнтюнингу для задач поза чатом. - Опубліковано: 3 вересня 2026 р. (2026-09-03T08:26:49.916386+00:00) - Розділ: AI-дослідження - На основі публікації: [Hugging Face](https://huggingface.co/blog/train-to-paint-with-code) - Видання: AiiN (https://aiin.news) - URL: https://aiin.news/article?slug=hugging-face-%D0%BD%D0%B0%D0%B2%D1%87%D0%B8%D0%BB%D0%B8-%D0%BA%D0%BE%D0%B4-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C-%D0%BC%D0%B0%D0%BB%D1%8E%D0%B2%D0%B0%D1%82%D0%B8-%D0%B0%D0%BA%D0%B2%D0%B0%D1%80%D0%B5%D0%BB%D1%96-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-rl --- Hugging Face опублікувала технічний розбір, у якому кодову мовну модель навчили писати код, що самостійно генерує акварельні зображення — без дифузійної моделі чи GAN, а через reinforcement learning поверх звичайної LLM. У пайплайні задіяно дві бібліотеки компанії: TRL, інструментарій для RL-файнтюнингу мовних моделей, і OpenEnv — фреймворк для побудови кастомних середовищ навчання за межами класичного текстового діалогу. Ідея навмисно нетривіальна: модель не генерує пікселі напряму, а пише код, який виконується і рендериться в зображення. Результат порівнюється з цільовою акварельною картинкою, і різниця стає сигналом винагороди, що рухає RL-цикл далі. [За даними Hugging Face](https://huggingface.co/blog/train-to-paint-with-code), саме малювання тут — навмисно несерйозний приклад: цінність не в акварелях самих собою, а в тому, що весь підхід TRL плюс OpenEnv переноситься на будь-яку задачу, де результат роботи коду можна оцінити числом і перетворити на винагороду. Для AI-білдерів, які експериментують із RL-файнтюнингом власних кодових моделей, це готовий, відтворюваний шаблон — а не черговий бенчмарк на закритих даних. ## Що саме показали в матеріалі Hugging Face? У центрі — демонстрація повного циклу: кодова модель отримує завдання намалювати щось у стилі акварелі, генерує код малювання, цей код виконується в ізольованому середовищі OpenEnv, а результат рендериться в растрове зображення. Далі зображення оцінюється reward-функцією, і оцінка йде назад у RL-алгоритм, який донавчає модель писати кращий «малювальний» код. Ключовий момент — OpenEnv тут не просто виконує код, а стандартизує сам протокол «дій модель → середовище → винагорода» так, щоб його можна було перевикористати для інших задач, а не лише для малювання. ## Як працює цикл «код → зображення → винагорода»? Механіка описана в матеріалі зводиться до трьох кроків, які повторюються по колу: - модель генерує код малювання у відповідь на промпт або цільове зображення; - OpenEnv-середовище виконує цей код в ізольованому контексті й рендерить результат у зображення; - reward-функція порівнює отримане зображення з еталоном і повертає числову оцінку, за якою TRL оновлює ваги моделі. Ймовірно, в основі алгоритму лежить один із сучасних RL-методів пост-тренування LLM (на кшталт GRPO), які TRL активно просуває останнім часом для задач із перевірюваною винагородою — але сама бібліотека історично підтримує кілька алгоритмів, тож це радше припущення за контекстом, ніж підтверджений деталями факт. ## Кому і навіщо потрібен такий шаблон? Головна цінність — не в акварелях, а в демонстрації, що RL-файнтюнинг кодових моделей можна застосувати до будь-якої задачі з перевірюваним, вимірюваним результатом виконання коду. Це стосується: - дослідників, які хочуть навчити модель писати код для вузьких, нестандартних доменів без величезного розміченого датасету; - команд, що будують агентів для роботи з інструментами, де результат дії агента (не лише текст) можна оцінити автоматично — подібний принцип перевірюваної винагороди лежить і в основі [нових технік world models для веб-агентів](https://aiin.news/article?slug=нова-техніка-world-models-обіцяє-надійніших-веб-агентів); - інженерів, яким потрібен готовий референс, як зібрати кастомне RL-середовище на OpenEnv, не пишучи інтеграцію з нуля. ## Що з цим робити зараз — висновок AiiN Наша теза: цінність цього матеріалу — не в акварелях, а в тому, що Hugging Face фактично випустила публічний, повторюваний рецепт «RL-середовище + перевірювана винагорода за результатом коду» для будь-якої задачі за межами чат-бенчмарків, і саме така connective tissue між TRL і OpenEnv, а не сама генерація зображень, і є продуктом, вартим уваги AI-білдерів. Якщо у вас є задача, де результат роботи коду можна автоматично оцінити числом — QA-скрипти, генерація конфігів, навіть прості ігрові боти — цей пайплайн дає готовий каркас, який не треба збирати з нуля. ## Чи потрібен потужний GPU-кластер, щоб повторити цей експеримент? Матеріал позиціонується як навчальний і відтворюваний, тож орієнтований радше на невеликі кодові моделі й локальні або орендовані GPU, а не на кластерне навчання масштабу фронтир-моделей. Точні вимоги до заліза варто перевірити безпосередньо в супровідному коді Hugging Face перед стартом. ## Чим OpenEnv відрізняється від TRL? TRL — це бібліотека алгоритмів RL-файнтюнингу (як саме оновлювати ваги моделі за винагороду), тоді як OpenEnv — це фреймворк для побудови самого середовища, в якому модель діє і отримує ту винагороду. У зв'язці вони покривають весь цикл: OpenEnv генерує досвід, TRL перетворює його на оновлення моделі. --- Теги: AI, HuggingFace, TRL, OpenEnv, ReinforcementLearning, Vibecoding Джерело: AiiN — https://aiin.news/article?slug=hugging-face-%D0%BD%D0%B0%D0%B2%D1%87%D0%B8%D0%BB%D0%B8-%D0%BA%D0%BE%D0%B4-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C-%D0%BC%D0%B0%D0%BB%D1%8E%D0%B2%D0%B0%D1%82%D0%B8-%D0%B0%D0%BA%D0%B2%D0%B0%D1%80%D0%B5%D0%BB%D1%96-%D1%87%D0%B5%D1%80%D0%B5%D0%B7-rl. Цитуючи, посилайтесь на канонічний URL.