Гібрид Jev + Opus від Hightouch на складному наборі коштує $2,94 за 1000 оцінок проти $5,39 в самого Opus, тобто в 1,8 раза дешевше (5,39 / 2,94). Точність: 95,3% проти 95,1%.

У власному блозі компанія за даними Hightouch заявляє про економію «понад 4x». Конкретні ціни наводить розбір за даними HyperAI. Джерела не вказують, для якого набору порахована цифра «понад 4x», тож її не можна відтворити. Для складних кейсів спирайтеся на 1,8x: це єдина економія, яку видно з опублікованих цін.

Що перевіряли і навіщо потрібен суддя?

Hightouch перевіряла, чи може модель виявити over-merging: ситуацію, коли система зіставлення записів склеїла в один профіль кількох реальних людей. У проді еталонних відповідей немає, тож єдиний спосіб оцінити якість: ручна вибірка. Людина переглядає близько 50 профілів на годину, а щоб звузити похибку частки over-merge до ±1%, потрібно понад 1000 профілів. Це приблизно 20 годин роботи (1000 / 50).

Тестовий набір складався з 1000 профілів, згенерованих інструментом pseudopeople: половина зі «брудними» записами однієї людини, половина з навмисними склейками. Дані повністю синтетичні, про вигадане американське містечко.

Скільки гібрид реально економить?

На складному наборі гібрид Jev + Opus коштує $2,94 за 1000 оцінок, а один Opus $5,39: економія в 1,8 раза. Складні кейси включають схожі імена, близнюків і профілі типу senior-junior. Точність там 95,3% проти 95,1% в Opus.

Різницю в 0,2 пункту не варто вважати перевагою гібрида. За оцінкою самої Hightouch, щоб звузити похибку до ±1%, потрібно понад 1000 зразків, а розмір складного набору джерела не вказують. Імовірно, ці результати статистично не відрізняються.

На легкому наборі гібрид дає 98,8% за $0,88 за 1000, а Opus окремо досягає 99,0%. Вартість Opus на легкому наборі джерела не наводять, тому перевірити «понад 4x» на ньому неможливо.

Без Opus моделі рішень коштують $0,05–0,10 за 1000 ідентичностей і відповідають приблизно за 0,15 с: Jev близько $0,05, Luna близько $0,10. Проте на складних кейсах Luna падає до 88,8% проти 95,1% в Opus.

Hightouch також підібрала пороги впевненості: 60% для Jev і 70% для Luna. Джерела не уточнюють, чи ці ж пороги визначають, які профілі йдуть до Opus.

Чому Jev у гібриді кращий за Luna?

Jev у гібриді виграє завдяки калібруванню: більшість його помилок супроводжується низькою впевненістю, тож їх можна відправити на повторну перевірку. З коробки Luna точніша (97,3% проти 95,6% у Jev), але більшість її помилок має високу впевненість, і гібрид їх не ловить.

Результат видно в цифрах. Гібрид Luna на складному наборі коштує $1,15, але дає лише 91,6%. Гібрид Jev коштує $2,94 і дає 95,3%. Тобто 3,7 відсоткового пункту точності (95,3 − 91,6) коштують $1,79 за 1000 (2,94 − 1,15).

Що робити зараз?