заметка на полях
Промт заточен под fixed-horizon и терминологию гайда, поэтому лучше всего работает в паре с ним. Если методология у тебя другая, часть замечаний не подойдёт.
Агент для самопроверки дизайна A/B-теста
Суть
Дизайн A/B-теста — это документ, в котором заранее зафиксировано всё: какая гипотеза проверяется, какая метрика главная, кто попадает в тест, сколько нужно пользователей, сколько дней ждать, при каком результате изменение внедряется, а при каком нет. Этот документ идёт на ревью к коллегам, и ошибки в нём стоят дорого.
Агент проверяет дизайн до того, как тот уйдёт на ревью, и возвращает список того, что нужно починить, — с разделением на блокеры, серьёзное и мелочи. Ловит ошибки, из-за которых эксперимент окажется бесполезным: непроверяемая гипотеза, не та главная метрика, недостижимый MDE, отсутствие вилки решений.
Зачем нужен
- 1Ловит ошибки до ревью, а не после потраченного времени на эксперимент
- 2Показывает, что в дизайне эксперимента нужно обязательно исправить, а что можно оставить
- 3Говорит, каких данных недостаточно для эксперимента
- 4Подстраивается под уровень: расшифровывает сложные термины, если пользователь ими не владеет
Кому пригодится
Аналитикам и продактам, которые проектируют A/B-тесты
Надежда СлепынинаПродуктовый аналитик
В Garage Eight успела поработать маркетинговым, дата- и продуктовым аналитиком.
экспертиза:Из интересного: сберегла клиенту крупную сумму, показав заранее, к чему приведёт отключение iOS-приложения.
комментарий:заметка на полях
Агент не ходит в данные: baseline, трафик и историю проверяешь сам, он только напомнит.
заметка на полях
Не вставляй чувствительные цифры в бесплатные и личные модели.
заметка на полях
Первый прогон удобно делать в режиме co-author, если дизайна ещё нет, и reviewer — если он уже готов.
