A / B тестване - Как да стимулираме маркетинговия успех и възприемането на потребителите в динамиката 365

Някога се чудите как технологични гиганти като Netflix и Twitter остават пред конкуренцията от година на година? Разработчиците зад техните A / B тестове трябва да отговорят много.

Първоначално публикувано на https://daveclark.io/

Netflix дори A / B тестови изображения, използвани за заглавия на филми, привличайки погледите на своите зрители към нови блокбастър филми, получавайки това първо щракване, което води до повече минути гледане на филми и предоставя по-добро потребителско изживяване.

Всъщност Netflix казват, че A / B тестване на заглавно изображение понякога води до 20% до 30% повече гледане за това заглавие. Източник.

И така, какво е A / B тестване? Как могат да се възползват от Dynamics 365 и Power Platform?

Въведение

Този пост започва с обяснение какво е A / B тестване. След това се разглежда случай на употреба и история на успеха от голяма технологична фирма, за да се оправдае защо ние, като консултанти и разработчици на Power Platform, трябва да се грижим за този инструмент.

След това разгледаме пример в вече достъпния за нас Dynamics 365, за да помогнем за постигане на успех в маркетинга.

И накрая, ние обмисляме други начини A / B тестването да се използва в Dynamics за ангажиране на крайните потребители за ранно приемане на потребителите и успех на проекта и непрекъснато повишаване на производителността.

Какво е A / B тестване?

Концепцията зад A / B тестването е да се създаде контролна група и една или повече експериментални групи и да им се предоставят различни версии на продукт. След това можем да проследяваме показатели за всяка група, като например:

  • Количество данни, попълнени във формуляр Dynamics 365
  • Време, необходимо за отваряне и запазване на формуляр
  • Кликнете върху рекламни съобщения в маркетингови имейли

Всеки ключов показател, който ще помогне да се реши коя версия на продукта е по-успешна.

Били ли сте някога да отговаряте на изискванията, при които заинтересованите страни не са съгласни по оформлението за формуляр в приложение? С A / B тестване можем да решим промените на продукта въз основа на данни, а не на най-силния участник.

История на успеха в реалния живот

Ubisoft са издател на видеоигри със седалище в Париж. Може би сте чували за тях или за някои от техните игри, включително Assassin's Creed, Far Cry и Tom Clancy's Splinter Cell.

Докато пуска нова игра, за Honor, Ubisoft създаде две версии на страницата на играта „Купете сега“ и събра данни за успеха на всяка страница през празничния сезон (октомври - декември 2017 г.).

Преди фазата на тестване:

Хипотезата беше, че процесът на закупуване може да бъде опростен чрез намаляване на необходимостта от превъртане на тази страница. Както показва изображението по-горе, преди купувачът да трябва да избере предпочитаното си издание за игра, превъртете надолу, изберете конзолата си, превъртете надолу, след това направете поръчката си и въведете своите данни за плащане.

След фазата на тестване:

Тази нова версия премахва необходимостта от превъртане, тъй като всички опции за купуване са избираеми в една колона. Сравняването на тестовите данни между двете версии на оформлението показа 12% увеличение на генерирането на олово.

Можете да прочетете пълния казус тук. Но първо се придържайте към забавния бит на тази публикация: A / B тестване в Dynamics 365.

A / B тестване в Dynamics 365 за маркетингов успех

Проектирането на перфектен маркетинг имейл може да бъде трудно. Може би имате няколко подобни идеи, плаващи наоколо за имейл темата, изображенията или формулировката. Може да сте добре да решите кой да изберете въз основа на интуицията или предишния опит.

Или можете да използвате A / B тестване, за да разберете кой от няколко подобни дизайни е най-добрият за подгрупата на вашата аудитория. След това изпратете успешния кандидат до останалата част от вашата аудитория. Както видяхме от по-ранните примери, интелигентният ход за гарантиране на успех би могъл да се основава на дизайнерските решения на данните, а не на представа.

Примерна стъпка в Dynamics 365 за маркетинг

В този пример създаваме две версии на маркетингов имейл, версия A и версия B. След това активираме A / B тестовата функция в Dynamics 365 за маркетинг на моите маркетингови имейли. Ще видим какво може да ни предложи Dynamics 365 по отношение на:

  • Опции за тестване на A / B тест
  • Показатели за ефективността
  • Показване на данни за резултатите от теста

За да създадете маркетинг имейл, можете да следвате това ръководство на Microsoft.

Ето един, който подготвих по-рано:

Създаден маркетингов имейл, можем да натиснем бутона за тестване Добавяне на A / B, показан вляво от полето за тема в екрана по-горе. Изберете, за да тествате срещу промени в тялото на имейла, от името или темата на имейла.

В моя пример „Версия B“ променя леко формулировката в тялото на имейла:

За пълни подробности как да конфигурирате шаблони за електронна поща за A / B тестване в Dynamics, вижте документацията на Microsoft тук.

Сега сме готови да тестваме имейлите си, като използваме пътуване на клиента. Тук документацията на Microsoft отбелязва следното:

За да създадете надеждни резултати от тестовете, винаги трябва да изпращате всяка версия (A и B) до минимум 100 получатели, преди да позволите на системата да избере победител. Типичната препоръчителна настройка ще използва сегмент от 1000 членове (или по-голям) с тестово разпределение, което изпраща версия А до 10% от сегмента, версия Б до още 10%, а след това изпраща печелившия дизайн на останалите 80%.

Пътуването ми просто има две стъпки: първо избира подмножество от базата ми за контакти (присъстващи на скорошни събития) и след това им изпращам маркетинговия имейл, който току-що създадох.

За да използвате маркетинговия имейл, създаден по-рано, изберете плочката за маркетингово съобщение в пътуването, след това изберете свойства отдясно и изберете вашето ново съобщение в полето за търсене „Маркетинг съобщение по имейл“.

В панела със свойства ще можете също да укажете тестово разпределение на A / B, печеливш показател и продължителност на теста:

С това конфигурирано мога да кликнете върху „Go Live“ в командната лента. Тогава играя играта на чакане! Обърнете внимание, че 1 ден е посочен като продължителност на теста. През това време мога да превъртя надолу към теста на панела с данни -

След изтичане на продължителността на теста, трябва да има ясен победител: в този случай версията на тялото на имейла, получила най-много кликвания. Останалите 80% от моята база за контакти могат да бъдат изпратени по-успешната версия на маркетинговия ми имейл.

Моят тестов имейл е изпратен само на един човек (мен) като пробен, не 100 получатели на ниво производство, препоръчани от Microsoft. Екранната снимка все още е илюстративна на информацията, която можем да проследим: изпратена тарифа, доставена скорост, уникални отваряния и кликвания. Подобно на Google Analytics или ClickDimensions. Забележка: ClickDimensions също поддържа A / B тестване.

Какво следва за A / B тестване в Dynamics 365?

По време на писането маркетинговите имейли в Dynamics 365 са единственият модул, поддържащ A / B тестване. Но ако сте чели дотук, сигурно си мислите: защо да спирате там?

Идея №1: Динамичен анализ на формуляра 365 с Azure Application Insights

Хипотеза: предоставяйки подмножества на потребители с различни версии на подобна форма (например сложна форма за обслужване на клиенти), можем да използваме Azure Application Insights (AAI), за да определим коя е по-продуктивната форма и следователно да увеличим производителността на екипа. Този сценарий за A / B тест ще работи както следва:

  • Два подмножини от екипа за обслужване на клиенти ще получат уникална роля в сигурността
  • Ще бъдат създадени две нови формуляри за обслужване на клиенти (случай); всеки подобен, но един с промени, ние считаме, че е по-продуктивен
  • Всеки формуляр се доставя на отделен потребителски набор, като се използва достъп за контрол на сигурността
  • AAI и анализа на използването могат да се използват за измерване на показателите за ефективност на потребителите и определяне коя форма е по-успешна (по-продуктивна за нашите потребители)
  • След това по-успешната форма се изпраща на всички потребители в екипа за обслужване на клиенти

Идея №2: Динамични портали с Google Optimize

Google Analytics е инсталиран на повечето портали в наши дни. Той помага за проследяване на статистическите данни за ефективността и използването за това как потребителите реагират на нашите портали.

Това, което изглежда е по-малко използвано, е Google Optimize: инструмент от Google, предлагащ подход, управляван от данни, за да се разбере как могат да се правят непрекъснати UX подобрения на портал, за да се създаде най-доброто изживяване за нашите потребители. Google описват Оптимизиране като:

Оптимизирането е интегрирано от Google за да ви помогне да определите кои части от вашия сайт се нуждаят от подобрение. Използвайте данните на сайта си в Google Анализ, за ​​да идентифицирате бързо и лесно проблемните области, а след това превърнете тези данни в действие, за да осигурите онлайн изживяване, което работи най-добре за вашите клиенти.

Инструментите за оптимизация са твърде често запазени за повишаване на маркетинговите резултати, често пренебрегват ползите, които могат да се намерят от оптимизиране на формулярите, използвани от нашите крайни потребители. Порталите на Dynamics често се използват като пазар с касата, но понякога те са външен прозорец към Dynamics 365, използван от администраторите.

Google Optimize използва A / B тестване и прави още по-опростено да се получи представа как можем да повишим производителността за крайните потребители, използвайки нашите портали. Като се има предвид тази нова простота, мисля, че времето за продуктивност се обръща повече на внимание, когато става въпрос за оптимизация, а не само фокусиране върху печалбите от маркетинга.

Движа се напред

Бих искал да проуча горните точки по-нататък в бъдещите публикации на статии, но засега те ще трябва да живеят като идеи. Може би имате свои собствени идеи как A / B тестването може да се използва за подобряване на потребителското изживяване на приложенията на Power Platform и Dynamics 365?

заключение

Виждахме, че A / B тестването се използва за най-голям ефект от технологичните компании с достатъчно голяма аудитория, за да се раздели тест срещу. Dynamics 365 за маркетинг използва A / B тестване за екипи с голяма целева аудитория от водещи или контакти е масови ситуации по имейл. Новите имейли за маркетингова кампания първо се пробват срещу подмножества от получатели, анализирани показатели за успех и печеливша имейл подредба, избрана да бъде изпратена на останалата аудитория. Това позволява дизайнерските решения за имейл маркетинг да се основават на емпирични доказателства, а не на интуиция.

A / B тестването може да се използва за подобряване на потребителското изживяване на Dynamics 365, ако се приеме, че има достатъчно голям набор от потребители, за да тествате. Google Analytics и Azure Application Insights измерват основните показатели за ефективност на промените в продукта на Dynamics, като оформлението на формата и потоците от процеси. Това може да формира на основата на доказателства подход за определяне кои промени в продуктите са по-продуктивни за нашите потребители и следователно трябва да бъдат въведени в цялата ни потребителска база.