Недавно на Хабре нам попалась статья Александра Баракова из datanature.ru, где он размышляет о будущем дэшбордов как медиума донесения аналитической информации. Мы посчитали интересным поделиться этим материалом с вами. Публикуем статью целиком. Авторская орфография сохранена.
День футуризма
Длинный отпуск в одиночку — время передумать вопросы, до которых не хватало времени весь год. Последние 10 лет я занимаюсь дашбордингом. Много вокруг него всего остального — data инжиниринга, бизнес-анализа, дизайна, консалтинга и даже data governance, но конечном счете я и мои команды 10 лет делаем дашборды для бизнеса. Сделали их тысячи, столько же похоронили, реанимировали и закопали снова). Достигли мы в этом если не совершенства, то почти его. Отстроили процессы, чеклисты, стайл гайды, пришли к оптимальным шаблонам, знаем как понимать скрытые требования заказчика, как внедрять отчеты в процессы, как обучать; сделали много ошибок и много из них выводов, короче видим задачи насквозь и различаем признаки фейлов до старта. Разве что книг мало читали — в основном те, что с картинками, можно было и больше.
И вот как всегда в жизни, ты приходишь к точке когда уровень насмотренности в какой-то сфере достигает критической точки и генерирует в твоей голове сначала ощущение, потом гипотезу, а потом и убеждение. Так эволюционировали и мои взгляды на дашборд — главную парадигму bi последних 10 лет, ставший для BI тулов как бы абсолютной идеей, острием всей конечной ценности, то куда в итоге все должны смотреть и радоваться обладанию дорогостоящей системой. BI-cистема для крупной компании с условными 2500+ юзерами стоит.. приличных денег, грубо округлив, пусть будет 800$K в год (300$K на софт и 500$K на команду) — у кого-то чуть меньше, у кого-то сильно больше. Чтобы окупить эти затраты нужно генерить много бизнес-пользы, ну прям много — кейсов ускорений решений, повышения их качества и плотности, сейвинга времени сотрудников и т.д. (тема отдельной статьи).
И вот, летишь ты в отпуск и думаешь, что и как делать в новом году еще круче, чтоб верить в это самому и заражать других. Включить в себе, блеать, футуриста. Так вот в дашборд, как в верховный смысл BI, — верить уже не получается. Сейчас модно говорить про смерть bi каким мы его знаем, про смерть дашбордов — звучит прикольно, но это кликбейтный бред вендоров и заканчивается всегда он саморекламой. Мне же хочется не столько накинуть на вентилятор, сколько поразбираться и понять для себя что-то, обрести новые идеи или занизить ожидания. Поэтому притормозим. Тут нужна, мать ее, завязка.
Симуляция счастья
Когда-то дашбординг, как форма коммуникации бизнес пользователя и данных, стал передовым, сменив фактически спредшиты (они же эксели для простоты) — прорыв был в красоте, интерактивности, шеринге и автообновляемости. Произошел рывок в Self-Service BI adoption — принятии BI решений в компании как в части работы с готовыми отчетами, так и в самостоятельной разработке пользователями. Но далее рост остановился на уровнях ~ 25-35% целевой аудитории. Есть несколько исследований — от Eckerson Group, BI Survey, Gartner, Thoughtspot на эту тему — сравните с вашим замером — мои данные и ощущения совпали.У того же Gartner была хорошая фраза, что self-service технология оказалась только в той степени полезна, в которой пользователи оказались способны себя обслуживать.
С тех пор как дашборды пришли всерьёз в корп реальность, помимо самой пользы наблюдается и симуляции и иллюзии пользы дашборда, а также искажения пользовательских вокрфлоу, неосознанные конечно. Мы сами хотим обманываться, они же такие у нас красивые, наши дашборды. Вот несколько примеров таких явлений:
- Уводит куда-то в сторону.. — пользователь тратит время на то, чтобы понять, что говорит ему большой, красивый отчёт, а не то, что его реально самого интересует;
- Обсуждать не значит пользоваться.. — пользователи всегда готовы давать замечания и пожелания, но это не значит что они планируют пользоваться этим отчётом в работе.
- Чужому не верится.. — для многих недоверие к чему-то, сделанному не ими, оказывается непреодолимым. Боль всех reporting factory сервисов;
- А, тут начать думать придется.. — люди склонны не пользоваться отчетами после разработки, даже если они объективно оказались полезными. Успокаивает сам факт наличия нужного отчета, а времени чтоб зайти и открыть, отфильтровать и найти инсайт — нет, все убивают текущие бизнес задачи;
- Любая задача = дашборд — пользователь всегда захочет дашборд под любую задачу, слайды для презы или ad-hoc для проверки гипотезы. Делая каждый раз борд, мы размножаем визуальные вариации, которым пользуются недолго, переключаясь на следующую новую задачу и порождая новый борд и т.д.
- Борд сам стремится к перегруженности, как самурай к смерти — в стремлении дать пользователю гибкость и вариативность мы делаем сложные «антидашборды» добавляя +100500 фильтров, переключателей, снижая при этом понятность, инсайтность, быстродействие. До определённого момента это может работать на повышение adoption отчета, но в конечном счете убивает в нем дашборд.
- Self-service не есть однозначное благо — нельзя все, что делают пользовали относить к пользе. Большая часть это пробы и «заброшки», создающие массу, которая выглядит обманчиво внушительно, но дает 0 ценности.
- Дорогая суета.. — классический извращенный цикл аналитической задачи — есть запрос на отчет, запускается анализ доступных данных, их допобработка, дизайн борда, уточнение логики — и когда запрос менеджера отвечен bi-отчетом, запрос уже изменился, уточнился, дополнился, сменился новым. Упорный аналитик не сдается и «бежит за поездом» — уточняет требования, переделывает, напрягает доп. экспертов, добавляет данных. Так создается «движуха», за которой часто не случается deсision support или принятое решение имеет микро-масштаб по сравнению с затратами на производство этой поддержки. Иногда сама эта движуха на пути к абстрактно «желаемому» совершенству логики и визуализации незаметно становится самоцелью работы.
Здесь, я смешиваю и аналитические дашборды и операционные (справедливое замечание Ромы Бунина). Это так, разберемся с этим чуть далее.
Обобщая эти разрозненные набросы, я бы выделил 3 главные причины стагнации в принятии BI:
— фундаментальный информационный разрыв между пользователем и отчетами — пользователи в массе не понимают (не хотят вникать, не могут, не имеют времени — неважно) общекорпоративные отчеты, теряются в их разнообразии и не готовы по разными причинам делать свои. В парадигме дашбординга — решается (1) повышением персонализованности и адресности доставки готовой аналитики, что сразу повышает операционные расходы BI команды на поддержку, тренинги, консалтинг, (2) децентрализаций разработки и продажей идей SS BI. Мы много экспериментируем с пользовательским опытом в этой части, создавая специальные готовые ролевые аналитические рабочие места с отчетами, это дает свой результат, но все равно проблема большая и недооцененная.
— неоперативность дашбординга, его неспособность успеть за меняющимся бизнес вопросами, причем как в формате self-service так и в формате reporting factory. Даже отточенный процесс производства дашборда занимает дни и недели (кто бы, что ни говорил про часы и минуты), это было прорывом 10 лет назад, но это супер долгая итерация для современного аджильного мира. Особенно явно это стало в 2020 когда COVID-19 постоянно менял ситуацию, на которую бизнесу нужно было реагировать. Пока мы делали одну версию бордов про удаленную работу сотрудников, хождение в офисы и вакцинацию — нужна была уже другая с другими требованиями и данными.В части self-service BI — да, мы увидели как в бизнесе выделилась каста power users, те же аналитики с BI навыками просто децентрализованно распределенные в компании. Но это все равно буфер между лицом принимающим решение и данными. Этот буфер остался и несёт в себе неизбежные потери в оперативности и глобально не решает проблему разрыва в цепочке создания ценности. В итоге pixelperfect дашборд — проигрывает не-дашбордовым решениям — «наколеночным» селектам и чартам на актуальных данных.
— неинсайтность дашборда — даже понятый и оперативно доставленный дашборд не генерирует инсайты сам по себе. Это всегда ресурсоемкие сверхусилия бизнес-пользователя. Можно повышать инсайтноемкость отчетов, но есть все равно «последняя миля пользователя» — посмотреть на график, цифру, цветовой хайлайт и «понять» что-либо ценное для совершения эффективного бизнес-действия. Эта часть почти всегда в тумане для команд BI report factory — здесь сталкиваются два мощных когнитивных искажения:
- Бизнес-заказчик преувеличивает пользу и не хочет признавать, что не часто пользуется правильным отчетом, к разработке которого к тому же имел отношение. Это может быть истолковано как его же некомпетентность.
- BI разработчик в процессе долгой разработки формирует эмоциональную связь с отчетом, и любит его в итоге больше, чем он реально заслуживает, может не замечать его оторванность от жизни и неактуальность, винить пользователя в низком usage rate. Я часто замечаю, что даже самые крутые наши отчеты, в той или иной степени, переоценены нами.
Аналитики ушли в мир BI ноутбуков
Дашборды, как упоминалось выше, лучше делить на типы. Упрощая, выделим три, как мне кажется, наиболее контрастные: стратегические, операционные, аналитические.
- Стратегические — быстрый обзор состояния и триггеров для решений; фокусировка на высокоуровневых показателях; простота; интерактивность около нуля; фильтров нет или почти нет; аудитория — топы;
- Операционные — мониторинг состояния метрик в различных разрезах, сравнениях, динамиках; больше информации, сложнее и дольше понимание; понятные отработанные пользовательские сценарии; более широкая аудитория middle-, low-level менеджмента;
- Аналитические — требуют дополнительного контекста; сложные для восприятия и инсайтов, более глубокие по возможностям анализа; неочевидные пользовательские сценарии; высоко-интерактивные, с большим количеством фильтров.
Так вот, первые два типа можно сейчас объединить — оба про операционный мониторинг, просто на разном уровне обобщения, есть отличия в подходах к дизайну, но цели едины — вывести информацию, максимально ускорив принятие решения пользователем. Третий же тип вообще ошибка и наша BI-ная гордыня — строить для всего дашборды. Мы вроде уже все поняли, что цель дата экплорайшна изначально порочна для дашборд-фокусированных BI тулов (типа святой троицы табло, пауэрбиай и клика). Мы делаем вид, что это не так, создавая из отчетов «франкенштейны» с кучей фильтров и переключателей, чтобы заложить в него максимум возможностей для непрогнозируемых пользовательских сценариев исследования. Вендоры по схожим причинам насаждают функции исследования для casual users (а ля web edit) и wrangling tools (типа tableau prep). Но истина — как у классика — для Графа де ла Фер (аналитика) этого слишком мало, а для Атоса (менеджера) этого слишком много. И нет, ситуативное использование отдельными вашими коллегами не опровергает этот факт.
Еще мы видим активное распространение ноутбук-тулов (перерожденных старых SQL IDM систем), объединяющих в себе удобный code-based (иногда drag-and-drop) querying на sql/python и визуализацию данных в таблицы/графики. Такой «BI ноутбук» содержит актуальные данные и контекст — все что нужно, чтобы гибко проводить и менять анализ, визуализировать, описывать, шарить и проверять чужой на разных этапах. Эти условные «BI ноутбуки» расставили точки над «и», отъев себе из BI тулов изрядную часть времени аналитиков. Эта мысль глубже раскрывается в статьях тут и тут правда с выходом на рекламу тула Count — вероятно действительно неплохого (попытка очеловечивания олдскула типа jupiter и zeppelin). Убьют ли ноутбуки data wrangling функции условных табло и клика? — хз, но в них точно больше жизни.
Итак, BI-ноутбуки лучше помогают аналитику работать и изучать данные, извлекая быстрые ответы на вопросы, но это не интерфейс для decision-maker. Но что, тогда в итоге должно будет быть доминирующем аналитическим воркфлоу для лиц принимающих решения.
По факту, цель нового BI — ликвидировать временной и понятийный блокер между десижн-мейкером и инсайтом-решением-действием при этом:- найти новую форму самообслуживания, исключив не только кодинг, но и поиск данных, drag-drop разработку, верстку и часть анализа данных, а возможно и вообще сократив до нуля сам self-serve компонент как генератор лишних потерь,- объединить для пользователя преимущества оперативного и вариативного BI-ноутбука и преднастроенность, персонифицированность дашборда.
Новые BI формы — что в итоге идёт на смену
Что рассуждать — BI-вендоры для нас уже все придумали. Конечно — все модное из последних конференций — Augumented analytics, NLP search AI based search, insight generation. Многие уже встречали сверхоптимистичный прогноз Gartner о том, что к 2025 году 75% data-историй будут автоматически генерироваться augumented analytics технологиями.Вот только реальное воплощение этих функций для разработчика и пользователя в полном тумане. Ощущение, что вендоры сами пока не понимают нового воркфлоу. BI-команды не видят ценности в сырых AI-сервисах, бизнесу все равно, а проблема низкого качества данных умножают на 0 вcе попытки тесты. Вопросов много. Но давайте сначала с наиболее понятного мне вывода: дашборды не умерли, они и не жили полноценно (как мы с вами хотели). Уровень требуемой персонификации, вариативности и оперативности аналитики будет убирать преднастроенные дашборды как излишнюю, дорогую и