Недавно на Хабре нам попалась статья Александра Баракова из datanature.ru, где он размышляет о будущем дэшбордов как медиума донесения аналитической информации. Мы посчитали интересным поделиться этим материалом с вами. Публикуем статью целиком. Авторская орфография сохранена.
Длинный отпуск в одиночку — время передумать вопросы, до которых не хватало времени весь год. Последние 10 лет я занимаюсь дашбордингом. Много вокруг него всего остального — data инжиниринга, бизнес-анализа, дизайна, консалтинга и даже data governance, но конечном счете я и мои команды 10 лет делаем дашборды для бизнеса. Сделали их тысячи, столько же похоронили, реанимировали и закопали снова). Достигли мы в этом если не совершенства, то почти его. Отстроили процессы, чеклисты, стайл гайды, пришли к оптимальным шаблонам, знаем как понимать скрытые требования заказчика, как внедрять отчеты в процессы, как обучать; сделали много ошибок и много из них выводов, короче видим задачи насквозь и различаем признаки фейлов до старта. Разве что книг мало читали — в основном те, что с картинками, можно было и больше.
И вот как всегда в жизни, ты приходишь к точке когда уровень насмотренности в какой-то сфере достигает критической точки и генерирует в твоей голове сначала ощущение, потом гипотезу, а потом и убеждение. Так эволюционировали и мои взгляды на дашборд — главную парадигму bi последних 10 лет, ставший для BI тулов как бы абсолютной идеей, острием всей конечной ценности, то куда в итоге все должны смотреть и радоваться обладанию дорогостоящей системой. BI-cистема для крупной компании с условными 2500+ юзерами стоит.. приличных денег, грубо округлив, пусть будет 800$K в год (300$K на софт и 500$K на команду) — у кого-то чуть меньше, у кого-то сильно больше. Чтобы окупить эти затраты нужно генерить много бизнес-пользы, ну прям много — кейсов ускорений решений, повышения их качества и плотности, сейвинга времени сотрудников и т.д. (тема отдельной статьи).
И вот, летишь ты в отпуск и думаешь, что и как делать в новом году еще круче, чтоб верить в это самому и заражать других. Включить в себе, блеать, футуриста. Так вот в дашборд, как в верховный смысл BI, — верить уже не получается. Сейчас модно говорить про смерть bi каким мы его знаем, про смерть дашбордов — звучит прикольно, но это кликбейтный бред вендоров и заканчивается всегда он саморекламой. Мне же хочется не столько накинуть на вентилятор, сколько поразбираться и понять для себя что-то, обрести новые идеи или занизить ожидания. Поэтому притормозим. Тут нужна, мать ее, завязка.
Когда-то дашбординг, как форма коммуникации бизнес пользователя и данных, стал передовым, сменив фактически спредшиты (они же эксели для простоты) — прорыв был в красоте, интерактивности, шеринге и автообновляемости. Произошел рывок в Self-Service BI adoption — принятии BI решений в компании как в части работы с готовыми отчетами, так и в самостоятельной разработке пользователями. Но далее рост остановился на уровнях ~ 25-35% целевой аудитории. Есть несколько исследований — от Eckerson Group, BI Survey, Gartner, Thoughtspot на эту тему — сравните с вашим замером — мои данные и ощущения совпали.У того же Gartner была хорошая фраза, что self-service технология оказалась только в той степени полезна, в которой пользователи оказались способны себя обслуживать.
С тех пор как дашборды пришли всерьёз в корп реальность, помимо самой пользы наблюдается и симуляции и иллюзии пользы дашборда, а также искажения пользовательских вокрфлоу, неосознанные конечно. Мы сами хотим обманываться, они же такие у нас красивые, наши дашборды. Вот несколько примеров таких явлений:
Здесь, я смешиваю и аналитические дашборды и операционные (справедливое замечание Ромы Бунина). Это так, разберемся с этим чуть далее.
Обобщая эти разрозненные набросы, я бы выделил 3 главные причины стагнации в принятии BI:
— фундаментальный информационный разрыв между пользователем и отчетами — пользователи в массе не понимают (не хотят вникать, не могут, не имеют времени — неважно) общекорпоративные отчеты, теряются в их разнообразии и не готовы по разными причинам делать свои. В парадигме дашбординга — решается (1) повышением персонализованности и адресности доставки готовой аналитики, что сразу повышает операционные расходы BI команды на поддержку, тренинги, консалтинг, (2) децентрализаций разработки и продажей идей SS BI. Мы много экспериментируем с пользовательским опытом в этой части, создавая специальные готовые ролевые аналитические рабочие места с отчетами, это дает свой результат, но все равно проблема большая и недооцененная.
— неоперативность дашбординга, его неспособность успеть за меняющимся бизнес вопросами, причем как в формате self-service так и в формате reporting factory. Даже отточенный процесс производства дашборда занимает дни и недели (кто бы, что ни говорил про часы и минуты), это было прорывом 10 лет назад, но это супер долгая итерация для современного аджильного мира. Особенно явно это стало в 2020 когда COVID-19 постоянно менял ситуацию, на которую бизнесу нужно было реагировать. Пока мы делали одну версию бордов про удаленную работу сотрудников, хождение в офисы и вакцинацию — нужна была уже другая с другими требованиями и данными.В части self-service BI — да, мы увидели как в бизнесе выделилась каста power users, те же аналитики с BI навыками просто децентрализованно распределенные в компании. Но это все равно буфер между лицом принимающим решение и данными. Этот буфер остался и несёт в себе неизбежные потери в оперативности и глобально не решает проблему разрыва в цепочке создания ценности. В итоге pixelperfect дашборд — проигрывает не-дашбордовым решениям — «наколеночным» селектам и чартам на актуальных данных.
— неинсайтность дашборда — даже понятый и оперативно доставленный дашборд не генерирует инсайты сам по себе. Это всегда ресурсоемкие сверхусилия бизнес-пользователя. Можно повышать инсайтноемкость отчетов, но есть все равно «последняя миля пользователя» — посмотреть на график, цифру, цветовой хайлайт и «понять» что-либо ценное для совершения эффективного бизнес-действия. Эта часть почти всегда в тумане для команд BI report factory — здесь сталкиваются два мощных когнитивных искажения:
Дашборды, как упоминалось выше, лучше делить на типы. Упрощая, выделим три, как мне кажется, наиболее контрастные: стратегические, операционные, аналитические.
Так вот, первые два типа можно сейчас объединить — оба про операционный мониторинг, просто на разном уровне обобщения, есть отличия в подходах к дизайну, но цели едины — вывести информацию, максимально ускорив принятие решения пользователем. Третий же тип вообще ошибка и наша BI-ная гордыня — строить для всего дашборды. Мы вроде уже все поняли, что цель дата экплорайшна изначально порочна для дашборд-фокусированных BI тулов (типа святой троицы табло, пауэрбиай и клика). Мы делаем вид, что это не так, создавая из отчетов «франкенштейны» с кучей фильтров и переключателей, чтобы заложить в него максимум возможностей для непрогнозируемых пользовательских сценариев исследования. Вендоры по схожим причинам насаждают функции исследования для casual users (а ля web edit) и wrangling tools (типа tableau prep). Но истина — как у классика — для Графа де ла Фер (аналитика) этого слишком мало, а для Атоса (менеджера) этого слишком много. И нет, ситуативное использование отдельными вашими коллегами не опровергает этот факт.
Еще мы видим активное распространение ноутбук-тулов (перерожденных старых SQL IDM систем), объединяющих в себе удобный code-based (иногда drag-and-drop) querying на sql/python и визуализацию данных в таблицы/графики. Такой «BI ноутбук» содержит актуальные данные и контекст — все что нужно, чтобы гибко проводить и менять анализ, визуализировать, описывать, шарить и проверять чужой на разных этапах. Эти условные «BI ноутбуки» расставили точки над «и», отъев себе из BI тулов изрядную часть времени аналитиков. Эта мысль глубже раскрывается в статьях тут и тут правда с выходом на рекламу тула Count — вероятно действительно неплохого (попытка очеловечивания олдскула типа jupiter и zeppelin). Убьют ли ноутбуки data wrangling функции условных табло и клика? — хз, но в них точно больше жизни.
Итак, BI-ноутбуки лучше помогают аналитику работать и изучать данные, извлекая быстрые ответы на вопросы, но это не интерфейс для decision-maker. Но что, тогда в итоге должно будет быть доминирующем аналитическим воркфлоу для лиц принимающих решения.
По факту, цель нового BI — ликвидировать временной и понятийный блокер между десижн-мейкером и инсайтом-решением-действием при этом:- найти новую форму самообслуживания, исключив не только кодинг, но и поиск данных, drag-drop разработку, верстку и часть анализа данных, а возможно и вообще сократив до нуля сам self-serve компонент как генератор лишних потерь,- объединить для пользователя преимущества оперативного и вариативного BI-ноутбука и преднастроенность, персонифицированность дашборда.
Что рассуждать — BI-вендоры для нас уже все придумали. Конечно — все модное из последних конференций — Augumented analytics, NLP search AI based search, insight generation. Многие уже встречали сверхоптимистичный прогноз Gartner о том, что к 2025 году 75% data-историй будут автоматически генерироваться augumented analytics технологиями.Вот только реальное воплощение этих функций для разработчика и пользователя в полном тумане. Ощущение, что вендоры сами пока не понимают нового воркфлоу. BI-команды не видят ценности в сырых AI-сервисах, бизнесу все равно, а проблема низкого качества данных умножают на 0 вcе попытки тесты. Вопросов много. Но давайте сначала с наиболее понятного мне вывода: дашборды не умерли, они и не жили полноценно (как мы с вами хотели). Уровень требуемой персонификации, вариативности и оперативности аналитики будет убирать преднастроенные дашборды как излишнюю, дорогую и местами вредную прослойку, неоптимально предопределяющую пользовательский опыт. Дашборды не умрут, скорее займут небольшую нишу стандартизованного устойчивого во времени менеджерского репортинга, где форма и логика устоялись и не меняются часто. Ресурс и фокус аналитических команд перейдет на новые BI формы — условных приложений-конструкторов, генерируемых пользователем и автогенерируемых под пользователя из разных сущностей. Что это будет? — вот возможные отличительные характеристики нового BI:
Эту концепцию неплохо осмысляет thoughspot, которые не имеют груза дорогостоящего легаси продукта и сразу создают нечто новое, толкаясь от чужих тупиков. Ребята жестко набрасывают на традиционный BI (имея ввиду уже tableau, Qlik, PBI и т.д., как изменчив мир), но вот это демо порадовало проработанностью опыта пользователя. Понравился термин — pinboard (воистину, шаришь в маркетинге — начни со своего нейминга)) — тоже борд, но формируемый пользователем через сохранение элементов (чартов, инсайтов, алертов и т.д.), генерируемых поисковым движком, извлекаемых из чужих наработок или собираемых вручную. Нативно мышлению здесь выглядит и движение пользователя по drill-down / drill-up сценариям.Похожий концент контектной аналитики развивает Yellow Fin BI.
Вообще подход с минимальной преднастройкой, гибким составлением панелей из элементов и интерфейс универсального гугл-поиска — кажется проще текущих сценариев self-service и перспективнее с точки зрения вовлечения новой «спящей» аудитории бизнес менеджмента и нового прорыва в self service BI adoption с 30 до 60-70%. Задача старательно верстать и размещать элементы заранее должна будет уйти — она слишком трудоемкая, и при этом в ней уже все понятно и шаблонировано, чтобы убрать отсюда ручной труд. Пользователь по сути может конструировать себе пинборды по темам с той сложностью, к которой он готов, собирая их из готовых элементов.
Для кого и это будет ту мач, остается сценарий использования готовых ролевых пинбордов (читай здесь «дашбордов»).
Хуже дела у лидеров, имеющих большую инерцию, — Qlik, Tableau и PBI тоже инвестируют в эти идеи, но их разработки, на мой взгляд, не содержат нового понятного и единого интерфейса, связывающего NLP-сервис и инсайт-генерацию с базовым продуктом. Есть отдельно дашборды, отдельно AI сервис. Работа внутри дополнительной прослойки в слое данных (как у tableau и Qlik), вероятно, будет сильно сдерживать взлет технологии — построение всей обвязки со своими published data source кажется большим ограничением того же табло. Инсайт-генерация PBI сейчас похожа на кучу текста с описанием отклонений, большая часть из которых малозначима, а текстовая форма убивает все преимущества визуального анализа, и превращает пользователя в читателя (здравая мысль Димы Гудкова).
Пока сами вендоры дают себе еще 5-7 лет на доработку и обучение еще семантически «глупых» NLG движков, давайте представим модель трансформации самого BI сервиса, процессов и команды, по ходу онбординга этого подхода.
Очевидно, что взлет AI функций будет повышать автономность бизнес-пользователей и снижать поток ad-hoc запросов и запросов на разработку отчетов на data / BI аналитика. Ресурс BI команды начнет высвобождаться, куда его придется перенаправлять? Есть ощущение, что в центр внимания BI команды попадет продукт и всяческая поддержка процесса обучения AI-движка на распознавание данных, поисковую эффективность, настройку интерфейса для пользователя.
Примеры активностей, которые, на мой взгляд, станут приоритетными:
Нужно ли менять BI тул? — кажется нет, по крайней мере по причинам эволюции BI. Виденье сейчас у всех похожее, есть отличия реализациях, но говорить кто первый соберет работающий концепт сложно. Вероятно народный рейтинг систем будет меняться в зависимости от успешности адаптации под новые реалии и будет исход клиентов в новых и дерзких игроков. Так, если вы выбираете BI систему и не связаны еще вендорскими предрассудками, посмотрите на thoughtspot из взрослых систем (не на правах рекламы, не является инвестиционной рекомендацией)) или на arria (NLG расширение для PBI, Tableau Qlik и других), или на молодые и нишевые решения типа narrative bi, Outlier, Lexio, datastories (спойлер — скоро их всех купят), а я буду ждать новых откровений от чудотворных крестов tableau.
Что можно начать делать заранее? Работа, как известно, — заполняет все отпущенное ей время, и, если осознанно не букать ресурс, движения не будет. Варианты:— сделать роадмап кардинального решения проблем с качеством для критических данных для компании (сотрудник, клиент, кандидат, затраты, платежи, отгрузки, запасы и т.д.). Если будут дыры в этих данных, скачок в новый BI вы не совершите. Не поздно взяться за вопрос глобально — развернуть хорошее DQM решение.— копить базу инсайт-кейсов, какой бы ни был новый потенциал BI системы, настраивать адекватность ее инсайтов придётся вам с командой тем или иным образом (для этого нужна будет накормленная база)— проинвестировать в модернизацию data стека — data warehouses, data lakes, lakehouses и прочий data mesh)) — устаревшие решения заблокируют вам модернизацию BI— заняться причесыванием метадаты и отладкой процессов ее поддержки— перейти от финансирования BI как кост-центра к новой модели фондирования BI проекта и метрикам эффективности, завязанных на выручке и монетизации репортинга — количество дашбордов и отчетов скоро окончательно перестанет волновать кого-либо.- ничего не делать и не париться (тоже норм вариант).
Все эти рассуждения могут у кого-то вызвать ощущение безотлагательности каких-то перемен или наоборот неважности, нематериальности новых трендов, но это футурология, полезная для формирования направлений трансформации, но не более. Реальное понимание текущих задач, ограничений в вашей компании и потенциала ваших текущих инструментов будет всегда важнее новых фич, до которых ещё надо дожить. А польза от BI должна производится здесь и сейчас. So, god save dashboards)
Рекламируем двухдневный семинар по бизнес-аналитике и визуализации с использованием BI-систем, от компании Аналитика Плюс.
Итак, в полку различных курсов в Москве прибыло.
Практический курс включает в себя:
В процессе обучения Вы узнаете, как правильно визуализировать Ваши идеи, рассказать их автоматически с помощью графиков и диаграмм и быть уверенным в том, что аудитория Вас услышит и поймет. Вы получите знания и навыки для создания презентаций и дэшбордов любого уровня сложности. В рамках семинара Вы построите свою первую инфографику, визуализируете бизнес-проблему, объедините бизнес-данные в единый дэшборд.
Формат обучения: практические занятия.
Даты проведения: 14 и 15 мая, 19:00-22:00
Место проведения: Москва, Учебный центр RMA, М.Курская (кольцевая) или Чкаловская, ул. Нижняя Сыромятническая, д. 10, стр. 12, 4 этаж, Зал «Che»
ПРОГРАММА СЕМИНАРА
ДЕНЬ 1
Основы визуального мышления. Мы рассмотрим роль и основные задачи визуализации бизнес-данных. Научим категоризировать бизнес-проблемы для решения задач визуализации, разберем основные этапы процесса визуального мышления, научим правилам подготовки визуализации идей. Вы узнаете, как выбрать способ и структуру визуального представления в зависимости от различных факторов (тип решения исходной проблемы, уровень подготовки аудитории и пр.). На интенсивном Мастер-классе вы построите свою первую инфографику, решите практический кейс по выбору оптимальной структуры визуализации заданной бизнес-проблемы.
Методы и принципы визуального представления данных. Мы рассмотрим более 20 различных методов визуализации данных: диаграмма рассеивания, площадная диаграмма, коробчатая диаграмма, картограмма и пр. Расскажем о правилах оформления отчетных таблиц, графиков и диаграмм; базовых принципы визуализации количественных данных. Мы также разберем типичные ошибки, совершаемые при построении графиков и диаграмм. Вы узнаете о количественных и качественных показателях визуализации: плотность данных, «фактор лжи», соотношение данных и чернил. Вам предстоит решить практический кейс по выбору и оформлению оптимальной диаграммы для визуализации количественных данных. Продолжить чтение →
Сегодня я хочу рассказать вам об одном удобном инструменте для создания различных интерактивных графиков, карт и диаграмм, а так же их публикации в Интернете. И да-да, некоторые угадали, это Tableau Public.
Вообще, если смешать возможности Excel в плане построения графиков, удивительную всеядность в плане источников данных а так же возможность публиковать диаграммы и дэшборды в Интернете при помощи собственной платформы, то тогда и получатся продукты Tableau. Их несколько и все они различаются по функционалу и решаемым ими задачам. Увидеть весь список решений можно на сайте Tableau.
У Tableu Public (совсем, кстати, бесплатной) есть одно серьезное отличие от всех своих собратьев, даже от бесплатного Tableau Free.
Tableau Public не предусматривает возможность сохранения проектов пользователя на локальных дисках, только в онлайн, на специальные серверы Tableau Public.
Иными словами, это решение было создано разработчиками для блоггеров или пользователей социальных сетей, которые создают свои проекты для общего доступа и публикации в Интернете (или для личных проектов, когда не так уж и важно, что кто-то гипотетически может увидеть результат вашей работы). Также этой платформой пользуются различные интернет-издания, общественные организации, учёные и студенты по всему миру.
Так, например, будет выглядеть интерактивный дэшборд из нескольких графиков после публикации в вебе.
Представление о возможностях Tableau Public можно получить из этого (пусть и в некотором смысле рекламного) видео:
Остановлюсь на некоторых из них:
Удивительная «всеядность» в вопросах источников даных
Tableau поддерживает импорт из MS Excel, MS Access, внушительного количества текстовых форматов и серверных баз данных.
Удобство использования
Продукты Tableau проектируются так, чтобы максимально упростить для пользователя работу с его данными. Различные виды предварительных сортировок, изменение типов диаграмм буквально в пару кликов — всё это делает работу с Tableau Public очень удобной и интуитивно-понятной. Даже если вы новичок в вопросах визуализации, Tableau Public на основе автоматического анализа ваших данных может порекомендовать вам удачный способ визуализации. Эта функция называется Show Me и про нее тоже стоит показать видео:
Интерактивность получившегося результата
Графики, созданные при помощи Tableau Public отличаются от документов Excel. Они интерактивны. По щелчку мыши, на интересующем графике или диаграмме появляется дополнительная информация.Это позволяет не перегружать исходную «картинку», сделать изучение информации намного интереснее и удобнее. При этом для создания красивых интерактивных визуализаций совсем не нужно изучать языки программирования, Flash или что-то подобное.
Социальность
После того, как вы опубликовали данные и диаграммы в интернете, пользователи могут делиться друг с другом вашими визуализациями в социальных сетях и скачивать себе уже созданные вами аналитические диаграммы. Кроме того, пользователи могут скачать и «сырые» данные, чтобы построить уже свои собственные визуализации на них. Также пользователи могут встроить к себе на ресурс вашу визуализацию, и она всегда будет у них в актуальном состоянии если вы будете в ней что-то менять. И стоит отметить, что вы сохраняете над созданными графиками полный контроль даже после их публикации.
Кстати, очень обрадовала автоматическая привязка данных к карте мира, как по ZIP-кодам в США, так, и по широте-долготе. Выглядеть это будет примерно так:
Начав использовать Tableau Public я понял, как же мне не хватало такого инструмента во времена моего обучения в институте. С ним анализ данных действительно стал намного удобнее и мне бы, наверное, не пришлось тогда плодить кучу документов и проводить вечера в попытках сделать мои диаграммы более или менее визуально-привлекательными.
Скачать и попробовать последнюю версию можно (и очень рекомендуется) с сайта Tableau: http://www.tableausoftware.com/products/public
А ещё «на сайте производителя» есть достаточно интересная галлерея созданных в Tableau Public работ. Там замечены работы Wall Street Journal, New Scientist и Wired. Посмотрите, это действительно интересно.
Возможно, он займёт место в списке ваших рабочих инструментов — если визуализируемые вами данные не надо защищать конфиденциальностью. Ну а если иначе — то вам прямая дорога в отдел продаж Tableau. Обращайтесь, посоветуем.