Microsoft power bi: анализ данных для начинающих

Архитектура интеграции внешних инструментов

PBIX-файлы Power BI Desktop состоят из нескольких компонентов, включая холст отчетов, визуальные элементы, метаданные модели и данные, которые уже загружены из источников данных. Когда Power BI Desktop открывает PBIX-файл, это запускает процесс Analysis Services в фоновом режиме для загрузки модели. Так функции модели данных и визуальные элементы отчета получат доступ к метаданным и данным запросов модели.

Когда Power BI Desktop запускает Analysis Services в качестве модуля обработки аналитических данных, он динамически назначает случайный номер порта и загружает модель со случайно сформированным именем в виде глобального уникального идентификатора (GUID). Так как эти параметры подключения изменяются при каждом сеансе Power BI Desktop, внешним инструментам трудно обнаружить правильный экземпляр Analysis Services и модель для подключения. Интеграция с внешними инструментами решает эту проблему, позволяя Power BI Desktop передавать имя сервера Analysis Services, номер порта и имя модели инструменту в качестве параметров командной строки при запуске внешнего инструмента на ленте внешних инструментов, как показано на следующей схеме.

При использовании имени сервера служб Analysis Services, номера порта и имени модели инструмент использует клиентские библиотеки служб Analysis Services, чтобы установить подключение с моделью, получить метаданные и выполнить запросы DAX или MDX. Всякий раз, когда внешний инструмент моделирования данных обновляет метаданные, Power BI Desktop синхронизирует изменения, чтобы пользовательский интерфейс Power BI Desktop точно отражал текущее состояние модели. Учитывайте некоторые ограничения возможностей синхронизации, которые описаны ниже.

Что еще хорошего?

• У Power BI есть веб-версия. Все данные можно выгрузить в облако и внести правки в отчет, даже если вы не за своим компьютером и на нем не установлен Power BI.
• Есть приложения для Android и IOS. Можно что-то подкорректировать, если вы в дороге. Ну и в целом отчеты на Ipad Pro выглядят очень солидно. Сразу видно, что вы разбираетесь в вопросе намного лучше тех парней, что притащили отчет из Excel, распечатанный на черно-белом принтере.
• Есть бесплатная версия. Ее хватает для очень и очень многих задач. Если вы один работаете над отчетом и потом просто его кому-нибудь показываете, то никакая платная расширенная версия вам не понадобится. Никогда. Pro версия нужна именно для совместной работы.
• Можно делать дашборды. Настроить автообновления и выводить данные на экран в центре офиса. Продажи, выполнение планов сейлами. Доску почета, в конце концов.
• Power BI вырос из надстройки для Excel, поэтому большинству будет не очень сложно в нем освоиться.

Обучение на продуктового аналитика

Можно пойти по сложному пути и учиться самостоятельно. Для этого подойдут книги, вебинары, видеоуроки на YouTube и другие источники информации. Сразу стоит сказать, что это вовсе не бесплатный метод обучения, ведь придется пользоваться платными инструментами аналитики.

Но все же самообучение выходит дешевле, чем онлайн-курсы. Учитывайте, что придется вручную находить материалы для изучения, следить за их актуальностью, самостоятельно разбираться в сложных темах.

Более простой путь в плане поиска полезной информации – это обучение в школе онлайн или офлайн. Там студентам расскажут в целом о деятельности аналитика и познакомят с более узкими направлениями, например, бизнес-аналитикой, системной аналитикой и, конечно, продуктовой аналитикой.

Правда, такой вид обучения не из дешевых. Готовая программа может стоить около 50–100 тыс. руб. Но взамен преподаватели предоставляют актуальную структурированную информацию, практику и, возможно, стажировку и помощь с трудоустройством. Поэтому курс быстро окупает свою стоимость.

Предоставляю вам несколько курсов продуктового аналитика:

• Продуктовая аналитика – Skillbox
• Продуктовая аналитика – SkillFactory
• Продуктовый аналитик – Нетология
• Факультет продакт-менеджмента – GeekBrains

Но мало просто пройти один онлайн-курс. Чтобы идти вверх по карьерной лестнице и оставаться востребованным, надо осваивать дополнительные обучающие программы, смотреть вебинары, встречаться с другими специалистами и обсуждать насущные вопросы, повышать квалификацию, читать профессиональную литературу и т. д.

Проблема

Средства анализа информации

Пример информационной панели Digital dashboard

Для того чтобы максимально облегчить труд сотрудников, разработан ряд вышеупомянутых средств, позволяющих автоматизировать все процессы обработки и анализа данных. Их можно разделить на несколько групп: генераторы отчетов, средства аналитической обработки данных, средства разработки BI-решений, Enterprise BI Suits, так называемые интегрированные наборы аналитических предложений. Средства создания отчетов поддерживают все механизмы доступа к данным, они совместимы с СУБД, содержат элементы деловой графики, взаимодействуют с офисными приложениями, позволяют размещать отчеты в сети Интернет. На их базе есть возможность создания собственных уникальных решений. В 1993 году Э. Ф. Кодд выдвинул концепцию OLAP. В результате анализа данные могут быть выведены в виде таблиц, кубов, где прослеживается взаимосвязь более, чем двух параметров. Настольные OLAP-средства являются приложениями, которые позволяют выполнить многомерный анализ в конкретной СУБД. Многие настольные OLAP-средства имеют доступ к серверным OLAP-хранилищам. Фактически они являются клиентским приложением, выполняющим определенный запрос. Большинство предприятий выполняют анализ и обработку данных именно на серверных OLAP-средствах. Data mining Интеллектуальный анализ данных — это процесс поиска зависимостей, тенденций, взаимодействий, закономерностей между данными, который выполняется посредством математических алгоритмов. Он имеет целью построить модель для прогнозирования процессов, критичных для планирования бизнеса. Отличие Data mining Интеллектуальный анализ данных от OLAP в том, что первый не проверяет имеющиеся взаимозависимости, а ищет их самостоятельно. Например, если используется OLAP, то задается вопрос «Сколько человек в возрасте 20 лет пользуются услугами ресторанов быстрого питания?». В случае применения Data mining Интеллектуальный анализ данных вопрос формулируется так: «Имеется ли типичная категория людей, посещающих рестораны быстрого питания?». В целом список основных средств анализа информации выглядит следующим образом:

• OLAP (On Line Analytical Processing) выполняет оперативный анализ данных и служит для составления интерактивных отчетов.
• Виртуализация
• Data mining Интеллектуальный анализ данных — интеллектуальный анализ данных. Инструмент для сложного исследования зависимостей, которые помогает выявлять скрытые ранее закономерности. ИАД включает методы и модели статистического анализа и машинного обучения, дистанцируясь от них в сторону автоматического анализа данных.
• Scorecards — карты основных показателей, которые позволяют в виде графического изображения наглядно сравненить ключевые параметры производительности

со стратегическими задачами

Преимущества технологии блокчейн

Первым способом применения блокчейна стали криптовалюты. Однако в самой сути явления скрывается большое количество возможных способов использования. Цепочку блокчейн кодов, хранящихся, как правило, на разных компьютерах невозможно отследить и подделать. Это делает такие системы на порядок более надежной и безопасной, чем централизованные.

Платформа Bi Platform позволяет использовать технологию не только в крупных компаниях, но любому бизнесу, который хочет сделать делопроизводстве проще и ближе к клиентам. Это освобождает от необходимости в посредниках при проведении любых операций. С помощью смарт-контрактов, создавать которые на платформе можно одним нажатием мыши, бизнесу удастся обеспечить высокий уровень доверия клиентов.

В повседневной жизни это можно использовать через интернет-вещей, позволяющий контролировать функционирование всех объектов, связывая пользователя с поставщиком услуг без посредников.

Разведка данных

Разведка данных (data mining) представляет собой процесс обнаружения корреляции, тенденций, шаблонов, связей и категорий . Она выполняется путем тщательного исследования данных с использованием технологий распознавания шаблонов, а также статистических и математических методов. При разведке данных многократно выполняются различные операции и преобразования над сырыми данными (отбор признаков, стратификация, кластеризация, визуализация и регрессия), которые предназначены:

1) для нахождения представлений, которые являются интуитивно понятными для людей, которые, в свою очередь, лучше понимают бизнес-процессы, лежащие в основе их деятельности;

2) для нахождения моделей, которые могут предсказать результат или значение определенных ситуаций, используя исторические или субъективные данные.

В отличие от использования OLAP разведка данных в значительно меньшей степени направляется пользователем, вместо этого полагается на специализированные алгоритмы, которые устанавливают соотношение информации и помогают распознать важные (и ранее неизвестные) тенденции, свободные от предвзятости и предположений пользователя.

Принципы рассматриваемых систем

Польза, приносимая профессиональными системами, предназначенными для принятия самых эффективных бизнес-решений, базируется на следующем:

1. Наглядности. В интерфейсе любого ПО, предназначенного для бизнес-анализа, должны находить отражение основные показатели работы компании. Благодаря такой наглядности руководителю предоставляется возможность быстрой оценки положения дел для принятия, а при необходимости — для принятия решений по исправлению ситуации.
2. Кастомизации. У каждого пользователя имеется возможность настройки интерфейса и функциональных клавиш так, чтобы они были удобны именно для него.
3. Многослойности. В каждом наборе данных, предоставляемых BI-системой, должно находиться несколько слоев (разрезов). Это позволит предоставлять информацию в той детализации, которая требуется на конкретном уровне.
4. Интерактивности. Пользователям необходимо иметь возможность сбора информации по нескольким направлениям и из всех источников одновременно. Для этого в системе предусматривается функция настройки оповещения по тем или иным ключевым параметрам.
5. Многопоточности и разграничении доступа. BI-системе необходимо обеспечивать работу большого количества пользователей при возможности установки для каждого из них разного уровня доступа.

Перечисленные выше принципы Business Intelligence поддерживаются всеми передовыми BI-приложениями.

Основная часть

Бизнес-анализ и системный анализ в ИТ — это наборы практик, методов и задач

• В современных русскоязычных статьях и книгах, попавшихся мне, найти истину не удалось — чаще всего мнение привязано к конкретной организационной культуре, структуре или ситуации. В некоторых статьях СА могли назвать «системным администратором», в других его пытались сравнить с финансовым аналитиком и так далее (указывать ссылки во избежание конфликтных ситуаций не буду), в третьих БА и СА рассматривались совместно в противовес другим видам аналитиков. 
• В иностранной литературе (основой изучения для БА/СА многие считают книги К.Вигерса и Д.Битти, BABOK, А.Коберна, PMI Guide to business analysis и т. д.), в которых разделения БА и СА отсутствует принципиально. В некотором роде, возможно из-за различий в бизнес-культуре, они ещё больше вводят в заблуждение. Так, книга К.Вигерса и Д.Битти определяет бизнес-аналитика, как «роль в проектной команде, основной обязанностью которой является работа с представителями заинтересованных лиц для выявления, анализа, спецификация, валидация и управление требованиями в проекте. А также его называют аналитиком требований, системным аналитиком, инженером требований, менеджером требований, аналитиков бизнес-систем или просто аналитиком». То есть понятия неотделимы и приравнены друг к другу. В книгах PMI и IIBA упоминание термина «system analyst» вообще довольно скудно, а уж описание его отличия от «business analyst» нет и в помине.
• Нормативная документация Минтруда (профессиональные стандарты) приводит довольно близкое к реальному разделению, хотя БА в стандарте рассмотрен далеко от ИТ. При этом возникает понимание, почему в отечественном бизнесе понятия так разделены — призма стандартов. Роль БА здесь — обеспечение возможности проведения изменений в организации, приносящих пользу заинтересованным сторонам, путём выявления потребностей заинтересованных сторон и обоснования решений, описывающих возможные пути реализации изменений. Роль СА — разработка, восстановление и сопровождение требований к ПО, информационной системе, продукту, средству, на протяжении их жизненного цикла.

*В иностранных источниках используются более подходящие термины «technology focused» и «business focused».

Стандарты и разработки в области BI

Для унификации любой продукции немаловажным моментом являются общепринятые стандарты использования и оценки. Как ни странно BI-средства подобных стандартов не имеют. Нет и универсальных языков запросов к ним. На роль общепринятого стандарта претендует спецификация XML for Analysis. Она была успешно разработана и внедрена компаниями Hyperion и Microsoft. Она описывает универсальный способ доступа к OLAP-кубам и моделям Data mining Интеллектуальный анализ данных, размещенным в Интернете, который не требует обязательной инсталляции клиентских компонентов. Благодаря этому можно создавать универсальные клиентские OLAP-средства, которые будут поддерживать несколько серверных OLAP-продуктов одновременно. Если рассматривать все то новое, что предлагается в сфере модернизации BI-платформ, то можно упомянуть следующие разделы: разработка операционной отчетности для массового распространения, средств задания нерегламентируемых запросов, разработка новейших OLAP-инструментов, которые будут отвечать на вопросы не «что было?» и «как было?», а «что будет?» и «что если?». Становятся более удобными инструментальные панели и интерактивный визуальный пользовательский интерфейс. Появляется возможность осуществить прогнозное моделирование. Вводятся новейшие инструменты поиска.

Задачи пользователя в интерфейсе

Для достижения целей пользователь формирует задачи (посмотреть города «А» из всех городов) и ищет действия для реализации задач в интерфейсе программы (выбрать в выпадающем списке город «A» и нажать apply). Тут как всегда всё будет сильно индивидуально, но в BI среде чаще всего нужны следующие задачи:

• Фильтрация данных, чтобы получить нужную выборку.
• Переход между элементами, чтобы получить больше информации.
• Выбор способа отображения данных или выбор типа данных.
• Создание наборов, которые можно сравнить между собой.

Как лучше всего реализовать эти действия в интерфейсе я рассажу в другой раз, с реальными примерами реализации в Табло. Пока просто опишу общие правила:

1. Эти действия должны быть одинаковыми от отчета к отчету (если включили кнопку apply, то включайте во всех-всех отчетах для фильтров с мультивыбором).
2. Лучше всего, если это общепринятые действия и паттерны, свойственные платформе. Для веба это подчеркнутые ссылки, выделение интерактивных элементов и т. п.
3. Если не получается использовать общепринятые паттерны (например как с Табло из-за кучи ограничений в самой системе), то всегда помогайте пользователю в этом месте и формируйте новую привычку. Но, опять же, одинаковую для всех отчетов. Например, если можно фильтровать данные с помощью клика в график, добавьте иконку или описание про это.

Регистрация внешних средств

Внешние средства регистрируются в Power BI Desktop, когда средство включает файл регистрации *.pbitool.js в папке . Когда средство зарегистрировано и содержит значок, оно отображается на ленте «Внешние инструменты». Некоторые средства, такие как ALM Toolkit и DAX Studio, автоматически создают файл регистрации при установке средства. Однако многие инструменты, такие как SQL Profiler, обычно не делают этого, поскольку входящий в их состав установщик не включает создание файла регистрации для Power BI Desktop. Средства, которые не регистрируются в Power BI Desktop автоматически, можно зарегистрировать вручную путем создания файла регистрации *.pbitool.js.

Дополнительные сведения, включая примеры JSON, см. в разделе Регистрация внешнего инструмента.

Особенности профессии

BI разработчик постоянно взаимодействует с данными и хранилищами данных, поэтому он использует в работе аналитическое программное обеспечение. Также крайне важны глубокие знания декларативного языка программирования SQL, иностранного языка, корпоративных хранилищ данных (КХД). Основные обязанности BI разработчика следующие:

• проектирование и реализация различных хранилищ данных для систем бизнес-аналитики;
• поддержка существующих систем аналитики;
• анализ данных, предоставление отчетности, разработка ботов для автоматизации процессов.

Конечно, обязанности зависят от места работы и специфики деятельности компании. В любом случае BI разработчик должен обладать хорошими знаниями в сфере менеджмента, бизнес-процессов, информационных технологий.

Отраслевая специфика BI

Что касается специфики спроса, то среди финансовых компаний высока потребность в мощных инструментах выверки формируемой отчетности с целью реализации гибких стратегий аудита деятельности компаний. Однако отраслевая специфика данного сектора предъявляет высокие требования к функционалу предлагаемых в секторе BI решений и профессиональному уровню консалтинга. Банки проявляют спрос к системам управления рисками, формирования отчетности для регулятора, моделирования финансовых потоков и финансового состояния банка.

Для крупных розничных компаний и торговых сетей критично важно решить такие задачи как выявление закономерностей формирования спроса, сегментирование потребления по реакции на изменение цены, на маркетинговые акции или на определенные продукты, прогнозирование и факторный анализ. От их оперативного решения часто зависит выживаемость компании в условиях жесткой конкуренции

В госсекторе системы бизнес-аналитики активно используются для оценки эффективности деятельности органов власти, что связано с повышенным вниманием государства к качеству управления на всех уровнях. Кроме того, BI применяется для мониторинга и контроля реализации государственных программ и проектов, анализа и прогнозирования показателей развития экономики и отдельных отраслей

Активное применение BI системы находят и в области здравоохранения.

Спрос на BI проявляет активизировавшийся после кризиса сектор производства товаров массового потребления. Здесь системы Business Intelligent используют для анализа производственных издержек, «чувствительности» маржинальности к изменению затрат, сопоставления плановых затрат и прогнозируемых продаж в сочетании с корректирующими факторами на основании фактических объемов продаж.

Впрочем, независимо от масштабов бизнеса, решения, относящиеся к классу BI, востребованы фактически везде. Но наибольшей интерес к ним сегодня в сегменте Enterprise, как наиболее зрелом с точки зрения востребованности ИТ и зависимости от них ключевых бизнес-процессов. Здесь более высокой адаптации BI также, как правило, способствует наличие больших массивов данных, разнородных источников информации, потребность в четком управлении бизнеса по KPI.

Однако, именно в секторе среднего и малого бизнеса (СМБ) стоит ждать BI-бума, считают опрошенные TAdviser эксперты. Такие компании развиваются достаточно агрессивно и уже осознали, что аналитика в Excel и жестко стандартизованные отчеты из ERP их не устраивает ни по объемам информации, ни по оперативности доступа к ней. При этом в СМБ BI-проекты уже можно называть масштабными, поскольку львиная часть ИТ-бюджетов во многих компаниях идет именно на системы бизнес-аналитики.

Типовой ход внедрения BI в средних компаниях – модульный. При таком подходе сначала решаются самые острые бизнес-проблемы: например, в ритейле – это доскональный анализ продаж и аналитика для безопасности. После решения аналитических задач первой необходимости наступает небольшой период затишья – пользователи осваивают новый порядок работы, получают первые результаты от использования BI, продолжают активное развитие бизнеса, а иногда, и агрессивную экспансию.

Когда средний бизнес укрупняется благодаря правильным управленческим решениям, принятым на основе бизнес-аналитики, начинается новая фаза развития корпоративного BI-инструмента. Решаются задачи по управлению товародвижением, маркетинговыми активностями, HR и так далее. Заказчики СМБ рассчитывают получить быструю отдачу от инвестиций и снизить общую стоимость владения продуктом, зачастую намереваясь в дальнейшем развивать и поддерживать его собственными ресурсами. В этом случае партнер, как правило, привлекается только на период внедрения системы, обучения ключевых пользователей и первоначального сопровождения.

Георгий НанеишвилиQlik

При этом компании среднего и малого бизнеса очень внимательно подходят к выбору продукта и готовы поступиться функционалом ради меньшей цены решения. Решение должно быть быстро развертываемым, масштабируемым, гибким по архитектуре, простым в использовании и при этом обладать достаточно обширным функционалом.

Ключевые выводы

Посмотрите и другие наши переводы — «10 правил для совершенного дизайна дашбордов» и «Полное руководство по созданию таблиц»

Теперь вы знаете, как разбить процесс создание дашборда с помощью продуктового мышления. Резюмируя, вы можете использовать продуктовый подход к созданию впечатляющего дашборда, выполнив следующие действия:

1. Понять проблему и аудиторию, спроектировать дашборд, который хорошо справляется с одной задачей для чёткого круга пользователей
2. Учесть интересы пользователей, чтобы он был точным и простым для понимания
3. Поддерживать полученный результат, продвигая и улучшая его в дальнейшем