Построение аналитических отчетов на базе BI платформы QlikSense
Analytics Reports Based on BI Platform QlikSense
09.01.03 Мастер по обработке цифровой информации
Код курса: КЛИКСЕНС
Преподаватели
Описание курса
Компания Qlik выпустила продукт, который получил название Qlik Sense. Это приложение для самостоятельной визуализации, исследования и мониторинга данных. Дружелюбный, интуитивно понятный интерфейс не требует от пользователей специальных знаний по обработке данных. В готовом приложении пользователю достаточно сделать три действия для создания новой диаграммы без написания кодов и формул. Данные можно обрабатывать непосредственно в оперативной памяти, что позволяет оперировать большими объемами информации.
На занятиях курса Вы получите полноценные знания о передовых методиках построения BI-приложений на платформе QlikSense и возможностях визуального анализа данных в этой системе. Вы научитесь создавать полнофункциональный интерфейс приложения QlikSense, используя весь спектр имеющихся объектов визуализации, а также получите базовые навыки загрузки и обработки данных. По окончанию курса вы сможете самостоятельно с нуля создать полноценное приложение QlikSense.
Курс рекомендован всем, кто работает с анализом данных и хочет быстро и качественно визуализировать результаты своей работы, но не обладает специфическими знаниями в области анализа и программирования.
Вы научитесь
Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы.
Большинство выпускников наших курсов делают успешную карьеру и пользуются уважением работодателей.
Предварительная подготовка
Требуемая подготовка: Владение компьютером на уровне продвинутого пользователя. Успешное окончание курса 55291AC: Microsoft Excel 2019. Уровень 2. Расширенные возможности или эквивалентная подготовка.
Рекомендуемая подготовка (необязательная): Успешное окончание курса Основы программирования и баз данных или эквивалентная подготовка. Успешное окончание курса Microsoft Excel 2019/2016. Уровень 3. Анализ и визуализация данных или эквивалентная подготовка.
Qlik: пособие для новичка
У каждого разработчика, который решил встать на путь развития навыков создания приложений Qlik, сразу возникает несколько вопросов: с чего начать, что смотреть и как сделать обучение работе с Qlik максимально быстрым и эффективным? Конечно, книга QlikView 11 for Developers – прекрасное начало, но это явно – только самое начало пути. Мы уже делали подборку полезных ресурсов для начинающего консультанта QlikView, но сегодня пришло время немного углубиться в тему
Фронт-энд
Вы можете прекрасно создавать сложные модели данных, находить креативные решения в коде, но вашу работу большинство будет всегда оценивать по фронт-энду и визуализации. Именно поэтому начинаю не со скриптования.
Итак, создавая аналитические приложения Qlik, думайте о своем пользователе, о том, насколько удобно будет работать с вашим приложением с точки зрения дизайна, о том доносит ли дэшборд информацию по ключевым сферам деятельности, легко ли понять ключевые показатели и уловить изменения?
Ну и поскольку все любят простые решения: Как стать гуру фронт-энда Qlik за 4 шага 
Прежде чем создавать собственные приложения, посетите сайт с демо-приложениями Qlik и посмотрите, что делают эксперты вендора, а также победители конкурсов Qlik в плане дизайна и разработки.
Работа со скриптом
Создание выражения – намного проще, чем создание скрипта.
Например, мы хотим увидеть итоговые продажи, для этого нам нужно сделать всего-то:
Давайте теперь потренируемся в работе с выражениями и скриптами, и выполним ту же операцию в скрипте. Для работы этого выражения в скрипте пишем следующее:
После этого во фронт-энде мы добавляем следующее в нашу визуализацию, чтобы увидеть совпадения значений:
Да, существует много способов для достижения одного и того же результата, и ваша задача, как разработчика, — не только уметь воспользоваться всеми способами, но и выбрать наиболее быстрый и оптимальный для последующей работы приложений.
Сообщество: QlikCommunity и форум
Не забывайте, что есть ресурсы на русском языке:
Ну и, конечно, используйте очень важный ресурс на английском языке: глобальное сообщество QlikCommunity. Здесь можно найти много полезной информации и с большой вероятностью ответ на ваш вопрос (особенно, если вы только начинаете свой путь в Qlik).
Первая тренировка: создание дэшборда
Итак, давайте теперь создадим первый дэшборд (скачать его можно будет в конце поста). Ниже я опишу ключевые шаги по созданию дэшборда, которыми вы сможете руководствоваться и в дальнейшем:
1. Оцените данные
Обратимся к нашему примеру с продажами.
Данные выше показывают нам информацию о продажах и количестве по продуктам для каждого клиента. Давайте создадим наш шаблон, а потом отчет.
2. Шаблон
Мы хотим показывать данные по году, месяцу и дню. Реализуем это с помощью скрипта:
Посмотрите, что у нас получилось после небольшой работы:
3. KPI
Какими будут наши KPI? Здесь у нас есть два измерения, количество и продажи, так давайте сконцентрируемся на создании отчета:
Когда пользователь будет работать с этими данными, он увидит распределение значений по процентам:
4. Метрики
Далее, продумаем, какую дополнительную информацию мы можем получить из имеющихся данных. Например, получаем вот такие характеристики:
5. Визуализация данных
В нашем случае мы выбрали пузырьковую диаграмму, чтобы показать изменения продаж по категориям товарам и количеству проданных единиц.
Каждый продукт представлен пузырем, размер пузыря определяется количествм покупателей, купивших данный товар.
6. Порядок
Данные – это история, которая читается с верхнего края, вниз, налево, а затем направо.
Итоговый вариант дэшборда вы можете скачать здесь.
Скачать приложение Дэшборд по продажам
На этом сегодня все! Желаю вам успехов в деле освоения Qlik!
QlikView и Qlik Sense: Учебные курсы
Платное очное, официальный учебный центр с сертификатом Qlik (г.Москва)
— QlikView:
— Qlik Sense:
— QlikView:
— Qlik Sense:
Компания BI Consult адаптировала курсы и по запросу может провести курсы на территории заказчика:
Обучение пользователей, администраторов и разработчиков QlikView, Qlik Sense и Tableau
Построй свое первое QlikView и Qlik Sense приложение
Создание простейшего приложения QlikView и Qlik Sense для анализа данных.
QlikView для пользователя
Курс предназначен для конечных пользователей QlikView и Qlik Sense
Разработка пользовательского интерфейса в QlikView и Qlik Sense в редакции Designer
Разработка пользовательского интерфейса в QlikView
Работа с QlikView и Qlik Sense в редакции Developer / Углубленное изучение инструментария QlikView и Qlik Sense для работы с данными
После прослушивания курса Вы научитесь работать со встроенным инструментарием для извлечения и преобразования исходных данных в QlikView и Qlik Sense. Этот курс охватывает весь комплекс вопросов, связанных с моделированием данных и дизайна пользовательского интерфейса (макета документа) с примерами и упражнениями на основе актуальных QlikView и Qlik Sense реализациях. Эти примеры поднимут Вас на следующий уровень развития в QlikView и Qlik Sense, добавив, гибкости и изощренности в использовании инструментальных средств. Примечание:Рекомендуется опыт работы в качестве разработчика QlikView и Qlik Sense не менее 3 месяцев
Работа с QlikView Publisher Enterprise
Курс предоставляет учащимся практический опыт по управлению публикациями QlikView документов, в том числе планирование обновления данных в QlikView документах, и их распределение. Учащиеся будут иметь возможность установки, настройки и работы в реальной QlikView Publisher Enterprise среде с упражнениями и прямыми указаниями от инструктора.
Знакомство с SAP конектором для QlikView
Этот курс предоставит участникам практический опыт в области использования и сопровождения/администрирования SAP коннектора. Участники будут обучаться в среде SAP стандартной конфигурации.
Безопасность и ограничение данных в QlikView и Qlik Sense
Тренинг помогает освоить встроенные возможности по ограничению прав пользователей и их доступа к данным внутри QlikView и Qlik Sense документа
Разработка пользовательского интерфейса в QlikView и Qlik Sense
Тренинг дает представления о правилах разработки пользовательского интерфейса документа QlikView и Qlik Sense
Пройдя обучение или курсы по QlikView и Qlik Sense, вы сможете без труда найти работу в области разработки QlikView и Qlik Sense в качестве специалиста QlikView, аналитика QlikView или разработчика QlikView (developer QlikView).
Дополнительно рекомендуем скачать и прочитать книги:
Этапы проекта Qlik Sense. Краткий обзор состава работ по проекту
Опубликовано qliksense-expert в 18.06.2019 18.06.2019
Содержание урока по Qlik Sense
Введение Qlik Project Steps
Qlik Sense – очень гибкая платформа создания отчетности. В ней нет ограничений на количество приложений, на количество отчетов, количество данных. Вы можете создать 1 большое приложение с множеством различных отчетов, либо создать много приложений, в каждом из которых будет 1-2 сложных по структуре или логике отчета. Все зависит от Ваших потребностей. Единственно что нужно учитывать – это затраты на поддержку решений.
Также можно создать приложение Qlik Sense, в котором в библиотеке задать нужные измерения и показатели, а пользователи будут сами создавать простые отчеты, графики, дашборды, аналитические панели.
Этапы создания модели Qlik Sense
Рассмотрим основные этапы создания модели Qlik Sense:
Краткая схема создания приложения выглядит следующим образом:
1. Для того, чтобы создать аналитическую модель (Отчет, дашборд и т.п.) изначально необходимо получить требования от заказчика (выявить основные потребности). Вы проводите встречу с заказчиком, на которой записываете основные его желания, затем, обрабатывая первичные требования Вы задаете уточняющие вопросы заказчику.
Очень часто заказчики опускают нужные подробности, которые могут помочь в решении задачи. Делают они это зачастую не умышленно, а потому что для них это очевидно (каждый день с этим работают).
Иногда заказчик может опираться на вымышленные сущности, которых нет в учетных системах, либо они ведутся там очень и очень криво. Это все может привести к тому, что на пол пути Вы поймете, что разрабатываемый отчет довести до конца не получится. И ладно, если Вы на этот отчет потратили пол дня, а если Вы уже 2 недели что-то делаете и приходите в тупик?
Иногда заказчик хочет получить отчет, который можно получить из учетной системы. Он уже там есть, только заказчик про это не знает.
Еще 1 совет – всегда стремитесь избегать в своей работе с данными, которые пользователи ведут в Excel! На этапе выявления требований стремитесь заставить заказчика отказаться от excel, Хотя бы в сторону MS Access. Ну или обязать заказчика разработать жесткую форму для ведения данных с проверками.
2. Дальше начинается работа с источниками данных. В идеале сначала проводится краткий аудит учетных систем на предмет того, как вводятся данные.
На этом этапе необходимо проработать перечень источников из которых Вы будете выгружать данные. Для этих работ целесообразно привлекать системных аналитиков или разработчиков учетных систем, которые знакомы со структурой базы данных, могут помочь написать тот или иной запрос. Иначе Вам придется самостоятельно изучить в лучшем случае документацию, в худшем случае учетную систему (со всеми ее странностями и кастомизациями).
На этом этапе необходимо проверить наличие в справочниках нужных атрибутов (согласно требованиям), наличие фактов, смоделировать (например в Excel) расчеты, которые нужно получить в рамках аналитической модели.
Для снижения риска проекта по Qlik Sense рекомендую делать на предварительной стадии прототип модели на очень ограниченном объеме данных, проверить структуру модели, те или иные гипотезы. Внимание: самое важное на первом и втором этапах не уйти глубоко в детали и не выдумать из небольшого, быстрого и полезного проекта ОГРОМНОГО МОНСТРА.
В ходе второго этапа (при аудите учетных систем) уточняется ТЗ и разрабатывается план проекта.
3. Выстраиваем структуру окружения QS Проекта на Windows Сервере. Если в рамках проекта планируется использовать Qlik Sense Desktop – то требуется одна архитектура организации окружения (с привлечением QlikView Desktop), если Qlik Sense Enterprice – то другая архитектура.
Возможная структура папок для хранения QVD-файлов:
4. На четвертом этапе идет основная работа с данными. Строится процесс выгрузки данных из источников. Это может быть одна база данных или несколько баз данных. При этом в качестве источника данных может выступать облачный сервис (bitrix24, amocrm, мойсклад и т.п.).
4.1. Разработка Extractor на Qlik
Виды Extractor (выгрузки)
Очень часто обычную и инкрементальную выгрузку данных комбинируют. Самые большие данные переводят на инкремент, данные не критичные – выгружают в полном объеме.
4.2. Итак, после того, как Вы выгрузили данные из базы данных или облачного сервиса в QVD файлы, затем необходимо эти данные обработать (очистить, рассчитать показатели, агрегировать, обогатить дополнительными атрибутами, разметить флагами и т.д.) и положить обработанные данные в отдельный слой (например, DataTier1). Эти трансформированные данные Вы загружайте непосредственно в саму модель Qlik Sense или создаете ещё один дополнительный слой данных со сложными расчетами для конкретной модели данных.
Самое главное – не дублировать одинаковые данные в слоях. При повышении уровня слоя данные должны агрегироваться (группироваться). Нижние слои являются более общими, верхние слои – конкретно для каждой модели данных (или по направлениям анализа).
5. Проектируем слои приложения. Вот пример структуры аналитического приложения Qlik Sense:
Лайфхак для прототипирования в небольших проектах: В качестве инструмента прототипирования для визуализации можно использовать сам Qlik Sense. При этом сложные вычисления Вы не прописываете, а заменяете константами. При этом Ваш прототип будет максимально приближен к функциональности конечного продукта 🙂
Пример прототипа на Qlik Sense:
Qlik Deployment Framework
Размышления консультанта “ВСЛУХ”
Возможно кому-то мои рассуждения покажутся “водой”, возможно кто-то сделает заметку, кто-то пройдет мимо, кто-то добавит в комментариях свои мысли. Главное – это просто мысли, мои заметки, которыми я хочу поделиться.
Об отчетах
В компании может быть все плохо, но отчеты об этом могут не говорить. Истинные проблемы начинают всплывать, когда компания начинает генерировать убытки.
В компании может быть 1-3 отчета и из них может быть многое понятно о текущих делах. А может быть десятки отчетов, из которых ничего не понятно (куда смотреть, с чем нужно работать, куда прикладывать усилия). Для работы с отчетами в таких случаях требуется штат аналитиков, которые будут сидеть и обрабатывать автоматически рассылаемые отчеты.
Направление аналитики должно спускаться сверху, причем именно верхнеуровневые показатели должны показываться руководству с графическими представлениями. Руководитель должен открыть дашборд или отчет и дать указание подчиненным руководителям или линейным сотрудникам, что необходимо улучшить в компании. Или какой фронт работы выполнить.
Качество приложения Qlik Sense
Качество приложения Qlik Sense зависит напрямую от качества ваших учетных данных. Очень хорошие данные (структурированные, без мусора, без дублирования, без двоякости и т.п.) = ОТЛИЧНОЕ ПРИЛОЖЕНИЕ QLIK SENSE.
Очень плохое качество данных (пропуски, дублирование, кривая инфа, несоответствия, пустоты, кривые справочники, кривые документы, 100500 способов представления одних и тех же отчетов, но с разными значениями) – ужасная аналитика, ужасный ETL, ужасное приложение, ужасный ROI от бизнес-аналитики?
Куча рассылаемых отчетов Excel – интерес руководителей, но не владельцев компании
Согласитесь, что подделать сложный / запутанный отчет гораздо проще, чем манипулировать данными аналитических панелей. Любая прозрачность данных “больного бизнеса” – это риск для среднего и высшего руководства компании. Они понимают, что владельцы сразу же придут к ним, если у владельца будет под рукой удобный аналитический инструмент.
Исходя из этих предпосылок, можно предположить, что руководство (не владельцы) никогда не будут заинтересованы в разработке прозрачных дашбордов, с понятными и простыми сигналами “что не так” и “что нужно делать”. Они будут заинтересованы только в том, чтобы максимально неудобно представить данные, из которых сложно сделать “нужные выводы”.
Скорей всего это связано с тем, что люди, которые ставят ТЗ на разработку отчетов не имеют премий от прибыли компании, или от снижения издержек. Самая главная их задача – на совещаниях с умными лицами презентовать очередную порцию “умных отчетов”, чтобы их ценили за объемы аналитической работы.
Запомните – владельцам бизнеса нужен сигнал (светофор), чтобы понять, нужно ли кого-то пнуть, чтобы красный свет загорелся хотя бы на желтый, а в лучшем случае на зеленый.
Построить такой отчет очень сложно, т.к. нужно думать, гораздо проще придумать мудренную Excel с кучей столбцов и строк, которые зачастую между собой никак не коррелируют.
Создавайте базу знаний о бизнес-процессах в компании, делайте внутреннюю wiki
Очень часто и в разных компаниях видел ТЗ, в которых присутствует огромная куча различной терминологии, сокращений, формул, которые никак не расшифровываются и не поясняются развернуто.
Плюс очень часто в компании тот или иной бизнес-процесс может быть запутанным и нигде не описанным. Начиная разработку специалист шерстит всевозможные документы, письма, опрашивает коллег по тому или иному термину.
Приходит новый специалист и “исследовательская” работа повторяется снова.
Выход – создать внутреннюю базу знаний о бизнес-процессах в компании. Не называя имен компаний, я назову позитивные фишки, с которыми я встречался при устройстве в ту или иную компанию (ну или мои предположения, как это может выглядеть иначе в других компаниях):
Здравый смысл
Оценивайте полученные результаты, показатели, отчеты на здравый смысл. Если Вы получили ROI = 500%, то очень вероятно стоит перепроверить (и желательно 2 раза) методику расчета показателя. Если показатель дает очень расплывчатый результат, то стоит ли этот показатель считать? Это как по популяции кроликов в южном округе оценивать спрос на мясо кроликов по стране. Проще потратить силы на отчет P&L, и понять откуда приходят деньги и куда уходят, чем заниматься пространственной аналитикой.
Методология расчета и реальная жизнь
Просите методолога/заказчика на основе его алгоритма сделать предварительный расчет в Excel. Так Вы сможете оценить жизнеспособность методологии расчета.
Разработка отчета в Qlik = 60 часов (например), предварительный расчет в Excel = 4-8 часов (со сбором данных)
Рубрика: 1. Знакомство с Qlik Sense
1-4. Альтернативные состояния. Создаем контекст для анализа
Цели занятия: Научиться извлекать из данных больше инсайтов за счет создания контекста для сравнения; Научиться настраивать логику работы фильтров. Что такое «контекст» и зачем он нужен На прошлых занятиях мы сделали простенький дашборд. Напомню, он выглядит так: Дашборд простой именно для учебных целей. Но как хорошие аналитики, мы знаем — чтобы числа на экране обрели… Читать далее 1-4. Альтернативные состояния. Создаем контекст для анализа
1-3. Работа с фильтрами и выборками в Qlik Sense
Цель занятия: Разобраться с механикой работы фильтров в ассоциативном движке; Научиться применять выборки в Qlik Sense; Фильтр как часть дашборда Самое очевидное размещение фильтра — добавление его на дашборд. В прошлом занятии, мы оставили под этот элемент правую половину листа. Перетяните туда элемент Фильтр из библиотеки визуализаций и В элемент Фильтр можно добавлять несколько измерений.… Читать далее 1-3. Работа с фильтрами и выборками в Qlik Sense
1-2. Основы создания визуализаций в Qlik Sense
Цель занятия: освоить основные принципы построения визуализаций в Qlik Sense. Содержание занятия: Навигация в приложении; Меры и измерения; Структура визуализаций; Основные элементы; Навигация в приложении После того, как данные загружены в приложение, становятся активными новые пункты в меню навигации. В меню анализа появляются варианты Лист и Наблюдения. Кнопка Лист отправит нас на работы с дашбордами.… Читать далее 1-2. Основы создания визуализаций в Qlik Sense
1-1. Создание простого приложения в Qlik Sense
Содержание урока: Создание приложения; Построение модели данных через диспетчер данных; Изменение загружаемых данных. Цели урока: построить простую модель данных, разобраться с базовым способом загрузки данных в Qlik. Если у вас не установлен Qlik Sense Desktop, самое время сделать это по данной инструкции. После запуска программы, вы увидите такое окно: В терминологии Qlik этот интерфейс называется… Читать далее 1-1. Создание простого приложения в Qlik Sense
1-0. Базовый курс: введение
Основные обучающие материалы будут разделены на базовый курс, продвинутый курс, и tips’n’tricks, которые можно будет освоить после прохождения базового и продвинутого курса. Цель базового курса — наиболее быстро раскрыть перед вами преимущества платформы Qlik Sense в сфере исследования данных и анализа информации. Основной упор будет сделан на работу в визуальном слое, на простой модели данных.… Читать далее 1-0. Базовый курс: введение
