Подготовка и проверка данных для анализа
В настоящее время трудно себе представить организацию, которая бы не использовала анализ оперативных данных при принятии управленческих решений. Для обеспечения удобства и наглядности работы основное внимание при этом уделяется, как правило, возможностям визуализации процесса анализа. Однако более важными факторами, серьезно влияющими на ценность результатов аналитики, являются цельность и достоверность анализируемой информации. Эффективный процесс сбора, проверки и консолидации собираемой оперативной информации (его часто называют ETL - от наименования его основных стадий Extraction, Transformation, Loading) - необходимое условие качественной бизнес-аналитики. Для автоматизации процесса подготовки исходных данных для анализа мы предлагаем специальную программу-загрузчик Sales Data Loader.
Sales Data Loader реализован как ASP.NET 5 веб-приложение и может устанавливаться как в сети Internet, так и на Microsoft IIS сервере в локальной сети. Программа работает с любой версией Microsoft SQL Server, поддерживаемой Microsoft, для работы с ней пользователю нужен только браузер.
Какие проблемы возникают при загрузке данных
Рассмотрим ситуацию на примере. Крупный производитель продает свою продукцию через дистрибуторов, торговые сети и многочисленных реселлеров. Оперативные данные, собираемые им для анализа ситуации с продажами, поступают от этих партнеров в виде разнообразных табличных файлов-отчетов формата Excel или CSV, содержащих информацию о количестве проданных товаров, доле продаж по сравнению с конкурентами, о размере складских запасов и другие параметры. Для обработки этой информации аналитической системой, данные из полученных файлов загружаются в таблицы SQL базы данных. В этот момент может возникать ряд проблем:
Как правило, отчеты каждого партнера имеют свою уникальную структуру данных. Поэтому перед загрузкой отчетов каждого партнера необходимо настроить соответствие порядка столбцов в таблицах этого партнера порядку столбцов в стандартных таблицах на SQL сервере.
У партнеров могут быть свои обозначения артикулов товаров. Поэтому в процессе загрузки данных бывает необходимо подменять артикулы партнеров артикулами производителя товаров.
В файлах партнеров может присутствовать информация о товарах других производителей, ошибочные (строчки «Итого»), излишние или пустые данные. Поэтому в процессе загрузки необходимо распознавать и отбрасывать ненужные строчки при помощи таблицы-словаря признаков бракованных данных.
В исходных файлах, как правило, содержится не вся информация, необходимая для дальнейшего анализа. Например, нет данных о сегментации товаров, присутствии консультантов в торговых точках и тому подобное. Такая информация дополняется из справочных таблиц, которые находятся на SQL сервере. Эти таблицы необходимо время от времени обновлять, но делать это непосредственно на SQL-сервере не удобно.
Существуют различные системы автоматизации процесса загрузки и очистки данных - набор служб Microsoft SQL Server Integration Services, популярный аналитический инструмент Microsoft Power BI и другие. Но их эффективное использование требует, как правило, требуют специальных знаний и административного доступа к SQL-серверу для первоначальной настройки и последующего внесения изменений в процессе эксплуатации.
Основные возможности загрузчика Sales Data Loader
Sales Data Loader позволяет на всех этапах ETL процесса использовать только привычные аналитикам файлы формата Microsoft Excel.
Прямой доступ к SQL-серверу и получение административных прав не требуются. Все пользователи работают с SQL-сервером через веб-портал ETL загрузчика.
Так как Sales Data Loader работает в AD/Azure AD, то авторизация пользователей происходит автоматически. Уровень доступа решается за счет членства в локальных группах Windows сервера, на котором установлен IIS сервер портала.
Все изменения процесса загрузки и настройки выполняются за счет выгрузки/загрузки файлов в формате Microsoft Excel.
Поддерживаются все SQL базы данных, включая Microsoft SQL Server, PostrgeSQL и Postgres Pro.
Группирование данных в зависимости от цвета заливки строк в файлах Excel.
Основные преимущества:
Решается проблема обеспечения соответствия столбцов в получаемых файлах от партнеров и в таблицах на SQL-сервере. Sales Data Loader ведет специальную таблицу конвертации на SQL-сервере, в которой отчетам каждого партнера присваивается номер правила конвертации. Данные в этой таблице меняются не часто, так как форматы отчетов одного и того же партнера обычно постоянны. При необходимости изменения таблицы конвертации пользователи могут выгрузить ее содержимое в Excel файл, отредактировать его у себя на компьютере и загрузить изменения на SQL-сервер.
Решается проблема несоответствия артикулов одного и того же товара, используемых партнерами и производителем. Таблицы с артикулами так же можно выгружать в Excel формате, редактировать локально и загружать изменения на SQL-сервер.
Решается проблема поддержания актуальности словарь признаков для отбраковки лишних строк. При необходимости любые другие справочные таблицы SQL сервера (например, справочник торговых точек) также могут быть выгружены, изменены и загружены через портал загрузчика с использованием Microsoft Excel.
Выполняется процесс обогащения данных. Например, введенные данные могут разноситься по заданным заранее группам продуктов для учета продаж в их составе с помощью т.н. дерева продуктов (Product Tree). Это дерево также можно выгрузить и отредактировать при необходимости.
Перед загрузкой данных на SQL сервер, пользователи могут предварительно выгрузить данные в таблицу Excel, проверить результат, при необходимости дополнить таблицы соответствия артикулов и справочник бракованных строк, еще раз проверить результат и загрузить на SQL сервер уже полностью подготовленные достоверные данные.
Чем отличается от существующих решений
Самые главные отличия данного решения от существующих:
Пользователи работают с данными в хорошо им известных и привычных файлах Microsoft Excel, им не требуются навыки программирования.
Пользователи работают совместно и безопасно через веб-портал ETL загрузчика без непосредственного доступа к SQL-серверу.
Необходимые изменения в таблицу конвертации вносятся один раз и используются автоматически для всех партнеров.