В условиях перехода к цифровой экономики компании окончательно убедились, что данные - это актив, который важно правильно хранить, обрабатывать, анализировать, используя для принятия решений и построения прогнозов. Эффективность этих процессов обеспечивает единое хранилище, в которое должны быть загружены проверенные качественные данные. Задача их консолидации из разных источников подразумевает сопоставление и синхронизацию справочников в различных ИТ-системах. Именно для этого бизнесу нужны системы управления нормативно справочной информацией (НСИ).
По данным TAdviser, объем рынка систем управления НСИ составляет около 1,5 млрд рублей на конец 2017 года. Спрос на эти решения растет на 20-25% в год - прямо пропорционально росту цифровизации бизнеса. Ускорению динамики способствует рост проникновения облачных сервисов на отечественном рынке (на уровне около 20% в год), а также запуска инициатив по информатизации государства и общества в рамках реализации программы .
Общий путь к цифровизации диктует необходимость в единой базе знаний о клиентах, продуктах и т.д. Для успеха цифровых инициатив нужно эффективно управлять данными, которые прежде необходимо собрать воедино – чтобы сформировать достоверное и корректное предоставление «единой версии правды» для всех структурных подразделений. Соответственно, растет спрос на инструменты для сопоставления и консолидации данных, которые обеспечивают быстрый доступ к информации, независимо от ее источника, анализ закономерностей и отклонений, а также безопасное распространение данных.
В фокусе внимания
Представители бизнеса становятся все более требовательными к качеству НСИ и процессам управления ей. Также вопросы к качеству НСИ возникают и на местах, у специалистов. Чем более резко увеличиваются объемы накапливаемых организациями данных, тем выше требования к производительности информационных систем. Объемы справочников постоянно растут. От современных решений в области управления НСИ ждут возможности поддерживать работу более чем с 1 млрд записей.
Если 10 лет назад, в конце нулевых годов XX века, под задачами НСИ чаще понимался процесс миграции справочников в рамках внедрения учетных информационных систем, то в 2018 году бизнес подходит к задачам управления НСИ более осознанно и структурно, с привлечением функциональных подразделений, непосредственно использующих эту информацию в бизнес-процессах. Происходит уточнение задач, связанных не только с оборудованием и материалами, но и с контрагентами и прочими справочными данными.
| Сложившееся положение требует более высокого уровня автоматизации и формализации: все, что может быть «зашито» в четкий автоматизированный алгоритм, должно быть формализовано, т.к. без жестких правил работа с НСИ превращается в хаос. Также вовлечение различных подразделений бизнеса в проекты НСИ увеличивает их длительность. В качестве решения на первый план выходят современные средства автоматизации качества данных с использованием механизмов , - комментирует Баир Данилов, руководитель направления НСИ компании IBS |
По состоянию на 2018 год до 75% этого рынка приходится на консалтинг и около 25% занимают лицензии. Такая ситуация обусловлена тем, что помимо непосредственного создания справочника, компаниям необходима его интеграция с другими информационными системами, а для справочников клиентов - с системами защиты персональных данных, отмечают в «Крок ».
Новые тренды
В числе «горячих» глобальных технологических трендов, меняющих рынок НСИ , эксперты IBS отмечают расширение объема управления справочниками, т.е. управление не только основными данными – контрагентами и материалами, но и единым планом счетов, производственными активами и другими необходимыми справочниками для ключевых бизнес-процессов предприятия. Также в фокусе - автоматизация процесса проверки НСИ, в том числе с помощью технологий машинного обучения , разработка единых стандартов ведения контрагентов и материалов, а также создание цифровых экосистем, в которых производители и покупатели могут свободно обмениваться прозрачной информацией о товарах и сделках.
Определяющим трендом остается улучшение . Технологии машинного обучения позволяют проводить более качественную дедупликацию в автоматизированном режиме. В целом развитие заметно меняет ранее сложившиеся подходы к работе с НСИ – повышается эффективность распознавания и корректировки данных, добавляется возможность использовать мультимедийную информацию, делать данные нагляднее и пр.
Сегодня интерес к качеству НСИ демонстрируют не только гиганты экономики, но и компании среднего бизнеса. В IBS отмечают рост количества запросов на проекты НСИ со стороны фармацевтики, пищевой промышленности, машиностроения и сельского хозяйства. В том числе этот интерес подстегивают импортозамещающие инициативы – как раз внедрение НСИ позволяет решить задачу поэтапного и рационального импортозамещения зарубежных решений.
Топ-8 игроков российского рынка систем управления НСИ
| Крок | IBS | SDI Solution | «НЦИТ «Интертех» | TaskData | Ланит | ЕАЕ-Консалт | Navicon | |||
| Выручка по проектам НСИ 2016 | 135 млн руб. | 99,9 млн руб. | 63,3 млн руб. | 51,9 млн руб. | 44 млн руб. | 28 млн руб. | 11,2 млн руб. | 7,5 млн руб. | ||
| Динамика выручки по проектам НСИ 2016/2015 | 13% | 6% | 32% | 50% | 90% | 10% | -10% | Рост | ||
| Количество проектов НСИ 2017 | 4 | 7 | 7 | Завершено 6, в реализации 2 | 6 | 5 | 4 | |||
| Количество проектов НСИ 2016 | В реализации 4, завершен 1 | 4 | 7 | 4 | 5 | 3 | 4 | |||
| Используемые решения/ платформы | Крок НСИ Suite, Talend Platform for MDM, MDM, Informatica MDM , ряд систем Oracle , а также отечественная платформа «Юнидата» | SAP , Ataccama, собственная разработка (20%), 1С MDM | собственная разработка Semantic MDM. СУБД Microsoft SQL Server , Oracle , PostgreSQL | * собственная разработка - программная платформа по управлению систем НСИ Ontologic (зарегистрирована в Реестре российского ПО № 4114 от 11.12.2017); 2. Горно-металлургическая компания - создание Автоматизиро- ванной системы управления нормативно-справочной информации, разработка классификатора МТР, нормализация справочника МТР и справочника контрагентов. Более 2000 пользователей. На базе SAP MDM, SAP PI, SAP Portal, SAP BPM. 3. ФОИВ - Консолидация и очистка полученной информации, интеграция решения в корпоративную ИС. На базе Informatica MDM, Informatica Power Center, Informatica Data Quality, Oracle BPM. | 1. Объединенная двигателе- строительная корпорация - «Создание и внедрение Корпоративной системы управления нормативно-справочной информации на платформе Системы управления НСИ «Semantic» 2. Разработка автоматизиро- ванной системы управления нормативно-справочной информации АО «Концерн «Калашников» на платформе системы управления НСИ «Semantic». 3. «Разработка автоматизиро- ванной системы «Управление электронными справочниками предприятия» для нужд ПАО «РКК «Энергия» . | 1. Проектирование, реализация и ввод в промышленную эксплуатацию корпоративной системы управления НСИ Группы «Интер РАО» ; 2. Создание Единой системы нормативно-справочной информации Государственной нефтяной компании Азербайджанской республики (ГНКАР, SOCAR); 3. Создание единой системы управления нормативно-справочной информацией в Компании ЗАО «АБИ Продакт»; 4. Внедрение системы управления НСИ (расширенные справочники) ПАО «ГМК Норильский никель» ; 5. Нормализация Единого справочника МТР и выполнение мэппинга в записях Единого номенклатурного справочника в рамках проекта по внедрению единой концепции управления корпоративной НСИ ПАО «Полюс» ; 6. Создание методико-регламентной базы нормативно-справочной информации в части справочника материально-технических ресурсов и нормализации справочника МТР ООО «Иркутская нефтяная компания» ; 7. Создание Единой системы управления нормативно-справочной информацией основных данных группы компаний «Силовые Машины». | 1. Отраслевой центр разработки и внедрения информаци- онных систем (ОЦРВ). Разработана функцио- нальность первой очереди АСОУП-3, в состав которого входит Автоматизиро- ванный комплекс ведения НСИ. 2. Федеральное агентство лесного хозяйства (Рослесхоз). Создание подсистемы управления нормативно- справочной информацией (ПНСИ). 3. Объединенная приборо- строительная корпорация (ОПК). Проект по построению макета системы управления НСИ в рамках реализации проекта «Сетевая интегриро- ванная расчетно- информационная управляющая система» (СИРИУС) - централизо- ванной системы управления закупками ОПК. | 1. Развитие автоматизиро- ванной системы ведения НСИ в одном из крупнейших банков России (на платформе Microsoft с использованием системы ведения НСИ NORMA, база данных Oracle). 2. Разработка системы ведения НСИ для "Газпромбанк " (на платформе Microsoft с использованием системы ведения НСИ NORMA, СУБД Microsoft SQL Server). | КССС 8 очередь - перевод справочников на платформу IBM MDM, интерфейсов на шину SAP PI, контроль качества данных НСИ; Интеграция КССС с 1С ДО - интеграция справочника Контрагенты с системами 1С в ДО; КССС-НСИ РРЭМ - перевод и создание справочников РРЭМ на платформе IBM MDM, интерфейсов на шину SAP PI. Используется СУБД Oracle для нижнего слоя хранения и для витрины данных НСИ. | 1. Food Union (консолидация отчетности от нескольких филиалов и производств, возможность принимать управленческие решения на основе постоянно обновляющегося набора данных, реализация в облачной среде Microsoft Azure). 2. Газпром Газэнергосеть (автоматизация загрузки агрегированных данных из учетных систем дочерних и зависимых обществ (ДЗО) в корпоративное хранилище данных (КХД) в центральном офисе). 3. Специализиро- ванный депозитарий «Инфинитум Специализированный депозитарий » (оптимизация бизнес- процессов в части ведения нормативно-справочной информации, оптимизация архитектуры путем создания централизо- ванного хранилища НСИ, устранение дублей и двойного ввода данных) |
| Самые масштабные проекты по количеству справочников в 2015-2017 | 1. Проект 1. Объем справочников - более 30. 2. Проект 2. Объем справочников: около 20. 3. Проект 3. Объем справочников - более 200. | 1. Проект АО «ОДК» . Объем справочников - более 20. Интеграция КССС с 1С для SIP - 31 организация Группы ЛУКОЙЛ; КССС-НСИ РРЭМ - ПАО ЛУКОЙЛ и 4 НГДО | 1. Специализиро- ванный депозитарий "Инфинитум" (около 40 000). |
Когда речь заходит о масштабах и сложности тех или иных информационных систем, обычно приводятся такие характеристики, как число рабочих мест и потоков обрабатываемых документов, общий объем баз данных. Однако в последнее время в качестве интегральной характеристики все чаще упоминают количество и размеры справочников. Несведущим людям это не очень понятно, но специалистам такие сведения говорят о многом. Ведь именно справочные данные (номенклатура товаров и изделий, реквизиты партнеров, поставщиков и клиентов, описание структуры организации и пр.) являются по сути информационным ядром системы управления предприятием, включающей учетные задачи, планирование ресурсов, , САПР и т. д.; они обеспечивают согласованность и консолидацию данных, устраняют избыточность информации и оптимизируют поиск нужных сведений. Кроме того, справочники объединяют все остальные документы системы - счета, договора, приказы и пр. - на протяжении всего ее жизненного цикла.
В настоящее время одна из наиболее важных проблем развития информационных технологий корпоративного уровня - интеграция данных. Довольно часто она понимается как умение работать с различными форматами данных из разных физических источников (в том числе и преобразовывать их из одного формата в другой). Но такое представление - по крайней мере поверхностно. На самом деле согласование и правильное понимание информации невозможно без ее содержательного осмысления с использованием единых справочников.
Рис. 1. Организация работы централизованной службы НСИ
Данная проблема актуальна во всем мире, но ее значение особенно велико для России, и тут можно выделить два момента:
Автоматизация отечественных компаний, как правило, развивалась снизу вверх, путем постепенной компьютеризации отдельных участков и подразделений. Помимо использования различных программно-аппаратных платформ в них применялись и локальные справочники, объединить которые - задача не из простых;
На современном этапе формирования рыночной экономики в нашей стране идут активные процессы слияния, поглощения, формирования холдинговых структур и т. д. В этом случае встают сложные задачи объединения информационных ресурсов, но зачастую уже на уровне законченных систем управления предприятиями.
Мы выделили эти два пункта, чтобы отметить принципиальные различия стоящих за ними ситуаций. В первом случае в общем-то можно говорить просто об ошибках при создании системы - нужно было изначально создавать единую справочную систему предприятия, реализуя методологию проектирования сверху вниз. При объединении же разных предприятий положение намного сложнее, ведь речь здесь идет о независимых компаниях.
Рис. 2. С помощью технологии Ontologic 5.0 можно создать единую систему управления НСИ
Но подобные внутренние проблемы организаций - это лишь надводная часть айсберга! В эпоху глобализации экономики и электронного бизнеса информационные системы предприятий должны общаться с информационными системами партнеров, поставщиков, клиентов. И говорить они должны на понятном друг другу языке. Далее можно было бы перейти и к вопросам государственного управления...
Для иллюстрации значимости справочной информации приведем только два примера.
1. Как известно, около года назад была создана англо-российская компания ТНК-ВР, которая образовалась в результате череды предварительных слияний крупных промышленных компаний (ОНАКО, СИДАНКО, ТНК). Одной из первых задач, поставленных руководством новой компании, была организация единого корпоративного справочника-классификатора материально-технических ресурсов. Это требовалось выполнить еще до определения других направлений разработки интеграционных решений и систем управления. Более того, именно совместная нормативная база должна была помочь формированию единого корпоративного англо-русского менталитета (в компании работают специалисты российской ТНК и английской ВР) и общему пониманию ведения бизнеса.
2. В конце второй мировой войны президент США Рузвельт поставил задачу разобраться в причинах проблем с поставками запчастей на фронт. Проведя необходимые исследования, американцы пришли к выводу, что запасные части в войска отправлялись в количестве, в несколько раз превышающем потребность в них. При этом запчастей по-прежнему не хватало из-за того, что на складах скапливались одни и те же изделия, но обозначенные по-разному и носившие разные названия. В итоге президент издал директиву о создании единой федеральной системы каталогизации предметов снабжения для государственных нужд, и в первую очередь для нужд обороны и безопасности. В последние двадцать лет США ежегодно вкладывали от 2 до 4 млрд. долл. только в реализацию программ стандартизации с использованием модульных структур (аналогов продукции), позволяющих сократить номенклатуру предметов снабжения министерства обороны приблизительно в три раза.
Управление нормативно-справочной информацией
Для обозначения подобной справочной информации в автоматизированных системах управления предприятиями на Западе используется термин Master Data (мастер-данные, основные данные), а задачи управления ею получили название Master Data Management (MDM). Однако в русском языке сейчас чаще применяется понятие нормативно-справочная информация (НСИ), которое появилось в дисциплинах, касающихся управления народным хозяйством еще в докомпьютерные времена. В данном случае определение "нормативная" отражает то факт, что проблема создания справочников корпоративного уровня выходит далеко за пределы собственно предприятия, она должна решаться с учетом отраслевых, государственных и международных стандартов.
Можно дать такое определение: НСИ - это условно-постоянная часть всей корпоративной (учрежденческой) информации, в отличие от текущей информации, формируемой непосредственно в процессе деятельности организации. В состав НСИ входят словари, справочники и классификаторы, данные из которых (например, термины, единицы измерения, коды, наименования материалов, контрагентов и т. п.) используются при формировании текущих документов. Так, при формировании в компьютере счета-фактуры наименования материалов, единицы измерения, наименование предприятия-получателя (контрагента), его реквизиты и ряд других полей, как правило, выбираются из справочников, встроенных в систему, а не вводятся вручную.
Чтобы оценить масштабы задач MDM, можно привести такие данные. Для крупных компаний нефтегазового сектора размеры справочников материалов составляют от 100 до 250 тыс. позиций, а по контрагентам - от 3 до 12 тыс. записей.
Вполне очевидно, что вопросы создания и поддержки в актуальном состоянии НСИ выделяются в разряд самостоятельных задач в системе управления предприятием в целом, этим зачастую занимается отдельная служба компании.
По оценкам экспертов, в нашей стране стоимость обработки одной записи НСИ составляет 2-5 долл. (за рубежом - 10-20 долл.). Соответственно стоимость одного проекта по формированию НСИ крупного предприятия можно оценить в 400-1000 тыс. долл. (включая стоимость ПО, консалтинга по внедрению и сопровождения).
Первыми к пониманию необходимости выполнения работ по НСИ как самостоятельной части создания системы управления организацией подошли нефтегазовая отрасль, а также ряд государственных и региональных структур. Сейчас в России выполняется примерно 10-15 крупных проектов по этой тематике, при этом аналитики отмечают быстрое повышение интереса к данным работам со стороны как корпоративного, так и государственного секторов. Для удовлетворения растущих потребностей клиентов нужна выверенная методология реализации подобных проектов.
Проблема создания корпоративной системы НСИ заключается как раз в том, что она не имеет простого решения. Казалось бы, самый разумный способ - использовать готовый набор справочников (международных, государственных, отраслевых). Но дело в том, что пользоваться им конкретному предприятию будет крайне неудобно (они слишком избыточны и не учитывают специфики организации), к тому же создать такую глобальную систему НСИ в полном объеме просто невозможно (подробнее на эту тему см. статью Дмитрия Гулько "Как избежать типовых ошибок при построении корпоративных и отраслевых систем нормативно-справочной информации", PC Week/RE, N 18/2004, c. 35).
Решение задачи возможно только в виде создания специализированной системы ведения НСИ с применением соответствующих стандартов, методик и программных средств. Фактически в этой работе должны соединяться усилия трех сторон:
Создателей нормативов и стандартов (как государственных, так и отраслевых);
Поставщиков базового ПО;
Системных интеграторов и консультантов, которые все это могут реализовать с учетом отраслевой практики, национальной специфики и т. д.
В советские времена государственные органы очень активно занимались вопросами нормативного регулирования. С началом перестройки произошел провал в этой деятельности, и лишь 5-7 лет назад правительственные структуры опять взялись за эту работу. Уже принято несколько законов и постановлений по данной тематике, и в настоящее время действует несколько государственных стандартных систем классификации продукции и видов деятельности (ОКП, ОКВЭД, ОКДП, ТН ВЭД, ЕКПС). Однако каждая из них имеет свое специализированное назначение и не пригодна для использования в чистом виде в отраслевых или корпоративных системах. Западные же системы классификации невозможно применять у нас в силу значительной национальной специфики нашей экономики. В целом нужно отметить, что для упорядочивания ситуации в области корпоративной НСИ желательно более активное участие государственных органов, но при этом не переходящее грань разумного регулирования.
Рис.3. Функциональная схема системы ведения НСИ
Вопросы Master Data Management находятся в поле внимания и поставщиков базового ПО. При этом они подходят к их решению с разных направлений. В первую очередь, естественно, этими задачами занимаются производители ERP-решений, и лидером тут является SAP. Другой пример - разработчики инфраструктурного интеграционного ПО. Тут следует назвать корпорацию IBM - недавнее приобретение ею компании Ascential Software во многом объясняется именно намерением корпорации усилить направление MDM (см. PC Week/RE, N 10/2005, с. 12). И, наконец, нужно сказать о поставщиках систем управления документами (например, Hummingbird). Их присутствие в сегменте MDM объясняется, с одной стороны, опытом решения задач интеграции данных, а с другой - необходимостью использования для управления НСИ интеллектуальных технологий обработки неструктурированной информации.
Что касается системных интеграторов и консалтинговых компаний, то вопросами MDM занимаются в той или иной степени все фирмы, выполняющие крупные проекты по созданию систем управления предприятиями. Некоторые из них ("Интертех", ЛАНИТ, IBS, "Юнит Спейс", "Каталит") имеют специализированные наработки в этой области. Далее мы кратко расскажем о предложениях по построению корпоративных систем НСИ фирмы "Интертех", которая за последние годы приобрела солидный опыт внедрения подобных решений в таких компаниях, как ТНК-ВР, "Татнефть", СИБУР, а также в различных федеральных ведомствах, департаментах правительства Москвы и т. д. Недавно она заключила соглашение о сотрудничестве в сфере MDM с корпорацией SAP (см. PC Week/RE, N 13/2005, с. 49).
Технология построения НСИ от компании "Интертех"
Методология, предлагаемая "Интертех", подразумевает создание единой системы ведения НСИ, увязывающей в общекорпоративное информационное пространство всю нормативно-справочную информацию подразделений, дочерних предприятий и партнеров компании (рис. 1).
Ее реализация требует прежде всего разработки и принятия набора стандартов и регламентов ведения НСИ предприятия. В качестве технологической основы построения систем НСИ используется онтологическая модель классификации и кодирования - формального описания объектов учета, основанная на выделении их существенных свойств (рис. 2). Такой подход обеспечивает накопление любого количества непротиворечивой информации и сочетает в себе достоинства иерархической, фасетной, адаптивной и ссылочной систем классификации. В целом данная методика позволяет стандартизировать действия специалистов-экспертов при осуществлении ими операций по классификации и кодированию групп (классов) объектов учета, определению свойств (признаков) классов и их значений, построению навигационных иерархий. Она также включает описание типовых пользовательских запросов, разбитых на группы по степени неопределенности и неточности формулировок, и рекомендации специалистам (экспертам) службы поддержки.
Рис. 4. Основные этапы работ по созданию единой системы ведения НСИ
Собственно система ведения НСИ реализована в виде программно-аппаратного комплекса (рис. 3), в состав которого входят инструменты ведения справочников и классификаторов, средства поиска объектов учета, модули обмена информацией между экспертами и пользователями, механизмы интеграции с внешними приложениями. Его основными интегрированными между собой функциональными подсистемами ПО являются "АРМ пользователя", "АРМ эксперта" и "АРМ администратора". Система в стандартной конфигурации базируется на технологиях Microsoft (ОС - Windows, Web-сервер - IIS, СУБД - SQL Server), но в ней предусмотрена и возможность использования других программных платформ.
Компания "Интертех" разработала также поэтапную методику внедрения системы НСИ предприятия (рис. 4). Лежащий в ее основе подход опирается на ряд основных принципов.
Эволюционность развития системы предполагает пошаговый переход к современным методам ведения и сопровождения корпоративной НСИ. Общая схема такого подхода выглядит следующим образом: старое -> старое + новое -> новое; на промежуточных этапах допускается параллельное существование старой и новой систем.
Адаптивность системы НСИ к специфике и ландшафтам существующих прикладных систем (в том числе системы ERP-класса) и к различным системам классификации и кодирования предполагает ее способность интегрироваться с внешними системами.
Преемственность позволяет сохранить все лучшее и ценное, что наработано годами и десятилетиями. Это касается использования потенциала специалистов НСИ, стабильного функционирования действующих прикладных систем, возможностей миграции и преобразования накопленных информационных массивов.
Стандартизация и унификация регламентов и методики использования и сопровождения корпоративной НСИ, систем классификации и кодирования позволяют обеспечивать постоянную актуальность и доступность НСИ в масштабах всей компании.
Учет человеческого фактора подразумевает возможность работы в системе различных категорий пользователей, с разными навыками и степенью "продвинутости" в области информационных технологий, эргономичность дизайна и "дружественность" системных интерфейсов.
Рис. 5. Функциональная модель процесса использования и ведения единой базы НСИ
Для эффективного функционирования единой системы ведения НСИ должен быть разработан комплекс организационно-управленческих решений, предусматривающий четкое разделение ответственности и функциональных обязанностей в соответствии с компетенциями групп персонала компании (рис. 5):
Пользователи - сотрудники компании, использующие те или иные данные из базы НСИ при формировании рабочих документов;
Эксперты - специалисты группы НСИ, отвечающие за формирование и изменение данных в базе НСИ;
Профильные специалисты, хорошо разбирающиеся в отдельных аспектах той или иной нормативно-справочной информации, входящей в их компетенцию по основной профессиональной деятельности. Они участвуют в процедуре согласования добавляемых или изменяемых данных по представлению специалиста-эксперта группы НСИ;
Специалисты технической поддержки - персонал службы автоматизации и ИТ, обеспечивающий обслуживание программно-технических средств системы.
В целом внедрение единой системы ведения НСИ позволяет заказчику решить следующие основные задачи, способствующие повышению эффективности работы всего предприятия:
Создать централизованное хранилище НСИ, функционирующее в рамках единого информационного пространства компании и включающее всю номенклатуру материально-технических ресурсов и других объектов учета;
Централизовать функции ведения НСИ на основе разработанных корпоративных стандартов классификации и кодирования;
Создать единые регламент и технологическую среду для доступа пользователей к НСИ, ведения экспертами классификаторов и справочников и технической поддержки системы администраторами;
Использовать встроенные в систему программные средства, поддерживающие необходимый уровень безопасности данных и постоянную их актуализацию, исключающие хранение дублированной, ошибочной или устаревшей информации;
Выполнить внедрение классификаторов и справочников НСИ в действующие управленческие, бухгалтерские и другие системы, позволяющее упорядочить и сократить расходы на ведение нормативно-справочной информации;
Оперативно представлять руководству компании информацию, необходимую для принятия эффективных решений.
Сабир Асадуллаев и Александр Карпов
Опубликовано 09.11.2010
Основные понятия и терминология
Мастер - данные (МД) включают в себя информацию о клиентах, сотрудниках, продуктах, товарах, поставщиках, которая, как правило не является транзакционной по своей природе.
Нормативно-справочная информация (НСИ) включает в себя словари, справочники, классификаторы, кодификаторы, нормативы и идентификаторы. Это – базовый уровень транзакционных систем, который в ряде случаев ведется внешними уполномоченными организациями.
Рис. 1 в упрощенном виде иллюстрирует отличие НСИ, мастер-данных и транзакционных данных. В условной системе продажи авиабилетов роль НСИ выполняет кодификатор аэропортов, созданный разработчиками системы с учетом неких специфических требований. Но для взаимодействия с другими международными информационными системами код аэропорта должен быть понятен всем. Этой цели служит трехбуквенный уникальный код аэропорта, присваиваемый аэропортам Международной ассоциацией воздушного транспорта (IATA).
Данные пассажира являются не столь стабильными, как коды аэропорта. В тоже время, будучи один раз введенные в систему, данные пассажира могут быть в дальнейшем использованы для различных маркетинговых акций, например, для скидок при достижении определенного суммарного полетного расстояния. Такая информация обычно относится к мастер – данным. К ним же можно отнести данные об экипажах, о самолетном парке компании, о грузовых и пассажирских терминалах, и о многих других сущностях, участвующих в процессе авиаперевозок, но не рассматриваемых в рамках нашего упрощенного примера.
Последняя, верхняя строка на Рис. 1 схематично изображает условную транзакцию, связанную с продажей билета. Аэропортов в мире сравнительно немного, клиентов намного больше, но они могут многократно пользоваться услугами этой компании, а билет не может и не должен быть использован повторно. Таким образом, для авиакомпании данные о продажах билетов являются наиболее часто меняющимися транзакционными данными.
Суммируя можно сказать, что НСИ составляет базовый уровень автоматизированных информационных систем, а мастер-данные хранят информацию о клиентах и сотрудниках, о поставщиках продукции, оборудовании, материалах и о других бизнес – сущностях.
При этом НСИ и МД имеют много общего, поэтому в тех случаях, когда рассматриваемые факторы касаются и НСИ, и МД, мы будем упоминать их как «НСИ и МД», например, «система ведения НСИ и МД».
Общие недостатки традиционного ведения НСИ и МД
Наиболее распространенной и очевидной проблемой традиционного ведения НСИ и МД является отсутствие поддержки временных изменений. Адрес, как правило, является одной из важнейших компонент НСИ и МД. К сожалению, адреса меняются. Клиент может переехать, но может «переехать» целый дом и даже улица. Так, в 2009 году адрес комплекса зданий «Башня на набережной» изменился с «Краснопресненская набережная, дом 18» на «Пресненская набережная, дом 10». Таким образом, запрос “Какое количество корреспонденции было доставлено в офис компании, арендующей помещения в «Башне на набережной» в 2009 году?” должен корректно обрабатывать записи о доставках с двумя разными адресами.
Однако, для того чтобы изменения в жизни были отражены в ИТ системе, мало иметь технологические (программно-аппаратные) средства ведения НСИ и МД. Необходим кто-то, или что-то, для отслеживания изменений. То есть, требуется организационные меры, например, штат сотрудников с должностными обязанностями, соответствующими принятой методологии ведения НСИ.
Таким образом, корпоративное ведение НСИ и МД включает в себя три категории мероприятий:
- Методологические мероприятия, определяющие методы, регламенты, стандарты, процессы и роли, поддерживающие весь жизненный цикл ведения НСИ и МД
- Организационные мероприятия, определяющие в соответствии с методологическими требованиями, организационною структуру, функциональные подразделения и их задачи, роли и должностные обязанности сотрудников.
- Технологические мероприятия, лежащие на уровне ИТ и обеспечивающие исполнение организационных и методологических мероприятий.
В данной статье мы рассмотрим, в первую очередь, технологические мероприятия, которые включают в себя создание единой модели данных НСИ и МД, ведение и архивацию исторической НСИ и МД, идентификацию объектов НСИ и МД, устранение дубликатов, выявление противоречий, обеспечение ссылочной целостности, поддержку жизненного цикла объекта НСИ и МД, выработку правил очистки, создание системы ведения НСИ и МД и ее интеграцию с эксплуатируемыми информационными системами предприятия. Рассмотрим более детально технологическую область создания инфраструктуры НСИ и МД и связанные с ней недостатки традиционного ведения НСИ и МД.
Технологические недостатки ведения НСИ и МД
Нет единой модели данных НСИ и МД
Единая модель данных НСИ и МД отсутствует, или она не формализована, что не позволяет эффективно использовать объекты НСИ и МД и затрудняет любую автоматизацию работы с данными.
Модель данных является основной и самой важной частью ведения НСИ и МД, отвечая, к примеру, на следующие вопросы:
- что включать в идентифицирующие атрибуты объекта НСИ и МД?
- что из всех атрибутов объекта НСИ и МД хранить в модели данных и отнести к НСИ и МД, а что отнести к операционным данным и оставить в эксплуатируемой информационной системе?
- как провести интеграцию по модели с внешними идентификаторами и классификаторами (ОКПО, ОКУД)?
- дает ли совокупность двух атрибутов из различным ИТ систем третий уникальный и важный с точки зрения бизнеса атрибут?
Нет единого регламента ведения истории и архивации
Историческая информация в существующих корпоративных ИТ системах зачастую ведется по своим регламентам и имеет свои жизненные циклы, отвечающие за обработку, агрегацию и архивацию объектов НСИ и МД. Даже при наличии единой модели данных НСИ и МД, синхронизация исторических и архивных данных и приведение их к единому виду представляет собой нетривиальную задачу.
Пример проблем, вызванных отсутствием ведения исторической нормативно-справочной информации приведен в разделе «»
Сложность отождествления объектов НСИ и МД
В различных ИТ системах объекты НСИ и МД имеют собственные идентификаторы – наборы атрибутов. Ситуация осложняется тем, когда для одних и тех же объектов в различных системах не удается выделить один общий набор атрибутов, сочетание которых уникально и идентифицирует объект в информационной системе – аналог составного ключевого поля в базах данных. В этом случае задача отождествления и сравнения объектов в различных ИТ системах переходит из детерминистической области в область вероятностной. Качественно провести идентификацию объектов НСИ и МД без специализированных средств анализа и обработки данных в этом случае затруднительно.
Возникновение дубликатов объектов НСИ и МД
Сложность идентификации объекта приводит к потенциальному возникновению дубликатов (или возможных дубликатов) одного и того же объекта НСИ и МД в различных системах, что является основной и самой значимой проблемой для бизнеса. Дублирование информации ведет к дублированию расходов на обработку объектов, дублированию «точек входа», увеличение расходов на поддержание жизненных циклов объектов. Дополнительно следует отметить затраты на процессы ручной сверки (реконсиляции) дубликатов, которые изначально слишком высоки, так как часто выходят за границы возможностей ИТ систем и требуют участия оператора. Следует отметить, что возникновение дубликатов является системной ошибкой, появляющейся на самых ранних шагах бизнес-процессов, использующих объект НСИ и МД. Далее по ходу исполнения бизнес процесса дубликат обрастает связями, атрибутным составом и ситуация еще более усложняется.
Несогласованность метаданных НСИ и МД
Каждая информационная система, поддерживающая линию бизнеса предприятия, и в которой зарождаются специфичные для этого бизнеса объекты НСИ и МД, определяет свой набор бизнес правил и ограничений, накладываемых как на атрибутный состав (метаданные), так и на значение атрибутов. В результате часто возникает ситуация, когда эти правила и ограничения, заданные в различных информационных системах, входят в противоречие друг с другом, таким образом сводя на нет даже теоретические попытки привести все объекты НСИ к одному виду. Ситуация усугубляется, когда при внешне совпадающей модели данных, данные имеют одно и тоже смысловое значение, но различное значение с точки зрения представления: различное написание, перестановки в адресах, сокращения ФИО, различные кодировки, сокращения.
Ссылочная целостность и синхронизация модели НСИ и МД
В реальной жизни все объекты НСИ и МД, находящиеся в пространстве своей IT системы, содержат в себе не только значения, но и ссылки на другие НСИ и МД, которые могут находиться (и вестись) в отдельных внешних системах. Здесь в полный рост встает проблема синхронизации и поддержки целостности всей модели НСИ и МД организации. Одним из общепринятых путей решения такого рода проблем является переход к использованию НСИ и МД которые ведутся и импортируются в организацию извне (к примеру, справочники КЛАДР, ОКВЭД, ТН ВЭД, ФСКП и ЕКПС).
Рассогласование жизненного цикла объекта НСИ и МД
В результате наличия одного и того же объекта НСИ и МД в различных корпоративных системах, ввод и изменение этого объекта в этих системах несогласован, и зачастую растянут во времени. Возможна ситуация, когда объект находится в различных системах во взаимоисключающих статусах (активен в одной системе, архивирован в другой, удален в третьей), что затрудняет поддержку целостности объектов НСИ. Несвязанные и «размазанные» во времени объекты сложно использовать как в транзакционных, так и в аналитических процессах.
Выработка правил очистки
Правила очистки НСИ и МД зачастую вполне справедливо относят к методологическим аспектам. Безусловно, ИТ специалисты нуждаются в постановке задачи от бизнес – пользователей, например, в каких случаях необходимо обновлять коды аэропортов, или какая из двух платежек имеет правильную кодировку реквизитов. Но бизнес - специалисты не знакомы с тонкостями реализации эксплуатируемых ИТ систем. Более того, документация на эти системы или неполна, или отсутствует. Поэтому необходим анализ информационных систем с целью уточнения правил очистки и выявления новых правил.
Неверный выбор мастер-системы ведения НСИ и МД
Чаще всего самыми значимыми источниками и потребителями НСИ и МД являются крупные унаследованные корпоративные информационные системы, являющиеся ядром бизнеса предприятия. В реальной жизни такую систему зачастую выбирают в качестве «мастер системы» для ведения НСИ и МД вместо создания специализированного репозитория НСИ и МД. При этом не принимается о внимание, что подобный функционал, как правило, является несвойственным этой ИТ системе. В результате любые доработки таких систем, связанные с НСИ и МД, выливаются в крупные и необоснованные траты. Ситуация усугубляется, когда по мере развития подсистемы ведения НСИ и МД необходимо ввести качественно новый функционал: пакетную обработку данных, форматирование и очистку, назначить стюардов данных.
Неготовность ИТ систем к интеграции НСИ и МД
Для того, чтобы полноценно внедрить ведение НСИ и МД в существующие ИТ системы предприятия, необходимо провести интеграцию этих систем и, чаще всего, эта интеграция необходима не как единовременный и локализованный акт, а как изменение процессов, живущих внутри ИТ систем. Помимо интеграции для работы в операционном режиме (online), необходимо провести интеграцию для проведения первоначальной пакетной загрузки данных (ETL), а также для проведения процедур ручной сверки (реконсиляции).
Не все автоматизированные информационные системы готовы к таким изменениям, не все системы предоставляют такие интерфейсы, а чаще всего, это совершенно новый функционал для таких систем. При внедрении системы возникают архитектурные вопросы, связанные с выбором из различных вариантов внедрения системы НСИ и МД и интеграции её с технологическим ландшафтом предприятия. В подтверждение важности этого момента заметим, что существуют разработанные и проверенные архитектурные шаблоны и подходы, нацеленные на правильное развертывание и интеграцию системы НСИ и МД.
Примеры проблем традиционного ведения НСИ и МД
Таким образом, основные проблемы ведения НСИ проистекают из-за децентрализации и фрагментации НСИ на предприятии и проявляются на практике в конкретных примерах.
Паспортные данные как уникальный идентификатор
Например, в крупном банке в результате создания модели данных клиентов было решено использовать паспортные данные в составе идентифицирующих атрибутов из предположения максимальной селективности. При проведении процедур слияния клиентских данных было выявлено, что паспорт клиента не является уникальным, так как, к примеру, клиенты, имевшие отношения с банком по старым паспортам и потом по новым паспортам, были заведены как различные клиенты. Анализ клиентских записей выявил случаи, когда на один паспорт были зарегистрированы тысячи клиентов. В довершение всего, одним из источников данных была банковская информационная система, в которой паспорта были необязательным требованием и соответствующие поля при заполнении забивались «мусором».
Следует отметить, что обнаруженные проблемы с качеством клиентских данных не были ожидаемыми и обнаружились только на этапе очистки данных, что потребовало дополнительных затрат времени и средств для доработки правил очистки данных и модели клиентских данных.
Адрес как уникальный идентификатор
В другом случае страховая компания проводила слияние анкетных данных клиентов, где в качестве идентифицирующего атрибута использовался, в том числе, адрес. Выяснилось, что больше всего клиентов было зарегистрировано на адреса «тот же», «там же». Данные низкого качества шли из прикладной системы, поддерживающей деятельность страховых агентов, которая позволяла агентам вольно интерпретировать значения полей клиентской анкеты. Более того, в этой системе отсутствовали любые форматные и логические проверки введенных данных.
Необходимость массового переоформления договоров
В третьем случае, при подключении существующей корпоративной информационной системы, поддерживающей взаимоотношения с клиентами, к системе ведения НСИ и МД только на этапе тестирования выяснилось, что подключаемая система не может автоматически принять изменения от системы ведения НСИ и МД. Для этого необходимо провести некоторые регламентные действия, в данном случае, вызвать клиента и переоформить бумажные договорные документы, в которых упоминалась критичная информация, относящаяся к НСИ и МД. Из-за большого объема работы были пересмотрены как технологические, так и организационные аспекты работы с НСИ и МД.
Расхождение согласованных данных
Четвертый пример описывает типичную ситуацию для многих организаций. В результате бурного развития бизнеса предприятия было решено открыть новое направление, поддерживающее работу с клиентами в стиле B2C / B2B через Интернет. Для этого была приобретена новая ИТ система, поддерживающая автоматизацию нового направления бизнеса компании. При развертывании возникла необходимость провести интеграцию с существующими НСИ и мастер-данными предприятия и расширить их специфичными атрибутами, что оказалось не так просто, в первую очередь из-за отсутствия выделенной системы НСИ и МД. В результате НСИ были однократно загружены в новую систему безо всякой обратной связи с существующим ИТ ландшафтом компании, что через некоторое привело к двум независимым версиям клиентских справочников. Поначалу проблема решалась путем ручной обработки клиентских данных в электронных таблицах, однако через некоторое время количество клиентов значительно возросло, справочники «разошлись», и ручная обработка оказалась неэффективной и дорогой. В результате ситуация привела к серьезной эскалации проблемы на уровне бизнес - пользователей, не имеющих общей картины о своих клиентах для проведения маркетинговых акций.
Преимущества корпоративного ведения НСИ и МД
Корпоративное ведение НСИ и МД обеспечивает следующие преимущества:
- Выполнение требований закона и снижение рисков
- Снижение затрат
- Повышение гибкости для поддержки новых бизнес стратегий.
Звучит слишком хорошо, чтобы быть правдой, поэтому рассмотрим каждое из преимуществ на практических примерах.
Выполнение требований закона и снижение рисков
Следственные органы потребовали от крупной компании предоставить данные за предыдущие 10 лет. Задача казалась несложной и выполнимой: компания задолго до этого ввела процедуры регулярного архивного и резервного сохранения данных и прикладных программ, носители данных хранились в защищенном помещении, аппаратура для чтения носителей еще не успела устареть. Однако после восстановления исторических данных из архива обнаружилось, что данные не имеют практического смысла – НСИ за это время неоднократно менялась, и теперь невозможно установить, к чему относились те или иные данные. Никто не предусмотрел архивирование НСИ – казалось, что это устойчивая ко времени информация. На компанию были наложены значительные штрафные санкции, в компании были сделаны серьезные организационные выводы в отношении руководителей. Кроме того, было создано подразделение, отвечающее за ведение НСИ, чтобы избежать повторения неприятной ситуации.
Рост прибылей и удержание клиентов
Крупный цветочный магазин одним из первых осознал эффективность маркетинга по электронной почте. Был создан сайт магазина, на котором проводились рекламные кампании, где клиенты могли подписаться на рассылку по поводу дня всех влюбленных, в связи с рождением первенца, по поводу дня рождения близкого человека и т.д. Впоследствии клиенты получали поздравления с предложениями выбора цветов. Однако рекламные кампании проводились с привлечением различных разработчиков, создававших разнородные, не связанные друг с другом приложения. Поэтому клиенты могли получать до десяти писем по одному и тому же поводу, что раздражало клиентов и вызывало их отток. В результате каждая последующая рекламная кампания не только оказывалась убыточной, но и уменьшала число имеющихся клиентов. Цветочному магазину пришлось затратить значительные средства на переработку и интеграцию своих приложений. Высокая сумма затрат была связана с разнородностью информации о клиентах, множественными форматами адресов и телефонов, что вызывало большие проблемы при отождествлении клиентов для устранения кратных записей.
Снижение затрат
Одним из основных требований к продукции компании является необходимость быстрого реагирования на изменения спроса, вывод новых продуктов на рынок в сжатые сроки и связь с потребителями. Мы видим, что вчерашние безоговорочные лидеры превращаются в отстающих, а новички, впервые выведшие на рынок свой продукт, резко увеличивают свою прибыль и капитализацию. В этих условиях различные корпоративные информационные системы, отвечающие за разработку продукта, его поставки и продажи, обслуживание и развитие, должны опираться на единую информационную основу, охватывающую все аспекты деятельности компании. Тогда вывод нового продукта на рынок требует меньших временных и финансовых издержек за счет бесшовного взаимодействия поддерживающих информационных систем.
Повышение гибкости для поддержки новых бизнес стратегий
Устранение фрагментации и децентрализации ведения НСИ и МД позволяет предоставлять информацию как сервис. Это означает, что любая ИТ система, соблюдая установленные протоколы обмена и права доступа, может обращаться к системе корпоративного ведения НСИ и МД и получать необходимые данные. Сервис -ориентированный подход позволят гибко выстраивать информационные сервисы в соответствии с изменяющимися бизнес – процессами, обеспечивая таким образом своевременную реакцию ИТ служб и систем в условиях изменяющихся требований.
Архитектурные принципы системы ведения НСИ и МД
Ресурсы для скачивания
static.content.url=http://www.сайт/developerworks/js/artrating/
Zone=Information Management
ArticleID=577045
ArticleTitle=Ведение НСИ на практических примерах
Занимаясь масштабными проектами автоматизации и создавая новые информационные системы, мы каждый раз сталкивались с необходимостью реализации подсистемы ведения справочников, классификаторов, реестров и других подобных объектов, составляющих нормативно-справочную информацию (НСИ) заказчика. За 15 лет работы в ЛАНИТ с системами управления НСИ жизнь подкидывала нам клиентов с самыми различными требованиями. И, конечно, на этих проектах возникали разные ситуации. Я расскажу о нескольких поучительных историях, которые с нами произошли. В статье вы найдете примеры, которые будут полезны многим, кто занимается разработкой программного обеспечения. Ну, а тем, кто работает непосредственно с НСИ, будет еще интереснее – своя рубашка ближе к телу.
За иллюстрации отдельное спасибо замечательному художнику Васе Ложкину .
Случай первый. Как загрузить вагон и маленькую тележку
Создание единой системы управления контрагентами для крупной производственной компании со множеством заводов по всей стране и за рубежом.Цель проекта – создать единую базу контрагентов для всех подразделений. Ведение контрагентов осуществляется на основе заявок, которым присваиваются приоритеты от низкого до срочного. Срочная заявка должна быть обработана экспертами НСИ за 2 часа вне зависимости от разницы во времени между подразделениями.
Живая история
Проект был согласован со всеми заинтересованными сторонами (в этом нас убедило руководство заказчика) и разработан в заданные сроки в соответствии с утвержденными требованиями.
Презентация созданной системы управления контрагентами проходила гладко, пока не встала одна видная женщина – руководитель сибирского филиала – и весьма энергично, с использованием русских идиоматических выражений, довела до сведения собравшихся, что когда к ней приходит железнодорожный вагон под погрузку готовой продукции, она не будет ждать 2 часа, пока кто-то там в Москве рассмотрит заявку на добавление покупателя.
Она не собирается оплачивать простой вагона, пока происходит утверждение заявки, а заведет данные покупателя в систему как есть и отгрузит товар, а московские товарищи могут разбираться потом с информацией о покупателе сколько угодно.
Это заявление было поддержано еще несколькими руководителями филиалов компании, что практически полностью разрушило централизованную методологию ведения единого справочника контрагентов на основе заявок.
В итоге проект был видоизменен таким образом, чтобы все филиалы имели доступ к базе данных контрагентов и могли вносить в нее изменения напрямую, но при этом выполнялся автоматический поиск схожих записей, которые отображались сотруднику филиала, и он принимал решение о необходимости корректировки данных, которые позднее проверялись экспертной группой.
Что мы запомнили: не доверяйте словам руководителей и ответственных лиц со стороны заказчика, что все решения согласованы, все в теме и возражений нет. Выявляйте все заинтересованные стороны проекта и старайтесь выяснить требования к системе и ограничения непосредственно у них.
Случай второй. Как хотим, так и используем
Создание централизованной системы управления клиентами для страховой компании с большим числом филиалов и агентов по всей стране.Цель проекта – создание сводной клиентской базы для использования в аналитических приложениях. База данных собиралась со всех филиалов, данные выверялись, дополнялись, дублирующиеся объекты устранялись. Количество клиентов в одном филиале – от тысячи до нескольких миллионов. При этом, пересечений по клиентам между филиалами практически нет.
Живая история
После создания сводной клиентской базы она должна была периодически сравниваться с базами данных филиалов для выявления различий, их последующей обработки и загрузки изменений в сводную базу. Прирост клиентской базы между сверками составлял несколько тысяч записей.
Для выполнения сверки был создан специальный модуль, архитектура которого была спроектирована исходя из того, что он должен быстро сравнивать большое количество записей и формировать относительно небольшой XML-файл с изменениями для загрузки. Формат XML был выбран заказчиком.
После внедрения системы мы получили от заказчика сообщение, что модуль сверки работает крайне медленно и формирует для загрузки в сводную базу файл огромного размера, который они ничем не могут открыть.
Что же выяснилось? Заказчик производил начальную загрузку данных из филиалов в сводный справочник. Экспертам эта работа показалась нудной и трудоемкой, и они просто взяли модуль сверки и подсунули ему полные данные нового филиала, которые еще не разу не загружались в сводный справочник.
Модуль сверки, который в соответствии с ТЗ должен был формировать сведения о различиях в количестве нескольких тысяч записей, получил на вход два миллиона записей, и все они в сводном справочнике отсутствовали.
В результате, за несколько часов нечеловеческих усилий модуль сверки все-таки сформировал файл для загрузки, в который вошли все данные филиала. И, да, этот файл был огромным.
Модуль сверки был использован заказчиком не по назначению, но сам факт, что сверка позволяет выполнять начальную загрузку данных, заказчику понравился, и он собирался и дальше работать именно таким образом, только просил значительно ускорить работу модуля и что-нибудь сделать с создаваемым файлом, чтобы его можно было открывать в текстовом редакторе.
На наши возражения, что модуль сверки не предназначен для начальной загрузки данных, заказчик радостно показал ТЗ и спросил, а где это тут написано? Как хотим, так и используем!
В результате нам пришлось вносить изменения в архитектуру модуля сверки с целью обработки больших массивов данных и формирования выходного файла в формате CSV, так как заказчик решительно не захотел отказываться от такого удобного инструмента.
Что мы запомнили: всегда включайте в ТЗ описание ограничений – что ваша система делать не должна. Ну, или создавайте решения, которые учитывают все возможные сценарии использования, что сильно дороже.
Случай третий. Не слонёнок, а слон, да еще и должен летать
Создание централизованной системы ведения НСИ для финансовой организации.Цель проекта - создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Предоставление доступа внешним системам к справочникам через веб-сервисы нашей системы.
Обычно у заказчиков среднее количество записей на один справочник составляет от нескольких сотен до нескольких тысяч. Наш недавний рекордсмен – справочник, в котором было 11 млн. записей. Но этот заказчик преподнес нам сюрприз. В его справочнике оказалось свыше 100 млн. записей. Загружали мы его больше суток, т.к. при начальной загрузке выполнялось множество проверок данных. Это не было бы большой проблемой, но заказчик потребовал, чтобы справочник загружался за несколько минут.
В результате нам пришлось сильно изменить порядок работы системы с этим справочником. Фактически, его ведение осуществляется за пределами системы, а мы только предоставляем интерфейс для его использования. Сейчас мы разрабатываем для нашей системы новые способы работы с очень большими справочниками. Надеемся, что заказчику понравится.
Что мы запомнили: в современном мире данных становится все больше, и темпы их роста постоянно увеличиваются. Система должна быть готова к высоким нагрузкам даже там, где они изначально не предполагались. Мы постоянно развиваем наше решение с учетом современных тенденций роста данных и повышения требований к скорости их обработки.
Случай четвертый. Сложный фокус с файлами
Создание централизованной системы ведения НСИ в крупном банке.Цель проекта – создание централизованной системы ведения справочников и классификаторов с рассылкой изменений в заинтересованные системы и базы данных. Особенность проекта – весьма непростые процессы распространения изменений, затрагивающие множество систем.
Поскольку в дальнейшем мне придется упомянуть наше собственное решение для управления НСИ, позволю себе небольшое лирическое отступление.
Подробнее о системе NORMA.
Задачи наших заказчиков во многом схожи, и мы решили снизить затраты на программные разработки и сократить время проектов, создав собственную универсальную платформу для ведения НСИ и основных данных (Reference Data Management & Master Data Management). Система существует уже более 10 лет, и все эти годы мы в ЛАНИТ ее активно развиваем.
NORMA поддерживает централизованное и распределенное ведение НСИ. Все данные и метаинформация ведутся с учетом истории изменений и система позволяет просматривать и изменять весь массив НСИ на произвольную дату в прошлом или будущем. Для справочников могут быть настроены процессы согласования и утверждения изменений. В состав системы входит выделенный сервер распространения изменений, который позволяет взаимодействовать с внешними системам через различные интерфейсы и создавать достаточно сложные интеграционные бизнес-процессы (этакий мини BizTalk Server). У нас есть пакеты экспорта/импорта данных, которые умеют выгружать/загружать данные справочников в базы данных и файлы различных форматов. Поддерживается ведение перекодировочных таблиц для внешних систем.
NORMA включает графический построитель запросов и дизайнер отчетов. Кроме работы с собственными справочниками, система позволяет через свой интерфейс просматривать и изменять справочники, которые находятся во внешних, по отношению к ней, базах данных, а также использовать эти справочники в построителе запросов и пакетах экспорта/импорта.
В ответ на возникновение различных событий в системе, например, события внесения изменений в справочник, могут запускаться подключаемые программные компоненты, написанные на C#, которые могут как проверять данные, так и взаимодействовать с внешними системами и, собственно, самой системой NORMA. Практически все функции системы доступны через веб-сервисы.
Система может масштабироваться как вертикально, путем увеличения мощности сервера приложений и базы данных, так и горизонтально за счет использования многоузлового сервера приложений, в котором каждый узел или группа узлов отвечает за выполнение отдельной функции. Для хранения НСИ система может использовать Microsoft SQL Server, Oracle или PostgreSQL.
Обычно при создании справочников и процессов распространения изменений заказчик консультируется с нашими аналитиками, какой инструмент или набор инструментов, предоставляемых системой, лучше использовать для конкретной задачи. В этот раз заказчик сказал, что будет создавать справочники и процессы самостоятельно.
Через некоторое время к нам обратился один из специалистов заказчика с жалобой, что у него не загружаются данные в систему. В подтверждение нам прислали пакет импорта данных, исходный файл с загружаемыми записями и сообщение об ошибке, в котором говорилось, что загружаемые данные имеют неверный тип.
Начинаем разбираться. Крутим пакет и так, и этак, пробуем разные варианты представления исходных данных, но ошибку повторить не можем. Обращаемся к заказчику с вопросами, может быть, у пакета импорта есть подключенные программные компоненты, может быть на справочник наложены какие-то дополнительные ограничения, может быть данные не от этого процесса? На все получаем ответ - ничего такого нет, все должно легко загружаться и раньше работало.
Оказывается, этот пакет импорта был только вершина айсберга. Если кратко и сильно упрощенно, то происходило следующее. Процедура импорта загружала правильные данные из исходного файла в справочник. Исходный файл удалялся. Затем наша система выполняла распространение изменений в несколько баз данных, в одной из которых производилось сравнение собственных данных с нашими изменениями и формировался файл с расхождениями, который возвращался в нашу систему для загрузки. Причем для загрузки этого файла заказчик использовал ту же процедуру импорта, что и для исходного файла. И вот именно в этом файле, сформированном внешней системой, были данные неверного типа. Очевидно, что при анализе исходного файла мы никаких ошибок найти не могли, а про второй файл и развесистый процесс распространения изменений нам ничего не сообщили.
Что мы запомнили: Всегда проверяйте полученную информацию даже если вам говорят, что у нас тут маленькая проблемка, и она вот именно в этом месте, мамой клянусь! Анализируйте проблему в контексте.
Случай пятый. Я привыкаю к несовпадениям
Создание системы управления НСИ в производственной компании.Цель проекта – создание системы ведения НСИ в управляющей компании со множеством филиалов, заводов и конструкторских подразделений.
В этот раз мы дальше нескольких презентаций не продвинулись. Наша система NORMA очень понравилась технарям. Она закрывала все их существующие проблемы. Дальше пришла очередь показывать систему руководству, и вот тут произошел облом десятилетия. Высокий руководитель посмотрел, послушал и сказал: «Мы тут все работаем на продуктах Apple, у них есть определенный стиль, а ваша система в этот стиль не вписывается. Мы ее даже рассматривать не будем».
Что мы запомнили: заказчики бывают разные, и некоторым вы просто не подходите. Стиль другой.
Подобные истории случаются в различных проектах. Что интересного было в вашей проектной жизни? Что стало для вас неожиданным уроком? Делитесь в комментариях.
Теги: Добавить метки
Нормативно-Справочная информация - условно-постоянный компонент корпоративной информации, являющийся основой для унификации и нормализации данных, сопровождающих протекающие бизнес-процессы, а также регламентацию деятельности организации. Другими словами, нормативно-справочная информация – это информационный ресурс компании, формируемый внутри и получаемый, как правило, извне. Она содержит стандарты, требования, правила, положения и прочую информацию, нормирующую и систематизирующую деятельность компании.
Требование обеспечения взаимодействия и унификации различных прикладных систем бизнес-процессов протекающих на http://en.wikipedia.org/wiki/Service_oriented_architecture предприятиях и в различных организациях, консолидации отчетной документации, приводит к необходимости построения системы нормативно-справочной информации. Систему нормативной справочной информации образуют группы объектов, построенных на общероссийских, отраслевых и корпоративных (внутренних) [классификаторах] и справочниках.
Основные проблемы НСИ в корпоративных информационных системах:
- Не в полном объеме используются Общероссийские классификаторы и справочники, разработанные государственными службами и утвержденные на федеральном уровне, предназначенные для актуального содержания информации с регулярным ее обновлением и выверкой:
- Общероссийские классификаторы, частично представленные в системах, не актуализируются и не нормализуются;
- Информация, в совокупности представляющая собой единое целое, разбита на несколько частей, собрана в отдельные справочники;
- Справочники систем дублируются по содержанию информации и функциональному использованию;
- Основной объем данных справочников не нормализован, ведение нормативно-справочной информации не регламентировано, в результате чего происходит дублирование информации при пополнении справочников. Отсутствует достаточность информации в записях справочников (записи не полно описаны);
- Основная доля представленных в системах классификаторов, имеет слабую структуру по признакам группировки информации, и является одноуровневой, что не обеспечивается гибкостью и информативностью классификации.
Информационные системы Нормативно-Справочной Информации .
Корпоративная система НСИ обеспечивает хранение , обработку и предоставление постоянной и условно-постоянной информации пользователям системы.
Системы НСИ предназначены для поддержания корпоративных данных в актуальном состоянии, обеспечению полноты, устранению ошибок, контролю целостности и непротиворечивости данных.
Модификация хранимых в системе НСИ данных и их структуры допускается только экспертами системы. Все действия по модификации данных строго регламентируются. Пользователями информации выступают прочие ИС предприятия, получающие данные через заранее определенные интерфейсы.
Такой подход обеспечивает корректность данных внутри предприятия вне зависимости от количества и разнообразия используемых ИС, устраняя дублирование информации разными подразделениями и упрощая построение сводных отчетов.
Термин НСИ имеет советское происхождение, хотя чёткого определения в СССР введено не было. На западе более подходящим аналогом НСИ является Master Data или Master Referenced Data, сутью которых является не-транзакционная нормализованная справочная информация (каталоги) и классификаторы (иерархии). Таким образом Master Data (Мастер данные) можно рассматривать только как подмножество понятия НСИ.
Системы Управления Справочниками можно приравнять к международному понятию Master Data Management (MDM), которые могут рассматриваться как часть Service-Oriented Аrchitecture (SOA).
Принципиальным является, что словари, стандарты, правила, нормативы, которые обыкновенно включают в понятие НСИ, не являются объектами систем MDM.
См. также
- Блог по НСИ Сабира Асадуллаева
- SAP Master Data Management
Ссылки
Wikimedia Foundation . 2010 .
Смотреть что такое "НСИ" в других словарях:
НСИ - несанкционированный съём информации Источник: http://www.energosys.ru/?nav=entr&id=6105 НСИ нормативно справочная информация; нормативная справочная информация юр. НСИ нашлемная система индикации в маркировке …
НСИ - нормативно справочная информация … Словарь сокращений русского языка
НСИ Банк - Банк Невастройинвест http://nsvbank.ru/ банк., организация, Санкт Петербург … Словарь сокращений и аббревиатур
НСИ Рунавик Полное название Nes Sóknar Ítróttarfelag Runavík Основан 1957 Стадион Рунавик … Википедия
Полное название Nes Sóknar Ítróttarfelag Runavík Основан 1957 Стадион Рунавик … Википедия
НСИ Рунавик Полное название … Википедия
Нескл., мн. (ед. манси, нескл., м. и ж.). Народ, составляющий коренное население Ханты Мансийского автономного округа РСФСР, а также лица, относящиеся к этому народу … Малый академический словарь
И грунши, груси, нескл., м. и ж … Русское словесное ударение
Манси, нескл., м. и ж. (народ) … Русское словесное ударение
ЕОС НСИ - единая отраслевая система управления нормативно справочной информацией Источник: rosatom.ru … Словарь сокращений и аббревиатур
Книги
- Интегрированные системы проектирования и управления. SCADA. Учебное пособие , Кузяков Олег Николаевич , Мартынюк Роман Васильевич , Музипов Халим Назипович , Хохрин Сергей Александрович , Чащина Маргарита Викторовна , В учебном пособии рассмотрены основные сведения о программах системы реального времени "Сириус-SCADA". Описана программа "Редактор БД НСИ", предназначенная для создания баз данных… Категория: Автоматика. Вычислительная техника Серия: Учебники для вузов. Специальная литература Издатель: Лань ,
- Интегрированные системы проектирования и управления. SCADA , Музипов Х.Н. , Рекомендовано Региональным отделением УрФО УМО вузов РФ по образованию в области радиотехники, электроники, биомедицинской техники и автоматизации в качестве учебного пособия для студентов… Категория:
