Хранение данных в информационных системах

Хранение данных в информационных системах

Рубрика: Информационные технологии

Дата публикации: 05.04.2016 2016-04-05

Статья просмотрена: 516 раз

Библиографическое описание:

Хайитова, И. И. Технология организации хранения данных в информационной системе / И. И. Хайитова. — Текст : непосредственный, электронный // Молодой ученый. — 2016. — № 7 (111). — С. 24-26. — URL: https://moluch.ru/archive/111/27532/ (дата обращения: 12.04.2020).

В данной статье рассматривается определение целесообразности внедрения систем хранения данных, а также их классификация по функциональности и области применения.

Ключевые слова: информационная система, ресурсы данных, сервер, накопитель, систематизация данных.

В настоящее время актуальным является вопрос о целесообразности внедрения систем хранения данных в ИС, а также их классификация с точки зрения функционального назначения и области применения. Прежде чем определить тип наиболее подходящий в каждом конкретном случае системы хранения данных (СХД), следует определить целесообразность такого решения в целом. Чтобы сделать это, посмотрим на то, какие задачи способно оно решить и какие выгоды оно может принести в инфраструктуру предприятия.

Система хранения централизованное хранилище. Из этого следует целый ряд важных преимуществ:

более экономное потребление памяти;

высокая доступность данных;

простота емкости расширяемости хранения.

централизованный подход к управлению и мониторингу.

При использовании централизованного хранилища емкости могут быть выделены логически и изменяться в соответствии с растущими потребностями конкретного сервера. Кроме того, в случае централизованного хранилища, его емкость используется более рационально, равномерно распределяясь между серверами. Расширение возможностей хранилища, путем централизации гораздо проще: просто нужно добавить необходимое количество дисков в хранилище. Использование системы хранения данных также позволяет упростить и ускорить управление и мониторинг хранилища [1].

Внедрение современных систем хранения данных требуют значительных финансовых вложений и затрат во времени. С реализацией таких систем следует также учитывать, что существующая информационная системы, возможно, какое-то время будет работать в нештатном состоянии, что в свою очередь может привести к сбоям на предприятии. Для успешной реализации необходимо учитывать не только основные характеристики системы хранения данных, но и общую структуру всей информационной системы, которая, вероятно, претерпит значительные изменения в их организации. Несмотря на трудности в реализации, системы хранения данных может удовлетворить широкий спектр потребностей владельца информационной структуры. Когда рациональные затраты на внедрение подхода и техническое обслуживание возмещаются достигаемыми результатами из-за преимуществ использования системы хранения данных [1]. Организация в целях удовлетворения своих бизнес-процессов, как правило, использует самые последние серверные приложения. Современные серверные приложения, в свою очередь, для выполнения задач и достижения максимальной эффективности представляют высокие требования к информационной структуре организации. Эти требования распространяются не только на аппаратную мощность и производительность вычислительных ресурсов, но и степень отказоустойчивости, а также эффективность в распределении вычислительных ресурсов.

Важной функцией СХД является обеспечение доступности данных. Для многих организаций может быть жизненно-важной не только потеря данных, но и ситуация, в которой эти данные не доступны в течении относительно коротких периодов времени. Именно поэтому большинство решений по реализации хранения данных на сегодняшний день сосредоточены на использовании инструментов, которые могут увеличить процент безотказной работы. В условиях ограниченных ресурсов и бюджетов в области разработки решений следует также стремиться к максимизации использования вычислительных ресурсов и консолидация данных. Если необходимо, решение может удовлетворить возможности распределения физических емкостей хранения на виртуальные. Это позволяет более гибкое выделение дискового пространства и управление, в качестве хранилища и всей инфраструктуры [1].

Также одним из важных преимуществ для решений по внедрению системы хранения данных является обеспечение расширяемости структуры. В удовлетворении потребностей развития и расширения компании, соответственно, растет и компьютерный парк. Это требует соответствующего увеличения емкости системы хранения данных. Таким образом, эффективность решения определяется также наличием простой и гибкой системы расширяемости для системы хранения данных. Несмотря на все преимущества реализации сети хранения данных, оно сопровождается значительными затратами, и интеграция такой системы должна сопровождаться тщательным анализом существующей инфраструктуры и потребностей заказчика. В процессе создания системы хранения данных должно быть достигнуто оптимальное соотношение трех основных показателей: максимальности, доступности, максимальной производительности, минимальной общей стоимости.

Разделим условно виды организаций и развернутых в них инфраструктур на следующие типы: мелкие, средние и крупные, распределенные и охарактеризуем каждый из них. В этом случае, вспомним, что ключевой проблемой в реализации СХД является достижение баланса между максимальной доступностью, максимальной производительностью и минимальной стоимостью решения [2].

В данном контексте малая организация характеризуется небольшой информационной структурой с небольшим количеством пользователей. В общем случае универсальным рецептом может служить применение файлового хранилища, которое может быть доступно посредством файлового доступа. Такое решение не потребует серьезных изменений в инфраструктуре и будет наиболее эффективным с точки зрения стоимости и удовлетворения потребностей организации. Инфраструктура более крупного масштаба предполагает использование объединенных аппаратных ресурсов и решений. Кроме того, выбор зависит от критичности доступа и выделенного бюджета для реализации СХД.

В случае распределенной информационной структуры выбор должен непременно падать на FiberChannel сети хранения данных. Также физической средой передачи данных должна выступать оптическая сеть, позволяющая соединять распределенные центры обработки данных на максимальных скоростях и обеспечить высокий уровень доступности. Поскольку эти структуры часто используются крупными организациями, то факторы передачи данных в этом случае являются наиболее важными. Кроме того, бюджет, израсходованный на реализацию такой системы будет наиболее подходящим.

Читайте также:  Как открыть телефон lg раскладушку

Таким образом, были рассмотрены и классифицированы различные способы организации систем хранения данных. В соответствии с типом доступа и методом организации сети хранения данных были установлены критерии отбора в отношении масштаба организации.

Проблемы разрозненности хранения данных в рамках одного предприятия, необходимость привлечения технических специалистов для извлечения из баз данных нужной для принятия решений информации привели в 1980-е гг. к идее централизованного хранения данных, необходимых для последующего анализа. Возник термин «хранилище данных».

Хранилища данных представляют собой специализированные базы данных, обладающие следующими свойствами:

  • предметная ориентированность. В хранилище содержатся данные, всесторонне описывающие определенную предметную область;
  • интегрированность. Данные собираются из множества различных источников, обобщаются и хранятся в едином корпоративном хранилище;
  • обеспечение непротиворечивости данных. Данные из разных источников могут содержать дублирующие, противоречивые сведения, поэтому перед их загрузкой в хранилище они проходят процедуры проверки, согласования, дополнения, обобщения;
  • неизменяемость. В отличие от баз данных транзакционных систем, в которых оперативные данные могут редактироваться пользователями, данные в хранилище используются исключительно в режиме чтения и недоступны для корректировки;
  • поддержка хронологии. Поскольку для целей анализа и прогнозирования развития предметной области необходимо видеть ее показатели в динамике, данные хранятся в привязке в дате и за максимально возможный временной период;
  • оптимизация под выполнение сложных аналитических запросов. Хранилище проектируется таким образом, чтобы минимизировать время на формирование аналитической отчетности, необходимой для поддержки принятия решений для руководителей и менеджеров.

Если в базах данных транзакционных систем данные поступают в процессе бизнес-деятельности (продажи товаров фиксируются в системе по факту продажи, товары, поступившие на склад, учитываются по факту поступления на склад и т.п.), то для пополнения данных в хранилище требуется их периодическая выгрузка из источников. Процесс размещения информации в хранилищах предусматривает периодический сбор, очистку и интеграцию разрозненных данных с последующим их преобразованием в статичные, постоянные структуры.

В качестве источников данных для информационного хранилища, как правило, используются данные из разрозненных ИС, основанных на различных реляционных СУБД, обслуживающие повседневную деятельность предприятия. Источниками могут быть и данные, получаемые от внешних организаций — информационных агентств, консалтинговых компаний, средств массовой информации, сайтов Интернета.

В зависимости от степени детализации и времени хранения в хранилище выделяются текущие детальные данные, архивные данные, агрегированные (суммарные, обобщенные) данные, метаданные (репозиторий).

В отличие от баз данных транзакционных систем, где агрегированные данные не хранятся, а каждый раз вычисляются заново, хранилище содержит и детальные, и агрегированные данные. Это обусловлено необходимостью обеспечения быстрого выполнения запросов пользователей: в хранилище содержится такое большое количество данных, что вычисление суммарных показателей «на лету» занимало бы значительное количество времени.

В хранилище содержится информация из различных источников, которая может иметь различную периодичность обновления, различную структуру, степень достоверности, владельцев данных — сведения об этих характеристиках информации называются метаданными и хранятся в репозитории хранилища. В репозитории могут также храниться бизнес-термины, правила и алгоритмы вычисления показателей, которые определены для рассматриваемого бизнеса. Физически репозиторий представляет собой отдельную базу данных или набор таблиц в рамках базы данных хранилища.

Хранилище может быть реализовано в виде виртуального хранилища данных, витрин данных и глобального хранилища данных.

Под виртуальным хранилищем данных понимают специальные средства доступа к данным транзакционных систем, обеспечивающие работу с этими данными как с хранилищем данных. Этими средствами доступа могут быть как «представления» в базе данных, так и отдельные программные продукты. Достоинствами виртуального хранилища являются простота и малая стоимость реализации, единая платформа с источником информации, отсутствие необходимости перегрузки данных из источников информации в хранилище данных. К недостаткам такого подхода относятся проблемы производительности, трансформации данных, интеграции данных с другими источниками, отсутствие поддержки хронологии, проверки корректности данных, зависимость от доступности и структуры основной базы данных.

Реализация хранилища данных на основе витрин данных предполагает функционирование двух уровней: уровня источников данных и уровня витрин данных, которые строятся на основе принципов проектирования хранилищ данных и содержат данные о конкретной узкой предметной области. В рамках одного предприятия витрин данных может быть несколько: витрина данных но поставщикам, витрина данных по производимым товарам, витрина данных но доходам и расходам для бухгалтерии и др. Единое центральное хранилище данных при этом не создается. Достоинствами витрин данных являются простота и малая стоимость реализации по сравнению с созданием централизованного хранилища данных, высокая производительность за счет физического разделения регистрирующих и аналитических систем, выделения загрузки и трансформации данных в отдельный процесс, оптимизированный под анализ структуры хранения данных. Витрины данных также позволяют поддерживать хронологию данных, описывать структуру данных в виде метаданных. К недостатку витрин данных можно отнести то, что они не дают единого источника информации обо всем предприятии. Впоследствии интегрировать витрины в единое централизованное хранилище может оказаться проблематичным из-за различающихся форматов и структур хранения данных. Кроме того, разные витрины могут использовать частично повторяющиеся данные, которые нужно извлекать из источника для каждой витрины отдельно, что требует дополнительных затрат на обслуживание.

Читайте также:  Система охлаждения corsair h80i v2

Глобальное хранилище данных предполагает реализацию трехуровневой архитектуры системы. На первом уровне располагаются источники данных — внутренние транзакционные системы, внешние источники (данные информационных агентств, консалтинговых компаний и т.п.). Второй уровень содержит центральное хранилище, в которое загружается информация из источников данных. При различном регламенте поступления данных из источников в качестве промежуточного звена может использоваться оперативный склад данных, в котором данные подготавливаются, преобразуются, проверяются для их последующей загрузки в центральное хранилище. Описания загруженных данных помещаются в репозиторий. Третий уровень представляет собой набор предметно-ориентированных витрин данных, источником информации для которых является центральное хранилище данных. Именно с витринами данных и работает большинство конечных пользователей.

Концептуально организацию хранилища данных можно представить в виде схемы на рис. 3.2.

В основе построения хранилища данных лежит принцип многомерного представления данных, при котором в структуре экономической информации выделяются измерения и факты. Под измерениями понимаются категориальные (дискретные) атрибуты, наименования и свойства объектов, участвующих в бизнес-процессе, например, наименования клиентов, названия товаров, регионов, магазинов. Факты — это количественные значения показателей, описывающих бизнес-процесс. Примерами фактов могут быть цены на товары, объем продаж, объем доходов, объем расходов, рентабельность, доля на рынке.

Рис. 3.2. Схема организации хранилища данных

В соответствии с принципом многомерного представления данных в базе данных хранилища выделяются таблицы фактов, таблицы измерений и консольные таблицы. В таблицах фактов содержатся количественные значения экономических показателей со ссылками на значения измерений, к которым они относятся. В таблицах измерений (справочников) хранятся все возможные значения измерений. Консольные таблицы могут использоваться для хранения более сложных измерений с вложенностью и иерархией. Например, если в хранилище должны содержаться данные о продажах разных товаров, в разных магазинах, то наименования товаров и магазинов будут храниться в соответствующих таблицах измерений «Товары» и «Магазины», а количественные значения продаж — в таблице фактов «Продажи». Если при этом магазины находятся в разных регионах и это необходимо учитывать при анализе продаж, то наименования регионов могут быть помещены в консольную таблицу «Регионы», которая будет связана с таблицей измерений «Магазины».

В зависимости от сложности предметной области таблицы базы данных хранилища могут быть связаны по схеме «звезда», «снежинка» или «созвездие» (рис. 3.3).

Рис. 33. Схемы построения хранилищ данных:

При схеме «звезда» одна таблица фактов связывается с несколькими таблицами измерений. Схема «снежинка» предполагает дополнительные связи таблиц измерений с консольными таблицами. Если в хранилище присутствует несколько таблиц фактов, которые используют общие таблицы измерений и консольные таблицы, то хранилище построено по схеме «созвездие».

Технологически хранилища данных тесно связаны со средствами оперативной аналитической обработки данных (OLAP-технологиями), позволяющими аналитикам, управленцам и руководителям высшего звена изучать большие объемы взаимосвязанных данных с помощью быстрого интерактивного отображения информации на разных уровнях детализации.

Защитите бизнес от информационных рисков:

  • конфиденциальность корпоративных данных;
  • разграничение доступов;
  • управление паролями каждого сотрудника.

Подробнее.

Для того чтобы узнать, почему падает посещаемость сайта и снижаются позиции в поиске — следует провести технический аудит.

Согласно последним требованиям поисковых систем наличие адаптивного сайта является одним из важных условий выхода на топовые позиции.

Успех бизнеса в интернете напрямую связан с показателями конверсии — чем больше активных пользователей, тем выше продажи.

Получить новый сайт можно с льготным годовым администрированием.

Корпоративные социальные сети способны повышать лояльность сотрудников компании и отражать настроение внутри коллектива.

Система DynaAds — это сочетание полезного контента и нативной рекламы, отвечающих потребностям целевой аудитории.

Надежное хранение данных – задача, которую приходится решать каждой организации. Проблемы возникают, когда повышаются объемы информации и растут требования к ее защите. Современные системы хранения данных – это сложные программно-аппаратные комплексы, каждый из которых специально разрабатывается под нужды конкретного заказчика.

Что именно нужно компаниям, чтобы организовать работу с информацией наилучшим образом? Сориентироваться на высокотехнологичном рынке – непростая, но разрешимая задача. Давайте разбираться по порядку.

Что такое СХД и почему в ней возникла необходимость

Система хранения данных (СХД) представляет собой конгломерат программного обеспечения и специализированного оборудования, предназначенный для хранения и передачи информации больших объемов. Особенностью СХД является оптимальное распределение ресурсов при хранении информации на дисковых площадках

Необходимость в СХД возникла, когда массивы хранимой и передаваемой информации превысили все мыслимые на тот момент пределы. Согласно данным TAdviser, c 2010 г. объем хранимой информации каждый год возрастает примерно на 50% от ее первоначального объема. Растет и стоимость информации, поскольку от нее напрямую зависят все бизнес-процессы. TAdviser отмечает, что в России в третьем квартале 2014 года наблюдался рост емкости систем хранения данных на 22,3%, а стоимость СХД, поставленных на российском рынке, превысила $114,38 млн.

Читайте также:  Развязанный пупок у взрослого

Надежное хранение данных и быстродействие доступа к ним требуют организации средств хранения, как отдельной подсистемы вычислительных комплексов. Эта подсистема должна быть грамотно спроектирована и внедрена, чтобы обеспечить возможность восстановления утраченных данных.

Применение СХД

Системы хранения данных в настоящее время применяются повсеместно: от хранения архивов видеонаблюдения в магазинах до работы с информацией в госструктурах, банках и на крупных предприятиях. В качестве отдельных примеров организации современных многоуровневых СХД последнего времени можно привести проекты агропромышленного холдинга «Разгуляй», «Банка Хоум Кредит», «Райффайзенбанка», телекоммуникационной компании «Мегафон».

Разработчики систем хранения данных

Наиболее авторитетны на рынке разработчики, располагающие обширными партнерскими и сервисными сетями по всему миру, вкладывающие крупные средства в создание и маркетинг новой продукции, имеющие миллиардные обороты в секторе СХД. Это такие известные и уважаемые бренды, как Dell, EMC, Fujitsu, Hitachi, HP, Violin, Symantec, NetApp, Oracle. Они контролируют около 80% рынка.

Организация системы хранения данных

СХД должна быть масштабируемой, то есть гибкой, отказо- и катастрофоустойчивой. Необходимо обеспечивать ее соответствие стандартам и требованиям информационной и физической безопасности.

В случаях, когда требуется хранение больших объемов данных, важно не просто создать СХД, но и сделать ее оптимальной для решения конкретных задач компании.

Варианты подключений

  • «Внутреннее» (подключения устройств и жестких дисков внутри одного хранилища: SCSI, Serial Attached SCSI (SAS), Serial ATA (SATA), Fibre Channel (FC). Накопитель устанавливается непосредственно на сервер.
  • «Внешнее» (FC, Fibre Channel over Ethernet (FCoE), SCSI, iSCSI. Накопитель подключается к серверу с помощью шины).
  • Кластерное (Infiniband). Подключение, организованное на основе кластеров (подсетей). Позволяет передавать данные с высокими скоростями за счет оптимальной маршрутизации

Основные элементы

СХД состоит из накопителей информации, серверов, инфраструктуры, обеспечивающей связь между ними, и системы управления.

Типы СХД

Системы хранения данных по типу накопителей информации делятся на три больших группы.

  • Дисковые. Используются самые первые, распространенные и недорогие накопители. В современных условиях существенным недостатком становится то, что скорость передачи информации ограничивается скоростью вращения шпинделя, на котором закреплены пластины жесткого диска, однако современные дисковые СХД очень экономичные и «умные» в сравнении с их предшественниками.
  • Ленточные (кассетные). Мобильность кассет в сочетании с возможностью длительного хранения и восстановления информации делают их популярным средством для создания надежного электронного архива с физическим ограничением доступа к информации. Широко используются в мультимедийных библиотеках, где особенно важна низкая стоимость терабайта информации.
  • Флэш. Полупроводниковые накопители отличаются высочайшей скоростью работы. Если у жесткого диска на обработку запроса уходит в среднем 6–7 мс, то для флэш-накопителей этот показатель достигает 0,1 мс. Таким образом, количество транзакций в секунду возрастает на 1–2 порядка. До недавнего времени флэш-накопители считались дорогими и использовались в гибридных системах вместе с дисковыми. Сейчас ситуация меняется и все чаще внедряются СХД полностью на флэш-накопителях, которые позволяют существенно сэкономить пространство серверов.

Технологии хранения

Говоря о технологиях хранения, невозможно обойти вниманием термин RAID. Redundant array of independent disks — избыточный массив независимых дисков — это технология виртуализации данных, которая объединяет несколько дисков в логический элемент для повышения производительности. В зависимости от выбранного типа RAID, технологии хранения делятся на два класса:

  • С использованием аппаратного RAID. Более дорогое и не всегда оправданное решение, связанное с покупкой дополнительного компьютерного «железа» с собственной памятью и выделенным процессором. Аппаратный RAID требуется при наличии в системе как минимум четырех и более накопителей.
  • С использованием программного RAID. В этой технологии используются контроллеры на материнской плате, которые не имеют своей памяти и выделенного процессора. Они используют от 2-5% ресурсов центрального процессора сервера. Не менее надежны, чем аппаратные решения, используются в небольших системах.

Устройства хранения

  • DAS. Накопители ставятся непосредственно в сервер для получения дополнительного пространства со сравнительно быстрым доступом. Самый простой и недорогой вариант.
  • NAS. Хранилище, подключаемое по сети. Отличается гибкостью и централизованным управлением, однако скорость доступа ограничена скоростью сети.
  • SAN. Хранилище, подключаемое через оптико-волоконный кабель. Сочетает в себе все плюсы NAS с высокой скоростью доступа.

Создание системы хранения данных

Для создания хранилищ данных требуется разработка логической модели, которая будет полностью отражать ожидания клиента и возможности разработчика. После этого можно рассматривать технологические аспекты – например, размеры хранилища. Логическая модель может содержать тысячи атрибутов и связей.

Стоимость СХД варьируется в зависимости от масштаба, логической модели и оборудования. В одних случаях речь идет о сотнях тысяч рублей, в других – о десятках миллионов. На создание СХД может уйти от одного месяца до полугода. Важным фактором, который следует учитывать, является необходимость сервисной поддержки оборудования. Ее можно заказать непосредственно в представительстве мирового производителя или у локальной IT-компании. Во втором случае стоимость владения СХД заметно снизится.

Ссылка на основную публикацию
Хорошие характеристики для ноутбука
На сегодняшний день портативной электроникой никого не удивишь - персональным носимым компьютером имеют право именоваться не только планшеты, плееры и...
Фото для срисовки легкие но красивые карандашом
Хотите научиться рисовать, но не знаете с чего начать? Подборка самых простых и легких картинок для срисовки помогут создать красивый...
Фото для школьной беседы
Если обычный диалог подразумевает участие только двух пользователей, то в беседу можно позвать нескольких друзей. Эта функция удобна, если нужно...
Хорошие щетки стеклоочистителя отзывы
Проверяем щетки стеклоочистителей. На испытаниях — 8 брендов. Сегодня можно определить к себе на службу дворника любой националь… простите, конструкции:...
Adblock detector