Объем данных в цифровой форме увеличивается на планете в экспоненциальной прогрессии. Один известный швейцарский банк, недавно серьезным образом занявшийся превращением своих документальных архивов, содержащих документы с конца позапрошлого века в цифровую форму, обнаружил для себя две любопытные вещи. Первая — это то, что с конца ХIХ века до 1998 года он накопил два терабайта данных, а с 1998-го по начало 2001-го — еще два. Вторая — это то, что те самые два терабайта бумажных документов, занимавших целых два больших этажа архивного хранилища, поместились на ленточной библиотеке, величиной, немного превышающей обычный файл сервер. И доступ к любому из них можно осуществить в считанные секунды. Прощайте архивная пыль и долгие часы поисков нужного документа. Здравствуй век цифры!
Переход на цифровые технологии представления данных позволил разработать и использовать новые технические средства хранения данных — ВЗУ. Современные магнитные диски, лазерные компакт-диски и DVD обладают большой ёмкостью, обеспечивают высокую надёжность хранения и большую скорость доступа к данным. В процессе развития новых технологий хранения и накопления данных были разработаны универсальные логические основы хранения и структурирования больших объёмов данных, такие как файлы, базы и банки данных [10, c.130].
Актуальность выбранной темы курсовой работы, Цель курсовой работы, Задачи курсовой работы
- ввести понятия физических и логических основ накопления и хранения данных;
- познакомиться с БнД, проектированием БД;
- рассмотреть виды моделей данных БД;
- научиться классифицировать БД и СУБД;
— ознакомиться с информационными хранилищами данных, требованиями к их созданию, а также научиться использовать информационные хранилища в управлении.
Объект исследования, Предмет исследования, Структура работы:, Практическая значимость темы, Глава 1. Информационные процессы накопления и хранения данных
1.1 Физические основы накопления и хранения данных
внешними запоминающими устройствами
Наиболее распространёнными устройствами являются магнитные дисковые накопители. В качестве запоминающей среды в ВЗУ используются магнитные материалы со специальными свойствами, позволяющими фиксировать два различимых магнитных состояния, каждому из которых ставится в соответствие двоичная цифра: 0 или 1. Запись и считывание данных осуществляются магнитными головками. К основным характеристикам ВЗУ относятся их ёмкость, выражаемая в единицах измерения количества информации, и скорость считывания/записи Понятие «скорость считывания/записи» является обобщённой интегральной характеристикой «скоростных» качеств ВЗУ. Более подробно рассматривается в учебниках по информатике..
Разработка программы для автоматизации работы кафе
... необходимо обеспечение всех пользователей программы нужной им информацией в удобной форме. Целью данного курсового проекта является разработка программы для автоматизации работы кафе. Задачами курсового проекта являются: описание ... принимает заказ клиента, формируется документ заказа, в котором указываются следующие данные: код заказа; текущая дата; сотрудник; клиент; блюда; количество блюд; ...
Гибкий магнитный накопитель, или дискета (FD — Floppy Disk), представляет собой плоский диск из специальной плёнки, обладающей достаточной прочностью и стабильностью размеров, покрытой ферромагнитным слоем и помещённый в защитный конверт. Защитный кожух содержит ряд отверстий, через которые головки считывания-записи контактируют с магнитной поверхностью. Для выполнения операций с дискетой она помещается в специальное устройство — дисковод, называемый приводом гибких дисков (FDD DRIVE).
Привод гибких дисков представляет собой сочетание механизма считывания-записи с соответствующей электронной схемой управления.
Конструктивной особенностью привода является то, что диск приводится во вращение только при поступлении команды на чтение или запись. Кроме того, головка чтения записи во время работы механически контактирует с поверхностью носителя.
Накопители на жёстких магнитных дисках (HDD, Hard Disk Drive, получившие название «винчестеры») представляют собой целостную конструкцию из нескольких алюминиевых или керамических пластин (дисков) с ферромагнитным слоем и механизма считывания-записи данных. Для записи данных используются обе поверхности каждой из пластин, что обеспечивается группой магнитных головок. Пакет дисков, пока компьютер включен, непрерывно вращается со скоростью до 10 000 оборотов в минуту и более. При этом головки чтения записи не касаются поверхности дисков, а плавают над поверхностью на расстоянии 0,1-0,5 микрона. Ёмкости современных жёстких дисков составляют от десятков до сотен гигабайт. Сегодня это один из самых ёмких и высокоскоростных устройств внешней памяти.
Для хранения больших объёмов данных, обеспечения высокой степени надёжности, достоверности и безопасности жёсткие диски объединяются в более сложные системы, называемые дисковыми массивами RAID RAID (Redundant Array of Independent Disk) — массив независимых резервируемых дисков..
Последние годы широкое распространение получили оптические диски, называемые ещё лазерными, так как запись данных на них и считывание осуществляется с помощью лазерного луча, генерируемого специальным устройством — приводом компакт-дисков. Ярким представителем семейства этих устройств являются компакт-диски, которые впервые стали использоваться для аудиозаписи.
Высокая потребительская ценность оптических дисков заключается в их низкой стоимости, большой ёмкости, высокой степени надёжности хранения данных Неперезаписываемые лазерно-оптические диски имеют ёмкость 650-750 мегабайт, ёмкость цифровых DVD дисков может достигать несколько десятков гигабайт..
Ещё одним очень перспективным способом хранения данных в электронном виде является использование электронных микросхем памяти, называемых флэш-памятью. Они отличаются очень высокой скоростью работы и надёжностью хранения данных. Способ подключения этих устройств к работающему компьютеру без выключения последнего (через порт USB) делает эти устройства незаменимыми для промежуточного хранения данных, переноса их с одного компьютера на другой [10, c.111].
Применение базы данных для хранения и обработки экономической информации
... базы данных и системы управления базами данных (СУБД). В дальнейшем увеличение объемов хранимых данных, использование разных устройств для хранения, а также усложнение методов управления данными привело к созданию распределенной обработки данных, информационных хранилищ. Для хранения и обработки пространственных данных ...
1.2 Логические основы накопления и хранения данных. Базы данных
Цель любой информационной технологии заключается в обработке сведений об объектах и явлениях реального мира. Важнейшей составляющей этих технологий являются способы хранения данных на машинных носителях и методы доступа к ним.
С целью унификации методов доступа к данным, хранящимся на различных типах технических устройств, на логическом уровне введено обобщённое понятие файла как имеющей имя логически связанной совокупности данных на внешнем запоминающем устройстве. Для удобства оперирования большим количеством файлов последние группируются в папки (каталоги).
Каждый файл данных имеет уникальное имя в пределах папки. Файлы могут иметь различную структуру и, в свою очередь, состоять из более мелких структурных элементов, таких как записи, поля.
Одним из ключевых понятий структур данных на логическом уровне является понятие базы данных (БД).
В общем случае БД можно определить, как некоторую структурированную совокупность данных об объектах определённой предметной области Под предметной областью понимается некая «часть» материального или нематериального мира, рассматриваемая человеком с целью изучения или управления и выступающая по отношению к нему объектом внимания (информационным объектом)., хранящихся на внешних запоминающих устройствах, и методов доступа к ним, определяющих способы взаимодействия с пользователем и аппаратно-программными средствами ИТ.
С понятием системы БД непосредственно связано понятие системы управления базами данных (Приложение 2), под которой понимается комплекс программных средств, предназначенных для создания и обслуживания БД (СУБД).
Проводя аналогию с технологиями материального производства, БД в информационной технологии в комплексе с СУБД выступает в роли складского хозяйства во всём его многообразии. Это и место складирования данных, и вся совокупность технических, программных, правовых, организационных средств по обеспечению их транспортировки, учёта, хранения и поиска, обеспечения целостности, сохранности и безопасности.
База данных
1.3 Проектирование БД
Проектирование БД осуществляется на основе трехуровневой архитектуры. Наглядно это представлено на рис. 1.
Рис. 1. Трехуровневая архитектура
1. Инфологическая модель БД
Проектирование инфологической модели БД. Проектирование инфологической модели является основной задачей при создании БД. Цель инфологической модели — обеспечение наиболее естественных для человека способов сбора и представления той или иной информации, которую предполагается хранить в создаваемой базе. Поэтому инфологическую модель данных пытаются строить по аналогии с естественным языком (последний не может быть использован в чистом виде из-за сложности компьютерной обработки текстов и неоднозначности любого естественного языка).
Основными конструктивными элементами инфологических моделей являются сущности, связи между ними и их свойства. Поэтому необходимо четко поставить цель данной БД, а также установить, какую информацию получает пользователь в результате работы с программой.
Даталогическая (Концептуальная) модель БД
Проектирование даталогической модели. Проектирование даталогической модели- важный этап в проектировании БД. На этом этапе важно правильно выделить сущности и описать их атрибуты. Ошибка на этом этапе может обернуться разработчику значительными потерями времени и сил в дальнейшем. Датологическая (концептуальная) модель — модель, описывающая логику организации данных. Датологическое проектирование заключается в проектировании логической структуры БД. Таким образом, главное отличие даталогической модели от инфологической состоит в том, что инфологическая модель хранит в себе всю информацию о предметной области, необходимую и достаточную для проектирования базы данных, но она не привязана к определенной СУБД. Даталогическое проектирование сводится к следующим этапам: определение таблиц, определение полей таблиц, определение типов данных в соответствии с выбранной СУБД, определение длины каждого поля таблицы, определение обязательности каждого поля, определение индексации каждого поля.
Использование баз данных и СУБД для обработки информации
... обработки и хранения данных, которые могут использоваться одним или несколькими пользователями. В зависимости различных моделей данных базы данных могут быть иерархическим, сетевыми и реляционными. Дальше мы будем рассматривать только реляционные базы данных. СУБД ...
3. Физическая модель БД
Проектирование физической модели. Физическая модель БД определяет способ размещения данных на носителях (устройствах внешней памяти), а также способ и средства организации эффективного доступа к ним. Поскольку СУБД функционирует в составе и под управлением операционной системы, то организация хранения данных и доступа к ним зависит от принципов и методов управления данными операционной системы. В отличие от ранних СУБД, многие современные системы не предоставляют разработчику какого-либо выбора на этой стадии. Реально к вопросам проектирования физической модели можно отнести: выбор схемы размещения данных (разделение по файлам или тип RAID-массива); определение числа и типа индексов (например, кластеризованный или некластеризованный в случае MS SQL Server).
Способ хранения БД определяется механизмами СУБД автоматически по умолчанию на основе спецификаций концептуальной схемы БД, и внутренняя схема в явном виде в таких системах не используется. Внешние схемы БД обычно конструируются на стадии разработки приложений.
1.4 Банк данных
При увеличении объёмов информации для многоцелевого применения и эффективного удовлетворения информационных потребностей различных пользователей используется интегрированный подход к созданию внутримашинного ИО. При этом данные рассматриваются как информационные ресурсы для разноаспектного и многократного использования. Принцип интеграции предполагает организацию хранения информации в виде банка данных (БнД), где все данные собраны в едином интегрированном хранилище и к информации как важнейшему ресурсу обеспечен широкий доступ различных пользователей (Приложение 3).
БнД — это система специальным образом организованных данных (баз данных), программных, технических, языковых, организационно-методических средств, предназначенных для обеспечения централизованного накопления и коллективного многоцелевого использования данных [11, c.108].
Основные требования к БнД включают: интегрированность баз данных и целостность каждой из них; независимость, минимальную избыточность хранимых данных и способность к расширению. Важным условием эффективного функционирования БнД является обеспечение защиты данных от несанкционированного доступа или случайного уничтожения хранимых данных.
Распределение технологии обработки и хранения данных
... информационных сред лежат системы распределенных технологий обработки и хранения данных. Система распределенных технологий обработки и хранения данных, являясь совокупностью независимых компьютеров, представляется пользователю единым компьютером. Создание систем распределенных технологий обработки данных имеют следующие преимущества перед централизованными технологиями: 1) Экономическое: закон ...
Любой банк данных в своём составе всегда содержит следующие два основных компонента: БД, которая есть не что иное, как даталогическое представление информационной модели предприятия, и систему управления базой данных (СУБД), с помощью которой реализуются централизованное управление данными, хранимыми в базе, доступ к ним и поддержание их в состоянии, соответствующем состоянию предметной области.
БД создаются в БнД предприятия для решения на ПК задач управления производством.
Для программной реализации работ с БД создаются вспомогательные программы их структур, справочников и файлов, печати и др.
Центральную роль в функционировании БнД выполняет СУБД. СУБД — это пакет программ, обеспечивающий поиск, хранение, корректировку данных, формирование ответов на запросы. Система обеспечивает сохранность данных, их конфиденциальность, перемещение и связь с другими программными средствами. Основные функции СУБД: непосредственное управление данными во внешней памяти; управление буферами оперативной памяти, управление транзакциями; журнализация; языки БД. Организация типичной СУБД и состав её компонентов соответствует рассмотренному набору функций. Логически в современной реляционной СУБД можно выделить наиболее внутреннюю часть — ядро СУБД, компилятор языка БД (обычно SQL), подсистему поддержки времени выполнения, набор утилит. Преимущества работы с БнД для пользователей окупают затраты и издержки на его создание. Они заключаются в следующем: повышается производительность работы пользователей, достигается эффективное удовлетворение информационных потребностей; централизованное управление данными освобождает прикладных программистов от организации данных, обеспечивает независимость прикладных программ от данных; организация банка (базы) данных позволяет реализовать другие нерегламентированные запросы, приложения; снижаются затраты не только на создание и хранение данных, но и на поддержание их в актуальном динамичном состоянии; уменьшаются потоки данных, циркулирующих в системе, сокращается избыточность и дублирование. субд хранение управление функциональная
Концепция БД — это не только идея интегрированного хранения данных, но и идея отделения описания данных от программ их обработки, интерфейс между которыми обеспечивается СУБД. В основу её разработки закладывают следующие принципы: единство структурно — информационной организации массивов; централизацию процессов накопления, хранения и обработки различных видов информации; однократный ввод первичных массивов информации с последующим многоразовым и многоцелевым их использованием; интегрированное использование массивов в различных режимах обработки; оперативность доступа к различным элементам информационных массивов; минимизацию стоимости создания и функционирования.
1.5 Виды моделей данных БД
С ростом популярности СУБД появилось множество различных моделей данных. У каждой из них имелись свои достоинства и недостатки, которые сыграли ключевую роль в развитии реляционной модели данных, появившейся во многом благодаря стремлению упростить проектирование, упорядочить работу с моделями данных и повысить ее эффективность.
Основным средством организации и автоматизации работы с БД являются системы управления базами данных (СУБД).
PDM системы управления информацией об изделиях в процессе производства» ...
... этих объектов. Модуль Workflow Management («Управление технологиями») позволяет создать базу данных о проведении работ, помогает руководить процессами ... PDM системы третьего поколения Идея внедрения систем управления информацией об изделии продолжала активно развиваться. Ведущие ... включали в себя систему управления (СУБД) и генератор отчетов для введения изменений данных об изделии. Сложность ...
Выбор СУБД определяется многими факторами, но главным из них является возможность работы с конкретной моделью данных (иерархической, сетевой, реляционной).
Иерархическую модель БД
Рис. 1.2. Иерархическая модель
Сетевые модели БД
Рис. 1.3. Сетевая модель
Реляционная модель БД
Рис 1.4. Реляционная модель
Одно из основных различий между тремя типами моделей СУБД состоит в том, что для иерархических и сетевых СУБД их структура не может быть изменена после ввода данных, тогда как для реляционных СУБД структура может изменяться в любое время. Для больших БД, структура которых остается длительное время неизменной, именно иерархические и сетевые СУБД могут оказаться наиболее эффективными, ибо они могут обеспечивать более быстрый доступ к информации БД, чем реляционные СУБД. Однако большинство СУБД для ПК работают с реляционной моделью. К реляционным моделям относят, например, Clipper, dBase, Paradox, FoxPro, Access, Oracle.
В последние годы все большее признание и развитие получают объектно-ориентированные базы данных (ООБД, толчок к появлению которых дали объектно-ориентированное программирование и использование ПК для обработки и представления практически всех форм информации, воспринимаемых человеком.
В чем принципиальное отличие реляционных и объектно-ориентированных баз данных? В ООБД модель данных более близка сущностям реального мира. Объекты можно сохранить и использовать непосредственно, не раскладывая их по таблицам. Типы данных определяются разработчиком и не ограничены набором предопределенных типов. В объектных СУБД данные объекта, а также его методы помещаются в хранилище как единое целое. Объектная СУБД именно то средство, которое обеспечивает запись объектов в базу данных. Существенной особенностью ООБД можно назвать объединение объектно-ориентированного программирования (ООП) с технологией баз данных для создания интегрированной среды разработки приложений.
ООБД обеспечивает доступ к различным источникам данных, в том числе, конечно, и к данным реляционных СУБД, а также разнообразные средства манипуляции с объектами баз данных. Традиционными областями применения объектных СУБД являются системы автоматизированного проектирования (САПР), моделирование, мультимедиа, поскольку именно из нужд этих отраслей выросло новое направление в базах данных.
В данных областях всегда существовала потребность найти адекватное средство хранения больших объемов разнородных данных, переплетенных многими связями. Поскольку объектные СУБД отличаются высоким быстродействием, надежностью, представляют разнообразнейший программный интерфейс для разработчиков, они широко используются в телекоммуникациях, различных аспектах автоматизации предприятия, издательском деле, геоинформационных проектах. Очень хорошо они подходят для решения задач построения распределенных вычислительных систем. На основе объектной СУБД можно строить сложные распределенные банки данных, организовывать к ним доступ как через локальную сеть, так и для удаленных пользователей в режиме реального масштаба времени. К объектным СУБД можно отнести СУБД ONTOS — одного из лидеров направления ООБД, Jasmine, ODB-Jupiter — первый российский продукт такого рода, ORACLE 8.0.
Создание базы данных аэропорта
... целостности (правильности) и безопасности данных, а также санкционирования доступа. Целью этой работы является создать базу данных в СУБД ACCESS. Которая должна будет автоматизировать работу служащих аэропорта. 1. Предметная область 1.1 Описание ...
Использование баз данных на предприятии не дает желаемого результата от автоматизации деятельности предприятия. Причина проста: реализованные функции значительно отличаются от функций ведения бизнеса, так как данные, собранные в базах, не адекватны информации, которая нужна лицам, принимающим решения. Решением данной проблемы стала реализация технологии информационных хранилищ.
Глава 2. Классификация БД и СУБД
2.1 Классификация БД
Классификация — разделение множества на подмножества по неформально предложенному признаку. В силу многогранности баз данных и СУБД (комплекса технических и программных средств, для хранения, поиска, защиты и использования данных) имеется множество классификационных признаков (Приложение 4).
Базы данных могут классифицироваться и с точки зрения экономической: по условиям предоставления услуг — бесплатные и платные (бесприбыльные, коммерческие); по форме собственности — государственные, негосударственные; по степени доступности — общедоступные, с ограниченным кругом пользователей.
В мире существует множество СУБД. Несмотря на их различие, все они опираются на единый устоявшийся комплекс основных понятий.
СУБД носит централизованный характер. Что предполагает необходимость существования некоторого лица (группы лиц), на которое возлагаются функции администрирования данными, хранимыми в базе.
централизованные БД
Централизованная БД
Централизованные БД могут быть с сетевым доступом.
Архитектуры систем централизованных БД с сетевым доступом подразделяются на файл-сервер и клиент-сервер.
Архитектура систем БД с сетевым доступом (Файл-сервер) как показано на рис. 2.1. предполагает выделение одной из машин сети в качестве центральной (сервер файлов).
На ней хранится совместно используемая централизованная БД. Все другие машины сети являются рабочими станциями. Файлы БД в соответствии с пользовательскими запросами передаются на рабочие станции, где и производится обработка. При большой интенсивности доступа к одним и тем же данным производительность системы падает.
Рис. 2.1. БД с сетевым доступом (Файл-сервер)
Рис. 2.2. БД с сетевым доступом Клиент — сервер
В архитектуре Клиент-сервер (рис. 2.2) подразумевается, что помимо хранения централизованной БД центральная машина (сервер базы данных) должна обеспечивать выполнение основного объёма обработки данных. Запрос на данные клиента, порождает поиск и извлечение данных на сервере. Извлечённые данные (но не файлы) транспортируются по сети от сервера к клиенту.
Пример БД — деловой ежедневник, в котором каждому календарному дню выделено по странице. Даже в отсутствии там записей, он не перестаёт быть ежедневником, т.к. имеет структуру, отличающую его от записных книжек, рабочих тетрадей и т.п. Другие примеры БД: база данных больных в поликлинике, БД по видеофильмам (видеотека), БД по сотрудникам организации (Ф.И. О., пол, дата рождения, место жительство, телефон, состав семьи и т.д.).
Распределённая БД
По способу доступа к данным БД разделяются на БД с локальным и удаленным доступом.
БД с локальным
БД с удалённым
Для работы с созданной БД пользователю или администратору БД следует иметь перечень файлов-таблиц с описанием состава их данных (структуры, схемы).
Создание базы данных строительной организации
... распределенной обработки данных. Система управления базами данных управляет данными во внешней памяти, обеспечивает надежное хранение данных и поддержку соответствующих языков базы данных. Важной функцией СУБД является функция управления буферами оперативной памяти. Обычно СУБД работают с базами данных больших ...
Для этого создается специальный файл, называемый словарем данных (депозитарием, словарем-справочником, энциклопедией).
Описание БД относится к метаинформации.
В качестве технических средств могут выступать супер- или персональные компьютеры с соответствующими периферийными устройствами.
2.2 Классификация СУБД
Система управления базами данных (СУБД) — это совокупность языковых и программных средств, предназначенных для создания, ведения и совместного использования БД многими пользователями.
Системы управления базами данных следует классифицировать отдельно (рис. 2.3).
Рис. 2.3. Классификация СУБД
2.3 Состав СУБД и работа БД
СУБД представляет собой оболочку, с помощью которой при организации структуры таблиц и заполнения их данными получается та или иная база данных. В связи с этим полезно поговорить о системе программно-технических, организационных и «человеческих» составляющих (рис. 2.4).
Программные средства включают систему управления, обеспечивающую ввод-вывод, обработку и хранение информации, создание, модификацию и тестирование БД, трансляторы.
Рис. 2.4. Состав СУБД
Базовыми внутренними языками программирования являются языки четвертого поколения. В качестве базовых языков могут использоваться C, C++, Pascal, Object Pascal. Язык C++ позволяет строить программы на языке Visual Basic с широким спектром возможностей, более близком и понятном даже пользователю-непрофессионалу, и на непроцедурном (декларативном) языке структурированных запросов SQL. Следует отметить, что исторически для системы управления базой данных сложились три языка:
1. Язык описания данных (ЯОД), называемый также языком описания схем, — для построения структуры («шапки») таблиц БД;
2. Язык манипулирования данными (ЯМД) — для заполнения БД данными и операций обновления (запись, удаление, модификация);
3. Язык запросов — язык поиска наборов величин в файле в соответствии с заданной совокупностью критериев поиска и выдачи затребованных данных без изменения содержимого файлов и БД (язык преобразования критериев в систему команд).
В настоящее время функции всех трех языков выполняет язык SQL, относящийся к классу языков, базирующихся на исчислении кортежей (кортеж чаще всего является единицей информации), языки СУБД FoxPro, Visual Basic for Application (СУБД Access) и т.д.
Вместе с тем сохранились и языки запросов, например, язык запросов по примеру Query By Example (QBE) класса исчисления доменов. Отметим, что эти языки в качестве «информационной единицы» БД используют отдельную запись. С помощью языков БД создаются приложения, базы данных и интерфейс пользователя, включающий экранные формы, меню, отчеты. При создании БД на базе СУБД FoxPro эти элементы (объекты) фиксируются в отдельных файлах, которые, в свою очередь, сосредоточиваются в одном файле, называемом проектом. После отработки БД проект преобразуется в приложение. В СУБД Access все созданные объекты размещаются в одном файле.
2.4 Основные функции СУБД
Более точно, к числу функций СУБД принято относить следующие:
1. Непосредственное управление данными во внешней памяти.
2. Управление буферами оперативной памяти.
3. Управление транзакциями.
Понятие транзакции необходимо для поддержания логической целостности БД. Приведем пример информационной системы с файлами СОТРУДНИКИ и ОТДЕЛЫ, то единственным способом не нарушить целостность БД при выполнении операции приема на работу нового сотрудника является объединение элементарных операций над файлами СОТРУДНИКИ и ОТДЕЛЫ в одну транзакцию.
Введение системы управления базами данных
... разрядных операционных систем: «настольная СУБД с возможностью подключения к распределенной базе данных с использованием стандартного языка SQL» – «визуальная объектно- ... когда в узлах распределенной системы функционируют группы автоматизированных рабочих мест (АРМ), абсолютно не связанные ... АРМ - клиент выдает запросы на выборку и обновление данных, а СУБД исполняет их. Запросы клиента в соответствии ...
То свойство, что каждая транзакция начинается при целостном состоянии БД и оставляет это состояние целостным после своего завершения, делает очень удобным использование понятия транзакции как единицы активности пользователя по отношению к БД.
4. Журнализация.
Понятно, что в любом случае для восстановления БД нужно располагать некоторой дополнительной информацией. Другими словами, поддержание надежности хранения данных в БД требует избыточности хранения данных, причем та часть данных, которая используется для восстановления, должна храниться особо надежно. Наиболее распространенным методом поддержания такой избыточной информации является ведение журнала изменений БД.
Журнал — это особая часть БД, недоступная пользователям СУБД и поддерживаемая с особой тщательностью (иногда поддерживаются две копии журнала, располагаемые на разных физических дисках), в которую поступают записи обо всех изменениях основной части БД. В разных СУБД изменения БД журнализуются на разных уровнях: иногда запись в журнале соответствует некоторой логической операции изменения БД (например, операции удаления строки из таблицы реляционной БД), иногда — минимальной внутренней операции модификации страницы внешней памяти; в некоторых системах одновременно используются оба подхода.
Во всех случаях придерживаются стратегии «упреждающей» записи в журнал (так называемого протокола Write Ahead Log — WAL).
Грубо говоря, эта стратегия заключается в том, что запись об изменении любого объекта БД должна попасть во внешнюю память журнала раньше, чем измененный объект попадет во внешнюю память основной части БД. Известно, что если в СУБД корректно соблюдается протокол WAL, то с помощью журнала можно решить все проблемы восстановления БД после любого сбоя.
Самая простая ситуация восстановления — индивидуальный откат транзакции. Строго говоря, для этого не требуется общесистемный журнал изменений БД. Достаточно для каждой транзакции поддерживать локальный журнал операций модификации БД, выполненных в этой транзакции, и производить откат транзакции, путем выполнения обратных операций, следуя от конца локального журнала. В некоторых СУБД так и делают, но в большинстве систем локальные журналы не поддерживают, а индивидуальный откат транзакции выполняют по общесистемному журналу, для чего все записи от одной транзакции связывают обратным списком (от конца к началу).
5. Поддержка языков БД.
Язык SQL содержит специальные средства определения ограничений целостности БД. Опять же, ограничения целостности хранятся в специальных таблицах-каталогах, и обеспечение контроля целостности БД производится на языковом уровне, т.е. при компиляции операторов модификации БД компилятор SQL на основании имеющихся в БД ограничений целостности генерирует соответствующий программный код.
Специальные операторы языка SQL позволяют определять так называемые представления БД, фактически являющиеся хранимыми в БД запросами (результатом любого запроса к реляционной БД является таблица) с именованными столбцами. Для пользователя представление является такой же таблицей, как любая базовая таблица, хранимая в БД, но с помощью представлений можно ограничить или наоборот расширить видимость БД для конкретного пользователя. Поддержание представлений производится также на языковом уровне.
Наконец, авторизация доступа к объектам БД производится также на основе специального набора операторов SQL. Идея состоит в том, что для выполнения операторов SQL разного вида пользователь должен обладать различными полномочиями. Пользователь, создавший таблицу БД, обладает полным набором полномочий для работы с этой таблицей. В число этих полномочий входит полномочие на передачу всех или части полномочий другим пользователям, включая полномочие на передачу полномочий. Полномочия пользователей описываются в специальных таблицах-каталогах, контроль полномочий поддерживается на языковом уровне.
2.5 Функциональные возможности СУБД
системы общего назначения
СУБД общего назначения — это сложные программные комплексы, предназначенные для выполнения всей совокупности функций, связанных с созданием и эксплуатацией БД информационной системы. Рынок программного обеспечения ПК располагает большим числом разнообразных по своим функциональным возможностям коммерческих систем СУБД общего назначения.
СУБД — лидеры на рынке программ: dBASE IV, компании Borland International; Microsoft Access 2007; Microsoft FoxPro 2.6 for DOS; Microsoft FoxPro for Windows, Microsoft Corp; Paradox for DOS 4.5; Paradox for Windows, версия 4.5 Borland.
Производительность СУБД оценивается: временем выполнения запросов; скоростью поиска информации; временем выполнения операций импортирования данных их других форматов; скоростью выполнения таких операций как обновления, вставка, удаление данных; максимальным числом параллельных обращений к данным в многопользовательском режиме; временем генерации отчёта.
На производительность СУБД оказывают влияния 2 фактора: правильное проектирование и построения БД.
СУБД, которые следят за соблюдением целостности данных, несут дополнительную нагрузку, которую не испытывают другие программы. Целостность данных подразумевает наличие средств, позволяющих удостовериться, что информация в БД всегда остаётся корректной и полной.
Операции, обеспечивающие безопасность: шифрование прикладных программ; шифрование данных; защита паролем; ограничение уровня доступа.
Глава 3. Хранилища данных и базы знаний-перспектива развития ИС в управлении
3.1 Хранилище данных
Хранилище данных (data warehouse)
Особенность новой технологии в том, что она предлагает среду накопления данных, которая не только надежна, но по сравнению с распределенными СУБД и оптимальна в отношении доступа к данным и манипулирования ими.
Хранилище информации предназначено для хранения, оперативного получения и анализа интегрированной информации по всем видам деятельности организации.
Данные в таком хранилище характеризуются следующими свойствами:
- предметная ориентация — данные организованы согласно предмету, а не приложению (в соответствии со способом их применения);
- интегрированность — данные согласуются с определенной системой наименований, хотя могут принадлежать различным источникам и их формы представления могут не совпадать;
- упорядоченность во времени — данные согласуются во времени для использования в сравнениях, трендах и прогнозах;
- неизменяемость и целостность — данные не обновляются и не изменяются, а только перезагружаются и считываются, поддерживая концепцию «одного правдивого источника»;
- большой общем и сложные взаимосвязи данных.
К основным категориям данных, которые располагаются в хранилище, относятся: метаданные, описывающие способы извлечения информации из различных источников, методы их преобразования из различных структур и форматов и доставки в хранилище; фактические, данные (архивы), отражающие состояние предметной области и конкретные моменты времени; суммарные данные, полученные на основе проведенных аналитических расчетов.
В информационных хранилищах используются статистические технологии, генерирующие информацию об информации; процедуры суммирования; методы обработки электронных документов, аудио- видеоинформации, графов и географических карт.
Для уменьшения размера информационного хранилища до минимума при сохранении максимального количества информации применяются эффективные методы сжатия данных.
Для преобразования дативных из хранилища в предметно-ориентированную форму требуются языки запросов нового поколения. Руководителям организации данные доступны посредством SQL-запросов, инструментов создания интерактивных отчетов на экране, более развитых систем поддержки принятия решений, многомерного просмотра данных. посредством гипертекстовой технологии. Для хранения данных обычно используются выделенные серверы, или кластеры серверов (группа накопителей, видеоустройств с общим контроллером).
Создание информационного хранилища данных требует решения ряда организационных вопросов, а также удовлетворения следующих требований к аппаратному и программному обеспечению.
3.2 Требования к созданию информационного хранилища
Скорость загрузки. В хранилищах необходимо обеспечить периодическую загрузку новых порций данных, укладывающихся в достаточно узкий временной интервал. Требуемая производительность процесса загрузки не должна накладывать ограничения на размер хранилища.
Технология загрузки, Управление качеством данных, Поддержка различных видов данных, Скорость обработки запросов, Масштабируемость., Обслуживание большого числа пользователей., Сети хранилищ данных, Администрирование., Интегрированные средства многомерного анализа, Средства формирования запросов
Примером информационного хранилища может служить Oracle VLM, разработанная фирмами Oracle и Digital. Платформой является Digital Unix для 64-разрядной архитектуры Digital AXP, преодолевшей на аппаратном уровне четырех гигабайтовый барьер адресного пространства оперативной памяти. Платформы Digital AlphaServer 8200 и AlphaServer 8400 уже сейчас позволяют адресоваться к оперативной памяти емкостью 14 Гбайт и планируется расширить эту границу за 50 Гбайт. Вторая базовая операционная система фирмы Digital Open — VMS 7.0.
В информационном хранилище Oracle VLM увеличился объем кэш-памяти (быстродействующей памяти) для обмена с сервером базы данных, что сократило время обращения к диску с миллисекунд до микросекунд. Например, «маленькая» база данных объемом 5 Гбайт целиком загружается в кэш-память. Поскольку кэш-память базы данных является частью системной области памяти SGA, Oracle VLM, фактически снимает ограничения на ее размер и оперирует с большой; системной областью памяти LSGA.
Увеличился максимальный размер обрабатываемого блока базы данных до 32 Кбайт. Обычно он равнялся 2 Кбайтам, а максимальный — 8 Кбайтам. Обрабатываемый блок базы данных содержит управляющую часть (заголовок) и собственно данные. Если данные (графика, аудио-, видеоданные, изображения) не помещаются в блок целиком, строится цепочка блоков.
3.3 Использование информационных хранилищ в управлении
Использование информационных хранилищ дает существенный выигрыш по производительности в системах принятия решений, в системах обработки большого числа транзакций с большим объемом обновления данных.
Активно развивающейся областью использования компьютеров является создание баз знаний (БЗ) и их применение в различных областях науки и техники. База знаний представляет собой семантическую модель, предназначенную для представления в ЭВМ знаний, накопленных человеком в определенной предметной области. Основные функции базы знаний: создание, загрузка; актуализация, поддержание в достоверном состоянии; расширение, включение новых знаний; обработка, формирование знаний, соответствующих текущей ситуации.
Для выполнения указанных функций разрабатываются соответствующие программные средства. Совокупность этих программных средств и баз знаний принято называть искусственным интеллектом. Искусственный интеллект в настоящее время находит применение в таких областях, как планирование и оперативное управление производством, выработка оптимальной стратегии поведения в соответствии со сложившейся ситуацией, экспертные системы.
