Цели и задачи дисциплины
Цель курса: углубленное изучение и получение практических навыков программирования баз данных, изучение современных подходов к использованию и перспективных направлений развития СУБД.
Задачи курса:
- дать знания в области технологий баз данных, достаточные для профессиональной деятельности по разработке интеллектуальных систем;
- сориентировать студентов во множестве современных СУБД и связанных с ними информационных технологий хранения и обработки больших массивов данных;
- осветить теоретические и организационно-методические вопросы построения и функционирования систем, основанных на концепции баз данных, в том числе различные методологии моделирования и проектирования баз данных, обеспечения безопасности и надежности систем хранения и обработки больших данных;
- дать практические навыки проектирования, администрирования и использования баз данных, а также разработки прикладного программного обеспечения.
Краткое содержание дисциплины
Трехуровневая модель разработки баз данных, Особое внимание уделено средствам обеспечения безопасности и целостности данных, Архитектура ХД. Проектирование ХД: подход Р.Кимбалла, Б.Инмона, DataVault, Ancor. Принципы построения корпоративных ХД:. rлассические, виртуальные, облачные ХД. Логическое моделирование ХД, OLAP-куб. Процессы ETL,пакетная и потоковая обработка, достоинства и недостатки. Примеры реализации на Python. Обзор готовых инструментов интеграции данных. Отечественные ХД, BigData/ Архитектура фреймворка Hadoop. Модули Hadoop Common, HDFS, YARN, Hadoop MapReduce. Экосистема Apache Spark. Сравнение с Hadoop. Другие Open-Source системы, обзор: Apache Kafka, Scala, Apache Beam.