Цели и задачи дисциплины
Цель: формирование у студентов знаний и навыков в области генеративных нейронных сетей (GAN, VAE, Diffusion Models), их архитектуры, а также практических навыков разработки, обучения и применения генеративных моделей глубокого обучения для создания новых данных, аналогичных реальным.
Задачи: изучить теоретические основы генеративных моделей, освоить методы обучения и оценки качества генеративных моделей, применить знания на практике через реализацию проектов (например, генерация изображений, текстов, музыки)
Краткое содержание дисциплины
Курс охватывает четыре класса генеративных моделей: VAE с репараметризацией и ELBO, GAN (DCGAN, StyleGAN) с проблемой коллапса мод, диффузионные модели на основе процессов зашумления и U-Net. В области аудиотехнологий студенты строят ETL-конвейеры для обработки речи, синтезируют данные для балансировки выборок, дообучают ASR-модели (Whisper, Wav2Vec) с оценкой WER/CER и разрабатывают сквозной пайплайн распознавания, NLP-коррекции и синтеза речи (Tacotron, VITS, FastSpeech). Для адаптации больших моделей в условиях ограниченных ресурсов изучаются PEFT-методы (LoRA, QLoRA, Adapters) для LLaMA/Mistral, RLHF с PPO-оптимизацией и персонализация генерации изображений (DreamBooth, Textual Inversion). В финальной части осваиваются оптимизация (квантование, дистилляция, прунинг) для edge-устройств, распределенное обучение (DDP, DeepSpeed, ZeRO) и метрики оценки (FID, Inception Score, BLEU, ROUGE, Perplexity). Практика включает квантизацию с сравнением CPU/GPU, распределенное обучение диффузионных моделей, построение бенчмарков и полный цикл A/B-тестирования со статистическим анализом и интерпретацией результатов.