ml_course

Machine learning course

План курса:

1. Введение в анализ данных.
2. Линейные регрессионные модели.
3. Линейные классификационные модели. Градиентный спуск, стохастический градиентный спуск.
4. Метод ближайшего соседа (классификация и регрессия).
5. Дерево решений (классификация и регрессия).
6. Класстеризация данных.
7. Методы понижения размерности.
8. Нейронные сети.

Вопросы на зачет:

1. Матрица данных. Атрибуты данных: численные атрибуты и категориальные атрибуты. Нормализация данных, расстояние и угол между объектами данных.
2. Классификация и регрессия.
3. Линейная регрессия и классификация. Функции потерь, метрики, алгоритм построения. Градиентный спуск и стохастический градиентный спуск. Логистическая регрессия. Регуляризация L1 и L2. Максимальное правдоподобия.
4. Наивный байесовский классификатор. Приницип построения.
5. К ближайших соседей: классификация и регрессия. Алгоритм построения.
6. Дерево решений: классификация и регрессия. Структура дерева. Алгоритм построения и предсказания результата.
7. Метод опорных векторов. Рассказать на линейно-разделимой выборке данных. Отступ.
8. Понижение размерности данных. Метод главных компонент: алгоритм. Сингулярное разложение: алгоритм.
9. Кластеризация данных. К-средних: алгоритм, выбор количества кластеров, устойчивость. Иерархический кластерный анализ: алгоритм, расстояния между кластерами, выбор количества кластеров.
10. Персептрон. Обучение персептрона.
11. Оценка классификатора. Метрики оценки: ошибка, точность. Матрица ошибок. Метрики для оценки классов: точность, полнота и F-мера. AUC (Area under Curve), ROC-кривая. Кросс-энтропия.
12. Перекрестная проверка (cross-validation).
13. Ансамблевые методы: бэггинг (бутстрэп), бустинг, стекинг. Случайный лес: построение.