Введение в машинное обучение

Оглавление

• Библиотека ML-специалиста + выбор редакции:
  • Дополнительные материалы к курсу «Введение в машинное обучение»,
  • Рекомендации от преподавателей специализации «Машинное обучение и анализ данных»
  • Литература для поступления в ШАД
  • Подборка научпоп-книг;
• По темам:
  • Статистика и теория вероятностей
  • Линейная алгебра
  • Алгоритмы
  • Нейронные сети, Deep learning
  • Python, IPython, Scikit-learn etc
  • Code editors
  • LaTeX
  • R
  • JavaScript-библиотеки для визуализации данных
  • NLP
• Онлайн-курсы (MOOC);
• Чаты/паблики/каналы про ML.

---

• Календарь соревнований по анализу данных;
• Машинное обучение: вводная лекция – К. В. Воронцов;
• Математические методы обучения по прецедентам (теория обучения машин) – К. В. Воронцов;
• Видеолекции курса «Машинное обучение», одного из основных курсов в Школе Анализа Данных Яндекса. Преподаватель — Константин Вячеславович Воронцов;
• Репозиторий с конспектами, кодом и прочими материалами к семинарам по машинному обучению ВМК МГУ;
• Пост на reddit: Machine Learning Books;
• 100+ Free Data Science Books – более 100 бесплатных книг по Data Science;
• 16 Free Machine Learning Books — ещё 16 бесплатных книг по ML;
• Free O'Reilly data science ebooks;
• 100 репозиториев по машинному обучению;
• awesome-machine-learning;
• Open Source Society University's Data Science course – this is a solid path for those of you who want to complete a Data Science course on your own time, for free, with courses from the best universities in the World;
• Доска по data science в Trello — проверенные материалы, организованные по темам (expertise tracks, языки программирования, различные инструменты);
• Machine Learning Resource Guide;
• 17 ресурсов по машинному обучению от Типичного Программиста;
• 51 идея для тренировочных задачек (toy data problem) в Data Science;
• Dive into Machine Learning ( repo on github) with Python Jupyter notebook and scikit-learn;
• Data Science Interview Questions — огромный список вопросов для подготовки к интервью на позицию data scientist'а;
• Много книг по Natural Language Processing;
• Список открытых источников данных, на которых можно найти бесплатные датасеты;
• Очень подробный ответ на вопрос What should I learn in data science in 100 hours?;
• machine-learning-for-software-engineers - A complete daily plan for studying to become a machine learning engineer;
• Tutorials on topics in machine learning;
• Data Mining in Action course materials, Moscow Institute of Physics and Technologies;
• Постоянно обновляющаяся подборка ссылок по датасаенсу

---

Библиотека ML-специалиста

• Applied Predictive Modeling – M. Kuhn, K. Johnson (2013)
• Bayesian Reasoning and Machine Learning - D.Barber (2015)
• Core Concepts in Data Analysis: Summarization, Correlation and Visualization - Boris Mirkin
• A Course in Machine Learning - Hal Daumé III (another link)
• Data Mining: Concepts and Techniques - Jiawei Han et. al.
• Data Mining and Analysis. Fundamental Concepts and Algorithms - M.J.Zaki, W.Meira Jr (2014)
• Data Science For Dummies – Lillian Pierson (2015)
• Doing Data Science
• Frequent Pattern Mining - Charu C Aggarwal, Jiawei Han (eds.);
• Gaussian Processes for Machine Learning - Carl E. Rasmugit lssen, Christopher K. I. Williams
• Inductive Logic Programming: Techniques and Applications - Nada Lavrac, Saso Dzeroski
• Information Theory, Inference and Learning Algorithms – David MacKay
• Introduction To Machine Learning - Nils J Nilsson (1997)
• Foundations of Machine Learning - Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar (2012)
• The LION Way Machine Learning plus Intelligent Optimization (pdf)
• Machine Learning - Tom Mitchell
• Machine Learning – Andrew Ng
• Machine Learning, Neural and Statistical Classification - D. Michie, D. J. Spiegelhalter
• Machine Learning. The Art of Science of Algorithms that Make Sense of Data - P. Flach (2012)
• Machine learning cheat sheet - soulmachine (2015)
• Pattern Recognition and Machine Learning - C.M.Bishop (2006)
• Machine Learning in Action - Peter Harrington
• Probabilistic Programming and Bayesian Methods for Hackers (free)
• R in Action
• Reinforcement Learning: An Introduction - Richard S. Sutton, Andrew G. Barto
• Understanding Machine Learning: From Theory to Algorithms
• Анализ больших наборов данных - перевод Mining Massive Datasets - Jure Leskovec, Anand Rajaraman, Jeff Ullman
• Машинное обучение — Петер Флах
• Построение систем машинного обучения — Л. П. Коэльо, В. Ричарт (2016)
• Методы ансамблирования обучающихся алгоритмов — диссертация А. Гущина
• An article a week – list of good articles on ML/AI/DL
• The most popular programming books ever mentioned on StackOverflow

---

Онлайн-курсы (MOOC)

• Перечень лучших курсов по практически любым областям математики;
• Тонна разнообразных курсов по программированию, алгоритмам, в том числе 14 курсов по ML;
• Coursera:
  • Machine Learning от Andrew Ng (Stanford University) – самый популярный курс по машинному обучению (осторожно, вместо стандартных Питона или R – Matlab/Octave);
  • Специализация Машинное обучение от МФТИ и Яндекса. У меня по этой специализации есть аккуратный репозиторий;
  • Machine Learning Foundations: A Case Study Approach — очень доходчивый курс, подходит в качестве самого первого курса по ML;
  • Practical Predictive Analytics: Models and Methods;
  • Calculus: Single Variable Part 1 от University of Pennsylvania;
  • Calculus One от The Ohio State University;
  • Современная комбинаторика от МФТИ, ведёт Райгородский А.М.;
  • Теория вероятностей для начинающих, а также на OpenEdu — курс от МФТИ, ведёт Райгородский А.М.;
  • Линейная алгебра от ВШЭ. Курс линейной алгебры для нематематических факультетов, подходит «для быстрого старта»;
  • Эконометрика (Econometrics) — 10-недельный курс от ВШЭ;
  • Customer Analytics – курс о практическом применении статистики и анализа данных. Для людей, разочаровавшихся в DS и не понимающих, на кой это всё;
  • Social Network Analysis от University of Michigan;
  • Social and Economic Networks: Models and Analysis от Stanford University;
  • Introduction to Recommender Systems – восьминедельный курс по рекомендательным системам от университета Миннесоты;
  • Специализация Machine Learning от Washington University.
• Udacity:
  • Machine Learning Engineer Nanodegree;
  • Data Analyst Nanodegree;
  • Intro to Machine Learning — this will teach you the end-to-end process of investigating data through a machine learning lens;
  • Intro to Descriptive Statistics – подробный курс для новичков;
• Edx:
  • Data Science and Engineering with Spark;
  • Introduction to Computational Thinking and Data Science;
  • MITx: 6.041x Introduction to Probability - The Science of Uncertainty;
  • The Analytics Edge;
• Learning from Data – введение в машинное обучение (основная теория, алгоритмы и области практического применения);
• Видеозаписи лекций Школы Анализа Данных;
• Intro to Python for Data Science – основы Python и немного про NumPy;
• Курс по статистике на stepic.org — качественное введение в статистику, целиком на русском языке;
• Data Science and Machine Learning Essentials от Microsoft;
• CS231n: Convolutional Neural Networks for Visual Recognition ( repo on github) — отличный десятинедельный курс по нейросетям и компьютерному зрению;
• Mining Massive Datasets - курс, основанный на книге Mining of Massive Datasets авторов Jure Leskovec, Anand Rajaraman, and Jeff Ullman (они же являются инструкторами этого курса).

---

Social

Обсуждение машинного обучения в мессенджерах (группы, каналы, чаты, сообщества).

• Open Data Science
• Посвященная московским ML-тренировкам группа в facebook
• и группа вконтакте про тренировки по машинному обучению
• Паблики/группы вконтакте:
  • Data Science
  • Deep Learning
  • Data Mining Labs
  • DeepLearning (Глубокие нейронные сети)
  • Мемы про машинное обучение для взрослых мужиков
• В телеграме:
  • Канал сообщества DeepLearning
  • Канал сообщества modeloverfit
  • Первый новостной канал про data science
  • Чат по большим данным, обработке и машинному обучению — Big Data & Machine Learning
  • Чат по теме Data Science — Data Science Chat
  • Spark in me: Internet, statistics, data science, philosophy
  • Чат канала Spark in me
• Сабреддиты по машинному обучению и смежным темам
• People tweeting about ML and AI
• Блоги по датасаенс-тематике + список:
  • http://distill.pub/
  • http://inference.vc/
  • http://karpathy.github.io/
  • http://deliprao.com/
  • http://fastml.com/
  • http://timvieira.github.io/
  • https://blogs.princeton.edu/
  • http://www.offconvex.org/
  • http://www.wildml.com/
  • http://sebastianruder.com/
  • http://www.argmin.net/
  • http://nlpers.blogspot.ru/
  • http://blog.shakirm.com/