яндекс биг дата обучение
Что такое на самом деле Big Data и чем они прекрасны. Лекция Андрея Себранта в Яндексе
Директор по маркетингу сервисов Яндекса Андрей Себрант рассказал студентам Малого ШАДа о том, что такое большие данные, и о тех, зачастую неожиданных местах, где они находят своё применение.
Bid Data как понятие у всех на слуху уже не первый год. Но точное представление о том, что же представляет собой это понятие, есть далеко не у всех, особенно это касается людей за пределами IT-сферы. Проще всего несведущему человеку объяснить это на практическом примере.
Главная сложность в этой работе заключается в том, что обрабатываемые данные страдают неполнотой, в них много неточностей, а идентифицировать людей нужно по отнюдь не уникальным именам, фамилиям, датам рождения, смерти и т.п. Стандартные алгоритмы не справляются с обработкой таких данных. Однако машинное обучение позволяет учитывать все эти неточности и с большой вероятностью выдавать правильные результаты.
Другой пример – проект eHarmony. Это сайт знакомств, на котором сейчас есть около 40 миллионов зарегистрированных пользователей. В анкетах можно указывать до 1000 различных признаков. Ежедневно система делает около 100 миллионов предположений о том, что два человека могут подходить друг другу.
И предположения эти строятся не просто на банальном нахождении соответствий в указанных пользователями свойствах и пристрастиях. Например, выяснилось, что относительная площадь лица на фотографии в профиле может влиять на вероятность контакта между определенными людьми. Кроме того, оказалось, что люди с пристрастиями к определенным видам пищи могут обладать разной совместимостью друг с другом. Два вегетарианца с вероятностью в 44% найдут общий язык и начнут общение, в то время как два любителя гамбургеров с вероятностью 42% никаких отношений не заведут.
Самое интересное во всем этом, что применяя машинное обучение для принятия решений, мы перестаем понимать, на основе каких принципов они принимаются. Конечно, машинное обучение нельзя назвать искусственным интеллектом в прямом смысле, ведь решать он может только ту задачу, для которой был обучен. Но те сотни и тысячи факторов, которые принимает во внимание обученный алгоритм, могут просто не приходить нам в голову. Обучившись, алгоритм может лучше любого юзабелиста определять, какой дизайн кнопки показать конкретному пользователю, тут огромный объем данных сработает лучше опыта и умений человека. Но вот сконструировать хороший сайт с нуля при помощи машинного обучения пока не выйдет.
Посмотрев лекцию до конца, вы сможете составить общее представление о том, как работает машинное обучение. А подробнее ознакомиться с этой темой можно при помощи лекций о машинном обучении и компьютерном зрении.
Бесплатное обучение от Яндекса, о котором вы могли не знать
Меня зовут Артём Сайгин, я веду телеграм канал Growth lab, в котором рассказываю о маркетинге и росте IT-продуктов.
Шесть школ со множеством направлений, курсы, видео с лекций на сотни часов. Решил собрать все бесплатные материалы по обучению от Яндекса в одну статью, т. к. многие не знают о существовании таких возможностей.
Статья будет полезна тем, кто только начинает путь в IT и тем, кто хочет научиться чему-то новому.
Академия имеет несколько школ, набор в которые открывается один (или несколько) раз в год. Обучение бесплатное, но есть условия приёма в школу: нужно подать заявку, выполнить тестовое задание и дождаться результатов отбора. Подробнее об поступлении почитайте на сайте школы.
Школа мобильной разработки — имеет два направления: разработка по IOS и разработка под Android.
Школа дизайна — также представлено два направления: продуктовый
дизайн и коммуникаций.
Школа менеджеров Яндекса — представляет аж три направления: управление проектами и продуктами, маркетинг, продуктовая аналитика.
Школа анализа данных — это бесплатная программа и длиться она два года. Рассчитана на тех, кто хочет стать продвинутым датасаентистом или архитектором систем хранения и обработки больших данных.
Так что, если интересно изучить новую профессию, или вы только начинаете свой путь в IT-индустрии — вэлкам. Очень хороший старт и возможность поработать с реальными продуктами Яндекса.
Второе — курсы на coursera.
Как стать
специалистом по Data Science
Зарплата
специалиста по Data Science
Чему вы научитесь в Практикуме
За 8 месяцев обучения по 15 часов в неделю вы освоите востребованные навыки и соберёте портфолио. Вот какие проекты в него войдут:
Как выглядит процесс обучения
Обучение поделено на двухнедельные отрезки — спринты. Каждый спринт вы изучаете одну тему, закрепляете её на практике, сдаёте самостоятельную работу, а затем переходите к следующей теме.
Онлайн-тренажёр
С первого дня вы учитесь на практике. Мы даём знания небольшими частями, которые нужно сразу применить, написав собственный код в онлайн-тренажёре.
Самостоятельная работа
Тренажёр — это только часть обучения. Основные навыки вы приобретете по мере решения задач инструментами профессиональных разработчиков, а код-ревьюер даст вам обратную связь.
Поддержка
Команда наставников проверяет и комментирует ваши работы, помогает разобраться в сложностях и обучает собственным профессиональным приёмам. Поддержка в чате доступна 24/7.
Специалисты по Data Science учат Data Science
Наставники — аналитики из Яндекса и других IT-компаний. Некоторые из них, как и вы, не сразу выбрали свою профессию и тоже осваивали её с нуля.
71,1% выпускников трудоустраиваются
Мы делаем всё, чтобы студенты нашли новую работу после обучения: выдаём официальный диплом, учим собирать портфолио проектов, помогаем с поиском работы.
71,1% выпускников находят работу, большинство из них — за 4 месяца после выпуска. Институт образования НИУ ВШЭ подтвердил данные через исследование трудоустройства выпускников.
Сколько стоит обучение
Вводная часть —
бесплатно
Платное продолжение
13 000 ₽ помесячный платёж.
Итоговая сумма составит 104 000 ₽
95 000 ₽ при оплате сразу за
8 месяцев обучения.
Программа обучения
Основы Python и анализа данных: бесплатный вводный курс
Вводный курс, из которого вы узнаете, что такое анализ данных и чем занимаются специалисты по data science. Решая кейсы из разных областей, вы изучите азы Python и библиотеки pandas, научитесь строить некоторые графики и верно их трактовать. Но главное — оцените свои силы, мотивацию и запас времени, чтобы решить, идти ли дальше.
Базовый Python
Глубже погружаемся в язык программирования Python, работу с библиотекой pandas и средой программирования Jupyte.
+ 1 проект в портфолио
Предобработка данных
Исследовательский анализ данных
Изучите основы теории вероятностей и статистики. Примените их для исследования основных свойств данных, поиска закономерностей, распределений и аномалий. Познакомитесь с библиотеками SciPy и Matplotlib. Отрисуете диаграммы, поупражняетесь в анализе графиков.
+ 1 проект в портфолио
Статистический анализ данных
Научитесь анализировать взаимосвязи в данных методами статистики. Узнаете, что такое статистическая значимость, гипотезы и доверительные интервалы.
+ 1 проект в портфолио
Научитесь предварительному исследованию данных, сформулируете и проверите гипотезы.
+ 1 проект в портфолио
Введение в машинное обучение
Освоите основные концепции машинного обучения. Познакомитесь с библиотекой Scikit-Learn и примените её для создания первого проекта с машинным обучением.
+ 1 проект в портфолио
Обучение с учителем (классификация и регрессия)
Углубитесь в самую востребованную область машинного обучения — обучение с учителем. Узнаете, как обращаться с несбалансированными данными.
+ 1 проект в портфолио
Машинное обучение в бизнесе
Примените свои знания о машинном обучении к задачам бизнеса. Узнаете, что такое бизнес-метрики, KPI и A/B-тестирование.
+ 1 проект в портфолио
Подготовите данные для машинного обучения. С помощью модели оцените её качество.
+ 1 проект в портфолио
Линейная алгебра
Заглянете внутрь нескольких изученных ранее алгоритмов и лучше поймёте, как их применять. На практике освоите с нуля главные концепции линейной алгебры: линейные пространства, линейные операторы, евклидовы пространства.
+ 1 проект в портфолио
Численные методы
Разберёте ряд алгоритмов и приспособите их к решению практических задач с использованием численных методов. Разберётесь, как обучаются нейронные сети. Для этого вы освоите приближённые вычисления, оценку сложности алгоритма, градиентный спуск и бустинг.
+ 1 проект в портфолио
Временные ряды
Проанализируете временные ряды. Создадите из них табличные данные и решите задачу регрессии.
+ 1 проект в портфолио
Машинное обучение для текстов
Представите тексты на естественном языке в качестве таблиц с данными. Примените к ним методы классификации и регрессии. Познакомитесь с алгоритмом TF-IDF, языковыми представлениями word2vec и BERT.
+ 1 проект в портфолио
Извлечение данных
Познакомитесь с основными системами хранения данных — реляционными базами и распределёнными хранилищами. Научитесь извлекать эти данные запросами на языке SQL и методами библиотеки PySpark.
+ 1 проект в портфолио
Компьютерное зрение
Немного Deep Learning. Решите базовые задачи на компьютерное зрение с помощью готовых нейронных сетей и библиотеки Keras.
+ 1 проект в портфолио
Обучение без учителя
Познакомитесь с задачами кластеризации и поиска аномалий.
Выпускной проект
В последнем проекте подтвердите, что освоили новую профессию. Уточните задачу заказчика, пройдёте все стадии анализа данных и машинного обучения. Теперь без уроков домашних заданий — всё как на настоящей работе.
Девять лучших курсов по Big Data для дата-сайентистов и менеджеров
Редактор раздела «Технологии»
Специалисты по большим данным востребованы в ритейле, банковской сфере, E-Commerce и многих других областях. Мы отобрали девять коротких курсов, которые помогут научиться применять навыки и инструменты Big Data в реальных проектах.
Дата-сайентист — одна из самых высокооплачиваемых и востребованных профессий за рубежом и в России. Специальные подразделения для разработки data science-проектов в последние годы открывают многие крупные компании: от «Яндекса» до X5 Retail Group.
В подборку Rusbase вошли самые известные курсы для руководителей таких проектов и их разработчиков — начиная с бесплатных для новичков и заканчивая углубленными программами с акцентом на проекты конкретных отраслей.
Для менеджеров и руководителей:
1. A crash course in Data Science на Coursera
Для кого этот курс: этот курс — первый из пяти курсов группы Executive Data Science («Большие данные для руководителей»), разработанный в университете Джона Хопкинса. Он предназначен для тех, кто хочет быстро разобраться в том, что такое большие данные и где можно их применять.
Слушатели изучат основные термины и инструменты, которые используют дата-аналитики, и способы оценки успешности data science-проектов. Для этого у них будут видеолекции и материалы для самостоятельного изучения. Курс идет на английском, но есть субтитры на русском языке.
Продолжительность: 1 неделя, 4-6 часов.
Даты: курс стартовал 20 августа, но на него еще можно записаться.
Стоимость: первый курс — бесплатно. Для обучения на следующем курсе придется заплатить 2468 рублей за месяц. Этого хватит на все оставшиеся четыре курса — каждый из них длится неделю.
2. Курс Business Analytics в Udacity
Для кого этот курс: для новичков. Здесь они смогут получить навыки анализа больших данных и изучить инструменты, которые помогут в любой области: будь то инженерное дело, продажи, маркетинг или что-то еще. В рамках программы они изучат Excel, SQL и Tableau, и научатся анализировать данные для того, чтобы принимать лучшие стратегические решения.
Программа является подготовительной для двух других курсов Udacity — Data Analyst и Business Analyst Nanodegree programs. Студентам доступны видеолекции, текстовые инструкции и консультации менторов. Обучение ведется на английском.
Продолжительность: 3 месяца, 10 часов в неделю. После окончания программы студентам дается еще около 4 недель (130 часов) на завершение всех проектов.
Даты: запись открывается 21 августа.
Стоимость: 599 долларов (около 40 тысяч рублей).
3.
Data MBA Школы анализа данных
Для кого этот курс: для тех, кто хочет научиться применять инструменты Big Data в зависимости от индустрии и конкретной бизнес-задачи. Среди основных тем: как повысить продажи, управлять лояльностью, рисками, предсказывать эффективность кандидата для HR-менеджеров, делать банковский скоринг и т. д.
Продолжительность: 5 недель, 10 занятий.
Даты: 28 августа.
Стоимость: 100 тысяч рублей.
4.
Курс «Аналитика для руководителей» на «Нетологии»
Для кого этот курс: для коммерческих директоров, директоров по маркетингу, а также руководителей и владельцев бизнеса. В рамках курса они должны научиться исследовать рынок и выявлять тренды, прогнозировать продажи, проводить сегментацию клиентов, а также набирать команду для проектов с использованием больших данных и ставить задачи для разработчиков.
Программа состоит из нескольких блоков: BI аналитика в Tableu (построение дашбордов и интерактивных отчетов), data-driven менеджмент (разработка стратегии улучшения бизнес-процессов на основе этих отчетов), продуктовая аналитика, машинное обучение для бизнеса и др. Лекцию в рамках программы читает директор по маркетингу сервисов компании «Яндекс» Андрей Себрант.
Для дипломной работы потребуется спроектировать аналитическую структуру для своей компании или отдельного продукта/проекта, а также настроить дашборды в BI Tableau Software по ключевым метрикам. После окончания программы обещают помощь в трудоустройстве.
Продолжительность: 8 недель. Занятия проходят офлайн в кампусе Нетологии дважды в неделю по три часа. Видеозапись и материалы после каждого занятия добавляются в личный кабинет участника.
Даты: 23 августа — 14 октября.
Стоимость: 100 тысяч рублей.
Продолжительность: 5 недель, 10 занятий.
Даты: с 28 августа.
Стоимость: 100 тысяч рублей.
5. Курс «Специалист по большим данным 9.0» от «Лаборатории Новых Профессий»
Для кого этот курс: Для разработчиков, аналитиков и продакт-менеджеров. Курс состоит из двух модулей, первый из которых посвящен технологиям больших данных и машинному обучению, а второй – рекомендательным системам для e-commerce, медиа, соцсетей, банкинга и рекламы.
Продолжительность: три месяца. Курс достаточно интенсивный: лекции и мастер-классы проходят три раза в неделю по три часа, для решения лабораторных работ надо еще минимум 5-7 часов в неделю. При желании можно заниматься онлайн.
Даты: 20 сентября — 11 декабря.
Стоимость: 200 тысяч рублей, при оплате в августе — 170 тысяч рублей.
Для разработчиков:
1. Dataquest
Для кого этот курс: для новичков в Data Science — включая тех, кому большие данные необходимы для работы над бизнес-проектами. При выборе программы студент должен определить, насколько ему знаком Python. После этого ему предлагается отнести себя к одной из пяти групп:
Если знаний Python совсем нет, начинать придется с азов. Программа будет состоять из девяти курсов, в каждом из которых — по 2-3 блока занятий по отдельным темам (каждый блок состоит из 10 уроков). Ближе к середине обучения можно будет потренироваться в разработке data science-проектов с использованием машинного обучения. Обучение ведется на английском.
Продолжительность: проходить «квест» можно в своем темпе, отслеживать свой прогресс — на инфографике.
Дата: в любое время.
Стоимость: бесплатно.
2. «Введение в машинное обучение» от «Яндекса» и ВШЭ на Coursera
Для кого этот курс: для тех, кого не пугают слова «матрица», «вектор» и «производная». Для выполнения практических заданий потребуются базовые навыки программирования. Очень желательно знать Python. Задания рассчитаны на использование этого языка и его библиотек numpy, pandas и scikit-learn.
Чтобы успешно завершить курс, нужно набрать проходную сумму баллов за тесты и практические задания, а также выполнить финальный проект, посвящённый решению прикладной задачи анализа данных.
Продолжительность: 7 недель, 3-5 часов в неделю.
Даты: курс стартовал 6 августа, но на него еще можно записаться.
Стоимость: бесплатно, сертификат для подтверждения окончания курса стоит 1835 рублей.
3. «Машинное обучение и анализ данных» от «Яндекса» и МФТИ на Coursera
Для кого этот курс: для дата-сайентистов, которые смогут применять свои навыки в бизнес-проектах. Для обучения им требуются базовые знания математики и основ программирования. Основные темы обучения: современные методы классификации и регрессии, поиск структуры в данных, построение выводов, базовая фундаментальная математика и основы программирования на Python.
В конце программы слушатели должны будут применить свои знания в работе над реальным проектом. На выбор предлагается несколько областей: E-Commerce, социальные медиа, информационный поиск и бизнес-аналитика. Выпускники могут воспользоваться программой трудоустройства «Яндекса».
Продолжительность: все зависит от собственного темпа обучения. В среднем на это надо 3-6 месяцев.
Даты: в любое время.
Стоимость: первые 7 дней — бесплатно, после этого — 5000 рублей в месяц. Можно выбрать не все курсы специализации, а только один.
4. Школа анализа данных
Для кого этот курс: для тех, кто знаком с математической статистикой и имеет навыки программирования на Python. Кроме лекций, в программу входит решение реальных бизнес-задач. Тем, у кого навыков программирования пока нет, разработчики предлагают сначала пройти курс «Введение в Data Science».
Продолжительность: 3,5 месяца. Занятия проходят по будням два раза в неделю с 19.00 до 21.00. Учиться можно онлайн.
Стоимость: 100 тысяч рублей.
Если вы вспомнили другие российские и зарубежные курсы для дата-сайентистов и менеджеров, пишите о них в комментариях.
Четыре пути из Школы анализа данных Яндекса
Яндекс готовит специалистов в области data science с 2007 года. Студенты ценят Школу анализа данных за актуальность учебных программ и курсов, но они не всегда понимают, что их ждет по ее окончании. Работа с данными в Яндексе или в другой крупной компании? Но какая?
Изначально в Школе было два отделения: компьютерные науки и анализ данных. В 2014 году, когда в моду вошли big data, появилась третья специализация — большие данные. В этом году для того, чтобы студентам сразу стали понятнее их перспективы, мы провели реформу отделений: теперь обучение будет проходить в рамках четырёх профессиональных треков. Наша первоочередная задача — рассказать студенту о возможных путях развития и помочь понять, какие курсы помогут в достижении цели.
Профессиональные треки выделены не случайно — это четыре пути, на которые чаще всего вступают выпускники после окончания ШАДа (а некоторые уже во время учёбы). Для каждого из этих четырех путей мы нашли по одному выпускнику, который его выбрал, и поговорили с ними, чтобы понять, какие курсы оказались самыми полезными для будущей работы и как они выбрали своё профессиональное призвание.
Data scientist (Никита Попов, выпускник 2016 года):
«Data scientist — так сейчас называют аналитиков всех мастей. Мы в Яндексе привыкли считать, что data scientist — это человек, который отлично владеет машинным обучением и статистикой и, главное, на практике может извлечь полезную информацию из огромного объема данных.
Сейчас я работаю в команде метрик Поиска. Мы работаем над тем, чтобы оценивать качество нашего поиска, выбирать, в какую сторону двигаться и какой из множества проводимых экспериментов действительно увеличит “счастье пользователя”. В команду я попал через стажировку сразу после окончания ШАДа. Школа анализа данных дала мне отличную базу: курсы по машинному обучению и вероятностным моделям — это как раз то, что я использую каждый рабочий день.
Придя в ШАД, я ещё не понимал, чем хочу заниматься, да и поступил за компанию со своими одногруппниками, но уже с первых семинаров стало понятно, что ШАД — это безумно интересно. Именно там я понял, чем хочу заниматься. Думаю, что каждый data scientist должен хорошо разбираться в различных методах машинного обучения, знать их плюсы, минусы и область применения, уметь находить в данных зависимости и делать правильные выводы на их основе. Несмотря на то, что работаю я аналитиком, очень часто приходится заниматься и разработкой. Недавно я допилил сервис, для которого разрабатывал и фронтенд, и бекенд, и сами алгоритмы — data scientist должен уметь всё».
Разработчик машинного обучения (Женя Захаров, выпускник 2018 года):
«Еще в универе мне больше всего нравились задачи, где существенную роль играет математика, но результат можно «потрогать руками». Моя текущая работа довольно хорошо соответствует этим двум условиям: мы имплементируем различные алгоритмы, попутно дорабатывая, чтобы они работали быстрее, выше, сильнее с нашими данными. Один из ключевых показателей для нас — это производительность. Данных много, и алгоритм должен уметь быстро предсказывать и обучаться за разумное время.
Программирования у меня было достаточно много в университете, но ШАДовские курсы отличаются алгоритмически более сложными задачами, большим акцентом на производительность и чистоту кода.
ШАД дал мне хороший набор базовых навыков, которые я использую каждый день: машинное обучение в различных его ипостасях, прикладная статистика, алгоритмы и представление о том, как должен выглядеть промышленный код. Очень релевантным оказался проект курса больших данных, где мы с ребятами в команде писали градиентный бустинг, пытаясь догнать по скорости LigthGBM, который мы не догнали, но таки смогли добиться сравнимого времени».
Специалист по инфраструктуре больших данных (Влад Бидзиля, выпускник 2017 года):
«Со старших классов мне хотелось профессионально заниматься программированием. В ШАД я поступил, когда был на третьем курсе университета. Он открыл передо мной дивный новый мир машинного обучения и интеллектуального анализа данных, высокоэффективных систем с кучей алгоритмов на стыке прикладной математики и программирования.
В течение нескольких лет я работал в Яндексе в команде качества ранжирования видеопоиска. Курсы ШАДа по продвинутому С++ и Python помогли мне в короткие сроки втянуться в рабочий процесс — перейти от написания академических программ в университете до серьезного продакшн-кода в компании.
С недавнего времени я работаю в службе технологий распределенных вычислений. Мы занимаемся разработкой MapReduce-системы YT: habr.com/company/yandex/blog/311104. Здесь знания и навыки, приобретенные в ШАДе, тоже оказались чрезвычайно полезными: курс по классическим алгоритмам и структурам данных привил алгоритмическую культуру, выработал умение быстро писать эффективный и чистый код с минимальным количеством багов и понятной структурой, разбираться в сложных алгоритмических решениях; курс по алгоритмам работы с большими объемами данных продемонстрировал сложности, возникающие при обработке массива данных, не помещающегося в память компьютера, и методы борьбы с этими сложностями, позволил получить понимание основных паттернов построения алгоритмов во внешней памяти и потоковых (streaming) алгоритмов, выработал базовые практические навыки их написания; курс по параллельным и распределенным вычислениям познакомил с основными конструкциями многопоточного и распределенного программирования, применяемыми везде и всюду в разрабатываемой системе.
Кроме того, стоит отметить, что благодаря ШАДу мне удалось глубоко познакомиться с прикладными математическими курсами, которые часто остаются за бортом классической университетской программы: теория информации и вычислительной сложности, продвинутая дискретная математика, статистический анализ, комбинаторная и выпуклая оптимизация. Эти знания соединяют теоретическую математику и IT-индустрию высоких технологий».
Специалист по анализу данных в прикладных науках (Никита Казеев, выпускник 2015 года):
«Я работаю над применением методов машинного обучения для задач фундаментальной физики в ЦЕРНе в статусе аспиранта ФКН ВШЭ и Sapienza University of Rome.
Физикой увлекался со школы, был призёром Всероссийской олимпиады, пошел на ФОПФ МФТИ. Во многом из-за идеалистических соображений — если заниматься не наукой, то чем? Но к компьютерам тянуло всегда. Бакалаврская работа была посвящена компьютерному моделированию неидеальной плазмы, и в ней было много алгоритмов и C++.
На четвертом курсе я поступил в ШАД, через год меня пригласили в формирующуюся группу международных учебно-научных проектов в Яндексе. Сейчас она трансформировалась в совместную лабораторию Яндекса и ВШЭ — LAMBDA. Мы не только делаем что-то руками, но и учим физиков машинному обучению, так что я в некотором роде преподавал в Оксфорде. На нашей летней школе, но всё же 😉
Что из ШАДа пригодилось? Много чего.