big data в строительстве обучение
ТОП-30 лучших курсов по аналитике данных (Big Data) и Data Science
Привет! 🖐 Я собрал лучшие курсы, видео и статьи по анализу данных (Big Data). Это очень доходная профессия, которая становится все популярнее. Освоишь ее — станешь очень ценным кадром на рынке труда.
По данным Incrussia, аналитики Big Data получают от 73 000 до 200 000 рублей в месяц. Это в несколько раз выше средней зарплаты.
Тут есть как платные курсы, так и бесплатные. Ну а видео и статьи — они всегда бесплатные. Начнем с платных. Погнали. 🚀
Лучшие платные курсы по аналитике данных и Big Data
Я начал с платных, потому что тут предусмотрено полное освоение профессии с нуля. Также почти по всех школах есть помощь с трудоустройством (стажировка).
Поэтому если у вас есть деньги и желание — лучше выбрать именно платную программу.
Если нужны бесплатные, то кликай сюда.
🥇 #1. Полный курс по Data Science от SkillFactory
Обучение профессии Data Science с нуля от Skillfactory.
Особенности:
- 10 проектов для портфолио; Индивидуальная помощь ментора; Соревнования и хакатоны; Тренажеры; Помощь в трудоустройстве;
Кому подойдет:
Чему научат:
- Использовать основные алгоритмические конструкции и структуры данных Python для проектирования алгоритмов. Визуализировать данные с помощью Pandas, Matplotlib, Seaborne. Создавать модели промышленного качества с помощью классического машинного обучения и нейронных сетей для решения задач Data Science. Оценивать качество модели (precision/recall). Интегрировать решение в продакшен и в бизнес в целом. Работать с хранилищами данных разных типов. Работать с инструментами анализа больших данных. Получать данные из веб-источников или по API. Применять методы математического анализа, линейной алгебры, статистики и теории вероятности для обработки данных.
Престижный сертификат от Skillfactory и крутая работа в конце.
🥈 #2. Профессия Data Scientist от Skillbox
Большой курс по Data Science от Skillbox.
Особенности:
- Специализация во время обучения. Ты выбираешь направление и погружаешься в него полностью. Сообщество, помощь ментора, обратная связь. Доступ к закрытому сообществу с другими студентами и выпусниками, фидбэк и помощь преподавателей — что еще нужно для счастья? Реальные данные. Для обучения используются настоящие данные, которые максимально приближены к реалиям (тому, с чем ты будешь сталкиваться на работе). Учителя — практики. Они работают в крупных компаниях, сами постоянно учатся и действительно применяют эти знания.
Кому подойдет:
Чему научат:
- Использовать Python; Работать с источниками данных: CSV, XML и XLSX; Использовать базовые приемы визуализации с помощью Matplotlib; Работать со средствами создания интерактивных дашбордов; И многому другому.
В конце обучения ты получишь реальный проект от настоящего заказчика, защитишь его в качестве диплома и получишь крутой сертификат.
Можно будет получить помощь в составлении резюме, собеседовании и трудоустройстве.
Большому строительству — большие данные: как big data меняет отрасль
С тех пор как человечество научилось обрабатывать огромные массивы информации, жизнь стремительно меняется. Big data сегодня применяют в разных сферах — от маркетинга до навигации. Не осталось в стороне и строительство.
В этом материале я расскажу, как зарубежные компании и партнёры «Trimble Solutions Россия» используют большие данные при возведении зданий и почему это приводит к сокращению сроков и бюджетов.
С каждым годом человечество производит всё больше информации: к 2025 году общий объём данных во всем мире составит 163 зеттабайта (ЗБ), прогнозирует аналитическая компания IDC. Для сравнения: в 2016 году на планете было в 10 раз меньше данных — 16 ЗБ, а 2006 году — всего 0,16 ЗБ.
При этом растёт доля информации, которую создают коммерческие предприятия. Аналитики IDC считают, что к 2025 году они будут генерировать 60% мировых данных (против трети в 2015 году).
Однако компании стремятся не только производить информацию, но и анализировать её. И с появлением big data перспективы этого направления впечатляют: искусственный интеллект способен обрабатывать огромные объёмы не только структурированных, но и разрозненных данных (например, публикации из соцсетей и комментарии к новостям).
Ожидания застройщиков от big data выяснила компания Sage. Опрос показал, что 57% игроков рынка хотят получать последовательную, актуальную финансовую и проектную информацию, а 48% — предупреждения о возникновении значимых ситуаций.
41% предприятий надеется, что большие данные помогут прогнозировать события и избегать рисков. Наконец, 14% респондентов предпочитают узнавать, какие факторы влияют на рост и падение прибыли.
Аналитика больших данных может оправдать эти ожидания — технологию уже оценили застройщики и проектировщики со всего мира, в том числе и российские. Давайте рассмотрим, как большие данные меняют консервативную отрасль и что они привносят в привычный процесс создания объектов.
Большинство крупных застройщиков реализует несколько проектов одновременно — в такой ситуации трудно собирать, сортировать и изучать огромный объём информации силами сотрудников.
Компания Informatica выяснила, что на это уходит около 60% рабочего времени. Сэкономить его помогут большие данные.
Технология позволяет обрабатывать огромные массивы информации с невероятной для человека скоростью. Программы способны взять на себя такие процессы, как управление базой данных и создание отчетов. Благодаря этому специалисты компании смогут сосредоточиться на более важных задачах, что поможет повысить эффективность бизнеса.
К примеру, по опыту Антона Мотовилова, главного эксперта «ГСИ-Гипрокаучук», в рамках его работы с одним из крупнейших заводов металлоконструкций, ему с коллегами удалось, используя большие данные, создать алгоритм, который формирует специфический отчёт по болтам.
В среднем конструктор тратит на этот документ от трёх до пяти дней, а искусственный интеллект — всего пару часов. Это не сложная, но трудоёмкая задача: работая в BIM-модели, нужно «перебрать» весь каркас, подсчитав число объектов и болтов, которые их соединяют.
Инженер вручную сравнивает один критерий с другим, делает вывод о том, как крепятся детали конструкции, и составляет отчёт. Искусственный интеллект делает то же самое, однако работает очень быстро и не совершает ошибок.
Совмещение big data c информационным моделированием зданий (BIM) открывает и другие перспективы. Добавление больших данных в 3D- или 4D-проекты позволяет инженерам легко обнаружить любую ошибку или сделать точный прогноз.
Одно из преимуществ BIM— возможность совместной работы над моделью специалистов из разных стран в режиме реального времени.
Используя большие данные, они смогут оперативно передавать друг другу огромные массивы информации, чтобы быстрее принимать решения. Это в корне меняет подход к управлению проектами.
Раньше всеми данными владел один человек или несколько сотрудников, сидящих в одном офисе. Сегодня стала возможной по-настоящему командная работа, когда проектировщик, застройщик и генподрядчик, которые могут находиться в разных странах, вместе вносят изменения в проект на ранних стадиях.
Также технология big data позволяет осуществлять мониторинг проекта в режиме реального времени, чтобы улучшить планирование, сократить срок строительства и оптимизировать бюджет.
К примеру, компания Nick Savko & Sons из Огайо, которая занимается землеройными работами, оснастила свою технику 36 глобальными локаторными устройствами, чтобы контролировать их на расстоянии.
Установки собирали информацию о времени машинного цикла и простоя, производительности и других показателях. Когда эти данные загрузили в программу управления активами, менеджеры смогли оценить, достаточно ли автомобилей для выполнения работ, и понять, что землеройную машину было бы выгоднее использовать в других местах.
Также они смогли сравнить расход топлива с контрольными показателями и увидеть, эффективно ли операторы эксплуатировали технику. В итоге производительность компании выросла и она смогла завершить проект на месяц раньше срока.
Подключение к BIM-моделям больших данных позволяет внедрить информацию о затратах прямо в проект, чтобы увидеть стоимость разных частей здания и найти способы экономии.
Использовать big data, как и любую актуальную технологию из мира ИТ, в первую очередь хочется для оптимизации материалоёмкости зданий.
Можно собирать огромные базы проектов и каким-то образом натаскивать нейросети на составление таблиц оптимальности тех или иных решений и поиск корреляций между исходными данными и полученными результатами. Например, так можно определять оптимальные материалы для тех или иных пролётов
Ещё один вариант использования big data, по мнению Сергея Семенова, — сбор данных разных заводов металлоконструкций и определение реальной стоимости изготовления изделий по большой выборке проектов.
«Может получиться довольно точная зависимость между типом конструкции и ценой за тонну, — поясняет он. — Это нужная информация, так как сегодня эта цифра остаётся оценочной и обычно не имеет под собой никаких оснований кроме «нам кажется»».
Также большие данные можно использовать для отслеживания активов компании: материалов, инструмента, оборудования.
В процессе работы над объектом приходится закупать, хранить и транспортировать огромное количество изделий, и оптимизировать этот процесс помогут большие данные, интегрированные в BIM-модель.
Разные активы можно объединить в единую базу, создав систему предупреждений и напоминаний. Так все сотрудники, работающие над проектом, смогут отслеживать местонахождение материала или оборудования и знать, когда начнётся следующий этап работы и какие активы будут задействованы.
Анализ множества похожих проектов с помощью технологии big data— это возможность ещё на этапе проектирования спрогнозировать потенциальные проблемы, которые могут появиться в процессе строительства, и их влияние на затраты.
Каждой компании приходится иметь дело с некачественными материалами, непредсказуемыми погодными условиями и другими неприятностями. Используя большие данные, можно создавать виртуальные сценарии развития событий, чтобы иметь возможность заранее принять меры.
К примеру, проанализировав множество похожих проектов, можно узнать, использование каких материалов часто приводит к превышению бюджета.
Также технология помогает понять, затрагивает ли объект соседнюю экосистему. К примеру, компания Democrata из Оксфорда применяет аналитику big data для прогнозирования рисков, связанных с новыми автомагистралями, железнодорожным сообщением и другими проектами.
По данным исследования журнала World Oil, применение цифровых технологий может сократить расходы компаний почти на 20%.
Очевидно, что с каждым годом будет появляться всё больше способов внедрения big data в строительные процессы. «Можно обрабатывать миллионы геологических отчётов для занесения информации из них на глобальную карту грунтов и уточнения моделей этих грунтов», — приводит пример Сергей Семёнов.
Использование big data в сочетании с BIM-платформами позволит компаниям уйти от бумажного документооборота, а значит и от основных проблем отрасли: нарушения сроков строительства, превышения бюджета и медленного принятия решений.
Застройщики смогут оптимизировать бизнес-процессы и выйти на новый уровень эффективности.
Big data в строительстве обучение
Цифровизация различных прикладных отраслей продолжается – сегодня мы нашли для вас интересные кейсы, как большие данные, машинное обучение и интернет вещей используется в жилой и коммерческой недвижимости. Чем Big Data, Machine Learning и Internet Of Things (IoT) полезны строителям и риелторам, и каким образом внедрение этих технологий поможет потребителям.
Big Data для прогнозирования спроса на недвижимость
Собрав данные о взаимодействии пользователей с сайтами агентств недвижимости и строительных компаний, результаты соцопросов, статистику о городском населении, экономические обзоры, планы развития городских территорий и транспортной системы, можно предсказать потребности клиентов в различных видах недвижимости на будущем [1].
Например, чтобы определить в каких районах Москвы будет востребована жилая недвижимость через 10–20 лет, специалисты компании Smartis с помощью анализа больших данных прогнозируют наибольший спрос в Химках, Долгопрудном, Люберцах и Бутово. Именно там доля детского населения в 2–3 раза выше, чем в остальных районах столицы. На основе количественного (пенсионеры, дети, средний возраст) и качественного состава (уровень доходов, образование, сфера занятости) населения по информации, опубликованной на «Портале открытых данных правительства Москвы», была выдвинута гипотеза, что в районах с максимальной долей детей сосредоточены будущие покупатели квартир [2]. Это уже сложившиеся семьи, которым потребуется расширение жилплощади, а также новые «ячейки общества». Таким образом, строительные компании могут заблаговременно формировать предложения, которые 100% будут пользоваться спросом.
Прогнозирование спроса с помощью Big Data актуально и для девелоперов
Machine Learning для персональной рекламы квартир
Проанализировав имеющиеся данные о клиентах и дополнив их информацией из открытых источников, в т.ч. соцсетей, можно сформировать очень подробный портрет каждого потребителя: его интересы, финансовые возможности, ожидания и потребности. После этого целесообразно запускать персональные маркетинговые кампании по рекламе недвижимости: индивидуальный паркинг для того, кто похвастался в Instagram новой машиной, квартиры большей площади для тех, кто ждет ребенка, закрытые дворы с детскими площадками для семей с маленькими ребятишками и т. д.
Технологии Big Data могут выявить среди молодоженов тех, которые, с высокой долей вероятности, разведутся в течение ближайших двух лет, проанализировав их поведение в соцсетях. Каждому из распавшейся пары потребуется новое жилье, как и людям, которые долго живут вместе и, возможно, задумываются о детях и расширении жилплощади [1]. Получив с помощью машинного обучения (Machine Learning) модели поведения людей, которые задумываются о приобретении квартиры, целесообразно показывать маркетинговое предложение только тем, кто максимально близок к покупке [2]. Это принесет высокие результаты и уменьшит расходы на рекламный бюджет.
Аналогичным образом можно формировать рекламные кампании по коммерческой недвижимости. Например, собрав сведения о компаниях из открытых источников и соцсетей (число сотрудников, занимаемые площади, информация о вакансиях с сайтов по поиску работы, данные по открытию филиалов и региональному расширению и т. д.), можно составить перечень потенциальных потребителей. Точечная маркетинговая кампания, направленная на эти развивающиеся бизнесы, наверняка, принесет большую конверсию продаж и сэкономит рекламный бюджет за счет узкой специализации целевой аудитории [3].
Кроме содержания рекламного предложения, с помощью Big Data можно повысить эффективность маркетинговых кампаний за счет неявных закономерностей бизнес-метрик от внешних условий. Например, если модели Machine Learning выявили, что интенсивность звонков в агентства недвижимости и строительные компании зависит от сезона и погоды, логично увеличить долю показов рекламных баннеров в этот период. А, если найдена корреляция между количеством поисковых запросов и временем суток, целесообразно повысить конверсию, покупая утренние или, наоборот, вечерние показы [2].
Machine Learning и Big Data помогут сделать персональное маркетинговое предложение по квартире в нужное время и место для подходящего клиента
Internet of Things для управления умными зданиями
«Умные» дома, где через мобильное приложение можно выставить комфортную температуру или предупредить ограбление, постепенно становятся стандартом в строительстве новых зданий. Датчики и сенсоры контролируют расход электроэнергии, воды и газа, чтобы своевременно заметить утечку или оптимизировать потребление ресурсов.
Например, крупная девелоперская и управляющая компания Нью-Йорка Silverstein, внедрив технологии Internet of Things на свои объекты, снизила расходы на электроэнергию за счет анализа использования коммунальных услуг и подключения эффективных аккумуляторов энергии в часы пиковой нагрузки. Также удалось значительно снизить потребление энергии за счет системы светодиодных светильников, которая обеспечивает расширенное управление освещением, соответствующее времени суток или поводу [4]. Помимо сокращения финансовых расходов на эксплуатацию здания, оптимизация энергопотребления также положительно влияет на экологию. Подробнее про то, как большие данные, машинное обучение и интернет вещей помогают сделать город чище, читайте здесь.
Другой интересный пример из США по использованию Big Data в секторе управления недвижимостью связан с мобильными приложениями для жителей элитных жилых комплексов города Майами. Анализируя перемещения проживающих, статистику их поведения и данные о текущей дате из календаря (будни/выходные, рабочие дни или праздники), алгоритмы Machine Learning рассчитывают оптимальное время вызова лифта, автоматически заказывают кофе и автомобиль к нужному моменту для каждого постояльца [1].
Big Data, Machine Learning и Internet Of Things позволяют объединить локальные «умные дома» в общую единую инфраструктуру для комплексного и удаленного управления. В частности, если в одном из домов вдруг прорвало трубу теплоснабжения, то резервная система водоснабжения включится автоматически, чтобы жители не остались без воды или тепла. Также будет зарезервирована большая энергомощность, чтобы электросеть выдержала нагрузку, увеличенную за счет использования бытовых электрообогревателей. Одновременно будут оповещены все службы, задействованные в процессах устранения аварии и ее последствий. Для организации безопасного ремонта изменится принцип устройства дорожной сети в этом квартале, например, установленные вдоль дороги табло будут показывать схему объезда аварийного участка [5]. Так интернет вещей будет работать в умных городах, управляемых данными DDC – Data Driven City, о чем мы расскажем в следующих статьях.
В России технологии Big Data, Machine Learning и Internet Of Things только начинают внедряться в секторе недвижимости. Например, планируется строительство «умных кварталов» в технополисах Сколково, Калининградской и Петербургской областях, но говорить об успешных результатах этих проектов еще пока рано.
Internet Of Things сделает умным не только дом, но целый город
Другие примеры и множество полезного по большим данным, машинному обучению и интернету вещей в нашем учебном центре: практические курсы обучения пользователей, инженеров, администраторов и аналитиков Big Data в Москве.
Курс по Big Data: три месяца на основные знания, и зачем это нужно
Студент в Big Data получает 70 тысяч рублей в месяц, а специалист с опытом 3-4 года — 250 тысяч рублей в месяц. Это те, например, кто умеет персонализировать предложения розницы, искать в соцсети человека по анкетным данным заявки на кредит или по списку посещённых сайтов вычислять новую симку старого абонента.
Мы решили сделать профессиональный курс по Big Data без «воды», маркетинга и всяких эджайлов, только хардкор. Позвали практиков из 7 крупных компаний (включая Сбербанк и Oracle) и устроили, фактически, хакатон длиной во весь курс. Недавно у нас прошел день открытых дверей по программе, где мы напрямую спросили практиков, что же есть Big Data в России, и как компании на деле используют большие данные. Ниже ответы.
Сбербанк
Екатерина Фроловичева, начальник отдела технологических исследований Сбербанк России, говорит, что Big Data — это хороший красивый маркетинг, термин, который сформировался из целого ряда дисциплин, которые существовали не вчера, не позавчера, и не два-три года назад. Машинное обучение, data mining — всё это в сочетании просто используется для решения задач.
Где тонкая грань между классической аналитикой и большими данными? Если вы можете уместить свои данные в обычной таблице с измеряемым количеством строк и создавать к ней агрегированные запросы — это классическая аналитика. Но если вы берете разнородные источники информации и исследуете их по разным параметрам, причем в реальном времени — это и есть Big Data.
По клиентам очевидные вещи — массовая персонализация и все то, что может помочь увеличить количество вторичных продаж. Активных держателей карт Сбербанка — 50 млн. Это не те, кто просто имеет карты, а те, кто тратит. Как их попытаться идентифицировать по их вектору интересов, по какому набору параметров, признаков, по какому ID их распознать, что они у нас записаны где-то в какой-то system of record — это первый срез, который надо преодолеть. А как сделать, чтобы в режиме реального времени пользователю пришло предложение, на которое он откликнется, — это ровно те задачи, на которые стоит ориентироваться. Те кейсы, которые описывают работу compliance и проблемных активов, я бы не хотела раскрывать, т.к. это вопросы не публичного знания.
Рынок труда
Павел Лебедев, руководитель направления исследований Superjob, сразу начал с денег и статистики. На момент выступления на дне открытых дверей по Big Data, в их статистике было примерно 200 вакансий прямо по теме и 80 вакансий о Data Science/Data mining. Шесть крупных российских компаний ищут специалистов постоянно, остальные — эпизодически. Больше всего Big Data-профессионалы нужны в телекомы, банки и крупный ритейл. Более того, чтобы попасть на работу в эти места, достаточно просто пройти усиленный специализированный курс на 1-2 месяца при наличии общего IT-бекграунда (немного математики, немного SQL).
Как правило, нужны бизнес-аналитики и инженеры по машинному обучению. Иногда ищут архитектора баз данных. Вообще, каждый работодатель понимает Big Data по-своему, и пока общих критериев как к C++ разработчикам, например, нет.
Что входит в работу такого человека? Как правило, сначала он должен отстроить процесс сбора данных, потом отстроить процесс его анализа. Аналитика, тестирование гипотез и т.п. Затем — внедрение полученных решений в бизнес-процессы непосредственно на предприятии.
Первый диапазон зарплаты — 70-80 тысяч рублей в месяц. Это начальный уровень, без опыта работы и глубокого знания языков программирования. Как правило, это выпускники ВУЗов. Предполагается, что в ВУЗе дали базовые знания SQL-запросов и, опять же, научили удалять выбросы при построении скользящего среднего.
Следующий диапазон до 100-120 тысяч рублей в месяц подразумевает уже больший набор практических знаний, работу с различными статистическими инструментами. Чаще всего SPSS, SAS Data Miner, Tableau и т.д. Нужно уметь визуализировать данные, чтобы доказывать другим людям, почему важно что-то конкретное делать. Проще говоря, надо будет встать на собрании инвесторов и объяснить, что вы там получили, но не на птичьем языке.
Третий диапазон — до примерно 180 тысяч рублей в месяц — появляются требования к программированию. Чаще всего упоминаются скриптовые языки Python и т.д., и уже опыт работы два года, опыт машинного обучения, использования Hadoop и т.д. А вот самые высокие зарплаты — до 250 тысяч рублей в месяц — это люди с очень высокой квалификацией. Определяется по опыту реализации чего-то конкретного на рынке, академическому внедрению и своим разработкам. Выше только эксклюзив, когда зарплата больше, но людей по стране с нужной квалификацией десятки или единицы.
Сбербанк уточняет: норма — за год от 1,5 до 3 миллионов рублей. И да, Сбербанк рассчитывает взять как минимум пару человек с ближайшего курса к себе на работу (но об этом ниже).
Эксперт — Сагинов Виталий, отвечает за направление Big Data в МТС.
«В начале 1990-х годов два математика пришли к выводу, что использование регрессионных методов анализа позволяет предсказать с достаточной долей вероятностью, как клиент банка будет платить по счетам — будет он оплачивать вовремя или будет допускать просрочку. Они ходили с этим по всему Манхэттену, предлагая City и всем остальным. Им говорили: «Нет, ребята. Вы что? У нас тут профессионалы, которые общаются с клиентом, которые по цвету зрачка могут определить просрочку на 3-й, 9-й или 12-й месяц». В результате, они нашли маленький региональный банк в Вирджинии, который назывался Signet. Качество кредитного портфеля улучшилась в два раза относительно изначально значения — до того, как они начали экспериментировать. Последующие 10 лет розничный бизнес этого банка был выведен в отдельную компанию, которая сейчас называется Capital One, и эта компания, этот банк входит в десятку крупнейших розничных банков США с количеством клиентов, по-моему, около 20 млн., и порядка 17-18 млрд. долларов клиентских денег. Фактически, эта компания поставила данные и их обработку в основу своей бизнес-стратегии и бизнес-модели».
Виталий говорит, что данные — это актив. Но рынка для этого актива нет, как когда-то не было рынка для онлайн-бизнеса до 2000-х годов. То же самое в Европе и США — рынка сейчас просто нет, поэтому большая часть реальных инвестиций идёт в работу с данными внутри компании для оптимизации своих процессов. Обычно сначала опытным путём устанавливается, что именно приносит прибыль, потом под это строится аппаратная и программная архитектура. Только одна компания позволила себе пойти обратным путём — British Telecom — но там Big Data делал бывший IT-директор, который идеально точно представлял, что нужно.
Виталий считает, что Big Data через 15-20 лет породит новый Интернет, а мы сейчас у его истоков. Конкретно сейчас главная проблема развития направления — это отсутствие точных юридических процедур, масса согласований и спорных моментов.
Oracle
Светлана Архипкина, лидер направления продаж Big Data Technology, Oracle, говорит, что первая группа кейсов вокруг больших данных — это то, что связано с клиентами, персонифицированный подход вроде предложения на скидку на подгузники, ещё когда отец не знал, что его 15-летняя дочь беременна.
Вторая группа задач, связанная с большими данными — это оптимизация, то есть все, что связано с моделированием и использованием очень больших объемов данных.
Третья группа — это все задачи, связанные с мошенничеством. Тут в ход идут различные решения по видеораспознаванию образов, по анализу неструктурированной информации. Это очень большой стек задач, особенно для банков и телекомов.
И самые новые задачи — кроссиндустриальные. Там чаще всего встают вопросы работы с уровнем баз данных, не относящихся к традиционным реляционным.
Acronis
Алексей Русляков, директор по разработке продуктов Acronis, рассказал, что две основных проблемы Big Data — как хранить эти данные и что с ними делать.
Где-то 5-6 лет назад мы запустили сервис облачного хранения бэкапов, благодаря которому пользователи могли делать резервные копии своих ноутбуков, рабочих станции, серверов, и хранить их в нашем дата-центре, в облаке. Первыми были дата-центры в США, Бостоне, Франции. Сейчас ДЦ есть и в России. Если бы мы организовали хранение облачных резервных копий на нетапах или девайсах от EMC, стоимость гигабайта хранения была бы очень высокой, и это мероприятие, скорее всего, стало бы коммерчески невыгодным. С появлением таких гигантов, как Google и Amazon, нам было бы сложно выдерживать конкуренцию, так как, благодаря огромным мощностям, стоимость гигабайта данных у них довольно дешева. Поэтому перед нами стала задача разработать эффективную и недорогую систему хранения.
«Речь шла о lazy data — данных, которые единожды пишутся, и потом периодически читаются, либо удаляются. Это не те данные, к которым нужен постоянный доступ, и не те, которые требуют высоких IOPS. Для такой „холодной информации“ мы разработали собственную технологию хранения больших данных. Еще один вопрос, который стал перед нами: как каталогизировать хранимые данные, индексировать их и обеспечить нашим пользователям быстрый поиск по ним. Задача, на самом деле, нетривиальная, учитывая, что данные хранятся распределено и с некоторой избыточностью. Параллельно нужно обеспечить тиеринг данных (data tiering): чтобы информация, к которой часто обращаются, хранилась на дорогих и быстрых носителях, а вся остальная — на медленных и дешевых.
»Одной из самых интересных задач, над которой мы работаем и сейчас, стала дедупликация данных. Когда мы говорим о Big Data, встает вопрос о распределенности узлов, хранящих данные, и как, с учетом этой распределенности, сделать дедупликацию эффективной. Нужно правильно синхроинизровать данные между узлами, и это большая работа.
Луиза Изнаурова, директор по разработке новых медиа CondeNast Russia добавила, что Big Data для журналистики может достаточно сильно поменять сферу.
Собственно, как видите, рынок Big Data испытывает жёсткий дефицит квалифицированных специалистов. Поэтому именно эти эксперты и ещё несколько представителей крупных компаний сделали ставку на профессиональный курс по Big Data, который позволит частично решить этот вопрос.
Первый набор уже был. 18 апреля будет второй набор на этот трёхмесячный курс. В программе — 3 части. Это три конкретных кейса, каждый из которых занимает один месяц, и они бесконечно практичны. Кейс №1 — это создание DMP-системы за месяц. Кейс №2 — это анализ социального графа на примере «Вконтакте». Это тоже займет целый месяц, и в результате этого нужно будет написать в команде анализатор этого социального графа на больших данных. Кейс №3 — рекомендательные системы. Опять-таки, эта история очень понятна и востребована со стороны бизнеса, многие про это говорили — каким образом можно предугадать, что хочет человек.
На рынке интересна и востребована не теория, а практика, поэтому технический специалист, специалист по обработке, анализу данных должен понимать, какую бизнес-задачу он решает, и стек технологий, который с этим связан, очень сильно зависит от этой бизнес-задачи. Это означает работу с совершенно реальными данными. Не с данными, которые высосаны из Wikipedia, не с данными, которые академически известны уже 25 раз, а с данными из бизнеса, и наши партнеры по бизнесу с нами ими делятся.
Сроки жестоки. За месяц построить DMP-систему с нуля — это тяжело. Мы это понимаем, и это означает, что курс будет очень интенсивным и требующим большой концентрации. Его можно совмещать с работой, но если кроме работы у вас в жизни будет этот курс, то всего остального уже не будет.
— Константин Круглов, основатель D.C.A. Alliance
Устроено так — три раза в неделю: вторник, четверг с 7 до 10 вечера, в субботу с 4 до 7.
Каждую неделю надо будет коммитить что-то конкретное. Один пропуск — и вы не проходите курс. Если вам нужна теория — идите на Курсеру, здесь же будет только практика. Работа будет командной, и команды будут постоянно перемешиваться.
Ещё одна история — конкурс D.C.A., который позволит вам в течение первого месяца вернуть назад деньгами от 25% стоимости вашего обучения, если вы напишете хороший алгоритм. Ачивка подобного плана есть в каждом задании.
Вот ссылка на подробности и программу.
Ожидается, что треть выпускников — аналитики, которые умеют пользоваться разного рода инструментами для анализа больших данных, отлаживать модели, проверять гипотезы и собирать данные (например, для компаний продаж или чтобы выявлять паттерны фрода), остальные две трети выпускников будут разработчиками, которые умеют развернуть инструменты для работы с большими данными и своими руками могут создать работающие системы (то есть, на входе это должны быть люди уровня архитекторов и прикладных программистов продвинутого уровня).