глубокое обучение на пайтон
Книга «Глубокое обучение на Python»
Глубокое обучение — Deep learning — это набор алгоритмов машинного обучения, которые моделируют высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований. Согласитесь, эта фраза звучит угрожающе. Но всё не так страшно, если о глубоком обучении рассказывает Франсуа Шолле, который создал Keras — самую мощную библиотеку для работы с нейронными сетями. Познакомьтесь с глубоким обучением на практических примерах из самых разнообразных областей. Книга делится на две части: в первой даны теоретические основы, вторая посвящена решению конкретных задач. Это позволит вам не только разобраться в основах DL, но и научиться использовать новые возможности на практике.
Обучение — это путешествие длиной в жизнь, особенно в области искусственного интеллекта, где неизвестностей гораздо больше, чем определенности. Внутри приведен отрывок «Исследование и мониторинг моделей глубокого обучения с использованием обратных вызовов Keras и TensorBoard».
Об этой книге
Книга написана для всех желающих начать изучение технологии глубокого обучения с нуля или расширить свои знания. Инженеры, работающие в области машинного обучения, разработчики программного обеспечения и студенты найдут много ценного на этих страницах.
В этой книге предлагается реальное практическое исследование глубокого обучения. Мы старались избегать математических формул, предпочитая объяснять количественные понятия с помощью фрагментов кода и формировать практическое понимание основных идей машинного и глубокого обучения.
Вы увидите более 30 примеров программного кода с подробными комментариями, практическими рекомендациями и простыми обобщенными объяснениями всего, что нужно знать для использования глубокого обучения в решении конкретных задач.
В примерах используются фреймворк глубокого обучения Keras, написанный на Python, и библиотека TensorFlow в качестве внутреннего механизма. Keras — один из популярнейших и быстро развивающихся фреймворков глубокого обучения. Он часто рекомендуется как наиболее удачный инструмент для начинающих изучать глубокое обучение.
Прочитав эту книгу, вы будете четко понимать, что такое глубокое обучение, когда оно применимо и какие ограничения имеет. Вы познакомитесь со стандартным процессом интерпретации и решения задач машинного обучения и узнаете, как бороться с часто встречающимися проблемами. Вы научитесь использовать Keras для решения практических задач — от распознавания образов до обработки естественного языка: классификации изображений, временного прогнозирования, анализа эмоций, генерации изображений и текста и многого другого.
Исследование и мониторинг моделей глубокого обучения с использованием обратных вызовов Keras и TensorBoard
В этом разделе мы рассмотрим способы получения более полного доступа к внутренним механизмам модели во время обучения и управления ими. Запуск процедуры обучения на большом наборе данных и продолжительностью в десятки эпох вызовом model.fit() или model.fit_generator() напоминает запуск бумажного самолетика: придав начальный импульс, вы больше никак не управляете ни траекторией его полета, ни местом приземления. Чтобы избежать отрицательных результатов (и потери бумажного самолетика), лучше использовать не бумажный самолетик, а управляемый беспилотник, анализирующий окружающую обстановку, посылающий информацию о ней обратно оператору и автоматически управляющий рулями в зависимости от своего текущего состояния. Приемы, которые будут представлены здесь, превратят вызов model.fit() из бумажного самолетика в интеллектуальный автономный беспилотник, способный оценивать свое состояние и своевременно выполнять управляющие воздействия.
Применение обратных вызовов для воздействия на модель в ходе обучения
Многие аспекты обучения модели нельзя предсказать заранее. Например, нельзя предсказать заранее количество эпох, обеспечивающее оптимальное значение потерь на проверочном наборе. В примерах, приводившихся до сих пор, использовалась стратегия обучения с достаточно большим количеством эпох. Таким образом достигался эффект переобучения, когда сначала выполняется первый прогон, чтобы выяснить необходимое количество эпох обучения, а затем второй — новый, с самого начала — с выбранным оптимальным количеством эпох. Конечно, это довольно расточительная стратегия.
Гораздо лучше было бы остановить обучение, как только выяснится, что оценка потерь на проверочном наборе перестала улучшаться. Это можно реализовать с использованием механизма обратных вызовов в Keras. Обратный вызов — это объект (экземпляр класса, реализующего конкретные методы), который передается в модель через вызов fit и который будет вызываться моделью в разные моменты в процессе обучения. Он имеет доступ ко всей информации о состоянии модели и ее качестве и может предпринимать следующие действия: прерывать обучение, сохранять модели, загружать разные наборы весов или как-то иначе изменять состояние модели.
Вот несколько примеров использования обратных вызовов:
Рассмотрим некоторые из них, чтобы получить представление о том, как ими пользоваться: ModelCheckpoint, EarlyStopping и ReduceLROnPlateau.
Обратные вызовы ModelCheckpoint и EarlyStopping
Обратный вызов EarlyStopping можно использовать для прерывания процесса обучения, если находящаяся под наблюдением целевая метрика не улучшалась на протяжении заданного количества эпох. Например, этот обратный вызов позволит прервать обучение после наступления эффекта переобучения и тем самым избежать повторного обучения модели в течение меньшего количества эпох. Этот обратный вызов обычно используется в комбинации с ModelCheckpoint, который позволяет сохранять состояние модели в ходе обучения (и, при необходимости, сохранять только лучшую модель: версию модели, достигшую лучшего качества к концу эпохи):
Обратный вызов ReduceLROnPlateau
Этот обратный вызов можно использовать для снижения скорости обучения, когда потери на проверочных данных перестают уменьшаться. Уменьшение или увеличение скорости обучения в точке перегиба кривой потерь — эффективная стратегия выхода из локального минимума в ходе обучения. Следующий пример демонстрирует применение обратного вызова ReduceLROnPlateau:
Разработка своего обратного вызова
Если в ходе обучения потребуется выполнить какие-то особые действия, не предусмотренные ни одним из встроенных обратных вызовов, можно написать свой обратный вызов. Обратные вызовы реализуются путем наследования класса keras.callbacks.Callback. Вы можете реализовать любые из следующих методов с говорящими именами, которые будут вызываться в соответствующие моменты
Все эти методы вызываются с аргументом logs — словарем, содержащим информацию о предыдущем пакете, эпохе или цикле обучения: метрики обучения и проверки и т.д. Кроме того, обратный вызов имеет доступ к следующим атрибутам:
Это все, что нужно знать об обратных вызовах, все остальное — технические детали, информацию о которых вы легко сможете отыскать самостоятельно. Теперь вы сможете выполнять журналирование любой информации или оказывать управляющие воздействия на модель Keras в ходе обучения.
Об авторе
Франсуа Шолле (François Chollet) занимается проблематикой глубокого обучения в Google, в городе Маунтин-Вью, штат Калифорния. Является создателем Keras — библиотеки глубокого обучения, а также участником проекта по разработке фреймворка машинного обучения TensorFlow. Также занимается исследованиями в области машинного обучения, основное внимание уделяя распознаванию образов и применению машинного обучения к формальным рассуждениям. Выступал с докладами на крупных конференциях в этой области, включая «Conference on Computer Vision and Pattern Recognition» (CVPR), «Conference and Workshop on Neural Information Processing Systems» (NIPS), «International Conference on Learning Representations» (ICLR) и др.
Для Хаброжителей скидка 20% по купону — Deep Learning with Python
Книга «Глубокое обучение с подкреплением на Python. OpenAI Gym и TensorFlow для профи»
Отрывок. Генерирование текстов песен посредством LSTM RNN
А теперь посмотрим, как использовать LSTM для генерирования текстов песен Зейна Малика. Набор данных с текстами песен Зейна можно загрузить по адресу https://github.com/sudharsan13296/Hands-On-Reinforcement-Learning-With-Python/blob/master/07.%20Deep%20Learning%20Fundamentals/data/ZaynLyrics.txt.
Работа начинается с импортирования необходимых библиотек:
Затем читается файл с текстами песен:
Убедимся в том, что данные были успешно загружены:
Теперь все символы сохраняются в переменной all_chars:
Количество уникальных символов сохраняется в unique_chars:
А общее количество символов сохраняется в переменной total_chars:
Сначала мы присвоим каждому символу индекс. char_to_ix будет содержать отображение символа на индекс, а ix_to_char — отображение индекса на символ:
Затем определяется функция generate_batch, которая генерирует входные и целевые значения. Целевые значения равны сдвигу входного значения, умноженному на i.
Например, если input = [12,13,24] со значением сдвига 1, то целевые значения будут равны [13,24]:
Мы определим длину последовательности, скорость обучения и количество узлов, которое равно числу нейронов:
Построим LSTM RNN. TensorFlow предоставляет функцию BasicLSTMCell() для построения ячеек LSTM; вы должны задать количество единиц в ячейке LSTM и тип используемой функции активации.
Итак, мы создаем ячейку LSTM и строим сеть RNN с этой ячейкой при помощи функции tf.nn.dynamic_rnn(), которая возвращает выход и значение состояния:
Теперь создадим заместителя для входа X и цели Y:
Преобразуем X и Y в int:
Также создадим onehot-представления для X и Y:
Получим выходы и состояния от RNN вызовом функции build_rnn:
Инициализируем веса и смещение:
Вычислим выход, умножая выход на веса и прибавляя смещение:
Теперь выполним softmax-активацию и получим вероятности:
Потеря cross_entropy будет вычислена в следующем виде:
Наша цель — минимизация потери, поэтому мы выполним обратное распространение для сети и проведем градиентный спуск:
Затем будет определена вспомогательная функция predict, которая даст индексы следующего прогнозируемого символа в соответствии с моделью RNN:
Затем будет задан размер пакета batch_size, количество пакетов и количество эпох, а также величина сдвига shift для генерирования пакета:
Наконец, мы создаем сеанс TensorFlow и строим модель:
Как видно из результатов, в исходной эпохе выход состоит из случайных символов, но по мере обучения результаты улучшаются:
Об авторе
Судхарсан Равичандиран — специалист по обработке и анализу данных, горячий поклонник искусственного интеллекта и видеоблогер. Он получил степень бакалавра в области computer science в Университете Анны и занимается исследованиями практической реализации глубокого обучения и обучения с подкреплением, включая обработку естественных языков и компьютерное зрение. Ранее работал внештатным веб-дизайнером и разработчиком, участвовал в создании ряда сайтов, отмеченных наградами. В настоящее время принимает участие в проектах с открытым кодом и часто отвечает на вопросы на Stack Overflow.
О научных редакторах
Суджит Пал (Sujit Pal) — руководитель технических исследований в Elsevier Labs, группы разработки новейших технологий компании Reed-Elsevier Group. Занимается исследованиями в области семантического поиска, обработки естественных языков, машинного и глубокого обучения. В Elsevier работал над несколькими инициативными проектами, включая оценку и совершенствование качества поиска, классификацию изображений и выявление дубликатов, аннотацию и разработку антологий медицинских и научных текстов. Он написал книгу о глубоком обучении совместно с Антонио Галли (Antonio Gulli) и пишет о технологиях в своем блоге Salmon Run.
Сурьядипан Рамамурти (Suriyadeepan Ramamoorthy) — исследователь искусственного интеллекта и инженер из AI researcher and engineer в Пондичерри (Индия). Основная тематика его работ — понимание естественных языков и формирование рассуждений. Он активно пишет в блоге, посвященном глубокому обучению. В SAAMA Technologies он применяет расширенные методы глубокого обучения для анализа биомедицинских текстов. Являясь ярым сторонником свободно распространяемого ПО, активно участвует в проектах по его разработке в сообществе FSFTN. Также интересуется коллективными сетями, визуализацией данных и творческим программированием.
Для Хаброжителей скидка 25% по купону — Python
По факту оплаты бумажной версии книги на e-mail высылается электронная книга.
🐍 70 ресурсов для продвинутого изучения Python: каналы, сайты, сообщества, книги и курсы
Python – один из самых востребованных и распространенных языков программирования. Использующим его в работе специалистам необходимо постоянно следовать за новыми ресурсами и разбираться в последних обновлениях. В очередном обзоре мы предлагаем читателям свежую подборку сайтов, книг, курсов и видеолекций для углубленного изучения Python.
Сайты
DataCamp
Сайт для изучения Python в интерактивной форме для новичков и опытных пользователей, которые хотят получить навыки программирования в области Data Manipulation, Image Processing, Marketing Analytics, Data Visualization, Machine Learning, Deep Learning, Deep Learning for NLP и т.д.
CheckiO
Игры для начинающих и продвинутых программистов: решая задачи, вы сможете улучшить навыки кодирования на Python и TypeScript.
HackInScience
Интерактивная платформа упражнений на Python: тренируйтесь на сложных задачах и получайте от бота коррекции мгновенную обратную связь с подробной информацией об ошибках и альтернативных способах решения.
Finxter | Learn Python in Your Coffee Break
Сайт, посвященный изучению Python небольшими фрагментами размером в байт, которые вы можете легко усвоить во время перерыва на кофе.
Talk Python To Me Podcast
Подкаст для разработчиков на Python.
NBShare
Сайт, где вы можете поделиться своими Python notebooks или найти примеры кода на различные темы.
PythonAnywhere
Все последние обновления от команды PythonAnywhere – платформы, которая позволяет программировать на Python в облаке.
Zerynth Python for Microcontrollers, IoT and Embedded Solutions
Zerynth предоставляет инструменты и сервисы Python для разработки встроенных приложений и устройств IoT.
Compucademy
Изучение программирование на Python и информатики с помощью статей с примерами кода и подробными комментариями.
Сообщества
Python Developers Community
Сообщество в Linkedin для профессиональных разработчиков и пользователей Python, цель которого – расширение сети контактов и обмен идеями.
Python Education
Сабреддит для публикации вопросов и советов о вашем коде Python.
Python Forum
Форум Python Community.
Python
Сообщество Reddit о новостях Python: множество ресурсов и советов для новичков и опытных пользователей.
Stack Overflow
Платформа для обмена идеями и решения связанных с кодом проблем.
freeСodeСamp
Форум образовательной платформы для обсуждения и обмена идеями.
The PyCharm Blog
Блог для пользователей PyCharm and Django и не только. Множество полезных советов и тьюториалов: от визуализации данных до установки виртуальной среды.
Practical Business Python
Блог об эффективном использовании Python в бизнесе.
Real Python Tutorials
Обучение программированию на Python с помощью практических примеров.
Medium | python4you
Публикации о различных аспектах работы на Python, советы и рекомендации, а также примеры с кодом.
Planet SciPy
Блог об использовании Python от SciPy.
Coding is Fun
Блог о Python для финансов, программирования и веб-разработки.
Open Source Automation
Научитесь автоматизировать повседневные задачи, используя инструменты с открытым исходным кодом на Python.
Using Python Power
Блог посвящен программированию на Python.
The PyCon blog
Это блог компании PyCon US, на котором представлены материалы со всех конференций по Python.
The Glowing Python
Коллекция постов о научных вычислениях и визуализации данных на Python.
Курсы
Курсы на русском:
Курсы на английском:
Книги
Python для сложных задач. Наука о данных и машинное обучение от Дж. Вандер Плас
Подробное руководство по вычислительным и статистическим методам Python для Data Science. Подойдет для специалистов с опытом программирования, желающих освоить продвинутые возможности Python для машинного обучения.
Разработка веб-приложений с использованием Flask на языке Python от Мигель Гринберг
Пошаговое руководство с примерами создания законченного приложения на Flask, описанием основных функциональных возможностей фреймворка и дополнительных веб-технологий.
Глубокое обучение на Python от Франсуа Шолле
Книга подойдет желающим погрузиться в тему глубокого обучения на Python. Франсуа Шолле, один из создателей Keras, подробно объясняет как устроены высокоуровневые оболочки для работы с нейросетевыми фреймворками.
Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными от Андреас Мюллер и Сара Гвидо
Руководство для специалистов машинного обучения, которые хотят использовать Python на практике. В книгу включены все этапы создания успешного проекта в сфере ML и практические аспекты применения алгоритмов машинного обучения.
Элегантный SciPy от Хуан Нуньес-Иглесиас и Штефан Ван дер Уолт
Книга с примерами использования научных данных и способами решения практических задач с использованием SciPy, NumPy, pandas, scikit-image и других библиотек Python.
Программирование компьютерного зрения на Python от Ян Эрик Солем
Книга подойдет людям, которые хотят разобраться в основах теории и способах реализации алгоритмов компьютерного зрения на Python. Благодаря наглядным примерам вы узнаете о методах распознавания объектов, трехмерной реконструкции, обработке стереоизображений, дополненной реальности и других приложениях компьютерного зрения.
Robust Python от Patrick Viafore
В этой книге Патрик Виафор показывает, как получить максимум от использования Python. Рассматриваются такие пользовательские типы, как классы и перечисления, а также система подсказок типа Python. Вы узнаете, как использовать комплексную стратегию тестирования для обеспечения безопасности. Книга также включает множество советов и методов написания более чистого и удобного кода.
Fluent Python, 2nd Edition от Luciano Ramalho
Из обновленного издания популярного практического руководства вы узнаете, как писать эффективный современный код на Python 3. Второе издание охватывает и специальные методы, вроде ключей к согласованному поведению объектов Python, структуры данных и многое другое.
Python Workout от Reuven Lerner
Python Workout – это сборник 50 упражнений, которые фокусируются на ключевых функциях Python 3. В нем опытный тренер Рувен Лернер проведет читателей через серию небольших проектов, закрепляя на практике необходимые для решения повседневных задач навыки. В книгу включены подробные объяснения каждой техники и решения каждого упражнения в сопроводительных видеороликах.
Learn More Python 3 the Hard Way: The Next Step for New Python Programmers от Zed Shaw
С помощью этой книги вы сможете выйти далеко за рамки основ Python. Вы научитесь разрабатывать решения на основе анализа и реализовывать их как можно проще и элегантнее.
Python Tricks: A Buffet of Awesome Python Features от Dan Bader
Книга иллюстрирует малоизвестные функции Python и лучшие практики программирования на этом языке. В каждом из 43 подразделов представлена называемая трюком концепция с обсуждением и примерами кода, подробно иллюстрирующими ее использование на практике.
Книга «Глубокое обучение с подкреплением на Python. OpenAI Gym и TensorFlow для профи»
Отрывок. Генерирование текстов песен посредством LSTM RNN
А теперь посмотрим, как использовать LSTM для генерирования текстов песен Зейна Малика. Набор данных с текстами песен Зейна можно загрузить по адресу https://github.com/sudharsan13296/Hands-On-Reinforcement-Learning-With-Python/blob/master/07.%20Deep%20Learning%20Fundamentals/data/ZaynLyrics.txt.
Работа начинается с импортирования необходимых библиотек:
Затем читается файл с текстами песен:
Убедимся в том, что данные были успешно загружены:
Теперь все символы сохраняются в переменной all_chars:
Количество уникальных символов сохраняется в unique_chars:
А общее количество символов сохраняется в переменной total_chars:
Сначала мы присвоим каждому символу индекс. char_to_ix будет содержать отображение символа на индекс, а ix_to_char — отображение индекса на символ:
Затем определяется функция generate_batch, которая генерирует входные и целевые значения. Целевые значения равны сдвигу входного значения, умноженному на i.
Например, если input = [12,13,24] со значением сдвига 1, то целевые значения будут равны [13,24]:
Мы определим длину последовательности, скорость обучения и количество узлов, которое равно числу нейронов:
Построим LSTM RNN. TensorFlow предоставляет функцию BasicLSTMCell() для построения ячеек LSTM; вы должны задать количество единиц в ячейке LSTM и тип используемой функции активации.
Итак, мы создаем ячейку LSTM и строим сеть RNN с этой ячейкой при помощи функции tf.nn.dynamic_rnn(), которая возвращает выход и значение состояния:
Теперь создадим заместителя для входа X и цели Y:
Преобразуем X и Y в int:
Также создадим onehot-представления для X и Y:
Получим выходы и состояния от RNN вызовом функции build_rnn:
Инициализируем веса и смещение:
Вычислим выход, умножая выход на веса и прибавляя смещение:
Теперь выполним softmax-активацию и получим вероятности:
Потеря cross_entropy будет вычислена в следующем виде:
Наша цель — минимизация потери, поэтому мы выполним обратное распространение для сети и проведем градиентный спуск:
Затем будет определена вспомогательная функция predict, которая даст индексы следующего прогнозируемого символа в соответствии с моделью RNN:
Затем будет задан размер пакета batch_size, количество пакетов и количество эпох, а также величина сдвига shift для генерирования пакета:
Наконец, мы создаем сеанс TensorFlow и строим модель:
Как видно из результатов, в исходной эпохе выход состоит из случайных символов, но по мере обучения результаты улучшаются:
Об авторе
Судхарсан Равичандиран — специалист по обработке и анализу данных, горячий поклонник искусственного интеллекта и видеоблогер. Он получил степень бакалавра в области computer science в Университете Анны и занимается исследованиями практической реализации глубокого обучения и обучения с подкреплением, включая обработку естественных языков и компьютерное зрение. Ранее работал внештатным веб-дизайнером и разработчиком, участвовал в создании ряда сайтов, отмеченных наградами. В настоящее время принимает участие в проектах с открытым кодом и часто отвечает на вопросы на Stack Overflow.
О научных редакторах
Суджит Пал (Sujit Pal) — руководитель технических исследований в Elsevier Labs, группы разработки новейших технологий компании Reed-Elsevier Group. Занимается исследованиями в области семантического поиска, обработки естественных языков, машинного и глубокого обучения. В Elsevier работал над несколькими инициативными проектами, включая оценку и совершенствование качества поиска, классификацию изображений и выявление дубликатов, аннотацию и разработку антологий медицинских и научных текстов. Он написал книгу о глубоком обучении совместно с Антонио Галли (Antonio Gulli) и пишет о технологиях в своем блоге Salmon Run.
Сурьядипан Рамамурти (Suriyadeepan Ramamoorthy) — исследователь искусственного интеллекта и инженер из AI researcher and engineer в Пондичерри (Индия). Основная тематика его работ — понимание естественных языков и формирование рассуждений. Он активно пишет в блоге, посвященном глубокому обучению. В SAAMA Technologies он применяет расширенные методы глубокого обучения для анализа биомедицинских текстов. Являясь ярым сторонником свободно распространяемого ПО, активно участвует в проектах по его разработке в сообществе FSFTN. Также интересуется коллективными сетями, визуализацией данных и творческим программированием.
Для Хаброжителей скидка 25% по купону — Python
По факту оплаты бумажной версии книги на e-mail высылается электронная книга.