[Udemy] Машинное обучение с Python + Big Data - (Курс 4 из 17)

[Udemy] Машинное обучение с Python + Big Data - (Курс 4 из 17)

Easy Natural Language Processing (NLP) in Python


​

Автор: Lazy Programmer Inc.
Формат: Видео
Продолжительность: ~ 01:57
Перевод: Красный Кут
Тип перевода: Транскрибация с русским переводом
Всего: 21 видео лекции

Решил сделать перевод всех курсов Lazy Programmer Inc. о искусственном интеллекте, машинном обучении взяв за основу материалы из этой складчины

Вы также можете изучить на русском языке следующие курсы этого автора:​

• Linear Regression in Python (Курс 1 из 17)
• Logistic Regression in Python (Курс 2 из 17)
• Data Science: Deep Learning in Python (Курс 3 из 17)
• Data Science: Practical Deep Learning in Theano + TensorFlow (Курс 5 из 17)
• Data Analytics: SQL for newbs, beginners and marketers (Курс 6 из 17)
• Deep Learning: Convolutional Neural Networks in Python (Курс 7 из 17)
• Cluster Analysis and Unsupervised Machine Learning in Python (Курс 8 из 17)

Введение и план обучения

Спойлер

Добро пожаловать в сферу обработки данных и лёгкой обработке естественного языка.

Обработка естественного языка, или, как его часто сокращают, ОЕЯ – используемая в программировании и математике методика, направленная на решение языково-ориентированных задач. Если вы используете Windows или Iowa, то, вероятно, ОЕЯ находится у вас перед глазами. Cortana и аналогичные приложения воспринимают вашу речь и преобразовывает её в форму, которую можно обработать программными методами. Так что основное, о чём я хочу рассказать в этой лекции, - это практическая применимость ОЕЯ. Этот курс будет разбит на несколько разделов, основываясь на различных практических задачах, которые вы можете решить благодаря ОЕЯ. Итак, вот чем мы займёмся в этом курсе.

Прежде, чем начнём что-либо создавать, мы пройдём краткое изложение широкого круга приложений, некоторые из которых мы рассмотрим, а некоторые – нет, но знать о которых всё же желательно.

Далее мы разберёмся, как создать собственный спам-детектор. Такой есть в вашей электронной почте, так что тема эта очень полезная и долгое время была предметом изучения.

Затем мы рассмотрим анализ настроений и создадим собственный анализатор настроений, благодаря которому компьютер сможет оценить, насколько положительно или отрицательно окрашен введённый текст, основываясь на используемых словах и фразах. Всё это связано с практической деятельностью – так, некоторые люди анализировали твиттер, чтобы определить, будут ли цены на акции двигаться вверх или вниз.

После этого мы рассмотрим библиотеку NLTK. Это очень популярная библиотека, способная решить множество фундаментальных вопросов ОЕЯ. Вы можете использовать её вместе с другими библиотеками при анализе данных.

Далее мы рассмотрим скрытый семантический анализ. Он в основном помогает уменьшить размеры текста и решить проблему восприятия двух слов, имеющих одинаковое значение. Он также помогает нам интерпретировать наши данные и экономит вычислительное время.

Наконец, мы рассмотрим одно из популярнейших приложений для ОЕЯ – Article spinner. Оно очень полезно для интернет-маркетологов и предпринимателей, поскольку, как вы знаете, и поисковая система Google, и другие поисковые системы крайне отрицательно относятся к ситуации, когда дублируется один и тот же контент. Будет здорово, если вы сможете достаточно сильно изменить статью, чтобы разместить её на двух разных ресурсах Интернета, не подвергаясь при этом наказанию от Google.

С радостью сообщаю, что по вашей просьбе математики здесь совсем не будет, лишь основные понятия теории вероятности в некоторых местах. Если она и встречается, то только для удовлетворения вашего любопытства, но она совершенно необязательна при написании кода – конечно, если вы этого хотите. Поскольку ОЕЯ в основном относится к сфере программирования, я построил этот курс таким образом, чтобы в нём требовалось гораздо меньше математики, чем в других моих курсах, таких как углублённое изучение и нейронные сети.

Учебный план

Спойлер

Простая обработка естественного языка (ОЕЯ) на языке Python

Обработка естественного языка - для чего он используется?

Спойлер

1. 
   
   • Введение и план курса
   • Приложения ОЕЯ
   • Почему ОЕЯ сложна?
   • Главное сообщение этого курса

Создайте свой собственный детектор спама​

1. 
   
   • Создайте свой собственный детектор спама - описание данных
   • Создайте свой собственный детектор спама - код
   • Другие типы функций

Создайте собственный анализатор настроений​

1. 
   
   • Описание анализатора настроений
   • Анализ настроений на языке Python
   • Исследование NLTK
   • Исследование NLTK: маркировка POS
   • Исследование NLTK: Стеммирование и лемматизация
   • Исследование NLTK: распознавание объектов

Скрытый семантический анализ​

1. 
   
   • Скрытый семантический анализ. Что он делает?
   • PCA и SVD - основная математика, лежащая в основе LSA
   • Скрытый семантический анализ в Python

Напишите свою прядильщицу статьи
​

1. Введение в статью
2. Модель триграммы
3. Написание article spinner в Python
4. Как узнать больше об ОЯЕ?

О чем мы не говорили?
Приложение

1. Как установить Numpy, Scipy, Matplotlib, Pandas, IPython, Theano и TensorFlow?

Источник

 

Уважаемый автор, на мой взгляд ОЕЯ - это уже перебор. Оставьте аббревиатуру Natural Language Processing (NLP). Пожалейте людей. Если нет аналога на русском языке,издательства, обычно, сохраняют сокращение на языке источника.

 

Дельное замечание! Обработка естественного языка, или, Natural Language Processing (NLP) – используемая в программировании направленная на решение языково-ориентированных задач. Можно таким способом пояснить значения аббревиатуры (NLP)

 

Все хорошо, курсы интересные, перевод в целом читабельный. Но — у нас тут математика вообще, а не вольный перевод. Разберитесь с терминологией, она в математике сложившаяся. Нейронные сети не вчера появились, тот же Мультитран нормальные переводы терминов содержит.

 

После 2 сразу 4. Может нужно 3 собрать?

 

Взнос хочу снизить, и еще нужно переработать материал 3 курса. По планам запустить 3 курс в 20-25 июля.