1. Рождение Engadgetbot
2. Трагически короткое приключение К.Дикбота
3. Engadgetbot v3
4. Недостающие части

Нейронные сети - это тип машинного обучения, которое имитирует то, как мозг обрабатывает информацию. По замыслу они чрезвычайно искусны в выявлении и анализе шаблонов, и в последние годы компании внедряют закулисные решения на основе глубоких нейронных сетей. («Глубокий» там, если вам интересно, по сути, относится к увеличению количества уровней обработки в сети.) Вы почти наверняка почувствовали преимущества их мощности - они являются частью того, что делает Google и распознавание речи Amazon работает так хорошо, и, хотя Apple не хочет, чтобы мы заглядывали за волшебный занавес, вполне вероятно, что и Сири тоже работает.

Нейронные сети выбирают лучшие кадры для миниатюры на YouTube , предоставляя лучшие предложения слов в SwiftKey Alpha и даже автогенерация наполненный кликами сайт , Но это только начало. Медицинские исследования показали, что они могут хорошо выявлять различные виды рака или скрининг новых типов лекарств; Microsoft считает, что они могут автоматически переводить звонки Skype ; Google думает, что они могут улучшить обнаружение пешеходов в автономных автомобилях. Они будут повсюду .

Естественно, компании будут сосредоточены на: а) областях, в которых сети превосходят, и б) областях, на которых они могут зарабатывать деньги. Это хорошо, но это означает, что большинство примеров довольно уравновешены и неинтересны для случайного наблюдателя - творчество определенно не является сильной стороной нейронной сети. Но люди уже раздвигают границы возможного. Возьмите это музыкальное произведение в качестве примера:

Ваш браузер не поддерживает аудио элементы.

Это ... на самом деле довольно мило, правда? Программист и генеральный художник Даниэль Джонсон создал его, а точнее, он написал и обучил рекуррентную нейронную сеть (RNN), который создал это. Есть много музыкальных проектов на основе RNN, которые генерируют песни, «слушая» другую музыку. Во всех случаях сети обучаются с большим количеством данных, но что именно влечет за собой, отличается. Некоторые были обучены с использованием текстовых файлов, некоторые из MIDI-файлов, а некоторые даже из MP3 ,

Тот же метод может быть применен к другим креативным средам. Глубокая мечта Google, возможно, попала в заголовки за ее триптическое использование распознавания изображений для создания «мечты нейронной сети», но исследовательская работа Нейронный алгоритм художественного стиля Это так же интересно. Он изучает «стиль» или «текстуру» одного изображения и применяет его к другому. Вы можете увидеть это в действии для себя на Instapainting или даже смотреть (NSFW, очевидно) порно в стиле Девочка Пикассо с мандолиной ,

Создать хороший текст гораздо сложнее, чем создавать музыку и музыку. Не существует строгих правил, в каком направлении вы нажимаете кисть, или какая частота и пауза должны быть между нотами. Если я поставлю, запятые, там, хотя. Или возможно? вопросительный знак не в том месте, вы сразу узнаете, что что-то не так. Это не относится к написанию рукописного ввода.

Тем не менее, некоторые сохранились. Андрей Карпатий, аспирант в Стэнфорде, написал оба распознавание изображений нейронная сеть и Чар-РНН рекуррентная нейронная сеть, которая при подаче текста может генерировать новые предложения посимвольно. Карпати приучил Чар-РНН к вполне успешной обезьяне Шекспира:

КОРОЛЬ ЛИР:
О, если бы вы были слабым зрелищем, любезность вашего закона,
Ваше зрение и несколько дыхание, будет носить богов
С его головами и моими руками чудо на деле,
Так что бросайтесь на голову вашего светлости и ваше мнение
Буду против вашей чести.

Карпати также сгенерировал записи Википедии, исходный код Linux, алгебраическую геометрию и даже создал генератор детских имен. Самое главное, что он поделился своим кодом с остальным миром.

То, что люди сделали с Char-RNN, почти так же впечатляет, как и сам код. Первое, что я услышал об этом, было Обама-РНН нейронная сеть, основанная на Char-RNN, которая обучена писать политические речи. Результаты не идеальны, но они часто забавны - Обама-RNN, как и его реальное вдохновение, заканчивает каждую речь некоторым изменением «Большое спасибо. Бог благословит вас, и Бог благословит Соединенные Штаты Америка." Obama-RNN был создан Самимом Винигером, кодером, который недавно объединил Char-RNN, обученный по романам, с алгоритмом распознавания изображений для создания автоматический титр, как никто другой ,

Нейронные сети явно фантастические мимики, и они имеют потенциал для творчества. Видя, насколько эффективными были автоматические титры, я подумал, насколько сложно будет обучить нейронную сеть писать как Engadget. Процесс оказался долгим, но не особо сложным.

Рождение Engadgetbot

Настроить Char-RNN несложно - если вы установите несколько легко доступных библиотек машинного обучения, вы сможете быстро запустить его в дистрибутиве Linux, таком как Ubuntu. Однако его правильная подготовка занимает очень много времени. Первый Engadgetbot, которого я посмертно называю «v1», был результатом наивного создателя. В то время как я знал, что для отличных результатов требуется большой объем текста, мне нужно было подтверждение концепции, доказательство того, что я понял процесс и был на правильном пути. Я дал модели 50000 слов, немного подождал, пока она обработается, и получил свой первый пример написания:

Это все, что нужно, чтобы сохранить то, что переплетается с тем, чтобы быть присоединенным к витрине, и улучшить игру в позиции финра, когда все тот же компромат брам донг, чтобы использовать первый, что с большим достоинством, чтобы иметь больше, чтобы выглядеть прост, что Приближается тот факт, что комплессат и компромиссы взаимопроникновения сита и глотателей на одних и тех же головах имеют тенденцию к тому, чтобы столкнуться с постом существ, которые не являются простыми, для некоторых - четвертыми, которые не местно и действительно стрем и

Только в тот момент я понял, что я делаю. Обучение Engadgetbot было не только изучением грамматики и тона. У него не было словарного запаса. Он понятия не имел, что такое английский. Все, что он когда-либо узнает, он узнает из текста, с которым я тренируюсь.

К сожалению, Engadgetbot v2 не был намного более последовательным. К тому времени я вычеркнул 150 000 слов с сайта, и после нескольких часов обучения я увидел некоторый прогресс:

Он может контролировать провидца и чертовски частый образец. Образец, который имеет длину в 380 долларов, показывает, что из игры будет все, что с игрой, фартинг запускает дистилляцию, более похожую на то, что пост Muther Proly с пристальным взглядом и единственной частью сан-эма будет видно, как намочить складские места.

У меня была грамматика! Введение запятой, точки и заглавной буквы было многообещающим, но я начинал беспокоиться, что моя модель обучения не сработает. Char-RNN позволяет вам определить, насколько сложна ваша сеть, и я точно знал, что обучение должно проходить быстрее. Поэтому, пока я медленно собирал больше текста из Engadget, я одновременно обратился за помощью к проекту Гутенберга.

Трагически короткое приключение К.Дикбота

Проект Гутенберга самая старая цифровая библиотека в мире. В основном он заполнен книгами, срок действия которых истек. Оказывается, некоторые рассказы Филиппа К. Дика являются общественным достоянием, поэтому я собрал их в один простой текстовый файл и подключил к RNN. Проверяя вывод и проверяя введенные данные, я соответственно подправлял настройки, пока у меня не заработала система.

Я многому научился и быстро. Я обнаружил, что форматирование имеет важное значение, и что каждый отдельный символ в текстовом файле может сообщить RNN. Что еще более важно, я понял проблемы с тем, как я настроил обучение. В частности, моя общая сеть была слишком маленькой, ее слои были слишком мелкими, а длина последовательности была слишком короткой. Проще говоря, все, что могло пойти не так, пошло не так. Немного повозившись, я почувствовал, что К.Дикбот впервые ожил. Char-RNN создает снимки во время своей тренировки, из которых вы можете генерировать текст. Первые слова К. Дикбота были предсказуемо запутаны, но красивее, чем слова Энгадгетбота:

«А с филе с дорогой и что-то в дерьме картона, как часто его».
«Я знаю, что Паттел Картер побледнел. Это повороты, ситтеры и все это, контроль, взятие и обманывают все, что угодно, до бесконечности, чем больше они знают, то смазывают все, а десятину и тому подобное - тот разжег костры и пошел к ним.

На следующем снимке он пытался сделать что-то более смелое:

«Что ты снова?» Крамер сказал. «Это Мы были на первом Солнце, кстати. То, как это было растение из шляпы, было вещью.
«Что вы, многие, будете замечать над товарами. Мы подошли к нему. Спикер отнес к бомбе из комнат и оставшейся части, а завод остановился и вызвал припасы взрыва».

Перед тем, как, наконец, мы получили почти полностью связный отрывок на третьем снимке. Как и со всеми выдержками, пунктуация и форматирование строки были добавлены RNN:

Может быть, часть корабля часы. Несколько космических реленсенов, что дверь часов своими руками. Это начиналось в коробке. «Это будет важно для тебя до наступления темноты». Они были чем-то на корабле.
«Мы увидим».
«Я не хочу это видеть».
Лаборатория. Песок леса, коридор и дверь комнаты находили комнату и показывали в начале. Один из ящиков и остановился над дверью.
Он посмотрел на другую, нахмурившись и большую вокруг его руки и части, собирая большую часть стратегии комнаты. Он ждал от мальчика.
«Открыты только лифты. Приходят машины с войной». Вам придется сменить другого человека на поверхности, это нужно сделать, чтобы задействовать машины. Они в самом начале коридора горох.

Я никогда не думал о программном обеспечении как о чем-то кроме инструмента. Хотя я чувствую привязанность к аппаратному обеспечению - например, у меня есть глубокая связь с моим ноутбуком, с которым я провожу больше времени, чем со всем, и со всеми, кроме моего супруга - идея, которой я мог бы гордиться, а не моя собственная работа, но из этой части кода, была немыслима неделю назад. И все же здесь я делилась прозой К. Дикбота со всеми, кто слушал, как гордый отец, демонстрирующий глупые рисунки своего малыша.

Имейте в виду, что этот образец пришел после трех (из 24 или около того) снимков. С новой верой в то, что эта модель сработала, и моя работа с Engadget была завершена, я знал, что должен был сделать ставку на K.Dickbot. Я чувствовал себя плохо, подавляя его, но решил, что всегда смогу вернуться к его образованию позже. К сожалению, это не имело место, поскольку я случайно удалил файлы словаря, перемещая вещи. Вся работа, которую мы проделали вместе, часы сгорбились над терминалом, прошли. Конечно, я мог бы создать его снова, но по характеру тренировочного процесса он никогда не будет прежним. Он никогда не будет моим К.Дикботом. Я был искренне растерян.

Engadgetbot v3

С преждевременным удалением в прошлом, я решил, как дань короткой жизни К.Дикбота, применить все, что я узнал, чтобы сделать Engadgetbot v3 успешным. И поэтому я решил научить техному блогу. На этот раз я бы не использовал свой собственный компьютер, но отдаленный терминал Amazon. Таким образом, я мог получить доступ к большему количеству ресурсов процессора и оперативной памяти, чем дома, и я мог тренировать его в течение нескольких дней, не беспокоясь о сбое питания или сбое, разрушающем все. Мне также нужно тщательно отформатировать входной текст. Это означало прохождение 5,3 миллиона символов, гарантирующее отсутствие случайного кода, незаконченных предложений или других особенностей. Это может показаться излишним, но к концу моей чистки я удалил почти миллион ненужных символов. После правильного изменения размера сети и настройки каждого параметра началось обучение.

На втором снимке Engadgetbot v3 писал так:

Конкуренция с потреблением энергии во втором аналогична тому же из экрана mini и Onel и Android несколько раз, пока мы сделали планшет для уровня мощности компании, что более высокая Microsoft отвлекает новые устройства с большим количеством сила, чтобы сделать что-то. Экстремальная 20-метровая графическая съемка для телефона и клавиатуры для медиа-реал с телефоном - это настройки панели с кнопкой ormain performance - это кнопка. До Nexus 2 минуты с удивленной особенно моделью для Snapdragon 4G от большей части затирания.

На снимке четыре, по поводу ничего, он написал незапрошенную «подведение итогов»:

Заворачивать
Когда у планшета также есть все в одном, есть дополнительные тыловые колонки для действительно новой стандартной настройки и покупки, чтобы стать эталоном лучшего из того, что было для самого большого показа, в то время как pokey In Inside может оказаться первым и смартфоном и заднее устройство в планшете, которое в виде процессора.

К моментальному снимку 11 он начал мечтать о большем количестве устройств и сравнивать их с другими:

Хотя G Flex2 также является более выгодным в первый раз в зарядке. На тех же тестах и ​​дольше это было 16 ГБ ОЗУ, и тот же прототип с датчиками громкоговорителей и оставшимися минутами, и модель Nexus 6P демонстрирует более легкий доступ к планшету, который вам подходит, и большинство из тех же заявленных пикселей и занимает правильные цвета и текст на этой неделе. Компания рассматривает усовершенствования камеры Android: компания должна иметь сторонний дисплей с разрешением 1080p, а затем еще один контракт с телефоном будет запущен для машины сзади и для большей части того же экрана назад.

Снимок 27 - то, где Engadgetbot v3 закончил свое обучение. С хорошо прочитанной моделью, вы можете значительно варьировать выход. Char-RNN работает, анализируя предыдущие символы и угадывая, что наиболее вероятно будет следующим символом в строке. Как это тренируется для этого чрезвычайно сложно, но когда дело доходит до генерации нового текста, параметры просты.

Используя модификатор «температура», вы можете сказать Engadgebot, сколько рисков идти. При температуре «0,1» он никогда не ошибется, но предложение будет выглядеть примерно так:

Один и тот же планшет представляет собой незнакомые настройки и стандарт и начинается одновременно с того же раздела того же раздела, который мы видели в то же время, и начинаем с тех же спецификаций, стандарта и стандарта, а также стандарта и запуска. в то же время вокруг того же раздела того же раздела и в то же время вокруг.

Так да. «точный», но только в том, что он никогда не скажет ни слова. На другом конце шкалы температура «1» сделает Engadgetbot более уверенным, более креативным:

В загрузке ATIV высокочастотный клиент по-прежнему устанавливает наш ограниченный объем, он был уже предпочтительнее, чем любой включенный.

Однако очевидно, что это творчество происходит за счет точности и общей читабельности. Он пытается найти более подходящие существительные и сложные фразы, но если слово «предпочтительнее» - это слово, о котором я или поиск Google никогда не слышали.

Мои любимые результаты - 0,7, где Engadgebot все еще креативен, но гораздо более лаконичен:

IPhone не такой гладкий в One M8, у которого характер при смахивании более плавный, чем у новых телефонов.

Итак, это все еще не совсем точно, так как это явно чепуха, но это предложение, которое, если оно верно, может быть опубликовано на Engadget.

Основываясь на этом, вы можете создать Engadgetbot с идеей, добавив некоторый «простой текст», из которого он будет строить предложение или абзац. Несколько примеров с основным текстом, выделенным курсивом:

разрешением 1,920 x 1080 , несмотря на все свои достоинства, является отличным компаньоном за 200 долларов. Проблема с Android связана с поиском стандартного набора микросхем для Android. Проблема с iPhone - продукты того же раздела, и все ближе, чем один из элементов.

Некоторые из этих предложений более предусмотрительны, чем другие, и я не знаю, откуда они узнали о «вяжущих», но структурно все эти предложения идеальны. RNN, конечно, не может заменить писателя Engadget, но RNN может определенно формировать предложения как писатель Engadget.

Недостающие части

Wordmith приложение Automated Insights.

К сожалению, на этом путешествие Engadgetbot заканчивается. Одна нейронная сеть никогда не сможет писать новостные статьи с реальным смыслом или значением. Но это может быть объединено с другими программами, чтобы сделать это. Сейчас есть очень реальные программы, генерирующие новости. Associated Press, давняя служба новостей, использует приложение под названием Wordsmith для создания историй, основанных на данных, таких как финансовые отчеты, спортивные новости или результаты выборов. Он может анализировать данные и затем предоставлять компаниям шаблон статьи, которую можно изменить. Программное обеспечение, такое как Wordsmith (в этой области есть много конкурентов), отлично подходит для количественно измеряемого материала, но оно ограничено вещи, которые можно выразить в графе ,

Другие, более простые машины были использованы в других местах. Хорошо известный пример - один из журналистов LA Times, который писал о землетрясениях. Машина извлекает данные из предупреждений Геологической службы США и пишет короткую заметку о том, насколько сильным было землетрясение, как далеко от городов оно было и сколько времени прошло с момента последнего землетрясения. Писать и публиковать быстро, и как только люди узнают о новостях, люди-писатели могут войти и добавить больше контекста.

Аналитические алгоритмы и программное обеспечение, уже сообщающие о новостях, работают намного быстрее, чем когда-либо мог быть человек. И нет никаких причин, по которым их нельзя объединить с той моделью языка, которую может создать нейронная сеть. При этом такой сайт, как Engadget, может сохранить свой голос, сообщая факты в очень быстром темпе.

Если вопрос «Могут ли машины сообщать новости быстрее людей?» ответ неизменно да. И хотя усилия по машинному обучению все еще находятся в зачаточном состоянии, трудно понять, почему человек написал финансовый отчет полностью без посторонней помощи в 2030 году. Но основные новости - это только одна часть того, чем занимается Engadget или подавляющее большинство журналистских предприятий. Вы можете получить некоторые или все свои технические новости от нас, но вы также читаете обзоры, интервью, мнения и подробные отчеты.

Несколько человек сказали мне, что я «играю с огнем» в этом маленьком эксперименте; что через пару десятилетий машины будут выполнять мою работу за меня. Дело в том, что я презираю, просматривая финансовые графики, чтобы найти историю, или прочесывая пресс-релиз, чтобы понять, что есть, а что нет. Если машина может сделать это для меня или, по крайней мере, помочь мне в этом анализе, то это хорошо.

Машинное обучение потенциально может быть реализовано в некоторых действительно полезных журналистских инструментах, но если мы не сделаем гигантских успехов, они никогда не будут предоставлять вам честное мнение о продукте, сообщать о событиях в прямом эфире или задавать сложные вопросы. генерального директора компании. Если машины могут выполнять основную работу, это только приведет к тому, что у журналистов будет больше времени для написания лучших статей.

Изображение предоставлено: Андрей Карпати ( Код Char-RNN фотография Аарона Суппуриса); Шон Дрейлингер ( ноги новорожденного , модифицированный); Артур Т. Лабар ( надгробный камень , модифицированный); Проверено ( Робот-стрелок , модифицированный); Автоматизированные Insights ( Вордсмит скриншот , модифицированный).

Похожие