Нейросети и интернет

Это небольшой сайт, посвященный нейросетям и тому, что с ними связано. Поддержка этого сайта является частью проекта DreamBot.

Всего десять лет назад одной из великих задач для искина было умение отличать женское белье от мужского в прачечной или взрослое тело от детского в интернет. Сейчас ставки на анализ гендерных различий выросли: военное ведомство США разместило заказ на идею, позволяющую отличать женщин от мужчин и взрослых от детей для системы выбора целей для пилотов ВВС и дронов. Такая постановка задачи начинает новый этап сотрудничества человека и искина.

Pololu 3pi 2011-01-30 11:21 Сергей Алембеков 

Для того, чтобы начать осваивать азы робототехники больше не нужно искать экзотическое оборудование или создавать его собственноручно. Основные комплектующие выпускаются серийно и доставляются на дом: вступить в ряды робототехников можно всего за 3-5 тысяч рублей. Один из таких наборов, Pololu 3pi, позволяет войти в мир робототехники любому программисту.

The Recurrent Cascade-Correlation Architecture 1991-05-09 01:02 Scott E. Fahlman 

Рекуррентная Каскадная Коррелляция (РКК) - это рекуррентная версия обучения архитектуры Каскадной Корреляции, предложенной Fahlman и Lebiere. РКК может обучатся на примерах отображения последовательности входов в желаемую последовательность выходов. Новый скрытые элементы с рекуррентными соединениями добавляются к сети в то время, как в них возникает нужда во время обучения. В результате, сеть строит конечный автомат специально для решаемой задачи. РКК сохранила все преимущества Каскадной Корреляции: быстрое обучение, хорошее обобщение, автоматическое создания близкой к минимально-допустимой многослойной сети и возможность обучаться сложному поведению через последовательность простых "уроков". Большие возможности РКК продемонстрированы на двух задачах: обучение автоматной грамматике на примере строк, принадлежащих языку этой грамматики, и обучение распознаванию символов кода Морзе.

Оригинал статьи: The Recurrent Cascade-Correlation Architecture (как PDF)

The Cascade-Correlation Learning Architecture 1990-02-14 01:02 Scott E. Fahlman and Christian Lebiere 

"Каскадная Корреляция" - новая архитектура и алгоритм обучения с учителем для нейронных сетей. Вместо того, чтобы только настраивать веса в сети фиксированной топологии, "Каскадная Корреляция" начинается с минимальной сети, затем автоматически обучается и добавляет новые скрытые элементы один за другим, создавая многослойную структуру. Как только новый скрытый элемент добавлен к сети, веса его входных связей замораживаются. Этот элемент затем становится постоянным детектором в сети, доступным для получения выходного сигнала или для формирования другого, более сложного детектора. Архитектура "Каскадной Корреляции" имеет несколько преимуществ перед существующими алгоритмами: она обучается очень быстро, сеть определяет свой собственный размер и топологию, она сохраняет структуры, которые она выстроила, даже если обучающее множество изменилось и она не требует обратного распространения сигнала ошибки через связи сети.

Оригинал статьи: The Cascade-Correlation Learning Architecture (как PDF)

Большинство конективистстких обучающихся систем (или "нейросетей") используют разновидность алгоритма обратного распространения (back-propagation). Однако, обучение при помощи обратного распространения для многих приложений слишком медленно и плохо масштабируется, когда задачи становятся большей размерности и сложности. Факторы, контролирующие скорость обучения малопонятны. Я начал систематическое, эмпирическое изучения скорости обучения в алогоритмах, сходных с обратным распространением на различных тестовых задачах. Цель была двоякой: разработать быстрый алгоритм обучения и сделать вклад в методологию, который будет иметь значение в будущих исследованиях такого рода.

Эта статья описывает результаты, достигнутые в течении первых шести месяцев исследований. К этому времени я рассмотрел только небольшое количество тестовых задач, но результаты обнадеживают: я разработал новый алгоритм обучения, который быстрее стандартного алгоритма обратного распространения на порядок величины или более и, как оказалось, он хорошо масштатабируется при увеличении размерности задачи.

Оригинал статьи: An Empirical Study of Learning Speed in Back-Propagation Networks (как PDF)

Разработано приложение, позволяющее на основе генетического алгоритма находить оптимальную тактику игры в "Старкрафт". Один из результатов работы алгоритма - нахождение оптимальной последовательности действий для получения так называемого "7-roach rush" за 45 секунд, что практически гарантирует последующий выигрыш на любом уровне сложности.

Генетический алгоритм 2010-11-15 01:02 Андрей Орлов 

Генетические алгоритиы - это эвристические алгоритмы оптимизации, ищущие наилучшее решение способом, сходным с эволюционным отбором в природе: признаки лучших особей наследуются.

Задача коммивояжёра 2010-11-15 01:02 Андрей Орлов 

Задача коммивояжёра формулируется так: Для данного списка точек и расстояний между ними, упорядочить точки таким образом, чтобы суммарная длина маршрута, проходящего через них в этом порядке была минимальной (возврат в исходную точку учитывается).

FLEXMAP - A Neural Network For The Traveling Salesman Problem 1992-11-15 01:02 Bernd FRITZKE, Peter WILKE 

Мы представляем самоорганизующуюся "нейронную" сеть для решения задачи коммивояжера. Она частично основана на сети Кохонена. Наш подход отличается от прежних работ в этом направлении тем, что не используются кольцевые структуры с фиксированным количеством элементов. Вместо этого, небольшая начальная структура постепенно распространяется и увеличивается. Это позволяет заменить начальный шаг поиска, который, обычно, требует времени O(n), локальной процедурой, которая требует время O(1). Так как полное количество шагов поиска, которые нужно выполнить, оценивается величиной O(n), то время, затрачиваемое нашей моделью, линейно зависит от размерности задачи. Это лучше, чем любой другой известный нейронный или конвенциональный алгоритм. Длина пути найденного решения, обычно, менее чем на девять процентов длиннее, чем оптимальное решение, известное для такой задачи из литературы.

Оригинал статьи: FLEXMAP - A Neural Network For The Traveling Salesman Problem (как PDF)

Я сторонник точки зрения, в соответствии с которой разум и личность появляются не в результате одномоментного акта творения, а в процессе обучения, накопления жизненного опыта, общения с подобными и не очень существами. Именно поэтому я занимаюсь нейросетями, а не пытаюсь постичь когнитивные механизмы через отвлеченные рациональные рассуждения. И, как следствие, я думаю, что как только удастся создать искин - потребуется и создать некую среду, в которой он сможет обучаться.

Небезызвестный Emotiv EPOC - реализация интерфейса мозг-компьютер - обладает существенным недостатком: закрытая кодовая база, которая может использоваться только под Windoows. Как бы не был странен мне такой выбор производителя, его можно понять: сам девайс - десяток дешевых микросхем, а основная, наукоемкая часть скрыта именно в коде. Но, так как сообщество открытого исходного кода тоже хочет приобщится к современным технологиям BCI (и, подозреваю, оно могло бы составить основную массу потребителей), нашелся энтузиаст, взломавший протокол обмена и подключивший Emotiv EPOC к linux.

Переобучение 2010-09-13 05:58 Андрей Орлов 

Ценным свойством нейросети является спсособность к обобщению - т.е. способность сети давать правильные ответы на тех примерах, которых не было в обучающей выборке. Отсюда возникают два важных критерия обучения сети: ошибка обучения и ошибка обобщения.

On the Effective VC dimensions 1994-06-28 00:00 Leon Bottou 

Замечательная идея "Эффективной Размерность Вапника — Червоненкиса (или VC-размерность)" основана на гипотезе о том, что зависимость между ошибкой обобщения и числом обучающих примеров может быть выражена формулой, алгебраически сходной с VC-гранью. Эта гипотеза вызывала серезное обсуждение с тех пор, как традиционная VC-грань широко использовалась для оценки ошибки обобщения.

В этой статье описана зависимость алгоритма и данных от оценки емкости. Доверительный интервал может быть получен из разности между ошибкой обучения и ошибкой обобщения. Этот доверительный интервал намного уже, чем традиционная VC-грань.

Дополнитеьлная точность получается простым изменением формулировки: этот доверительный интервал охватывает разницу между ошибкой на обучающем и тестовом множестве, вместо разницы ошибок на обучающем множеством и некоторой гипотетической абсолютной истиной. Такой "трансдуктивный" метод допустим для оценки данных и алгоритма на основе доверительного интервала.

Оригинал статьи: On the Effective VC Dimension (как PDF)

Network Information Criterion - Determining the Number of Hidden Units for an Artificial Network Model 1992-06-22 00:00 Noboru Murata, Shuji Yoshizawa, Shun-ichi Amari 

Проблема выбора модели или определения числа скрытых элементов проясняется статистическим подходом, обобщающим Информационный Критерий Акайка (AIC), так, чтобы быть применимым к неточным (или не реализуемым) моделям с обобщенным критерием потерь, включающим регуляризационные составляющие. Отношение между ошибкой обучения и ошибкой обобщения изучается в терминах числа обучающих примеров и сложности сети, что снижает число параметров в обычной статистической теории AIC. Это отношение приводит к новому Сетевому Информационному Критерию, который полезен для выбора оптимальной модели сети или определения числа скрытых элементов на основе данного обучающего множества.

Оригинал статьи: Network Information Criterion - Determining the Number of Hidden Units for an Artificial Network Model (как PDF)

Искусственный Интеллект 2010-08-11 16:41 Андрей Орлов 

Искусственно созданная система (подразумевается - человеком), проявляющая свойства разумности, сопоставимые или превосходящие человеческий интеллект.

DreamBot+МосГИРД=БоргГИРД 2010-08-11 15:08 Андрей Орлов 

Может, жара повлияла на принимаемые решения, а может жара в Москве ясно дала понять, что земля не самое пригодное место для обитания, но только мы (dreambot) и пресловутые они (mosgird) заключили предварительное соглашение о заселении космоса киборгами.

Недавно одна известная компания на ровном месте столкнулись с кризисной ситуацией: сотрудники увлеклись доступом к интернет настолько, что использовали его на сумму, сопоставимую с фондом заработной платы. Решение было найдено быстро: дешевый нелимитированные канал, предоставляемый компанией Yota (простите за невольную рекламу). Но, несмотря на то, что Yota честно отрабатывает свои деньги, это решение оказалось началом дороги в ад: снижение скорости доступа в 30 раз привело к конфликтам и неосознаному саботажу со стороны сотрудников: раз работать стало трудно, то стоит ли работать вообще?

Наивное решение лежало на поверхности: пустить рабочий трафик по быстрому каналу, а новостной и развлекательный (доля которого оказалась значительной) - по бесплатному. Но тщетными были надежды, что сбегутся радостные сотрудники и скажут: "Да, да! Вот этот сайт мы используем для работы!", - никто не пришел, а вызывать сотрудников по одному в комнату с утюгом и паяльником показалось затеей бесперспективной.

Тогда появилась идея составить "модель сотрудника", и жестко допросить ее о пристрастиях.

Экзокортекс 2010-04-08 18:24 Андрей Орлов 

Гипотетическое устройство, подключаемое тем или иным образом к человеку и выполняющее функции, сходные с функциями коры головного мозга: т.е. имитирующее высшую нервную деятельность. Предположительно, может использоваться для протезирования или как средство "усиления разума".

В этом тексте речь пойдет о существовании в прошлом бикамерального разума. Бикамеральный разум - когнитивное состояние человека, характеризующееся неучастием самосознания в процессе жизни человека, в особенности при необходимости принятия сложных решений. Теория о наличии бикамерального разума у представителей homo sapiens в период с появления вида и до возникновения письменности была предложена канадским учёным Джулианом Джейнсом в результате проведённого им глубокого исторического, физиологического анализа, самоанализа и исследований языка. Бикамеральный разум был ярко выражен у героев «Илиады» и выражался в отсутствии у них самосознания, вместо которого присутствовали аудиальные галлюцинации, порождаемые правым полушарием мозга и воспринимавшиеся левым полушарием как голоса Богов.

Открыта новая версия сайта Neural.Ru 2010-02-03 15:54 Андрей Орлов 

Открыта новая версия сайта Neural.Ru. Сайт перенесен на новый, современный движок CMS DreamBot. Содержание сайта также существенно изменилось, так, чтобы больше соответствовать теме сайта: нейросети, искусственный интеллект и все, что с этим связано.

ноголетние исследования в разных направлениях привели, наконец, к возможности предложить решение для двунаправленного нейрокомпьютерного интерфейса. Причем, в данном случае речь идет не о знаменитых поделках на основе ЭЭГ (Neuroactuator, EPOC и другие), а о непосредственном контакте, который позоволит выполнять более целенаправленный и точный обмен.

Для специалистов, создающих вычислительные нейроподобные структуры, искажение работы сети при введении нового нейрона не является чем-то новым: то, что сеть может "забыть" часть того, чему была обучена очевидно. Введение нового нейрона в этом смысле ничуть не лучше удаления старого: это повреждение сети. Но вот группа японских нейробиологов смогла продемонстрировать этот эффект в естественной нейронной сети мозга (точнее, гиппокампа) и пришли к интересным выводам.

Многочисленные группы исследователей пытаются воплотить в жизнь нейрокомпьютерный интерфейс, позволяющий управлять реальностью силой мысли. Возможно, поэтому на на недавней выставке привлек большое внимание перформанс исследователей, представивших форму поверхности альфа-ритма в виде куска мягкой пены: оператор Вася надел сеточку электроэнцефалографа, подумал "Удобно!" и трехмерный диаграмма была отправлена на фрезерный станок, вместо привычного лазерного принтера. Конечно, ЭЭГ слова "удобно" имеет такое же отношение к пониманию удобства оператором Васей, как радиоперехват космического шума к предстставлениям об удобстве среди инопланетных рас, но эта демонстрация хорошо иллюстрирует желаемый технологический процесс.

Многочисленные поклонники "Мехов" из Аниме, возможно, не очень в курсе, что такой "Мех" является одним из концептуальных понятий киборгизации - киборгизации через создание "Экзоскелета": создания специальной, высокоинтеллектуальной аппаратуры, дополняющей возможности человеческого тела, но, в отличие от различных танков и самолетов, сохраняющих антропоморфизм. Предположительно, такое устройство более легко управляется и более универсально чем танк или грузовик (при сопоставимом поражающем эффекте). Группа японских (кто бы сомневался) разработчиков работает в направлении создания одной из компонент экзоскелета и уже близка к завершению.

сеть Кохонена-Гроссберга 2009-07-21 15:14 Андрей Орлов 

Сеть Кохонена-Гроссберга это двуслойная сеть, используемая, в основном, в задачах классификации. Первый слой сети - сеть Кохонена, обучаемая для получения наилучшего представления векторов обучающей выборки. Второй слой - сеть Гроссберга, обучаемый отображать нейроны слоя Кохонена на различные классификационные рубрики. Слой Гроссберга обучается "с учителем".

Таким образом, сеть Кохонена-Гроссберга позволяет выделить в пространстве входных векторов области, соответствующие каждой из предъявленных рубрик.

Семантическое ядро 2009-07-20 16:09 Андрей Орлов 

Семантическое ядро - это множество связанных между собой слов (или понятий), отобранных по некоторому критерию. Понятие семантического ядра находит применение в лингвистике, статистическом анализе текста, разработке поисковых систем и поисковой оптимизации.

Векторная модель текста 2009-07-13 21:46 Андрей Орлов 

Векторная модель текста определяет способ представления текста для последующего использования в алгоритмах классификации и полнотекстового поиска, основанных на анализе статистических характеристик.

Статистический анализ текста позволяет выделить в нем значимые слова, которые могут быть использованы для поиска, рубрикации и автоматического аннотирования. Программа semanticcore реализует некоторые из таких алгоритмов и позволяет составить словарь значимых слов в полуавтоматическом режиме. Реализованные алгоритмы основаны на векторной модели текста и ориентированы на выделение т.н. семантического ядра предметной области.

В этой статье приводятся подробные инструкции по ее использованию.

nd.semanticcore 2009-07-13 13:10 Степан Ломов 

Программа поиска семантического ядра

A Growing Neural Gas Network Learns Topologies 1995-06-29 21:47 Bernd Fritzke 

В статье введена инкрементальная модель сети, которая способна обучатся важным топологическим отношением между входными векторами, посредством простого Хэббовского правила. В противоположность предыдущему подходу, сходному с "Neural Gas", методу Martinetz и Schulten (1991, 1994), эта модель не имеет параметров, которые изменяются во времени, и способна продолжать обучение, добавляя узлы и соединения, до тех пор пока не будет ограничена производительностью. Приложение этой модели включает в себя векторную квантизацию, кластеризацию, и интерполяцию.

Оригинал статьи: A growing neural gas network learn topologies (как PDF)

Нейронный газ 2009-06-29 21:29 Степан Ломов 

Нейронный газ - конструктивная сеть, в которой нейроны добавляются до тех пор, пока их добавление имеет смысл с точки зрения накопленной ошибки. В остальном метод обучения сети сходен с сетью Кохонена.

Визуализация подразумевает способ представления данных, который будет не только интуитивно-понятен, но и информативен: т.е. содержать особенности, критичные для принятия решения. В этой статье рассматривается использование метода наилучшей квантизации для улучшения информативности представления в форме гистограммы и "облака тегов".

CELL 2008-11-24 19:34 Степан Ломов 

CELL - микропроцессорная архитектура, основанная на совмещении ядра общего назначения с сопроцессорами, которые значительно ускоряют обработку мультимедиа и векторных вычислений.

TrustMetric 2008-11-24 17:58 Степан Ломов 

Оценка доверия - способ, позволяющий оценить доверие, которое может быть оказано участнику сообщества.

Сеть Кохонена 2008-10-05 19:58 Андрей Орлов 

Нейронная сеть Кохонена - это сеть, которая обучается без учителя. Работа и обучение сети происходит по соревновательному принципу "победитель получает все": из всех нейронов выбирается нейрон, наилучшим образом опознавший предъявленный вектор. Этот нейрон используется для получения выходного сигнала сети или же в алгоритме обучения.

Квантизация 2008-10-05 18:44 Андрей Орлов 

Квантизация - это представление большого числа отсчетов некоторой величины небольшим количество областей, на которые разбито пространство этих величин.

Если нужно составить словарь ключевых слов вашей предметной области, например, чтобы обеспечить таргетинг поисковых систем, то можно пойти двумя путями: нудной работой с попытками "угадать" возможные запросы или быстрый анализ уже существующей подборки текстов, чтобы получить слова, отличающие ваши тексты от всех других.

Эта статья описывает второй подход: автоматическое составление семантического ядра по готовой подборке текстов.

Новые времена - новые задачи 2007-11-15 10:13 Andrey Orlov 

Семь лет назад я написал статью под названием Нейросети и интернет. Статья должна была стать чем-то определяющим мое развитие на ближайшие несколько лет, однако не стала - занимался я много чем другим и было совсем не до того. Но вот настал день, когда, как я надеюсь, я могу возобновить заниматься тем, чем хотел.

Подавляющее большинство задач, поставленных раньше, сейчас уже являются объектом крупного бизнеса, что дает основания предположить, что так или иначе их решение найдено. Но, старые задачи уходят - новые появляются. Попробуем написать что-то о задачах сегодняшнего дня.

Я некоторое время не в теме был, так что отнеситесь к этому как к взгляду из прошлого.

nd.hopfiled 2008-04-13 18:30 Степан Ломов 

Примитивная реализация сети Хопфилда, сделана только для демонстрационных целей.

По всем вопросам сотрудничества обращаться к: Andrey Orlov, +7 926 222 99 63, partner@dreambot.ru

Сайт предоставляет материалы, если не оговорено обратное, на условиях GPLv2 и GNU FDL. При перепечатке материалов ссылка на сайт обязательна. Практически все опубликованные продукты доступны на PYPI

Эпицентр Zope3 Учат тут DreamBot Репозиторий Статистика Редакторам
Официальный сайт Zope3 Московская группа изучения реактивного движения The Dream Bot Site