Рекуррентная Каскадная Коррелляция (РКК) - это рекуррентная версия обучения архитектуры Каскадной Корреляции, предложенной Fahlman и Lebiere. РКК может обучатся на примерах отображения последовательности входов в желаемую последовательность выходов. Новый скрытые элементы с рекуррентными соединениями добавляются к сети в то время, как в них возникает нужда во время обучения. В результате, сеть строит конечный автомат специально для решаемой задачи. РКК сохранила все преимущества Каскадной Корреляции: быстрое обучение, хорошее обобщение, автоматическое создания близкой к минимально-допустимой многослойной сети и возможность обучаться сложному поведению через последовательность простых "уроков". Большие возможности РКК продемонстрированы на двух задачах: обучение автоматной грамматике на примере строк, принадлежащих языку этой грамматики, и обучение распознаванию символов кода Морзе.

Оригинал статьи: The Recurrent Cascade-Correlation Architecture (как PDF)

"Каскадная Корреляция" - новая архитектура и алгоритм обучения с учителем для нейронных сетей. Вместо того, чтобы только настраивать веса в сети фиксированной топологии, "Каскадная Корреляция" начинается с минимальной сети, затем автоматически обучается и добавляет новые скрытые элементы один за другим, создавая многослойную структуру. Как только новый скрытый элемент добавлен к сети, веса его входных связей замораживаются. Этот элемент затем становится постоянным детектором в сети, доступным для получения выходного сигнала или для формирования другого, более сложного детектора. Архитектура "Каскадной Корреляции" имеет несколько преимуществ перед существующими алгоритмами: она обучается очень быстро, сеть определяет свой собственный размер и топологию, она сохраняет структуры, которые она выстроила, даже если обучающее множество изменилось и она не требует обратного распространения сигнала ошибки через связи сети.

Оригинал статьи: The Cascade-Correlation Learning Architecture (как PDF)

Большинство конективистстких обучающихся систем (или "нейросетей") используют разновидность алгоритма обратного распространения (back-propagation). Однако, обучение при помощи обратного распространения для многих приложений слишком медленно и плохо масштабируется, когда задачи становятся большей размерности и сложности. Факторы, контролирующие скорость обучения малопонятны. Я начал систематическое, эмпирическое изучения скорости обучения в алогоритмах, сходных с обратным распространением на различных тестовых задачах. Цель была двоякой: разработать быстрый алгоритм обучения и сделать вклад в методологию, который будет иметь значение в будущих исследованиях такого рода.

Эта статья описывает результаты, достигнутые в течении первых шести месяцев исследований. К этому времени я рассмотрел только небольшое количество тестовых задач, но результаты обнадеживают: я разработал новый алгоритм обучения, который быстрее стандартного алгоритма обратного распространения на порядок величины или более и, как оказалось, он хорошо масштатабируется при увеличении размерности задачи.

Оригинал статьи: An Empirical Study of Learning Speed in Back-Propagation Networks (как PDF)

Мы представляем самоорганизующуюся "нейронную" сеть для решения задачи коммивояжера. Она частично основана на сети Кохонена. Наш подход отличается от прежних работ в этом направлении тем, что не используются кольцевые структуры с фиксированным количеством элементов. Вместо этого, небольшая начальная структура постепенно распространяется и увеличивается. Это позволяет заменить начальный шаг поиска, который, обычно, требует времени O(n), локальной процедурой, которая требует время O(1). Так как полное количество шагов поиска, которые нужно выполнить, оценивается величиной O(n), то время, затрачиваемое нашей моделью, линейно зависит от размерности задачи. Это лучше, чем любой другой известный нейронный или конвенциональный алгоритм. Длина пути найденного решения, обычно, менее чем на девять процентов длиннее, чем оптимальное решение, известное для такой задачи из литературы.

Оригинал статьи: FLEXMAP - A Neural Network For The Traveling Salesman Problem (как PDF)

В статье введена инкрементальная модель сети, которая способна обучатся важным топологическим отношением между входными векторами, посредством простого Хэббовского правила. В противоположность предыдущему подходу, сходному с "Neural Gas", методу Martinetz и Schulten (1991, 1994), эта модель не имеет параметров, которые изменяются во времени, и способна продолжать обучение, добавляя узлы и соединения, до тех пор пока не будет ограничена производительностью. Приложение этой модели включает в себя векторную квантизацию, кластеризацию, и интерполяцию.

Оригинал статьи: A growing neural gas network learn topologies (как PDF)

Замечательная идея "Эффективной Размерность Вапника — Червоненкиса (или VC-размерность)" основана на гипотезе о том, что зависимость между ошибкой обобщения и числом обучающих примеров может быть выражена формулой, алгебраически сходной с VC-гранью. Эта гипотеза вызывала серезное обсуждение с тех пор, как традиционная VC-грань широко использовалась для оценки ошибки обобщения.

В этой статье описана зависимость алгоритма и данных от оценки емкости. Доверительный интервал может быть получен из разности между ошибкой обучения и ошибкой обобщения. Этот доверительный интервал намного уже, чем традиционная VC-грань.

Дополнитеьлная точность получается простым изменением формулировки: этот доверительный интервал охватывает разницу между ошибкой на обучающем и тестовом множестве, вместо разницы ошибок на обучающем множеством и некоторой гипотетической абсолютной истиной. Такой "трансдуктивный" метод допустим для оценки данных и алгоритма на основе доверительного интервала.

Оригинал статьи: On the Effective VC Dimension (как PDF)

Проблема выбора модели или определения числа скрытых элементов проясняется статистическим подходом, обобщающим Информационный Критерий Акайка (AIC), так, чтобы быть применимым к неточным (или не реализуемым) моделям с обобщенным критерием потерь, включающим регуляризационные составляющие. Отношение между ошибкой обучения и ошибкой обобщения изучается в терминах числа обучающих примеров и сложности сети, что снижает число параметров в обычной статистической теории AIC. Это отношение приводит к новому Сетевому Информационному Критерию, который полезен для выбора оптимальной модели сети или определения числа скрытых элементов на основе данного обучающего множества.

Оригинал статьи: Network Information Criterion - Determining the Number of Hidden Units for an Artificial Network Model (как PDF)