Нейронные сети

Helgus ~ µастер ~ Kласс: Это незавершённая статья по ивентологии и её применениям

Традиционно, термин «нейронная сеть» используется, для обозначения сети или цепи (биологических) нейронов. Современное использование этого термина для обозначения искусственных нейронных сетей, которые состоят из искусственных нейронов или узлов. Таким образом, термин имеет два различных значения:

Биологическая нейронная сеть, состоящая из биологических нейронов которые связаны или функционально связаны(зависимы) в периферийной нервной системе или в центральной нервной системе. В области нейронауки, они часто определяются как группы нейронов, которые выполняют специфические физиологические функции в анализах лабораторий (лабораторном анализе).

Искусственные нейронные сети составлены из соединения искусственных нейронов (программирующий конструкции, которые подражают свойствам биологических нейронов). Искусственные нейронные сети могут или использоваться, чтобы получить понимание биологических нейронных сетей, или для того, чтобы решить проблемы искусственного интеллекта, обязательно не создавая модель реальной биологической системы. Реальная, биологическая нервная система очень сложна и включает некоторые особенности, которые могут казаться лишними основанный на понимании искусственных сетей.

Эта статья сфокусирована на взаимоотношениях между этими двумя различными концепциями; для детального знакомства с каждой из них смотрите отдельные статьи: Биологическая нейронная сеть и Искусственная нейронная сеть.

Краткий обзор[]

Вообще биологическая нейронная сеть состоит из группы или групп химически связанных или функционально связанных нейронов. Единственный нейрон может быть связан со многими другими нейронами и общее количество нейронов, и связей в сети может быть достаточно большим. Связи, названные синапсами, обычно формируются из аксонов и дендритов, хотя, к примеру, дендродендрическая микросхема [1] или другие связи возможны.

Искусственный интеллект и когнитивное (познавательное) моделирование пробует имитировать некоторые свойства нейронных сетей. Пока общее в методах, так и общая цель – решения специфических задач, в то время как последние ставит целью построить математические модели биологических нервных систем. Искусственные нейронные сети эффективно применяются, в области искусственного интеллекта, для распознавание речи, анализа изображения и контроля адаптации (адаптивного контроля), в основном, для создания нового специального программного обеспечения (software agents) (в компьютерных и видео играх) или обеспечения автономности роботов. Большинство, в настоящее время используемых, искусственных нейронных сетей для искусственного интеллекта основано на статистической оценке, оптимизации и теории управления.

В область работы когнетивного моделирования входит физическое или математическое моделирование поведения нервной системы; ранжирование в пределах индивидуального нервного уровня (например, моделирование всплеска на кривой ответа нейронов к стимулу), через нервный уровень группы к всему организму (например поведенческое моделирование ответа организма на стимулы).

История нейронных сетей[]

Понятие нейронных сетей появилась в конце 19 века, в качестве попытки описать, как устроен человеческий мозг. Эти идеи начали применять для вычислительных моделей для B-типа Машины Тьюринга и Перцептрона.

В начале 50-ых 20 века, Фридрих Хайек был одним из первых, кто пытался установить идею непосредственного заказа в мозге, возникающим из децентрализованных сетей простых единиц (нейронов). В конце 1940-ых, Дональд Хебб сделал одну из первых гипотез для механизма нервной пластичности (то есть возможность обучаться), обучение Хэбба. Обучение Хэбба, считается 'типичным' неконтролируемым правилом обучения, и это (и варианты этого) была ранняя модель для долговременного потенциала (Long-term potentiation или LTP).

Параллельные распределенные вычисления середины 1980-ых стали популярными под названием коннективизм.

Повторное открытие метода обратного распространения ошибки было вероятно главной причиной нового роста популярности нейронных сетей после публикации "Обучение Внутренних Представлений Ошибочным Распространением" (Learning Internal Representations by Error Propagation) в 1986 (хотя обратная связь непосредственно публикуется с 1974). Оригинальная сеть использовала многократные слои суммарного веса единиц (юнитов) типа $f = g(w'x + b)$ , где $g$ является функцией сигмоида или логистической функцией, типа используемого в логистическом регрессе. Обучение было сделано формой стохастического наибыстрейшего градиента.

Мозг, нейронные сети и компьютеры[]

Нейронные сети, также используемые в искусственном интеллекте, традиционно рассматривались как упрощенные модели нервной процессов в мозге, даже при том, что отношение между ними, моделируемой и биологической архитектурой мозга обсуждено. Предмет текущего исследования в теоретической нейронауки – вопрос о степени сложности и свойствах, что индивидуальным нервным элементам придется воспроизвести что-нибудь, и результат должен быть схожим с его живым аналогом.

Исторически, компьютеры развились от архитектуры Фон Нейманна Джон фон Нейман, которая основана на последовательной обработке и выполнении явных инструкций. С другой стороны, происхождение нейронных сетей основано на усилиях моделировать обработку информации в биологических системах, которые могут положиться в значительной степени на процессы обработки идущих параллельно, так же как неявные инструкции, основанные на опознании образцов 'сенсорного' входа из внешних источников. Другими словами, в самом сердце нейронной сети сложный статистический процессор (в противоположность тому, чтобы последовательно обработать и выполнять).

Нейронные сети и искусственный интеллект[]

Основная статья: Искусственная нейронная сеть

Искусственные нейронные сети (ИНС), также называемые эмитируемые нейронные сети, или чаще всего, просто нейронные сети, представляют собой группу искусственных нейронов, которые пользуются математическими и компьютерными моделями для информационных процессов основанных на коннективистком подходе к вычислениям. В большинстве случаев ИНС – это адаптивная система, которая изменяет свою структуру, основываясь на обработке на входящей или исходящей информации В более практическом смысле, нейронная сеть это нелинейное статистическое моделирование данных или инструменты принятия решений. Они могут использоваться, чтобы моделировать сложные отношения между входами и выходами или распознования образа в данных. Полезность моделей ИНС заключается в том, что модели могут быть использованы для вывода функции, на основе наблюдений (имеющихся данных). Это особенно полезно для применения, где сложность данных или задачи делает вывод такой функции в ручную непрактичным.

Применение[]

Полезность моделей ИНС заключается в том, что модели могут быть использованы для вывода функции, на основе наблюдений (имеющихся данных). Это особенно полезно для применения, где сложность данных или задачи делает вывод такой функции в ручную непрактичным.

Задачи, для решения, которых применяют ИНС, можно разделить на следующие категории:

Функция приближения, или регрессионный анализ (линейный), включающий предсказания временных периодов и моделирование.
Классификация, включающая определение образца и последовательности, определение новизны и последовательное принятие решение.
Обработка данных, включающая фильтрование, кластеризацию, слепое разделение источников и сжатие.

Прикладные области включают идентификацию системы и контроль (контроль устройства, контроль производственным процессом), геймплей и принятие решения (нарды, шахматы), распознавание образов (радарные системы, идентификация лица, определение объектов и много больше), распознавание последовательности (жест, речь, распознавание рукописного текста), медицинский диагноз, финансовые заявления (автоматизированные системы торговли), поиск данных (или поиск информации в базах данных (knowledge discovery in databases, "KDD")), визуализация и фильтрование электронной почты от спама.

Программное обеспечение нейронных сетей[]

Программное обеспечение нейронных сетей используется для моделировать (имитирования), исследования различных процессов, развития и применения в ИНС, биологических нейронных сетях, и в некоторых случаях, для большого множества адаптивных систем.

Обучение[]

Есть три главных парадигмы обучения, каждая соответствует специфической абстрактной задаче обучения. Они контролируемое обучение, неконтролируемое обучение и Обучение с подкреплением. Обычно любой данный тип архитектуры сети может использоваться в любой из этих задач.

Контролируемое обучение, или обучение с учителем - способ постановки эксперимента, в ходе которого НС обучается с помощью примеров пар $(x, y), x \in X, y \in Y$ , (вход-эталон), и наша цель состоит в том, чтобы найти функцию $f:X \rightarrow Y$ среди всех возможных функций, который совпадают с примерамм. Другими словами, мы хотим построить карту, соответствующую данным; функция оценки связана с несоответствием между нашей каротй и данными, и это неявно содержит уже известную информацию в области проблемы.

В неконтролируемом обучении, или обучении без учителя, имеется некоторая переменная $x$ , и функция оценки, которая будет минимизирована, и которая может быть любой функцией от переменной $x$ и выходными данными сети, $f$ Функция оценки зависит от задачи (что мы хотим смоделировать), и наших априорных предположений (неявные свойства нашей модели, ее параметров и переменных). Приведем простой пример, рассмотрим модель $f(x)=a$ , где $a$ и функция оценки $C=E[(x - f(x))^2]$ . Минимизирую эту оценку, мы получим оценку $a$ , которая равна значению данных. Функция оценки может быть сложнее. Ее вид зависит от заявления. Для примера, при сжатии, она может быть связана с взаимной информацией между x и y. В статистическом моделировании, будет связь с апостериорной вероятностью модели имеющихся данных.

В обучении с подкреплением, переменная $x$ как правило не дается, но генерируется по средствам взаимодействия агента с окружающей средой. В каждый момент времени $t$ , агент выполняет некоторое действие $y_t$ и окружающая среда генерирует наблюдение $x_t$ и мгновенную стоимость Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle с_t } , согласно некоторым (как правило не известным) динамикам. Цель, исследовать "политику" выбора действий минимизирующих некоторую меру долгосрочной оценки, т.е. ожидаемой совокупности оценки.

Алгоритмы обучения Обучение модели нейронной сети, по существу, означает выбор одной модель из множества возможных моделей (или, по Баясу, определить распределение по набору возможных моделей), который минимизирует критерий оценки. Есть многочисленные алгоритмы, доступные для того, чтобы обучать модели нейронной сети; большинство из них может рассматриваться как прямое приложение теории оптимизации и статистической оценки.

Критика[]

Общая критика нейронных сетей, особенно в робототехнике, заключается в том, что ИНС требуют большого разнообразия обучения(тренировок) для операции реального мира (применения в реальном мире). Дин Померлео (Dean Pomerleau), в его исследовании, представленном в работе "Обучении, основанное на знаниях, искусственных нейронных сетей для автономного движения робота", использует нейронная сеть, чтобы обучать автоматизированное транспортное средство двигаться на различных типах дорог (единственный переулок(единственная прямая), мультипереулок, грязь, и т.д.). Большое количество его исследования посвящено (1) экстраполирование многократных сценариев обучения от единственного учебного опыта, и (2) сохранение прошлых учебных разнообразие(вариантов) так, чтобы система не стала перетренированной (запрограммированной) (если, например, представлены варианты, где везде есть поворот направо - это не значит, что модель должна учиться всегда поворачивать направо). Эти проблемы обычны в нейронных сетях, которые должны быть решены при помощи широкого разнообразия ответов.

А.К. Дьюдней (A. K. Dewdney), прежний кореспондент Scientific American, писал в 1997 году: «Хотя нейронные сети действительно решают несколько игрушечных проблем, их вычислительные возможности столь ограничены, что я удивлен, что все относится к ним так серьезно как к главному решающий проблему инструменту» («Although neural nets do solve a few toy problems, their powers of computation are so limited that I am surprised anyone takes them seriously as a general problem-solving tool»).

Аргументы против позиции Дьюдни, это то, что нейронные сети успешно применялись для решения многих сложных и различных задач, а также для непилотируемых самолетов [1], или для выявления мошенничеств с кредитными картами [2]..

Технолог Роджер Брайдгман прокомментировал утверждения Дюдней о нервных сетях:

Нейронные сети, к примеру, находятся в доке (Dock) не только потому, что они были превознесены до небес, (что не так?) но также и потому что Вы можете создать успешную сеть, не понимая, как она работает: набор чисел, которая определяют поведение сети, может при всей вероятности быть "непонятной, нечитабельной таблицей ... бесполезной как научный ресурс". (Neural networks, for instance, are in the dock not only because they have been hyped to high heaven, (what hasn't?) but also because you could create a successful net without understanding how it worked: the bunch of numbers that captures its behaviour would in all probability be "an opaque, unreadable table...valueless as a scientific resource".)

Литература[]

Arbib, Michael A. (Ed.) (1995). The Handbook of Brain Theory and Neural Networks.

Arbib, Michael A. (Ed.) (2008). Computing The Brain - A Guide To Neiroinformatics.

Bar-Yam, Yaneer (2003) Dynamics of Complex Systems.

Bhadeshia H. K. D. H. (1992) Neural Networks in Materials Science.