Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Тема для медитации: поиск максимального элемента в массиве хорошо решается без НС, давай будем обсуждать только эту задачу и придём к выводу, что бесполезнее НС только Дима Билан

Так для каких целей НС эффективны-то? Я что-то так и не понял?

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Если интересна тема, предлагают спросить у гугла о traveling salesman problem neural networks и читать сверху вниз.
Долго читать?
Меня правда заинтересовало как так можно, похоже что не особо можно
Там нашлось много абстрактов, на тему (что мы вот придумали как улучшить подход Коханена, патаму шта он работает плохо)
Есть вообще обзор проблемы, IMHO, нейросети в нём упомянуты очень вскользь...
Если правда что-то про это знаешь, то расскажи таки коротенько, потому что в гугол и я послать тебя могу

NGG>В этом с тобой не согласятся ettcat, я вместе с ним и ты же сам: ( http://rsdn.ru/forum/message/2964815.1.aspx

Автор: ettcat
Дата: 26.05.08

)
Этот тип задач анологичен задачам классификации и тоже лучше решается через геом. места, ровно по тем же причинам...

NGG>Тема для медитации: поиск максимального элемента в массиве хорошо решается без НС, давай будем обсуждать только эту задачу и придём к выводу, что бесполезнее НС только Дима Билан

Тема, для "просто чтения": Я не утверждал про другие задачи ничего, наоборот мне интересно в каких же задачах НС таки эффективны? AFAIK, таких нет, но может быть тебе они известны?..

Здравствуйте, Erop, Вы писали:

E>Так для каких целей НС эффективны-то? Я что-то так и не понял?

Под редакцией Галушкина А.И. вышло 40 (что ли) томов о примененнии нейронных сетей в различных областях.
Там подробно описаны задачи, которые решаются нейросетями и описано практическое применние. Китай, н-р, в этом вопросе, можно сказать, впереди планеты всей

"Историй успеха" в нашей стране — назвать не могу. Не потому, что их нет, а потому что не знаю. Министерство финансов заказывало и получило НС для "предскзания" ВВП по доступным параметрам Слышал про заводик по производству полиэтиленовых пакетов, где для управления станками используются НС (там оказывается тоже хватает простора для оптимизации производства). Ведутся исследования, ездят люди на конференции по этой тематике за бугор. Чем закончилась история с доменными печами не в курсе, я в самом начале истории покинул кафедру. Может и внедрили что-нибудь

А вообще твой вопрос очень похож на вопросы из холиваров: "На кой сдалась ваша java? Покажите хоть одну программу у меня на компьютере, написанную на java! А на дельфе есть TheBat!" — и так далее. А люди-то работают, пишут что-то и даже деньги получают

Область применения НС слабо пересекается с задачами встающими перед 99% программистов. Это факт. Поэтому за примерами нужно обращаться к тому 1%, который в курсе дела. А я отношусь к гордому большинству

Здравствуйте, Erop, Вы писали:

E>Долго читать?

До просветления

E>Там нашлось много абстрактов, на тему (что мы вот придумали как улучшить подход Коханена, патаму шта он работает плохо)

И? Это палка:
а) в огород сети коханена
б) авторов абстрактов
в) что-то ещё

E>Есть вообще обзор проблемы, IMHO, нейросети в нём упомянуты очень вскользь...
О чём это должно сказать?

E>Если правда что-то про это знаешь, то расскажи таки коротенько, потому что в гугол и я послать тебя могу

Я не занимался этой задачей, помню мало. Ей занимался сокурсник. Оказывается очень много прикладных задач (н-р, управления ресурсами в многопроцессорных системах) к ней сводящихся. Кроме модификаций Коханена используются есть и другие подходы к решению.


E>Этот тип задач анологичен задачам классификации и тоже лучше решается через геом. места, ровно по тем же причинам...
Вспоминается анекдот про молоток и гвозди

E>Тема, для "просто чтения": Я не утверждал про другие задачи ничего, наоборот мне интересно в каких же задачах НС таки эффективны?

Мы об этом уже не один день говорим: как минимум в тех, где обычные решения упираются в ограничения по "эффективность делить на стоимость".

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Мы об этом уже не один день говорим: как минимум в тех, где обычные решения упираются в ограничения по "эффективность делить на стоимость".

Так и что это за задачи-то? Фактически что? Управление производством полиэтиленовых пакетов?
Вот не верю, что это проходит по "эффективность делить на стоимость". Лет 20 назад может и проходило, но сейчас вычислительные мощности экстремально дёшевы...

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Область применения НС слабо пересекается с задачами встающими перед 99% программистов. Это факт. Поэтому за примерами нужно обращаться к тому 1%, который в курсе дела. А я отношусь к гордому большинству
Ну-ну. Я вот, например, много лет AI занимаюсь, и чем дольше занимаюсь, тем скептичнее к НС отношусь...

Здравствуйте, vit0s, Вы писали:

Обращение ко всем участникам беседы.
Не заводите повторно холивар , кому это надо.
На той стадии развития, на которой сейчас находятся нейросети, в новую эру не уплывешь .

Однако, давайте вспомним, что до 60х годов даже не предполагали, что нейросети могут успешно нелинейно разделять пространства.
Что мешает в ближайшем будущем сделать похожий рывок, который выведет нейросистемы на новый уровень?

Ну а сейчас есть по крайней мере две области, где нейросети с успехом применяются
1. Теория хаоса. Как показала практика, простейший метод получения показателей Ляпунова -- с помощью нейросетей.
2. Анализ главных компонент. Для того, чтобы выделить главные компоненты нелинейно в достаточно сложной системе, надо затратить такую кучу ресурсов, что нейросети пока вроде единственный вариант.

В очередной раз повторяю -- никто не говорит, что нейросети -- панацея, и нельзя сказать что они г... , т.к. их используют, местами успешно, местами потому, что просто нет других вариантов.

Еще один яркий пример в пользу оных.
На чемпионате по автотрейдингу в 2007 году победил украинец, подняв начальный депозит в 13(!) раз за 3 месяца.
Догадайтесь на чем была основана его автоматическая торговая система .

Спор можно продолжать бесконечно, однако я, к примеру, не собираюсь менять собственное мнение касательно нейросетей и никто на данном этапе не способен это мнение поколебать.
Да, приведенные выше аргументы имеют место быть. А приведенные контраргументы противники просто высмеивают, хотя они тоже имеют место.

Что ж, буду надеяться на то, что скептики будут когда-нибудь повержены, окончательно и бесповоротно.

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>>Но согласись, если другие методы не могут или могут, но за слишком большие деньги, то почему не попробовать НС?
E>Патамушта беспалезна!!!

E>Это, типа, последний раз ныряю.
E>Мы вроде договорились до того, что решение с НС состоит из трёх частей
E>1) Подгоовить вектор признаков/входов НС
E>2) Придумать архитектуру сети
E>3) обучить сеть

E>Так?

E>Если так, то смотри что у нас выходит
E>1) У нас нет хорошего способа понять хорошие ли признаки мы выбрали. Вернее есть, но он лежит в области изучения геом. мест классов в N-мерном пространстве признаков. Если уж мы всё равно будем изучать эти геом. места, то наверное разовьём или используем соответсвующий инструментарий. Тут уже до прямого описания геом. мест классов в пространстве признаков остаётся один шаг.

А зачем нам понимать? Это за на делает нейросеть. Затем мы анализируем ее структуру и исключаем незначимые признаки.
Дальше пустой треп.

E>2) Ещё раз обращу твоё внимание, что к построению арзитектуры сети имеет смысл переходить только если признаки плохие, потому что хорошие признаки легко классифициоруют и без сети...
E>Так вот мы как-то хитро гадаем на кофейной гуще, и берём с потолка, или почти с потолка топологию сети. Понятно, что если признаки не сепарабельны, то нажо брать что-то сложное, чтобы оно могло пострить какие-то неростотые границы. Во всяком случае более сложные, чем гиперповерхности второго порядка и гипермоногоранники. Ну берём какую-то архитектуру значит (на парктике наша фантазия может быть огранияенм сетевым железом)

Здесь все нормально, добавлю только, что структура сети может быть сколь угодно сложной, причем скорость обучения зависит не столько от сложности, сколько от количества нейронов.
А сложная -- не значит огромная.

E>3) Ну и учим. Тут у нас есть три возможных исхода
E>3а) Нам повезёт и сеть будет суперски работать. Это значит, что мы идиоты и какие-то относительно простого вмда признаки не нашли, либо мы нереальные пёрщики. Возможно из-за тогоо, что я не глуп, а может потому что я невезуч, но в моей пратике так НИКОГДА НЕ БЫВАЕТ
E>3б) Мы получаем переобученную сеть. То есть она прекрасно классифицирует обучающую выборку, и толкьо её. В этом нет ничего удивительного. Положим, у нас так получилось, что точки двух классов идут вперемешку. Понятно, что, например, гиперповерхность достаточно большого порядка (например порядка равного числу точек в обучающей выборке) может их разделить. Но понятно, что обцчающая выборка случайна, и если мы её "пошевелим", то точки сместятся в случайные места, и классификация мломается. Так что на обучающей выборке у нас будет счастье а в реале не заведётся (как вариант не заведётся на статистически независимой контрольной выборке)
E>3в) Вообще нифига не обучится, потому что признаки реально хреновые.

E>Ну если 3а, то счастье, но его не бывает, если 3в, то можно вернуться к шагу 2 и попробовать другую топологию. Если мы будем упорны, но не слишком везучи, то мы попадём в конце концов в 3б (либо вообще зациклимся, если достаточно сложную сеть построить не удастся)

E>Что делать, если мы пришли в 3б? Ну можно попробовать увеличить обучающую выборку, например. Тогда, опять же если мы не гипервезучи (либо гиперглупы), то мы попадём в 3в. И так по кругу. пок не попрёт по настоящему.

1. Ну вообще-то переобучить сеть довольно сложно. Для этого надо, чтобы ее память была много больше чем подаваемая выборка. Уменьшаем размеры сети.
2. Это может говорить о плохой выборке. Делаем несложный анализ. Выкидываем схожие и конфликтующие паттерны, нормализуем оставшуюся выборку.

E>При этом расширять обучающую выборку часто довольно накладно, так как надо где-то брать новые точки, то есть собирать классифицируемые материалы.
E>либо мы можем понять, что с такими признаками таки не попрёт, и вернуться к 1) и таки продолжить совершенствовать признаки...

1. Вообще то во многих случаях выборку можно дополнить искусственно, да и не в размере обычно проблема.

E>Короче, надо искать хорошие признаки + хорошие способы построения обучающей выборки (чтобы она содержада достаточно информации для обощения/аппроксимации), а не тратить ресурсы на 2 и 3...

Замечу, что 2 намного легче чем подбор признаков и может решаться тупым нахрапом.

E>Вот об этом я и говорю, что решения существенно базирующиеся на НС непредсказуемы и нетехнологичны,

... наверное потому что ты их предсказать не можешь потому и непредсказуемы

E>а вот подход, основанный на изучении геом. мест классов в пространстве признаков лишён этих недостатков...

... наверное потому что ты им владеешь

Короче всяк дроздок хвалит свой шесток .

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>>Неправда. Н-р, есть доменная печь. "Признаки" — это все возможные параметры, которые можно с неё снять. Они не могут быть плохие или хорошие — они даны по условию задачи. Можно эти данные предварительно обработать, но новых взять не откуда. А задачу решить нужно, т.е. выдать мезанизм управления печью более эффективный нежели имеющийся в наличии

E>1) Можно думать над дополнительным идатчиками.
E>2) Можно думать над операциями над имеющимися данными. Скажем над различными производными и интегралами, Фурье-анализом...
E>Но в действительности часто бывают такие инструментальные измерения, которые вообще не числа. Скажем в домне может быть изобраджение с ИК-камеры, например... Превратить в числа такую штуку можно многими очень способами...

E>Трёхслойная сеть -- это уже очень сложная функция. А "зарекомендовавшие себя топологии" -- это именно вот на кофейной гуще и есть. Так как никаких разумных соображений по выбору, кроме сокраментального "а может хватит", увы нет.

E>Ну а что касается "аппроксимировать функцию _любого_ вида с _любой_ заданной точностью" -- то просто список точек ещё лучше это умеет... Толку правда немного

Точки функцию аппроксимируют?? Нейросеть вообще-то задает гладкую непрерывную функцию, персептрон по кр. мере.

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, Кодёнок, Вы писали:

Кё>>Может НС и могут «выстрелить» в конкретных прикладных областях, но никакого потенциала организовать новую эру, новые модели вычислений я в них не вижу вообще. Им как минимум не хватает изобретения, которое бы позволило повторно использовать уже обученные сети при построении новых.

E>Я со всем более или менее согласен, кроме переиспользования. Это "изобретение" сделано уже несколько миллиардов лет как -- генетические алгоритмы называется

Приехали . Как генетические алгоритмы связаны с нейросетями?

Здравствуйте, tinytjan, Вы писали:

Хм, прочитал всю ветку и сам не выдержал .
Где-то это уже было... и лица те же

Сорри за оффтоп

Здравствуйте, tinytjan, Вы писали:

T> Точки функцию аппроксимируют?? Нейросеть вообще-то задает гладкую непрерывную функцию, персептрон по кр. мере.
А зачем для аппроксимации функции использовать персептрон, а не традиционные методики аппроксимации? Скажем сплайн какой-нибудь, например, или кусочно-ленейную аппроксимацию?
Если функция без особенностей, то и пофиг как аппроксимировать, а если с особенностями, то надо их найти и специально обработать. Можно это сделать персептроном, а можно и явно. Чем явно хуже? тем что понимаем, что делаем?

Здравствуйте, tinytjan, Вы писали:

T>Приехали . Как генетические алгоритмы связаны с нейросетями?
Так, что их удаётся использовать. Во всяком случае в природе
А других, AFAIK, способов развивать НС нетути...

Здравствуйте, tinytjan, Вы писали:

T>На той стадии развития, на которой сейчас находятся нейросети, в новую эру не уплывешь .
Совершенно согласен. Пока что нет в НС ничего такого умного и прорывного, что дало бы какую-то надежду.

T>Однако, давайте вспомним, что до 60х годов даже не предполагали, что нейросети могут успешно нелинейно разделять пространства.
T>Что мешает в ближайшем будущем сделать похожий рывок, который выведет нейросистемы на новый уровень?
Ну я писал там, выше.

T>Что ж, буду надеяться на то, что скептики будут когда-нибудь повержены, окончательно и бесповоротно.
Ну будем надеяться, что кто-то наконец породит эту отрасль в достойном виде, а не как сейчас...
Хотя, пока что, надежы, конечно, маловато

Но пока прорыва не произошло, IMHO, НС стоит заниматься только либо использую уже готовые отлаженные решения, либо занимаясь собственно организацией прорыва :)))

Здравствуйте, tinytjan, Вы писали:

T>Хм, прочитал всю ветку и сам не выдержал .
T>Где-то это уже было... и лица те же
Дык годы идут, а прорыва всё нет

T>Сорри за оффтоп
Взаимно

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, tinytjan, Вы писали:

T>> Точки функцию аппроксимируют?? Нейросеть вообще-то задает гладкую непрерывную функцию, персептрон по кр. мере.
E>А зачем для аппроксимации функции использовать персептрон, а не традиционные методики аппроксимации? Скажем сплайн какой-нибудь, например, или кусочно-ленейную аппроксимацию?
E>Если функция без особенностей, то и пофиг как аппроксимировать, а если с особенностями, то надо их найти и специально обработать. Можно это сделать персептроном, а можно и явно. Чем явно хуже? тем что понимаем, что делаем?

Потому что ни сплайн ни линейно-кусочная аппроксимация не универсальны, в отличие от допустим функции построенной на сигмоидах, которая, как уже заметили выше может саппроксимировать любую функцию с любой заданной точностью.

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, tinytjan, Вы писали:

T>>Приехали . Как генетические алгоритмы связаны с нейросетями?
E>Так, что их удаётся использовать. Во всяком случае в природе

Хехе , эко Вас понесло, батенька. Связь генетических алгоритмов с нейросетями одна -- это один из способов обучния сетей, причем далекооо не самый эффективный.

E>А других, AFAIK, способов развивать НС нетути...

Серьезно? Пообщайтесь с г-ном Виктором Царегородцевым, например. Еще труды В.А. Головко к примеру.
Я просто уверен, Вы найдете для себя много нового и интересного.

Здравствуйте, Erop, Вы писали:



Наша с вами перепалка вверху по ветке никак не отразится на уважении к Вам как к кодеру

Здравствуйте, Erop, Вы писали:

E>Здравствуйте, tinytjan, Вы писали:

T>>На той стадии развития, на которой сейчас находятся нейросети, в новую эру не уплывешь .
E>Совершенно согласен. Пока что нет в НС ничего такого умного и прорывного, что дало бы какую-то надежду.

Хмм, ну что ж, выскажу свое IMHO по поводу
есть 3 эволюционных пути развития НС

1. Развитие сложных нейросистем, таких как Mixture of Experts и персептронов со сложными связями, которые позволят строить более нелинейные системы в меньшим количеством обучаемых параметров и большей эффективностью обучения и прогнозирования.

2. Изобретение новых более эффективных способов обучения, по сравнению с градиентным спуском.

3. Пересмотр базовой модели нейрона, используемой в нейросетях и появление эффективных сетей основанных на новых моделях нейронов.

T>>Однако, давайте вспомним, что до 60х годов даже не предполагали, что нейросети могут успешно нелинейно разделять пространства.
T>>Что мешает в ближайшем будущем сделать похожий рывок, который выведет нейросистемы на новый уровень?
E>Ну я писал там, выше.

Ну я там же и ответил

T>>Что ж, буду надеяться на то, что скептики будут когда-нибудь повержены, окончательно и бесповоротно.
E>Ну будем надеяться, что кто-то наконец породит эту отрасль в достойном виде, а не как сейчас...
E>Хотя, пока что, надежы, конечно, маловато

E>Но пока прорыва не произошло, IMHO, НС стоит заниматься только либо использую уже готовые отлаженные решения, либо занимаясь собственно организацией прорыва :)))

Я сейчас иду в направлении 1.
А также собираюсь писать автоматического советника на Forex, скоро конкурс .

Еще одно. Для эффективного использования НС безусловно нужна квалификация, просто так заставить ее выдавать желаемый результат не получится, однако при всем при этом, нет необходимости изучать предметную область для построения работающей системы на нейросетях, тогда как при построении системы другими способами вникать в эту самую область придется.

Здравствуйте, tinytjan, Вы писали:

T>Потому что ни сплайн ни линейно-кусочная аппроксимация не универсальны, в отличие от допустим функции построенной на сигмоидах, которая, как уже заметили выше может саппроксимировать любую функцию с любой заданной точностью.

Всё-таки скажи, ты о гладких функциях или о функциях с особенностями?
Если о гладких, то не понятно чем сплайн не угодил, а если с особенностями, то от чего бы особенности не вычислить явно по заданным данным?