Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>А печка и есть такая "жёсткая" модель.
Очень дорого отладка может на такой "модели" встать... Как по самому процессу, так и по его последствиям...

NGG>Эти системы не всегда имеют решения, подтверждением чему служит задача трёх тел из астрономии.
Понятно. Ты имеешь в виду, что не всегда есть аналитические решения. Но это-то как раз не страшно. Можно использовать численное моделирование.

NGG>Более того, не всегда доступны все необходимые данные. Н-р, печка не позволяет собрать полную информацию о распределении плотности руды, её составе и температуре в момент времени, когда нужно принимать решение.
Ну и что? Для моделирования и анализа это не важно. В конце ты хочешь получить систему, которая что-то, что можно измеряет и управляет тем, чем нужно. Но для её разработки подробная модель, даже и иемеющая внутри себя неизмеряемые на реальной производственной установке параметры, очень даже пригшодится...

Здравствуйте, Кодёнок, Вы писали:

Кё>Может НС и могут «выстрелить» в конкретных прикладных областях, но никакого потенциала организовать новую эру, новые модели вычислений я в них не вижу вообще. Им как минимум не хватает изобретения, которое бы позволило повторно использовать уже обученные сети при построении новых.

Я со всем более или менее согласен, кроме переиспользования. Это "изобретение" сделано уже несколько миллиардов лет как -- генетические алгоритмы называется

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>1. Производительность. НС, грубо говоря, даёт ответ в один такт. Алгоритму вычисляющий аналогичную функцию на ПК потребуется на порядок больше действий. Всё дело в том, что сети — это максимально распараллельный вычислитель. Стоимость многопроцессорных машин существенно выше стоимости железа для нс.
IMHO возможность трансляции НС в дешёвое железо -- это единственный аргумент за НС. Но и то, при разработке лучше пользоваться геом. алгоритмами, а в сеть транслировать ужо в самом конце...
При этом стремительное удешевление микроэлектронники делает это преимущество почти бесполезным

NGG>2. Точно ли этот метод работать не хуже (см. п.1.)? Зачем создавать другой метод, если НС работает? Это не рентабельно. Разве что если сеть изначально использовалась как инструмент исследователя/учёного.
Да тем, что "этот метод" обычно работает лучше и позволяет себя совершенствовать.

NGG>3. Нужно не забывать о том, что НС устойчивы к дефектам, т.е. выход из строя нейрона ведёт не к полному выходу из строя сети, а только частичному ухужшению характеристик. Если этот фактор важен, альтернативные решения должны состоять из дублирующихся систем или быть децентрализованными, что также не бесплатно.
Ну цифровые микросхемы обычно горят целиком, и делают это очень редко... Так что как-то странно представлять как преимущество то, что может отвалиться один нейрон. В однокристалльной ЭВМ обычно вообще ничего никогда не отвалтвается...

NGG>Постановка задачи (довольно бестолковой): по стилю набора на клавиаутре провести идентификацию пользователя.
NGG>Входными данными является набор пар (время, клавиша).

NGG>Как её решать "обычным" образом? Нет аналитического решения, можно только предлагать различные эвристики и сравнивать результаты их работы, чтобы выбрать лучшую. НС не обладая фантазией может обучиться учитывать такие ньюансы, на поиск которых у человека ушло существенно больше времени.

Ну как? Ищешь входы для сети подходящие. И строишь сеть.
Или, что логичнее, строишь признаки, в том числе и по физическим соображениям. Скажем степень однородности набора букв в течении времени, степень однородности набора букв в слове, и т. д. А дальше решаешь проблему классификации точек многомерного пространства...

Кё>>Им как минимум не хватает изобретения, которое бы позволило повторно использовать уже обученные сети при построении новых.
NGG>А что мешает копировать веса существующей сети в новую? Или использовать комплекс сетей для решения одной задачи?
Ну вот разработал ты сеть для опознавания пользователя с вероятностью ошибки 10%
Как её переиспользовать в решении, которое узнаёт пользователя с вероятностью ошибки 3%?

Здравствуйте, Erop, Вы писали:

E>При этом стремительное удешевление микроэлектронники делает это преимущество почти бесполезным

Выкладки с калькулятором не проводил, но сдаётся мне, что создавать железо под решение конкретной задачи (с учётом массового распараллеливания) дороже, чем печатать "стандартные" архитектуры нс.

NGG>>2. Точно ли этот метод работать не хуже (см. п.1.)? Зачем создавать другой метод, если НС работает? Это не рентабельно. Разве что если сеть изначально использовалась как инструмент исследователя/учёного.
E>Да тем, что "этот метод" обычно работает лучше и позволяет себя совершенствовать.

А каком совершенстве может идти речь, если на деньги решают всё?

E>Ну цифровые микросхемы обычно горят целиком, и делают это очень редко... Так что как-то странно представлять как преимущество то, что может отвалиться один нейрон. В однокристалльной ЭВМ обычно вообще ничего никогда не отвалтвается...

Не помню точных цифр, могу соврать. В памяти сохранились слова о том, что нс деградирует пропорционально потерянным нейронам. Как голограмма, где любой кусочек содержит полную информацию об общей картине.

E>Или, что логичнее, строишь признаки, в том числе и по физическим соображениям. Скажем степень однородности набора букв в течении времени, степень однородности набора букв в слове, и т. д. А дальше решаешь проблему классификации точек многомерного пространства...

Это эвристики. Чем они будут лучше НС? Та же самая эвристика, только полученная без задействования серых клеточек

E>Ну вот разработал ты сеть для опознавания пользователя с вероятностью ошибки 10%
E>Как её переиспользовать в решении, которое узнаёт пользователя с вероятностью ошибки 3%?

Акценты несколько сдвинуты:
Повторно используется не сеть, а её архитектура и алгоритмы обучения.
Сеть это конечный продукт — как машинный код получаемый из кода на высокоуровневом языке.
А архитектура и алгоритмы — исходный код, который может быть поворно использован.

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Выкладки с калькулятором не проводил, но сдаётся мне, что создавать железо под решение конкретной задачи (с учётом массового распараллеливания) дороже, чем печатать "стандартные" архитектуры нс.
Как схемотехническое решение НС вообще связано с алгоритмами её разработки?

E>>Да тем, что "этот метод" обычно работает лучше и позволяет себя совершенствовать.
NGG>А каком совершенстве может идти речь, если на деньги решают всё?
О качестве работы классификатора. С чистыми НС у тебя степень коньроля над уровнем результатов меньше.

NGG>Не помню точных цифр, могу соврать. В памяти сохранились слова о том, что нс деградирует пропорционально потерянным нейронам. Как голограмма, где любой кусочек содержит полную информацию об общей картине.
Ну значит это обозначает просто низкий уровень надёжности. Цифровые схемы вообще не горят практически. Мало того, если и горят, то не один-два проца начинают подглюкивать, а всё дохнет. Скрее всего и НС-схемы имеют такую же особенность.

E>>Или, что логичнее, строишь признаки, в том числе и по физическим соображениям. Скажем степень однородности набора букв в течении времени, степень однородности набора букв в слове, и т. д. А дальше решаешь проблему классификации точек многомерного пространства...
NGG>Это эвристики. Чем они будут лучше НС? Та же самая эвристика, только полученная без задействования серых клеточек

А ты хочешь взять в качестве признаков (входво НС) коды 10 кнопочек подряд и их задержки?
Вот уж действительно "без задействования серых клеточек". IMHO такое изделие надёжно не заработает.
Всё-таки входы НС/признакового классификатора лучше бы выбирать более осмысленно.

E>>Ну вот разработал ты сеть для опознавания пользователя с вероятностью ошибки 10%
E>>Как её переиспользовать в решении, которое узнаёт пользователя с вероятностью ошибки 3%?

NGG>Акценты несколько сдвинуты:
NGG>Повторно используется не сеть, а её архитектура и алгоритмы обучения.
Окей. Как переиспользовать архитектуру и алгоритм обучения, если надо уменьшить число ошибок в три раза?

Вообще "Окей, как-то это работтает, как теперь это улучшить?" -- центральный вопрос темы. И именно отсутствие внятного ответа на него и делает НС бесперспективными...

Здравствуйте, Erop, Вы писали:

NGG>>Выкладки с калькулятором не проводил, но сдаётся мне, что создавать железо под решение конкретной задачи (с учётом массового распараллеливания) дороже, чем печатать "стандартные" архитектуры нс.
E>Как схемотехническое решение НС вообще связано с алгоритмами её разработки?

Не знаю. Ты сказал, что обычное железо стоит копейки, а я усомнился, что делать железо под конкретную задачу будет дешевле, чем купить планку с, н-р, трёх слойной НС.

NGG>>А каком совершенстве может идти речь, если деньги решают всё?
E>О качестве работы классификатора. С чистыми НС у тебя степень коньроля над уровнем результатов меньше.

Предпосылка была в том, что есть решение на НС удовлетворяющее потребителя. Зачем в таком случае заниматься "бесполезной" с точки зрения денег работой по разработке других решений?


E>Всё-таки входы НС/признакового классификатора лучше бы выбирать более осмысленно.

Безусловно, предварительная обработка данных нужна, чтобы уменьшить размерность задачи, исключить несущественные детали и т.п.
Это обычная практика при любом моделировании, в том числе и при моделировании при помощи НС.

Но:
1. Каждая итерация, каждая новая мысль о входных данных влечёт за собой, как минимум, необходимость переписывать код и проводить новые тесты ПО. А это так же сложно, как исправлять ошибки проектрования (о чём звездится в каждой второй книге про ПО).
С нейронными сетями этой, суть технической, проблемы нет.
2. Если так получилось, что не ясно, какие данные важны, а какие нет, выяснение этого можно возложить на НС: дать на вход всё, что имеется, а затем последовательно исключать/видоизменять входные данные, наблюдая за сетью.

E>>>Ну вот разработал ты сеть для опознавания пользователя с вероятностью ошибки 10%
E>>>Как её переиспользовать в решении, которое узнаёт пользователя с вероятностью ошибки 3%?
E>Окей. Как переиспользовать архитектуру и алгоритм обучения, если надо уменьшить число ошибок в три раза?

Вот есть алгоритм сортировки пузырьком, как переиспользоват его так, чтобы получить радиксную сортировку?!

Наблюдаешь аналогию со своим вопросом?

Ответ простой: оптимизировать существующие алгоритмы обучения, настраивать параметры сети, озаботиться качеством обучающих данных, либо, если не помгло, попробовать совсем другую архитектуру, совсем другие алгоритмы обучения и по другому представленные данные, используя при этом опыт полученный входе предыдущего решения.

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Не знаю. Ты сказал, что обычное железо стоит копейки, а я усомнился, что делать железо под конкретную задачу будет дешевле, чем купить планку с, н-р, трёх слойной НС.
Обычное железо -- это однокристаллки, например...

NGG>Предпосылка была в том, что есть решение на НС удовлетворяющее потребителя. Зачем в таком случае заниматься "бесполезной" с точки зрения денег работой по разработке других решений?
Если уже есть решение, которео удовлетворяет, то о разработке чего мы рассуждем?
Я говорю о ситуации, когда что-то надо РАЗРАБОТАТЬ...

E>>Всё-таки входы НС/признакового классификатора лучше бы выбирать более осмысленно.
NGG>Безусловно, предварительная обработка данных нужна, чтобы уменьшить размерность задачи, исключить несущественные детали и т.п.
NGG>Это обычная практика при любом моделировании, в том числе и при моделировании при помощи НС.
Ну так и не имеет это значит отношения к НС непосредственного

NGG>Но:
NGG>1. Каждая итерация, каждая новая мысль о входных данных влечёт за собой, как минимум, необходимость переписывать код и проводить новые тесты ПО. А это так же сложно, как исправлять ошибки проектрования (о чём звездится в каждой второй книге про ПО).
NGG>С нейронными сетями этой, суть технической, проблемы нет.
А нефиг так по-уродски программы писать. Имей отдельный слой, готовящий признаки, и отдельный слой, классифицирующий признаки...

NGG>2. Если так получилось, что не ясно, какие данные важны, а какие нет, выяснение этого можно возложить на НС: дать на вход всё, что имеется, а затем последовательно исключать/видоизменять входные данные, наблюдая за сетью.
Опять же, наблюдать за шеомместами и классификаторами можно намного более удобно...

NGG>Вот есть алгоритм сортировки пузырьком, как переиспользоват его так, чтобы получить радиксную сортировку?!
НИкак, увы.

NGG>Наблюдаешь аналогию со своим вопросом?
Нет не наблюдаю. Дело в том, что подход, о котором говорю я, ПОЗВОЛЯЕТ ПЕРЕИСПОЛЬЗОВАТЬ решения, при разработке более точного...

NGG>Ответ простой: оптимизировать существующие алгоритмы обучения, настраивать параметры сети, озаботиться качеством обучающих данных, либо, если не помгло, попробовать совсем другую архитектуру, совсем другие алгоритмы обучения и по другому представленные данные, используя при этом опыт полученный входе предыдущего решения.

Ну а ты вот и будешь "использобвать бесценный опыт пробования совсем других архитектур, алгоритмов и данных"...
Ну нравится, таки пробуй. А промышленные коассификаторы, AFAIK, от НС давно ушли. Именно из-за этой их органичной ограниченной поддерживаемости...

N>Мой опыт — это скорее признак недостаточной настойчивости и знаний. Или слабости духа
N>Говоря "в общем случае", я имел в виду строгое математическое доказательство принципиальной возможности разделения с помощью нейросети. Не помню как оно (доказательство) называется, но точно помню, что видел его где-то.

Если ты про теорему Новикова — то она утверждает только то, что если вектора обучающей выборки разделимы — то процесс обучения перцептрона сойдется и найдет разделяющую гиперплоскость. Про нейросети подобной теормы вроде бы нет. И если вектора неразделимы — то теорема не утверждает ничего.

Если же ты про другую теорему — то было бы очень интересно услышать ее формулировку.

Здравствуйте, Erop, Вы писали:

NGG>>Например, управление электрическими доменными печами (управляется глубина погружения электрода, если не ошибаюсь). Эти штуки жгут электричества на такие суммы рублей, что экономия в 1% даст значительную экономическую выгоду. Управляются какими-то примитивными датчиками на основе правил. А чтобы эффективно управлять печью, нужно знать такую уйму параметров и написать столько уравнений, что надежд на их решение нет Один анализ только, чем можно пренебречь в расчётах, а чем нет, достоин пары лет труда толпы учёных.

E>Это не совсем задача классификации IMHO...

Это задача регрессионного анализа. Есть методы, похожие на методы классификации, только заточенные под регрессию: Support Vector Regression/logistic regression с регуляризацией/ridge regression/etc

E>>Или, что логичнее, строишь признаки, в том числе и по физическим соображениям. Скажем степень однородности набора букв в течении времени, степень однородности набора букв в слове, и т. д. А дальше решаешь проблему классификации точек многомерного пространства...

NGG>Это эвристики. Чем они будут лучше НС? Та же самая эвристика, только полученная без задействования серых клеточек

Качество классификации сильно зависит от пространства признаков — если признаки бестолковы, то и классификатор будет плохим. И никакая нейросеть не поможет. Поэтому эвристики все равно нужно будет искать, чтоб построить более представительные и разделимые признаки.
В данном случае не факт что нейросеть покажет лучший результат нежели тот же SVM/logistic regression, пусть даже на тех же данных.

Здравствуйте, ettcat, Вы писали:

E> Если ты про теорему Новикова — то она утверждает только то, что если вектора обучающей выборки разделимы — то процесс обучения перцептрона сойдется и найдет разделяющую гиперплоскость. Про нейросети подобной теормы вроде бы нет. И если вектора неразделимы — то теорема не утверждает ничего.
От себя добавлю, что найти и задать разделяющую две группы точек гиперплоскость можно намного прямее и проще, чем путём обучения перцептрона...


E> Если же ты про другую теорему — то было бы очень интересно услышать ее формулировку.
+1 Мне тоже интересно было бы почитать

Здравствуйте, Erop, Вы писали:

NGG>>Предпосылка была в том, что есть решение на НС удовлетворяющее потребителя. Зачем в таком случае заниматься "бесполезной" с точки зрения денег работой по разработке других решений?
E>Если уже есть решение, которео удовлетворяет, то о разработке чего мы рассуждем?
E>Я говорю о ситуации, когда что-то надо РАЗРАБОТАТЬ...

Ну, и? Если задача на момент начала разработки не имеет классических решений, который можно использовать или модернизировать, то потребуется большая исследовательская работа. Почему бы не попробовать тогда НС?

E>>>Всё-таки входы НС/признакового классификатора лучше бы выбирать более осмысленно.
NGG>>Безусловно, предварительная обработка данных нужна, чтобы уменьшить размерность задачи, исключить несущественные детали и т.п.
NGG>>Это обычная практика при любом моделировании, в том числе и при моделировании при помощи НС.
E>Ну так и не имеет это значит отношения к НС непосредственного
А кто говорил, что имеет? Напротив, я говорил о том, что это обычная практика...

E>А нефиг так по-уродски программы писать. Имей отдельный слой, готовящий признаки, и отдельный слой, классифицирующий признаки...
Ты говоришь о решении конкретной задачи, когда описан скелет решения и решение превращается в настройку его параметров.
Если основа достаточно гибка, в конце концов можно получить приемлемое решение, в противном случае — нет.
НС тот же самой скелет, но покрывающий существенно большее количество возможных "функций"-решений.

Опять аналогия:
Аппроксимировать можно линейной функцией, полиномом н-ой степени и т.д.
Есть задачи, где достаточно таких приближений для получения хорошей аппроксимации, но существенно больше задач, где потребуются другие, более сложные по виду функции.


E>Опять же, наблюдать за шеомместами и классификаторами можно намного более удобно...
Ещё раз: если есть работающее решение, удовлетворяющее всем запросам — зачем городить НС? НС используются главным образом там, где другие подходы не дают приемлимого результата. Согласись, было бы странным выбрать НС в качестве инструмента для написания rsdn.ru

NGG>>Вот есть алгоритм сортировки пузырьком, как переиспользоват его так, чтобы получить радиксную сортировку?!
E>НИкак, увы.

NGG>>Наблюдаешь аналогию со своим вопросом?
E>Нет не наблюдаю. Дело в том, что подход, о котором говорю я, ПОЗВОЛЯЕТ ПЕРЕИСПОЛЬЗОВАТЬ решения, при разработке более точного...

Ты говоришь не о подходе, а о каком-то конкретном алгоритме решения конкретной задачи. Исходя из каких-то наблюдений, ты делаешь вывод, что это конкретное решение, можно как-то (чуть-чуть?) видоизменить, чтобы получить решение лучшего качества.
Замечательно.

Сортировка пузырьком — такой же точно алгоритм, который можно оптимизировать и получать улучшенные модификации (сколько варианов кодирования пузырька вспомнишь? . Тем не менее, есть границы за которые эта сортировка выскочить не может, если существенно не изменить сам алгоритм. Тоже самое ограничение лежит и на решении, на которое ты ссылаешься. Рано или поздно улучшения путём настройки/незначительных изменений станут не возможны.

Что тогда будешь делать?

Правильно, обобщив накопленный опыт, примешься за разработку нового решения.

E>Ну а ты вот и будешь "использобвать бесценный опыт пробования совсем других архитектур, алгоритмов и данных"...
E>Ну нравится, таки пробуй.

Ага, так же как и ты, когда свершится то, о чём писалось парой строчек выше

E>А промышленные коассификаторы, AFAIK, от НС давно ушли. Именно из-за этой их органичной ограниченной поддерживаемости...

Флейма ради, давай проведём аналогии с ЯП:

Есть очень мощные языки, на которых писать одно удовльствие (lisp, haskell, k, erlang, <вписать своё любимое>) и обещающие существенное повышение производительности туда программиста. А есть мейнстрим, промышленные языки — java, с#.
Что мешает первым завоевать мир? На rdsn.ru давалась уйма ответов. Один из интереснейших: сложность вхождния в тему для новичков и отсутствие толп специалистов, которые смогли бы писать и поддерживать решения на этих языках (а они не появятся, пока язык не пойдёт в мейнстрим). Такой вот замкнутый круг

Так же может быть и тут: ушли потому, что не было специалистов.

Здравствуйте, NotGonnaGetUs, Вы писали:

E>>Опять же, наблюдать за шеомместами и классификаторами можно намного более удобно...
NGG>Ещё раз: если есть работающее решение, удовлетворяющее всем запросам — зачем городить НС? НС используются главным образом там, где другие подходы не дают приемлимого результата. Согласись, было бы странным выбрать НС в качестве инструмента для написания rsdn.ru

Вопрос в том, сможет ли HC дать приемлимый результат, если другие методы не могут?

Здравствуйте, ettcat, Вы писали:

E> Вопрос в том, сможет ли HC дать приемлимый результат, если другие методы не могут?

Вот это уже хороший вопрос
Но согласись, если другие методы не могут или могут, но за слишком большие деньги, то почему не попробовать НС?

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Но согласись, если другие методы не могут или могут, но за слишком большие деньги, то почему не попробовать НС?
Патамушта беспалезна!!!

Это, типа, последний раз ныряю.
Мы вроде договорились до того, что решение с НС состоит из трёх частей
1) Подгоовить вектор признаков/входов НС
2) Придумать архитектуру сети
3) обучить сеть

Так?

Если так, то смотри что у нас выходит
1) У нас нет хорошего способа понять хорошие ли признаки мы выбрали. Вернее есть, но он лежит в области изучения геом. мест классов в N-мерном пространстве признаков. Если уж мы всё равно будем изучать эти геом. места, то наверное разовьём или используем соответсвующий инструментарий. Тут уже до прямого описания геом. мест классов в пространстве признаков остаётся один шаг.

Теперь смотрим дальше, если мы смогли родить такие признаки, что классы легко разделяются (например линейно сепарабельны, или разделяются гиперповерхностями второго порядка, например), то решение уже у нас в кармане, так как всего-то и надо найти какие-ниубдь разделяющие поверхности. Есть много очень эффективных методов это сделать, тем более, что обычно у нас есть довольно большой произвол где именно проводить границы (заметь, что хотя я всё ещё говорю о классификации пользователей, я никак пока не использую специфику этой задачи)

Положим, что сепарабельные чем-то вменяемым признаки родить не удалось. Тут у нас есть два пути. Либо дальше погружаться в специфику задачи, и искать таки адекватные признаки (это путь, хоть может и долгий, но довольно надёжный. Если объекты вообещ классифицируемы в принципе, то скорее всего удастся, задавая себеталантливые вопросы "а чем несепарабельные текущей системой признаков классы отличаются на самом деле?" найти достаточную систему признаков. Потом, путём довольно формальных преобразований, можно систему признаков сделать более компактной, это тоже дело техники на самом деле), а второй путь состоит в том, чтобы попробоватьпостроить НС по этим, плохим признакоам, в надежде, что НС сможет породить нужные признаки сама, где-то внутри себя. То есть мы храбро переходим к 2)

2) Ещё раз обращу твоё внимание, что к построению арзитектуры сети имеет смысл переходить только если признаки плохие, потому что хорошие признаки легко классифициоруют и без сети...
Так вот мы как-то хитро гадаем на кофейной гуще, и берём с потолка, или почти с потолка топологию сети. Понятно, что если признаки не сепарабельны, то нажо брать что-то сложное, чтобы оно могло пострить какие-то неростотые границы. Во всяком случае более сложные, чем гиперповерхности второго порядка и гипермоногоранники. Ну берём какую-то архитектуру значит (на парктике наша фантазия может быть огранияенм сетевым железом)

3) Ну и учим. Тут у нас есть три возможных исхода
3а) Нам повезёт и сеть будет суперски работать. Это значит, что мы идиоты и какие-то относительно простого вмда признаки не нашли, либо мы нереальные пёрщики. Возможно из-за тогоо, что я не глуп, а может потому что я невезуч, но в моей пратике так НИКОГДА НЕ БЫВАЕТ
3б) Мы получаем переобученную сеть. То есть она прекрасно классифицирует обучающую выборку, и толкьо её. В этом нет ничего удивительного. Положим, у нас так получилось, что точки двух классов идут вперемешку. Понятно, что, например, гиперповерхность достаточно большого порядка (например порядка равного числу точек в обучающей выборке) может их разделить. Но понятно, что обцчающая выборка случайна, и если мы её "пошевелим", то точки сместятся в случайные места, и классификация мломается. Так что на обучающей выборке у нас будет счастье а в реале не заведётся (как вариант не заведётся на статистически независимой контрольной выборке)
3в) Вообще нифига не обучится, потому что признаки реально хреновые.

Ну если 3а, то счастье, но его не бывает, если 3в, то можно вернуться к шагу 2 и попробовать другую топологию. Если мы будем упорны, но не слишком везучи, то мы попадём в конце концов в 3б (либо вообще зациклимся, если достаточно сложную сеть построить не удастся)

Что делать, если мы пришли в 3б? Ну можно попробовать увеличить обучающую выборку, например. Тогда, опять же если мы не гипервезучи (либо гиперглупы), то мы попадём в 3в. И так по кругу. пок не попрёт по настоящему.

При этом расширять обучающую выборку часто довольно накладно, так как надо где-то брать новые точки, то есть собирать классифицируемые материалы.
либо мы можем понять, что с такими признаками таки не попрёт, и вернуться к 1) и таки продолжить совершенствовать признаки...

Ну и короче моё мнение состоит в том, что можно сразу фигнёй не страдать, а сразу строить хороште признаки и изучать что же их на самом деле разделяет Даже если в конце концов нам нужна НС, чтобы затолкать её в апапаратную реализацию, лучше бы сначала решить задачу поиска хороших признаков, посде чего 2 и 3 станут тривиальны...

Ну а дальше всё от аппаратуры зависит. Если мы классифицировать собираемся не аппаратной сетью, то надо искать эффективную реализацию того решающего правила, которое мы нашли, а если таки используемая аппаратура НС -- то тривиально всё.

Короче, надо искать хорошие признаки + хорошие способы построения обучающей выборки (чтобы она содержада достаточно информации для обощения/аппроксимации), а не тратить ресурсы на 2 и 3...

при этом, обрати внимание, что и признаки и метод формирования обучающей выборки можно переиспользовать при дальнейшем совершенствовании системы либо при модификации задачи. А 2 и 3 переиспользовать не получится.

Вот об этом я и говорю, что решения существенно базирующиеся на НС непредсказуемы и нетехнологичны, а вот подход, основанный на изучении геом. мест классов в пространстве признаков лишён этих недостатков...

Либо, когда мы поймём, что таки не прёт,

Здравствуйте, Erop, Вы писали:

E>Мы вроде договорились до того, что решение с НС состоит из трёх частей
E>1) Подгоовить вектор признаков/входов НС
E>2) Придумать архитектуру сети
E>3) обучить сеть

E>Так?

Ага.

E>1) У нас нет хорошего способа понять хорошие ли признаки мы выбрали.

Ровно настолько, насколько нет хорошего способа понять адекватна ли действительности какая-либо мат.модель. Только проверкой на практике.

E>Ещё раз обращу твоё внимание, что к построению арзитектуры сети имеет смысл переходить только если признаки плохие, потому что хорошие признаки легко классифициоруют и без сети...

Неправда. Н-р, есть доменная печь. "Признаки" — это все возможные параметры, которые можно с неё снять. Они не могут быть плохие или хорошие — они даны по условию задачи. Можно эти данные предварительно обработать, но новых взять не откуда. А задачу решить нужно, т.е. выдать мезанизм управления печью более эффективный нежели имеющийся в наличии

E>Положим, что сепарабельные чем-то вменяемым признаки родить не удалось. Тут у нас есть два пути. Первый дальше погружаться в специфику задачи, и искать таки адекватные признаки. Второй путь состоит в том, чтобы попробоватьпостроить НС по этим, плохим признакоам, в надежде, что НС сможет породить нужные признаки сама, где-то внутри себя. То есть мы храбро переходим к 2)

Именно так.

E>Так вот мы как-то хитро гадаем на кофейной гуще, и берём с потолка, или почти с потолка топологию сети. Понятно, что если признаки не сепарабельны, то нажо брать что-то сложное, чтобы оно могло пострить какие-то неростотые границы. Во всяком случае более сложные, чем гиперповерхности второго порядка и гипермоногоранники. Ну берём какую-то архитектуру значит (на парктике наша фантазия может быть огранияенм сетевым железом)

А тут заблуждений много. На кофейной гуще никто не гадает, т.к. есть зарекомендовавшие себя топологии. "Что-то сложное" сторить не нужно. Трехслойная сеть может аппроксимировать функцию _любого_ вида с _любой_ заданной точностью (на что есть теорема), дело только в качестве обучающей выборки.

E>3а) Нам повезёт и сеть будет суперски работать. Это значит, что мы идиоты и какие-то относительно простого вмда признаки не нашли, либо мы нереальные пёрщики. Возможно из-за тогоо, что я не глуп, а может потому что я невезуч, но в моей пратике так НИКОГДА НЕ БЫВАЕТ

Если посадить пятикласника решать стереометрические задачи, у него тоже никогда ничего не получится.

E>3в) Вообще нифига не обучится, потому что признаки реально хреновые.

Для этого и производится исследовательская работа, чтобы понять — достаточно ли данных для решения с заданной точностью или нет.

E>Ну если 3а, то счастье, но его не бывает, если 3в, то можно вернуться к шагу 2 и попробовать другую топологию. Если мы будем упорны, но не слишком везучи, то мы попадём в конце концов в 3б (либо вообще зациклимся, если достаточно сложную сеть построить не удастся)

Тоже самое можно сказать про любой процесс происка решения, если только решение не состоит в реализации заведомо известного алгоритма.

E>Что делать, если мы пришли в 3б? Ну можно попробовать увеличить обучающую выборку, например.

3б — это переобучение сети. В данном случае уменьшают число нейронов, т.е. упрощают сеть, чтобы избежать заучивания входных данных.

E>При этом расширять обучающую выборку часто довольно накладно, так как надо где-то брать новые точки, то есть собирать классифицируемые материалы.

Вспомни свои слова про переписывание решений. Обычно обучающие данные собираются один раз (всё, что только можно вытянуть) и далее только преобразуются к нужному виду в зависимости от выдвинутых предположений.

E>Ну и короче моё мнение состоит в том, что можно сразу фигнёй не страдать, а сразу строить хороште признаки и изучать что же их на самом деле разделяет

А если не получается их построить? А если поучив "хорошие" признаки (я не говорю о задачи классификации) всё равно не понятно как решать задачу? Н-р, задача коммивояжёра большой размерности. Все "признаки" на лицо. А как решать-то?

E>при этом, обрати внимание, что и признаки и метод формирования обучающей выборки можно переиспользовать при дальнейшем совершенствовании системы либо при модификации задачи. А 2 и 3 переиспользовать не получится.

Замечательно получится. 2 — это как паттерны проектирования в программировании, 3 — по сути исследование задачи, входе этого процесса выясняются зависимости существующие между входными и выходными данными и т.д. В зависимости от полученных результатов можно искать другую архитектуру сети или менять входные выборки.

E>Вот об этом я и говорю, что решения существенно базирующиеся на НС непредсказуемы и нетехнологичны, а вот подход, основанный на изучении геом. мест классов в пространстве признаков лишён этих недостатков...

Говоришь — да. А с доказательствами беда

Здравствуйте, NotGonnaGetUs, Вы писали:

NGG>Неправда. Н-р, есть доменная печь. "Признаки" — это все возможные параметры, которые можно с неё снять. Они не могут быть плохие или хорошие — они даны по условию задачи. Можно эти данные предварительно обработать, но новых взять не откуда. А задачу решить нужно, т.е. выдать мезанизм управления печью более эффективный нежели имеющийся в наличии

1) Можно думать над дополнительным идатчиками.
2) Можно думать над операциями над имеющимися данными. Скажем над различными производными и интегралами, Фурье-анализом...
Но в действительности часто бывают такие инструментальные измерения, которые вообще не числа. Скажем в домне может быть изобраджение с ИК-камеры, например... Превратить в числа такую штуку можно многими очень способами...

Трёхслойная сеть -- это уже очень сложная функция. А "зарекомендовавшие себя топологии" -- это именно вот на кофейной гуще и есть. Так как никаких разумных соображений по выбору, кроме сокраментального "а может хватит", увы нет.

Ну а что касается "аппроксимировать функцию _любого_ вида с _любой_ заданной точностью" -- то просто список точек ещё лучше это умеет... Толку правда немного

E>>3а) Нам повезёт и сеть будет суперски работать. Это значит, что мы идиоты и какие-то относительно простого вмда признаки не нашли, либо мы нереальные пёрщики. Возможно из-за тогоо, что я не глуп, а может потому что я невезуч, но в моей пратике так НИКОГДА НЕ БЫВАЕТ
NGG>Если посадить пятикласника решать стереометрические задачи, у него тоже никогда ничего не получится.
Конструктивно споришь и по существу... И главное, совсем без перехода на личности...
Ты вот много хороших классификаторов родил за карьеру?
Я вот много. Так что мне интересно, ты считаешь что я недостаточно глуп или недостаточно везуч?...

E>>Ну если 3а, то счастье, но его не бывает, если 3в, то можно вернуться к шагу 2 и попробовать другую топологию. Если мы будем упорны, но не слишком везучи, то мы попадём в конце концов в 3б (либо вообще зациклимся, если достаточно сложную сеть построить не удастся)
NGG>Тоже самое можно сказать про любой процесс происка решения, если только решение не состоит в реализации заведомо известного алгоритма.

Обрати внимание, я там писал что-то про надёжный путь... Ты просто не заметил, видимо...

E>>Что делать, если мы пришли в 3б? Ну можно попробовать увеличить обучающую выборку, например.
NGG>3б — это переобучение сети. В данном случае уменьшают число нейронов, т.е. упрощают сеть, чтобы избежать заучивания входных данных.

Очень хорошо, а если более простая сеть не разделяет, то что делают?...

E>>При этом расширять обучающую выборку часто довольно накладно, так как надо где-то брать новые точки, то есть собирать классифицируемые материалы.

NGG>Вспомни свои слова про переписывание решений. Обычно обучающие данные собираются один раз (всё, что только можно вытянуть) и далее только преобразуются к нужному виду в зависимости от выдвинутых предположений.
Что значит "один раз"? Если у тебя в принципе возможно легко перечислимое количество точек пространства признаков, то на кой огород городить? Просто список нужных точек прекрасно всё классифицирует. В том то и проблема, что тояки стохастичеаски "пляшут" внутри геом. мест своих классов, и чем больше ты эксперементов намеришь для обучения, тем точнее получится у тебя протабулировать эти геом. места. Проосто это табулирование обычно дорого стоит

NGG>А если не получается их построить? А если поучив "хорошие" признаки (я не говорю о задачи классификации) всё равно не понятно как решать задачу? Н-р, задача коммивояжёра большой размерности. Все "признаки" на лицо. А как решать-то?
А какие там признаки? И что ты там собрался получать на выходе НС?

Обрати внимание, что я говорил о задаче классификации или о задачах к ней сводящихся.

NGG>Замечательно получится. 2 — это как паттерны проектирования в программировании, 3 — по сути исследование задачи, входе этого процесса выясняются зависимости существующие между входными и выходными данными и т.д. В зависимости от полученных результатов можно искать другую архитектуру сети или менять входные выборки.

И какова метода ЦЕЛЕНАПРАВЛЕННО искать другую архитектуру, да ещё и переиспользую уже найденную?

NGG>Говоришь — да. А с доказательствами беда

Имеющий уши, да услышит, имеющий глаза, да прочитает, имеющий мозги, да поймёт...

---

Университет бесплатного обучения AI предлагаю считать закрытым. Я собственно посоветовал всё что мог...
Не веришь, что это тупиковый путь, хочешь тратить ресурсы на вознню с НС -- трать

Здравствуйте, Erop, Вы писали:

E>1) Можно думать над дополнительным идатчиками.
E>2) Можно думать над операциями над имеющимися данными. Скажем над различными производными и интегралами, Фурье-анализом...

Сколько времени дать на размышление?

Главная проблема-то в чём: нет хорошей модели печи, которую можно было бы легко обсчитать и даже нет принципиальной возможности снять все необходимые данные (н-р, мговенное распределение и состав руды в печи). А задача есть. И что делать?

E>Трёхслойная сеть -- это уже очень сложная функция. А "зарекомендовавшие себя топологии" -- это именно вот на кофейной гуще и есть. Так как никаких разумных соображений по выбору, кроме сокраментального "а может хватит", увы нет.

Поверь, ты так говоришь от незнания.

E>Ну а что касается "аппроксимировать функцию _любого_ вида с _любой_ заданной точностью" -- то просто список точек ещё лучше это умеет... Толку правда немного

Это как так? Весь континуум точек выпишешь?

E>>>3а) Нам повезёт и сеть будет суперски работать. Это значит, что мы идиоты и какие-то относительно простого вмда признаки не нашли, либо мы нереальные пёрщики. Возможно из-за тогоо, что я не глуп, а может потому что я невезуч, но в моей пратике так НИКОГДА НЕ БЫВАЕТ
NGG>>Если посадить пятикласника решать стереометрические задачи, у него тоже никогда ничего не получится.
E>Конструктивно споришь и по существу... И главное, совсем без перехода на личности...
E>Ты вот много хороших классификаторов родил за карьеру?
E>Я вот много. Так что мне интересно, ты считаешь что я недостаточно глуп или недостаточно везуч?...

Судя по твоим сообщениям (как дело обстоит на самом деле я, конечно, знать не могу), я считаю, что ты не обладаешь достаточно глубокими знаниями в НС, чтобы безапелляционно их судить.

НС это не магия вуду, где нужно молиться великому нейрону и гадать на гуще, чтобы получить из ниоткуда самое лучшее на свете решение.
НС это инструмент и им нужно уметь пользоваться.
Опять аналогия.
Возьмём человека в глаза не видившего java и об ооп знающего только, что оно есть и оно круто. Дадим ему описание стека j2ee и пары десятков фреймворков и попросим за месяц написать ERP систему. Какой будет результат? Никакого. Потому что одно обучение потребует не меньше года. А чтобы подопытный научился принимать осмысленные решения о выборе технологий и архитектур, а не тыкать пальцем в небо, потребуется ещё больше времени.
Или возьми человека прочитавшего за неделю книжку по синтаксису языка и сказавшего, что он теперь гуру. Разве это будет так?

Замени в этом рассуждении java на НС и поставь себя на место описанных выше людей. Не находишь сходства?

NGG>>Тоже самое можно сказать про любой процесс происка решения, если только решение не состоит в реализации заведомо известного алгоритма.
E>Обрати внимание, я там писал что-то про надёжный путь... Ты просто не заметил, видимо...

Дай мне, пожалуйста, надёжный путь решения задачи коммивояжёра большой размерности.

Есть задачи, для которых не разработаны ещё алгоритмы, следование которым даёт 100% гарантию получения приемлемого по цене/качеству решения. Если принявшись за решение такой задачи, ты готов последовать "надёжным путём", могу только позавидовать


E>Очень хорошо, а если более простая сеть не разделяет, то что делают?...
Тоже, что делают когда любое решение заходит в тупик... Выдвигают новые гипотезы и пробуют их доказать проверить.

E>Что значит "один раз"? Если у тебя в принципе возможно легко перечислимое количество точек пространства признаков, то на кой огород городить? Просто список нужных точек прекрасно всё классифицирует. В том то и проблема, что тояки стохастичеаски "пляшут" внутри геом. мест своих классов, и чем больше ты эксперементов намеришь для обучения, тем точнее получится у тебя протабулировать эти геом. места. Проосто это табулирование обычно дорого стоит

Ты сейчас сам с собой разговариваешь. Не знаю ничего про точки и геом места и откуда ты их берёшь.

"один раз" значит, что данные для обучения НС должны быть максимально полными. Не нужно фильтровать их на этапе сбора, это можно сделать потом, что минимизирует количество повторных операций сбора данных (как я понял, это тебя волновало несколько сообщений ранее).

E> И что ты там собрался получать на выходе НС?

На выходе? Кратчейшее (с приемлимой точностью) растояние из пункты А в пункт В

E>Обрати внимание, что я говорил о задаче классификации или о задачах к ней сводящихся.

Я постоянно обращаю на это внимание и расстраиваюсь. Потому что из-за этого вместо конструктивного обсуждение получается, что ты постоянно мне твердишь: "НС не подходят ни для чего, т.к. я не смог их использовать в своей задаче", а я тебе: "Твой не успех не значит, что НС ни на что не годны"


E>И какова метода ЦЕЛЕНАПРАВЛЕННО искать другую архитектуру, да ещё и переиспользую уже найденную?
Никогда не решал олимпиадные задачи по математике? Можешь тогда дать "методу ЦЕЛЕНАПРАВЛЕННОГО" поиска решения?
Опять аналогия: одно дело решение квадратного уравнения, когда алгоритм наперёд известен и ему нужно только следовать, другое дело творческий поиск. Во время поиска никаких гарантий нет и не может быть.

E>Имеющий уши, да услышит, имеющий глаза, да прочитает, имеющий мозги, да поймёт...
Подпишусь

E>Не веришь, что это тупиковый путь, хочешь тратить ресурсы на вознню с НС -- трать
Я понимаю, конечно, что вера — это не то, что требует доказательств, но всё-таки вдруг у тебя они есть ...

1) Я утверждаю, что для решения задач классификации или сводящихся к задаче классификации НС бесполезны. за исключеним случая, доступной НС-аппаратуры
2) В случае если нам надо разработать НС "в железе", то и тогда в задачах из п. 1 правильно решать через геом. места, а потом уже по известному решению строить НС
3) Я не знаю существуют ли классы задач, на которых НС эффективны. AFAIK, пока что они не обнаружены.
4) Известная мне версия задачи комивояжёра должна по карте выдать порядок посещения пунтктов так, чтобы цена обхода была минимальна. Задача NP-полна, и я таки сильно сомневаюсь, что она принципиально решаема НС. Иначе можно бы было за полиноминальное время съмулировать НС и решить эту задачу. Мало того, мне было бы интересно узнать об опыте применения НС в такой задаче. Интересно и что было на входе сети и что на выходе и чего удалось найти, где брали карты и зачем это таки понадобилось.
5) Задача "поиск кратчайшего пути" имеет хорошие и легко находимые алгоритмические решения. Гугли "алгоритм А*"

Ну а всё остальное я уже писал выше. Не про сортировки пузырьками, ни про задачу комивояжёра, ни про что-то ещё, а про задачи классификации, либо задачи сводящиеся к задачам классификации. (И определение пользователя и управление домной и многочего ещё в этот класс попадает. Пока что ты не привёл ни одной реальной задачи, которая бы в этот класс не укладывалась и решаласьбы НС.).
Собственно я обсуждал только их. Потому, что обсуждать "задачи вообще" я не умею. Я описал тебе боле еэффективный и прагматичный подход, чем Н, базирующийся на изучении геом. мест представлющих экземпляры классов точек в пространстве признаков. Если ты не понял что это за метод и что это за геом. места -- перечитай обсуждение. А мне теюе сказать больше нечего.

---

p. s.
С интересом почитаю про эффективное, хотя бы субоптимальное, решение задачи комивояжёра при помощи НС...

Здравствуйте, Erop, Вы писали:

E> <skipped>

Утверждения ясны, не ясны их обоснования

E>4) Известная мне версия задачи комивояжёра должна по карте выдать порядок посещения пунтктов так, чтобы цена обхода была минимальна. Задача NP-полна, и я таки сильно сомневаюсь, что она принципиально решаема НС. Иначе можно бы было за полиноминальное время съмулировать НС и решить эту задачу. Мало того, мне было бы интересно узнать об опыте применения НС в такой задаче. Интересно и что было на входе сети и что на выходе и чего удалось найти, где брали карты и зачем это таки понадобилось.
E>С интересом почитаю про эффективное, хотя бы субоптимальное, решение задачи комивояжёра при помощи НС...

My bad. В конце рабочего дня порой случаются заскоки.

Если интересна тема, предлагают спросить у гугла о traveling salesman problem neural networks и читать сверху вниз.

E>Ну а всё остальное я уже писал выше. Не про сортировки пузырьками, ни про задачу комивояжёра, ни про что-то ещё, а про задачи классификации, либо задачи сводящиеся к задачам классификации. (И определение пользователя и управление домной и многочего ещё в этот класс попадает. Пока что ты не привёл ни одной реальной задачи, которая бы в этот класс не укладывалась и решаласьбы НС.).

В этом с тобой не согласятся ettcat, я вместе с ним и ты же сам: ( http://rsdn.ru/forum/message/2964815.1.aspx

Автор: ettcat
Дата: 26.05.08

)

E>Собственно я обсуждал только их. Потому, что обсуждать "задачи вообще" я не умею. Я описал тебе боле еэффективный и прагматичный подход, чем Н, базирующийся на изучении геом. мест представлющих экземпляры классов точек в пространстве признаков. Если ты не понял что это за метод и что это за геом. места -- перечитай обсуждение. А мне теюе сказать больше нечего.

Тема для медитации: поиск максимального элемента в массиве хорошо решается без НС, давай будем обсуждать только эту задачу и придём к выводу, что бесполезнее НС только Дима Билан