Выскажу своё полулюбительское мнение.
Сейчас работа с нейросетями похожа на шаманство с большим количеством частных рекомендаций.

Выбор архитектуры (персептронные сети, Хопфилда и т.д.) зависит от цели построения нейросети. Для задач распознавания подходят больше такие, для прогнозирования другие... Но не факт, что эти рекомендации будут оптимальны. Количество слоёв и нейронов в них тоже указывается, но на практике подбирается эмпирически. Книга Саймон Хайкин "Нейронные сети. Полный курс" содержит самый полный обзор всевозможных архитектур.

Алгоритм обучения сети зависит от архитектуры. Так как ищется минимум целевой функции, то обучение — это частный случай многопараметрической оптимизации. Чаще всего описывают метод обратного распространения ошибки для персептронной сети — это градиентный метод, который ищет локальные минимумы. Можно и полный перебор устроить, но будет очень медленно. Зачастую, для обучения используют генетические алгоритмы. С помощью них можно и архитектуру сети подбирать (видел где-то статью по этому поводу).

Короче говоря, чаще всего отталкиваются от задачи.