Здравствуйте, tdiff, Вы писали:

T>Как им приходит в голову делать именно такие комбинации фичей?
Error and trial, опыт в доменной области, стандартные практики по feature selection. На форуме очень много идей высыпают, иногда бывает решение из топа просто грамотно использует паблик идеи.
T>Как у них строится работа в команде (организовать 12 человек это само по себе не так просто)?
Обычно команды формируются ближе к концу когда у всех уже есть наработки из которых начинают крутить ансамбли и блэнды, ну и обмен фичами, и ретреин моделей. Популярно так же когда каждый сидит и крутит
свой тип модели — один lightgbm, другой conv net, третий rnn, препроцессинг данных и тюнинг параметров у них сильно отличается. Да даже если банально заблендить усреднением N достаточно разнообразных (diverse) моделей результат
практически всегда будет лучше самой топовой из набора.
T> Такое ощущение, что примерно так: каждый делает себе свои фичи + тренирует модели, а потом они начинают это всё как-то комбинировать. Но это скорее всего это очень наивное представление.
На самом деле так оно и есть, ретреин моделей по общему data split, out-of-fold predictions и ансамбли по ним.