Здравствуйте, Mamut, Вы писали:

M> Краткая выжимка нашего увлекательнейшего разговора:
M> M: Есть тулзы для работы с логами, гораздо удобнее и лучше
M> AB: Не подойдут для маленьких установок, сомнения для больших, где маленькие: это VPS с 512MB RAM, большие: это терабайт логов в сутки. Любые другие варианты не подходят, потому что я так сказал: не нужны!

Перевираешь. Я не писал, что "не подойдут", я писал (циатата): "В over 99% случаев никаких других инструментов нет (и в принципе не планируется) <потому что>". Так же я не писал "не нужны", а как раз наоборот (цитата: "У данных продуктов есть своя ниша, где они будут "на своем месте", но для моих задач в большинстве случаев они не подходят.").

Давай вспомним с чего началась эта подветка и примем за аксиому, что я лучше знаю, какие у меня задачи и как мне их удобнее решать?

M> AB: для нетривиальных выборок не подходят. Нет, то, что ты показал, это не нетривиальные выборки, это аналитика, я про аналитику не говорю. Мне не нужна аналитика. Но я точно знаю, что есть какие-то мифические нетривиальные выборки, которые ты решить не сможешь, а у меня консоль!!

И еще раз переврал. Я говорил о том, что (цитата): "оно все прикольно ровно до определенного момента (пока логи имеют поля, пока требуется относительно тривиальные выборки и т.д.), дальше берем в руки awk/sed/grep-подобный скальпель и занимаемся художественным выпиливанием.".

Для фигурного выпиливания у меня и так есть sed/awk/grep — зачем мне еще одна сущность для этого мне не совсем понятно.

M> AB: я легко прикручу аналитику к приложению! CSV (что с ним делать? — M.)! Дамп в базу данных (что с ним делать? — M.)! Какой-то API (какой? — M.)

Что делать с CSV? Это универсальный формат, который поддерживается большим числом приложений от банального excel до языков программирования. Если не нравится или не подходит csv, можешь писать в tskv/json/xml — тут смысл в разделении/независимости потоков данных, которые требуются аналитикам и эксплуатации. Мне не интересно время между входом на сайт и переходом на страницу покупки, продажникам не интересно как нагрузка распределяется по worker-ам.

Что делать с данными в БД? Да всю ту аналитику, про которую ты рассказываешь — там уже не возникает особых вопросов по поводу объема данных, сами данные очищены от лишней "шелухи" (а в некоторых случаях может потребоваться и пост-обработка например по обезличиванию данных).

Какой API? Да тот же Google Analytics / Яндекс.Метрика где необходимые события можно послать простым вызовом js, до каких-то специализированных внутренних решений.