M>> 1. Поля настриваются в импортере логов. Даже если нет полей, rex, после чего — все остальные запросы.

AB>Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать.

Ты вообще читаешь, что тебе пишут? Выделенное. Никакого «фигурного выпиливания», которое ты себе придумал. rex нужен, если у тебя логи вообще структуры не имеют — даже тогда тебе доступны любые трансформации, любые запросы, любой поиск и любая аналитика.

M>> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях.

AB>Ну можно и на awk
AB>я просто делегировал эту задачу R.

в консоли найти ответ чаще будет быстрее

Ну то есть вместо использования одного инструмента, который заточен на анализ логов, ты предлагаешь использовать стопятьсот разных тулзов. Молодец, чо.

Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?


M>> ЗЫ. «Тривиальная выборка», за пределами которой «awk/sed/grep-оподобный скальпель»
AB>Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания.

Я не пытаюсь тебе продать аналитику. Ты себе придумал какую-то картину мира, где все решается sed'ом и awk'ом. А «нетривиальные» запросы у тебя ВНЕЗАПНО становятся «аналитикой».

Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?

Ну и да. Зачем еще нужны логи, как не для аналитики?

AB>Если мне (не дай бог) потребуется полезть в ту аналитику, которую ты описываешь,

Там не только аналитика.

AB>то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.

Аха-ха-ха, извини. «Просто добавлю аналитику», «просто дамп csv», «просто прикручу R», «просто какой-то API». Куда только подевались все выспренные заявления о «нетривиальных запросах» и прочее?