AB>Ну вот эти "любые трансформации" и являются "фигурным выпиливанием", тут я абсолютно ничего не придумал, а написал краткий пересказ документации по твоей ссылке — берем sed-подобные выражения, регулярки и фигачим преобразования.

/o\ Ты продолжаешь видеть ровно только, что хочешь.

AB>Да, именно так — "каждый делает одно дело, но делает его хорошо".
M>> Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?
AB>Я не делал подобных категоричных заявлений, по этому не могу ответить на твой вопрос.

оно все прикольно ровно до определенного момента (пока логи имеют поля, пока требуется относительно тривиальные выборки и т.д.), дальше берем в руки awk/sed/grep-подобный скальпель и занимаемся художественным выпиливанием.

1. логи могут не иметь полей. splunk все равно с ними справится
2. можно увидеть пример «нетривиальной выборки», наконец?

AB>Приведенные тобой примеры — это вполне конкретные выборки для вполне конкретных целей аналитики для продажников / ученых и т.д.

AB>Не вижу никаких противоречий — для каждой задачи, подходящие инструменты. Пытаться приспособить технический лог веб-сервера под аналитику продаж с одной стороны никто не запрещает, но в общем случае технический лог может и не содержать нужных данных и все рассуждения о "любой поиск и любая аналитика" начнут рассыпаться.

Пассы руками. Ноль конкретики. Самое смешное, что ты говоришь только о продажах. Хотя я, например, упоминал, например, персентили. Ой. Внезапно логи можно использовать для анализа поведения сервера, прикинь. Находить попытки взлома и т.п.

AB>Так, например, в приведенных тобой примерах в логе может отсутствовать JSESSIONID, потому что он передается не в GET запросе, а кукой и куки не логгируются. В POST запросе могут приезжать данные формы, которые так же не попадают в лог, но могут быть необходимы для продажной аналитики. Создание предметно-ориентированного лога или использование соответствующего api я считаю более чем адекватным для решения задач такого рода — у продажников свои заморочки, у сейсмологов свои.

Да ты что. А то я не знал. А то у нас не было 150 различных логов в абсолютно разных форматах, с разными данными. У нас одни пацаны умудрились логгировать все в JSON'е. И ничего, прекрасно splunk со всем справился

AB>В моей же области деятельности чаще всего оказывается наиболее адекватным использовать стандартные консольные утилиты.

Что именно ты делаешь с логами мы, видать, так и не увидим. Что не удивительно

Краткая выжимка нашего увлекательнейшего разговора:

M: Есть тулзы для работы с логами, гораздо удобнее и лучше

AB: Не подойдут для маленьких установок, сомнения для больших, где маленькие: это VPS с 512MB RAM, большие: это терабайт логов в сутки. Любые другие варианты не подходят, потому что я так сказал: не нужны!

AB: для нетривиальных выборок не подходят. Нет, то, что ты показал, это не нетривиальные выборки, это аналитика, я про аналитику не говорю. Мне не нужна аналитика. Но я точно знаю, что есть какие-то мифические нетривиальные выборки, которые ты решить не сможешь, а у меня консоль!!

AB: я легко прикручу аналитику к приложению! CSV (что с ним делать? — M.)! Дамп в базу данных (что с ним делать? — M.)! Какой-то API (какой? — M.)