Большой объём данных
От: gozik  
Дата: 20.09.11 11:43
Оценка: :)
Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.
Re: Большой объём данных
От: Аноним  
Дата: 21.09.11 21:34
Оценка:
Здравствуйте, gozik, Вы писали:

G>Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.


Возможно, в качестве общей идеи можно взять технику mipmapping из трехмерной графики.
Re: Большой объём данных
От: Lazin Россия http://evgeny-lazin.blogspot.com
Дата: 22.09.11 11:30
Оценка:
Здравствуйте, gozik, Вы писали:

G>Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.


google -> swinging door algorithm
Re: Большой объём данных
От: Andy77 Ниоткуда  
Дата: 23.09.11 00:34
Оценка:
Здравствуйте, gozik, Вы писали:

G>Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.


На какой диаграмме? Чего вообще хотим добиться?
Re: Большой объём данных
От: minorlogic Украина  
Дата: 24.09.11 09:11
Оценка:
Здравствуйте, gozik, Вы писали:

G>Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.


С таким подходом , будет проще использовать готовые визуальные компоненты.
... << RSDN@Home 1.2.0 alpha 4 rev. 1237>>
Ищу работу, 3D, SLAM, computer graphics/vision.
Re[2]: Большой объём данных
От: Andy77 Ниоткуда  
Дата: 27.09.11 22:41
Оценка:
Здравствуйте, minorlogic, Вы писали:

M>С таким подходом , будет проще использовать готовые визуальные компоненты.


Почти все "готовые визуальные компоненты" страшно тормозят на больших объемах данных. Мне пришлось писать свои.
Re: Большой объём данных
От: yuri_d  
Дата: 28.10.11 08:44
Оценка:
Здравствуйте, gozik, Вы писали:

G>Здравствуйте! У меня имеется большой файл, содержащий порядка 1 000 000 выборок. Данные этих выборок надо каким-то образом масштабировать и отображать на диаграмме(целиком). Каким образом считывать данные из файла и как масштабировать(может быть проводить какое-нибудь прорежение?). Подскажите алгоритмы, или книгу которую стоит почитать.



Все данные взять в ОЗУ.
при кол-ве замеров на экране > 1 млн учитывать через 1 замер, > 2 млн через 2 и т.д.
step=num_dot/1000000;

Если нужен график y(замеры) от x, то для каждого x находим min и max по y и поместить их в массив POINT[]. При размере окна по x 1000 пиксел для 1000000 замеров будет по ~1000 замеров на каждый пиксел.
Весь график рисуется с помощью одного вызова Polyline().

Основное время при таком подходе занимает нахождение min и max для каждой точки
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.