Новое сообщение в форум Алгоритмы

Форум	Алгоритмы
Тема	Как правильно задавать вопросы

Здравствуйте, gandjustas, Вы писали:

G>Здравствуйте, _FRED_, Вы писали:

_FR>>Здравствуйте, gandjustas, Вы писали:

G>>>>>Обогнал вашу версию, работает примерно как версия на питоне. Полный код тут: https://github.com/gandjustas/HugeFileSort
_FR>>>>А что с расходом памяти? Например, если файл в 10 гигов разбиватт на 200 кусков по ~50 метров?
G>>>Сегодня тестил на 100М строк 14 ГБ, сортировка по дефлоту разбивает на куски по 100к строк, примерно 150мб кусок. Потребление памяти с параллелизмом до 3 гб на моей машине.

_FR>>Мне всё-таки кажется, что это не совсем правильный подход к решению данной задачи.
_FR>>Я рассуждаю так: если задача сортировки файла в условиях недлостаточной памяти возникла. значимт при решении задачи нам нужно в первую очередь экономить память, а во-вторую уже ускорять.
G>Не "в условиях недостаточной памяти", а "размер файла заведомо превышает объем ОП", это разные условия.
G>В исходной задаче какой-либо речи об "экономии" не шло.

_FR>>Разбиение занимает 00:01:06, слияние 00:01:10, всё вместе (видимо, добавляется удаление файлов) 00:02:20, при этом памяти в пике потратилось до 500М
G>По чистому времени сложно судить, сильно от характеристик диска зависит.
G>У меня генерация файла в 10Г выполняется 2 минуты.

_FR>>Если при разбиении файла вместо всего двух буферов под данные использовать больше, по числу процессоров, как выше предложили, скорость разбиения улучшается на 20..25 процентов, а память возрастает вдвое, поэтому пока это не так интересно.
G>Почему 25%? Если берем SSD, то подготовка чанка занимает времени примерно столько же, сколько сортировка. Запись на SSD параллелится почти 100%. 
G>25% это наверное актуально для HDD. Но тогда как записать 10Г за минуту, если средняя скорость линейной записи и чтения 100-120 мб\сек?

_FR>>Интересно будет ваш и мой код запустить на одном и том же файле на одной и той же машине и сравнить память/время.
G>Вам ничего не мешает. Питоновский код Буравчика тоже запустите заодно.

Теги:

Введите теги разделенные пробелами. Обрамляйте в кавычки словосочетания с пробелами внутри, например: "Visual Studio" .NET

Имя, пароль: Загрузить Нравится наш сайт? Помогите его развитию!
Отключить смайлики Получать ответы по e-mail