|
|
Сравнение скорости при разных методиках загрузки
H A D G E H O G s, Lama12, trk415e76, Fragster, АНДР, Злопчинский, dedmoroz777, X Leshiy, alexxx961503, asady, ALCAPONA, kir-g, laeg, okmail, obs191, Климов Сергей, PLUT, Fedor-1971, ЯнСмит, АЛьФ, Волшебник, paramedic, arsik, maxab72, Толич, ndrv, palsergeich, shuhard, Lazy Stranger, ig0z, Доминошник, yad-t, zenik, Fish, Eiffil123, Бычье сердце, LuckyStar, Галахад, Pprog151713, A_G, Vstur, Сергиус, sikuda, mzelensky, maxar, Санта Клаус, nick86, Ненавижу 1С, Гипервизор, skafandr, slad, Web00001, scanduta, 1ctube, Prog_man, viraboy, Михаил_, vbus, Chameleon1980, rozer76, banco, Sserj, Garykom, Михаил Козлов, DemonShinji2, toypaul, DeeK, mTema32, Ботаник Гарден Меран, reg0303, p-soft, Crusher, 2S, mikecool, LoneMan, RVN, privetik, Krendel, kupec, AleksNew, Ychenik1c, Hmster, bimbambum, Indian, pablo_escobar
| ☑ |
|
0
maxab72
18.11.26
✎
16:39
|
Провел эксперимент.
Одинаковая структура данных заносится в регистр сведений напрямую, и через создание документов и их проведение.
На одинаковом объеме данных, около 1 млн записей.
Прямая запись в регистр пакетами по 50 тыс записей - 260 минут.
Создание документов и их проведение - 15 минут. В документах по 250 записей в каждом.
База файловая. Сижу, думаю...
|
|
|
1
Злопчинский
18.11.26
✎
16:45
|
Возможно, работа через документы ускоряется за счет транзакций?
|
|
|
2
maxab72
18.11.26
✎
16:48
|
(2) создание документов 4000 транзакций + 4000 транзакций на их проведение через интерфейс вручную. запись в регистр напрямую - 20 транзакций...
|
|
|
3
shuhard
18.11.26
✎
16:58
|
(0)[База файловая]
замерь на сиквеле
|
|
|
4
H A D G E H O G s
18.11.26
✎
17:30
|
1 млн записей должен записываться, нууу, пару минут наверное.
|
|
|
5
1cVandal
18.11.26
✎
17:35
|
посмотреть бы код и структуру регистра в конфе со свойствами
|
|
|
6
Fragster
гуру
18.11.26
✎
17:40
|
может там талантливо сделано само заполнение?
|
|
|
7
Krendel
18.11.26
✎
17:43
|
(0) 1 млн записей или 2, это не о чем не говорит, ты лучше вес файла скажи, ну и замерять надо на (3)
В целом должно получиться 1/10 от производительности дисковой подсистемы
|
|
|
8
maxab72
18.11.26
✎
19:11
|
(6) я тестировал РежимЗамещения.Добавление. Практически все время на операцию запись ушло.
(7) json примерно 50 Мб. Измерения ссылочные типы и простые (даты) вперемешку, ресурсы - числа и текст.
|
|
|
9
Krendel
19.11.26
✎
11:11
|
(8) мы грузили файл 50к реализаций в ерп в обьеме 5 гб-15 минут с проведением
|
|
|
10
Fedor-1971
19.11.26
✎
11:32
|
(0) Есть момент в эксперименте: разный объём записываемых данных (в документе по 250 записей, а при прямой записи по 50 тыс).
Нужно попробовать записывать по одинаковому количеству строк.
Возможно, что обработка большого пакета при добавлении записей в РС подтормаживает, т.к. проверяет наличие каждой записи в регистре? (т.е. нашли ключ и дописали остальное - менеджер записи работает с индексом БД, а как режим Добавление у набора записей отрабатывает - непонятно)
|
|
|
11
Толич
19.11.26
✎
12:01
|
(9) Реализация услуг была? Планирование включено в базе? А версионирование включено?
50К реализаций это звиздец задача, провести за 15 минут.
|
|
|
12
H A D G E H O G s
19.11.26
✎
12:00
|
(11) Раскидали по потокам, чтобы в каждому были разные склады-серии-номенклатуры, отложили онлайн взаиморасчеты, отключили контроль остатков, сместили минимум итогов на текущий месяц, да и немного прихвастнули.
|
|
|
13
arsik
гуру
19.11.26
✎
14:51
|
(0) А ты попробуй документы по с ТЧ 50 тыс. строк.
|
|
|
14
maxab72
19.11.26
✎
15:06
|
(13) они не имеют смысла.
|
|
|
15
АНДР
19.11.26
✎
15:15
|
А зачем вообще нужны транзакции в (0) и (2)?
|
|
|
16
arsik
гуру
19.11.26
✎
15:30
|
(14) В Рамках (0) как раз имеют. Ты увидишь, что с документами дольше
|
|
|
17
H A D G E H O G s
19.11.26
✎
15:31
|
(15) Если будет много мелких одиночных транзакций - диск без кэша в памяти будет узким местом, будет 100% загрузка даже шустрого SSD
Если будет гиганская транзакция - то идет линейная деградация скорости записи, причем на rmngr, где то там внутри ArrayList вместо Map забыли. Хотя может и поправили. Поэтому большие данные грузим кусками в 10000 записей.
|
|
|
18
maxab72
19.11.26
✎
15:41
|
(17) пакетами по 10 000 записей заняло при прямой загрузке в регистр около 200 минут. Чуть быстрее, но не принципиально.
|
|
|
19
H A D G E H O G s
19.11.26
✎
15:43
|
(18) Вы что-то делаете абсолютно не так
|
|
|
20
paramedic
19.11.26
✎
15:47
|
(17) Мне казалось, что при увеличении объема транзакции скорость падает не линейно, а ближе к экспоненте.
И у меня тоже получалось, что 10-15 тыс. это предел, при котором быстродействие еще можно считать комфортным.
|
|
|
21
АНДР
19.11.26
✎
16:01
|
(17) У него файловая, json всего 50 Mb и объём записываемых данных через создание документа раза в 3 больше и в разные места...
P.S. SSD они такие разные QLC, TLC, MLC, SLC, PLC...
|
|
|
22
АНДР
19.11.26
✎
16:03
|
(0) (5) + Технологический журнал, уровень логирования, полнотекстовый поиск?
|
|
|
23
maxab72
19.11.26
✎
16:10
|
(22) это тестовая база, все лишнее отключено. Вероятно надо в регистры писать еще более маленькими порциями 1000 - 5000 записей за раз. Все время уходит на операцию Записать().
|
|
|
24
АНДР
19.11.26
✎
16:22
|
|
|