Eigen rapid #1

EgorkaZ · 2024-04-12T12:46:11Z

No description provided.

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

blonded04 · 2024-04-13T16:43:34Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ }
+
+ std::unique_ptr<Task> TryPushTask(std::unique_ptr<Task> task, int threadId) {
+ threadId = std::max(threadId, 0);


для начала думаю можно считать что у нас тот rapid-start который себя уже хорошо показал, поэтому предлагаю считать что схема такая:

мастер-поток (threadId == 0) единственный кто имеет право запускать рэпид-старт

рэпид-старт рассылает таску на N потоков размера 1/N от исходного рейнджа каждому, мастер поток ждет завершения всех потоков

никакой вложенности!!

а то окажется что все модификации которые придумываются работают плохо (будет очень грустно), а та версия гарантированно работает норм

Вложенно rapid start не происходит, но чтобы не нарушать интерфейс, всё держится в одном parallel_for, который вложенным быть может

Модификации я выключаю-включаю. Пока получается шустрее с похожим на асинхронный вариант

асинхронный вариант ускоряет фазу распределения только, он всё также плодит таски как и обычный ParallelFor, только вот таски он изначально раздаёт потокам быстрее (а не как в классическом stealing все потоки starving в самом начале). в асинхронном варианте так мы решили действовать:

поделить исходный рейндж поровну между всеми подписчиками RapidStart

отправить на исполнение в RapidStart работу вида "заспавни таску размера своего рейндж" (типа "распределительная таска")

мейн поток ждет пока остальные потоки закончат исходную таску, то есть не просто ее заспавнят, а именно что исполнят

"заспавни таску размера своего рейндж" -- принципиальный момент, нужно именно что её положить (не обязательно в очередь, можно куда-то на стек), и сказать рэпиду что исполнил, а потом уже самому её начать исполнять (в этом и состоит вся асинхронность)

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

blonded04 · 2024-04-13T16:48:15Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ auto left_mask = mask;
+ left_mask |= left_mask << 1;
+ left_mask |= left_mask << 2;
+ left_mask |= left_mask << 4;
+ left_mask |= left_mask << 8;
+ left_mask |= left_mask << 16;
+ left_mask |= left_mask << 32;
+
+ auto cleaned_mask = CaughtMask_ & ~left_mask;
+ int part = __builtin_popcountl(cleaned_mask);


точно не помню что делает такая битовая магия но надеюсь что это эквивалентно сорс-коду референс rapid-start))

В маске один бит. Заполняем все биты слева от него (включительно). Инвертируем - получаем все биты справа. Оставляем в CaughtMask_ биты строго правее нашего, считаем -> получаем номер нашего куска из всех

blonded04 · 2024-04-13T16:59:14Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ }
+
+ auto runMask = Owner_->RunMask_.load(std::memory_order_acquire);
+ if (runMask & mask) {


перед этой строчкой нужно (обязательно) добавить while (run_mask.load(acq) == DISTRIBUTING) { machine_pause(); } (по-аккуратнее с DISTRIBUTING == 0, а то это же значение run_mask по умолчанию, так можно и зависнуть навсегда)

blonded04 · 2024-04-13T17:04:19Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h


- threadData.ResetIdle();
+ thread_data.ResetIdle();
 bool processed_anything = false;
 bool all_empty = false;
 while (!cancelled_) {


перед началом цикла нужно подписаться на рэпидгруппу (если это не вложенный вызов worker-loop [а такое вообще бывает в эйгене?])

Вложенный вызов worker loop'ов бывает. Отслеживаю через IsRunning_ в тред-локальном Subscriber'е

нужно тогда перед while проверку "если я не вложенный то подпишись на RapidStart и проверь есть ли там работа" -- чтобы как раз таки то ради чего придумывался RapidStart (быстрое распределение работы) быстро работало

а, ну раз тут асинхронный рэпид то можно без проверок таких

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

blonded04 · 2024-04-13T17:08:13Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ if (!pt.rapid_subscriber.IsSubscribed() || pt.rapid_subscriber.Unsubscribe()) {
+ return task;
+ }
+ thread_data_[pt.thread_id].PushTask(task, true);


тут нужна тоньше настройка:

если во время unsubscribe было замечено (уже после того, как мы убрали битик нашего потока из group_mask), что в run_mask стоит битик нашего потока, то нужно:

заспавнить task на локальную очередь

исполнить работу от rapidgroup (вот прямо тут прямо сейчас)

А что делаем с unsubscribe-subscribe в RunIfAvailable? Начал отписываться перед проверкой - стало лучше. Подписываться ли потом обратно?

в асинхронном варианте нужно отписываться после исполнения распределительной таски, в синхронном не нужно

blonded04 · 2024-04-13T17:11:32Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/timespan_partitioner.h

+ // std::cout << "~RapidStartTask(this=" << (const void*)this << ")" << std::endl;
+ // }
+
+ void operator()(int part, int totalParts) override {


вроде как всё круто: эта таска не должна аллоцировать child тасок (вроде бы так и есть)

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

blonded04

всё что я написал если что применимо к асинхронному рэпид-старту, давай тогда на нем сфокусируемся

blonded04 · 2024-04-16T14:59:38Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ GroupMask_.fetch_and(~mask, std::memory_order_release);
+ }
+
+ bool IsSubscribed(uint64_t mask) const noexcept {


лучше тредлокальную переменную в каждого подписчика завести "подписан ли я сейчас?", чтоб меньше contention был

blonded04 · 2024-04-16T15:04:55Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+
+ bool TryPushTask(Task* task, uint64_t mask) {
+ bool locked = false;
+ if (!Locked_.compare_exchange_strong(locked, true, std::memory_order_acq_rel)) {


если не удалось, то можно не возвращать false наверх, а исполнить эту таску как обычный параллел фор (без ускоренного распределения)

blonded04 · 2024-04-16T15:07:19Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ return true;
+ }
+
+ void WaitAndClean() noexcept {


мейн поток мне кажется всё равно должен весь-весь рейндж исполненный ждать (не именно что всё заспавнится, а именно что всё заспавнится И закончит исполнение), иначе это получился не ParallelFor, а просто быстрый fork-барьер

быстрый fork-барьер

что круто всё равно)

blonded04 · 2024-04-16T15:09:56Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ }
+
+ bool SubscribeTo(RapidGroup& group) noexcept {
+ if (!IsRunning_) {


у нас в случае асинхронного RapidStart вложенности рэпид-таски в рэпид-таску не может быть by design, тут для уменьшения contention (общение с глобальной маской всегда) лучше проверку thread_local флажка if (worker_state == UNSUBSCRIBED) (общение с глобальной маской почти всегда)

blonded04 · 2024-04-16T15:10:52Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

+ // returns true if there is work subscriber must do after unsubscribing
+ bool Unsubscribe(uint64_t mask) noexcept {
+ assert(mask == Mask_);
+ if (IsRunning_) {


тут аналогично как и чуть повыше

blonded04 · 2024-04-16T15:22:56Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

 auto success = runnext.compare_exchange_strong(
- p, nullptr, std::memory_order_acquire);
+ p, nullptr, std::memory_order_seq_cst);


acq_rel думаю достаточно

blonded04 · 2024-04-16T15:25:37Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h


- threadData.ResetIdle();
+ thread_data.ResetIdle();
 bool processed_anything = false;
 bool all_empty = false;
 while (!cancelled_) {


а, ну раз тут асинхронный рэпид то можно без проверок таких

blonded04 · 2024-04-16T15:26:16Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

- if (t) {
- Tracing::TaskStolen();
+ if (is_subscribed && pt->rapid_subscriber.RunIfAvailable(mask)) {
+ is_subscribed = false;


вот эту переменную бы в subscriber утащить и геттер ей выделить и будет думаю чудесно с перформансом

blonded04 · 2024-04-16T15:27:14Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h

@@ -483,11 +730,25 @@ class ThreadPoolTempl : public Eigen::ThreadPoolInterface {
 if (once) {
 break;
 }
+ if (all_empty && (++current_stale == StaleLimit)) {


так лучше: if (all_empty && !is_subscribed && (++current_stale == StaleLimit)) {

blonded04 · 2024-04-16T15:28:33Z

parlaylib/include/parlay/internal/scheduler_plugins/eigen/timespan_partitioner.h

+ // Func_(i);
+ // }
+
+ IntoTask<Initial::FALSE>(from, to)();


исполнять IntoTask нужно только после того, как поставили рэпидстарту свой битик в финишмасочке: Eigen rapid #1 (comment) , до этого её нужно куда-то сложить (в идеале на стек)

принципиально, чтобы поток, который работу запланировал в этой RapidStart эпохе -- ждал, пока не просто распределение завершится, но исполнение завершится (чтобы не было всяких сегфолтов и out of bounds и uninitialized memory access)

EgorkaZ added 3 commits March 20, 2024 02:09

Fix io?

de17fca

a

ec74d8e

Bad rapid

5856700

blonded04 reviewed Apr 13, 2024

View reviewed changes

parlaylib/include/parlay/internal/scheduler_plugins/eigen/nonblocking_thread_pool.h Outdated Show resolved Hide resolved

Better rapid?

27e1113

blonded04 reviewed Apr 16, 2024

View reviewed changes

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Eigen rapid #1

Eigen rapid #1

EgorkaZ commented Apr 12, 2024

blonded04 Apr 13, 2024

blonded04 Apr 13, 2024

EgorkaZ Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 13, 2024

EgorkaZ Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 13, 2024

blonded04 Apr 13, 2024

EgorkaZ Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 13, 2024 •

edited

Loading

EgorkaZ Apr 16, 2024 •

edited

Loading

blonded04 Apr 16, 2024 •

edited

Loading

blonded04 Apr 13, 2024

blonded04 left a comment

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024

blonded04 Apr 16, 2024 •

edited

Loading

Eigen rapid #1

Are you sure you want to change the base?

Eigen rapid #1

Conversation

EgorkaZ commented Apr 12, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

blonded04 Apr 13, 2024 • edited Loading

Choose a reason for hiding this comment

EgorkaZ Apr 16, 2024 • edited Loading

Choose a reason for hiding this comment

blonded04 Apr 16, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

blonded04 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

blonded04 Apr 16, 2024 • edited Loading

Choose a reason for hiding this comment

blonded04 Apr 13, 2024 •

edited

Loading

EgorkaZ Apr 16, 2024 •

edited

Loading

blonded04 Apr 16, 2024 •

edited

Loading

blonded04 Apr 16, 2024 •

edited

Loading