Включи отладчик (не забудь подключить фоновые), сделай замер.
Скорей всего затык в обработчиках событий БП или создаваемых задач.
Требовать и эффективности, и гибкости от одной и той же программы — все равно, что искать очаровательную и скромную жену... по-видимому, нам следует остановиться на чем-то одном из двух. Фредерик Брукс-младший