]> www.infradead.org Git - users/jedix/linux-maple.git/commit
KVM: x86/mmu: Always drop mmu_lock to allocate TDP MMU SPs for eager splitting
authorDavid Matlack <dmatlack@google.com>
Tue, 11 Jun 2024 22:05:09 +0000 (15:05 -0700)
committerSean Christopherson <seanjc@google.com>
Fri, 14 Jun 2024 16:22:22 +0000 (09:22 -0700)
commitcf3ff0ee24d6808d19dec6c9dedb5c7555bd8c55
tree70fa3fc76fae95e9d769aa69e4dde2293ac14bdf
parentcaa727882937f0d5260a2a026eb7c27d77404066
KVM: x86/mmu: Always drop mmu_lock to allocate TDP MMU SPs for eager splitting

Always drop mmu_lock to allocate shadow pages in the TDP MMU when doing
eager page splitting. Dropping mmu_lock during eager page splitting is
cheap since KVM does not have to flush remote TLBs, and avoids stalling
vCPU threads that are taking page faults while KVM is eager splitting
under mmu_lock held for write.

This change reduces 20%+ dips in MySQL throughput during live migration
in a 160 vCPU VM while userspace is issuing CLEAR_DIRTY_LOG ioctls
(tested with 1GiB and 8GiB CLEARs). Userspace could issue finer-grained
CLEARs, which would also reduce contention on mmu_lock, but doing so
will increase the rate of remote TLB flushing, since KVM must flush TLBs
before returning from CLEAR_DITY_LOG.

When there isn't contention on mmu_lock[1], this change does not regress
the time it takes to perform eager page splitting (the cost of releasing
and re-acquiring an uncontended lock is minimal on x86).

[1] Tested with dirty_log_perf_test, which does not run vCPUs during
eager page splitting, and with a 16 vCPU VM Live Migration with
manual-protect disabled (where mmu_lock is held for read).

Cc: Bibo Mao <maobibo@loongson.cn>
Cc: Sean Christopherson <seanjc@google.com>
Signed-off-by: David Matlack <dmatlack@google.com>
Link: https://lore.kernel.org/r/20240611220512.2426439-2-dmatlack@google.com
Signed-off-by: Sean Christopherson <seanjc@google.com>
arch/x86/kvm/mmu/tdp_mmu.c