common/nvme: add helper functions to define a nvme target

Add:
- _create_nvmet_port()
- _remove_nvmet_port()
- _create_nvmet_subsystem()
- _remove_nvmet_subsytem()
- _add_nvmet_subsys_to_port()
- _remove_nvmet_subsystem_from_port()

which serve as helper functions to create new nvmet ports and
subsystems for NVMe over Fabrics focused test cases.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

common/rc: add _have_configfs

Add a _have_configfs() helper function checking if we have configfs
mounted similar to the already present _have_tracefs().

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

Fix some shellcheck warnings

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: add ioctl lock imbalance regression test

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/013: fix shellcheck warning

Signed-off-by: Omar Sandoval <osandov@fb.com>

Rename sg group to scsi

sg/003 is really an sd test, and there's no point in having separate
test group for sd.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #13 from jeremycline/sg-ro-reread-part

sg: test for patch "Keep disk read-only when re-reading partition"

sg: test for patch "Keep disk read-only when re-reading partition"

Add a regression test for the patch "scsi: sd: Keep disk read-only when
re-reading partition" which ensures re-reading a disk's partition table
doesn't change its read-only flag.

Signed-off-by: Jeremy Cline <jeremy@jcline.org>

Merge pull request #12 from morbidrsa/dir-locals

dir-locals.el: add emacs local variable config

dir-locals.el: add emacs local variable config

Add a dir-locals.el so Emacs will do the right thing when editing
blktests code and test cases.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

block/014: test all I/O schedulers

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add blk-mq requeue test

This test is pretty trivial but it reproduces the hang fixed by
ba989a01469d ("block: kyber: fix domain token leak during requeue").

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/014: fix comment about timeout frequency

An earlier version had interval 2 and probability 100%, but then I
changed it to interval 1 and probability 50%.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add smoke test for timeouts

This doesn't do much, it just makes sure that the timeouts are executed
without hanging or crashing.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #11 from morbidrsa/nvme-tracepoints

Add the first NVMe-specific test.

tests/nvme: add NVMe test group and tracepoint test

Add a NVMe test group and a tracepoint test as the first test case.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #10 from felixsch/cpuhotplug-fix

Append not replace cpus to cpus hotplug list

Append cpus to hotplug list instead of selecting the last one

Due to a missing plus, available cpus where not collected but only
the last possible one was used.

Signed-off-by: Felix Schnizlein <fschnizlein@suse.com>

block/013: Add test for BLKRRPART ioctl

If the entire block device is formatted with a filesystem and
mounted, running "blockdev --rereadpt" should fail and return
EBUSY instead of pass.

Reviewed-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: xiao yang <yangx.jy@cn.fujitsu.com>
[Omar: simplified a bit]
Signed-off-by: Omar Sandoval <osandov@fb.com>

common/rc: allow 5-digit domains in _get_pci_dev_from_blkdev

At least one driver (VMD) uses 32-bit pci domains, but is effectively
limited to 5-digit domains. Allow tests to access devices with 4-5 digit
domains.

Signed-off-by: Jon Derrick <jonathan.derrick@intel.com>

Merge pull request #9 from yide1728/yizhang-branch

Add missing _have_fio to a few tests.

block/006, block/008, block/010: add _have_fio to require function

Signed-off-by: Yi Zhang <yi.zhang@redhat.com>

loop/003: use a C program instead of bash

shellcheck can't parse the {FD} syntax, and doing it in bash adds a
bunch of extra overhead to the loop, anyways.

Signed-off-by: Omar Sandoval <osandov@fb.com>

src: fix loblksize usage message

BLKSIZE is not optional.

Signed-off-by: Omar Sandoval <osandov@fb.com>

src: add missing copyright header to loblksize

Signed-off-by: Omar Sandoval <osandov@fb.com>

shellcheck: ignore SC2119

It was causing this useless note:

tests/block/002:33:7: note: Use _init_scsi_debug "$@" if function's $1 should mean script's $1. [SC2119]

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/012: fix xfs_io error mismatch

Old versions of xfs_io (like David must be using) use pwrite64() instead
of pwrite(), which was causing an output mismatch on my newer version.
Pull in _filter_xfs_io_error from xfstests to fix it. While we're here,
add a slightly more descriptive description.

Fixes: 3aeec46f048b ("block/012: add test for BLKROSET/BLKROGET ioctls")
Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #7 from ddiss/ro_get_set

Compiler warning fix and new test for BLKRO{SET,GET}.

block/012: add test for BLKROSET/BLKROGET ioctls

Use blockdev --setro/--getro to manipulate the read-only state of a test
device, and confirm that writes fail while set.

Signed-off-by: David Disseldorp <ddiss@suse.de>

sg: fix compiler warning

sg/dxfer-from-dev.c: In function ‘main’:
sg/dxfer-from-dev.c:57:1: warning: control reaches end of non-void
  function [-Wreturn-type]

Signed-off-by: David Disseldorp <ddiss@suse.de>

Merge pull request #6 from nishita28/master

add: Check page-cache coherency after BLKDISCARD

add: Check page-cache coherency after BLKDISCARD

Regression test for fix https://lkml.org/lkml/2017/3/22/789
Page cache should be dropped after successful discard

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Nishita Borkar <nishita.borkar@oracle.com>

common/rc: fix _get_pci_dev_from_blkdev

The device path might include multiple PCI devices, like the port.
Always get the last one.

Fixes #5.

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: update block size tests for new ioctl

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: test direct I/O mode + custom block size

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/002: check that we can read and write

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/002: check physical block size and minimum io size as well

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #3 from liangxiao1/master

Check if null_block supports blocking in block/006

block/006: added checking if null_blk has blocking flag

There is no 'blocking' parameter on some branches, eg. RHEL7.

Signed-off-by: Xiao Liang <xiliang@redhat.com>

loop: test if closing an unbound device is too slow

Based on a patch from James Wang.

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: test LO_FLAGS_BLOCKSIZE

Signed-off-by: Omar Sandoval <osandov@fb.com>

src: compile with -Wall

Signed-off-by: Omar Sandoval <osandov@fb.com>

new: clarify what CHECK_DMESG does

It only checks for scary messages in dmesg, not random messages.

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/scsi_debug: make helpers more useful

Generalize the helpers to make them more useful: instead of always
setting up one device, it now takes arbitrary module parameters and sets
up as many devices as requested.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: remove unused scsi_debug dependency

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/001: require sd_mod and sr_mod

This test doesn't do anything interesting without those.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg: add regression test for patch scsi: sg: fix SG_DXFER_FROM_DEV transfers

Add a regression test for the patch titled "scsi: sg: fix
SG_DXFER_FROM_DEV transfers" which reassembles the syscalls done by Nero
Burning ROM to discover CD and DVD burners.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: rename _get_sg_from_blockdev to _get_test_dev_sg and fix sg/001]
Signed-off-by: Omar Sandoval <osandov@fb.com>

tests: use nproc to get number of CPUs for fio jobs

Use nproc to get number of CPUs for fio jobs and introduce
_run_fio_rand_io helper for parallel IO which we don't really care about
the details and just want some IO.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

block/011: Perform PCI reset while doing IO

This test-case performs I/O with fio while doing PCI disable/enable
cycles.

In the results we don't care for I/O errors but for hiccups in dmesg only.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

rc: add helpers to handle PCI test devices

Add two helpers to check whether a device is attached via PCI and to get the
PCI device from a TEST_DEV

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

rc: use grep -q instead of redirecting to /dev/null

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/010: only run if null_blk supports shared_tags

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/010: add test case for shared/unshared tags

Loads null_blk with and without shared_tags, and with 32 devices
and 16 queues each. Run a fio perf job in both modes, and output
the achieved IOPS. They should be pretty close to each other.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

block/006: use _fio_perf to get perf results

The tests flags us as being interested in seeing the read iops,
but it needs to use _fio_perf to get that, instead of _run_fio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

sg/001: don't require scsi_debug

Don't require scsi_debug but check if TEST_DEV is a SCSI device and use it
instead.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

check: define TEST_DEV_SYSFS for group_device_requires

Signed-off-by: Omar Sandoval <osandov@fb.com>

Handle filters with repeated slashes

Signed-off-by: Omar Sandoval <osandov@fb.com>

Fix all shellcheck warnings

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/scsi_debug: add udevadm settle after modprobe

This makes sure the device is available before we start looking for it
in sysfs.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: put syzkaller temporary crap in $TMPDIR

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/rc: use --quiet when calling modprobe for _have_module

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: add regression test for syzcaller generated GPF in sg_read path

Add a regression test for commit 48ae8484e9fc ("scsi: sg: don't return
bogus Sg_requests"). This is a general protection fault triggered by
syzcaller via issuing bogus read(2)s on the /dev/sg devices.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: Omar Sandoval <osandov@fb.com>

tests/sg: add SCSI generic test group

Add a test group for tests of the SCSI generic driver and and functions
common to the SCSI generic driver and its test cases.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: Omar Sandoval <osandov@fb.com>

Add ability to build test-cases

Add the ability to build test cases from C files. This is handy for
things like syzcaller reproducers and all other kinds of test binaries.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: trimmed down Makefiles, renamed syzkaller binary]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: support QUICK_RUN, TIMEOUT, and EXCLUDED in config

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: add ability to exclude a test or group

Add the ability to exclude a test or whole test group from a test
run. Thus a user can explicitly decide which tests to skip like in
this example where one wants all of the 'block' group but block/001.

block/002 (remove a device while running blktrace)
    0.835s           ...
    runtime  + test  ...
[  363.132053] run blktests block/002 at 2017-05-19 13:01:56
[  363.136844] scsi host0: scsi_debug: version 1.86 [20160430]
[  363.136844]   dev_size_mb=8, opts=0x0, submit_queues=1, statistics=0
[  363.138819] scsi 0:0:0:0: Direct-Access     Linux    scsi_debug       0186 PQ: 0 ANSI: 7
[  363.199172] sd 0:0:0:0: [sda] 16384 512-byte logical blocks: (8.39 MB/8.00 MiB)
[  363.207053] sd 0:0:0:0: [sda] Write Protect is off
block/002 (remove a device while running blktrace)           [passed]

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: use associative array, make explicit run take precedence over -x]
Signed-off-by: Omar Sandoval <osandov@fb.com>

Don't skip all devices if device_requires fails on one

Fixes #2.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #1 from bvanassche/master

Make it easy to verify the shell scripts with shellcheck

common/rc: Do not mix strings and arrays

Expansion of $@ results in multiple strings. Since that is not intended
in this context, change $@ into $*. Detected by shellcheck.

Signed-off-by: Bart Van Assche <bart.vanassche@sandisk.com>

Add a Makefile that makes it easy to run shellcheck

Signed-off-by: Bart Van Assche <bart.vanassche@sandisk.com>

README: document that bash 4 is required

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add CONTRIBUTING.md

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add CPU hotplug test

Signed-off-by: Omar Sandoval <osandov@fb.com>

Save and restore sysfs knobs modified during test

This adds two new helpers, _test_dev_queue_get and _test_dev_queue_set,
which wrap access to /sys/block/$dev/queue/*. _test_dev_queue_set saves
the sysfs variable before it overwrites it, to be restored in ./check.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: align test run metrics nicely

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: fix tests getting run twice

Another dumb mistake.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: fix braino

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: add support for quick runs

Easy way to do a quick sanity run: `./check -q`.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Simplify test groups and overhaul test running

This gets rid of the concept of test groups as used by xfstests and
renames categories into groups. If it turns out we want it back, we can
reintroduce test tags later.

This rework also has a few other effects:

- The config file is now entirely optional, as is TEST_DEVS
- prepare() and prepare_device() are renamed to {group_,}requires() and
  {group_,}device_requires()
- QUICK and TIMED are now test flags instead of groups
- Running test groups is now just `./check block`

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add support for test timeout

Add a configurable per-test timeout. By default, tests will run fully.
If $TIMEOUT is set, tests may restrict themselves to that timeout. So,
e.g., `TIMEOUT=30 ./check -g quick -g timed` can be used to do a quick
sanity test without doing the full run.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/007: include mean lat in poll output

Signed-off-by: Jens Axboe <axboe@fb.com>

block/003: change from time based to doing 200k trims

Signed-off-by: Jens Axboe <axboe@fb.com>

Add mandatory test description variable to tests

With this, we can have more meaningful output in the test logs without
having to consult the test script itself.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add fio performance measurement helper

Abstract all of the terse format parsing into a single helper and use
that everywhere.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/006: add regression test fix for blocking blk-mq driver

Signed-off-by: Jens Axboe <axboe@fb.com>

common: require a fio version that supports terse format 4

We need this for trim output. Has been supported since 2012 or so, hence
the requirement should be fair.

Signed-off-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

Add performance numbers to appropriate block tests

Signed-off-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

block/007: test variants of IO polling

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: move I/O polling helpers into their own file]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: relax root requirement

Almost all tests need root, but the meta tests don't. Turn it into a
prepare() helper which is set by default on new categories.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: less dots

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: align passed/failed/notrun

Part 2 of improving output readability.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: colorize passed/failed/not run

Part 1 of making it easier to scan and visually verify the test
progress.

Signed-off-by: Omar Sandoval <osandov@fb.com>

common: fix _test_dev_is_rotational

Reported-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/001: used parted instead of sfdisk

sfdisk from util-linux < 2.26 doesn't support regular files or the syntax this
test was using, so just use parted instead.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add test case that runs a workload while switching schedulers

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: add _test_dev_is_rotational helper, misc cleanup]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: check if stdout is a tty before using terminal commands

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: make sure $TMPDIR is deleted if interrupted

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: move _find_sysfs_dir definition closer to where it is used

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: exit with non-zero status if tests fail

Signed-off-by: Omar Sandoval <osandov@fb.com>

gitignore: remove results.last

This isn't used anymore.

Signed-off-by: Omar Sandoval <osandov@fb.com>