sg: fix compiler warning

sg/dxfer-from-dev.c: In function ‘main’:
sg/dxfer-from-dev.c:57:1: warning: control reaches end of non-void
  function [-Wreturn-type]

Signed-off-by: David Disseldorp <ddiss@suse.de>

Merge pull request #6 from nishita28/master

add: Check page-cache coherency after BLKDISCARD

add: Check page-cache coherency after BLKDISCARD

Regression test for fix https://lkml.org/lkml/2017/3/22/789
Page cache should be dropped after successful discard

Signed-off-by: Dmitry Monakhov <dmonakhov@openvz.org>
Signed-off-by: Nishita Borkar <nishita.borkar@oracle.com>

common/rc: fix _get_pci_dev_from_blkdev

The device path might include multiple PCI devices, like the port.
Always get the last one.

Fixes #5.

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: update block size tests for new ioctl

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: test direct I/O mode + custom block size

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/002: check that we can read and write

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/002: check physical block size and minimum io size as well

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #3 from liangxiao1/master

Check if null_block supports blocking in block/006

block/006: added checking if null_blk has blocking flag

There is no 'blocking' parameter on some branches, eg. RHEL7.

Signed-off-by: Xiao Liang <xiliang@redhat.com>

loop: test if closing an unbound device is too slow

Based on a patch from James Wang.

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: test LO_FLAGS_BLOCKSIZE

Signed-off-by: Omar Sandoval <osandov@fb.com>

src: compile with -Wall

Signed-off-by: Omar Sandoval <osandov@fb.com>

new: clarify what CHECK_DMESG does

It only checks for scary messages in dmesg, not random messages.

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/scsi_debug: make helpers more useful

Generalize the helpers to make them more useful: instead of always
setting up one device, it now takes arbitrary module parameters and sets
up as many devices as requested.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: remove unused scsi_debug dependency

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/001: require sd_mod and sr_mod

This test doesn't do anything interesting without those.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg: add regression test for patch scsi: sg: fix SG_DXFER_FROM_DEV transfers

Add a regression test for the patch titled "scsi: sg: fix
SG_DXFER_FROM_DEV transfers" which reassembles the syscalls done by Nero
Burning ROM to discover CD and DVD burners.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: rename _get_sg_from_blockdev to _get_test_dev_sg and fix sg/001]
Signed-off-by: Omar Sandoval <osandov@fb.com>

tests: use nproc to get number of CPUs for fio jobs

Use nproc to get number of CPUs for fio jobs and introduce
_run_fio_rand_io helper for parallel IO which we don't really care about
the details and just want some IO.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

block/011: Perform PCI reset while doing IO

This test-case performs I/O with fio while doing PCI disable/enable
cycles.

In the results we don't care for I/O errors but for hiccups in dmesg only.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

rc: add helpers to handle PCI test devices

Add two helpers to check whether a device is attached via PCI and to get the
PCI device from a TEST_DEV

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

rc: use grep -q instead of redirecting to /dev/null

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/010: only run if null_blk supports shared_tags

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/010: add test case for shared/unshared tags

Loads null_blk with and without shared_tags, and with 32 devices
and 16 queues each. Run a fio perf job in both modes, and output
the achieved IOPS. They should be pretty close to each other.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

block/006: use _fio_perf to get perf results

The tests flags us as being interested in seeing the read iops,
but it needs to use _fio_perf to get that, instead of _run_fio.

Signed-off-by: Jens Axboe <axboe@kernel.dk>

sg/001: don't require scsi_debug

Don't require scsi_debug but check if TEST_DEV is a SCSI device and use it
instead.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>

check: define TEST_DEV_SYSFS for group_device_requires

Signed-off-by: Omar Sandoval <osandov@fb.com>

Handle filters with repeated slashes

Signed-off-by: Omar Sandoval <osandov@fb.com>

Fix all shellcheck warnings

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/scsi_debug: add udevadm settle after modprobe

This makes sure the device is available before we start looking for it
in sysfs.

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: put syzkaller temporary crap in $TMPDIR

Signed-off-by: Omar Sandoval <osandov@fb.com>

common/rc: use --quiet when calling modprobe for _have_module

Signed-off-by: Omar Sandoval <osandov@fb.com>

sg/001: add regression test for syzcaller generated GPF in sg_read path

Add a regression test for commit 48ae8484e9fc ("scsi: sg: don't return
bogus Sg_requests"). This is a general protection fault triggered by
syzcaller via issuing bogus read(2)s on the /dev/sg devices.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: Omar Sandoval <osandov@fb.com>

tests/sg: add SCSI generic test group

Add a test group for tests of the SCSI generic driver and and functions
common to the SCSI generic driver and its test cases.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
Signed-off-by: Omar Sandoval <osandov@fb.com>

Add ability to build test-cases

Add the ability to build test cases from C files. This is handy for
things like syzcaller reproducers and all other kinds of test binaries.

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: trimmed down Makefiles, renamed syzkaller binary]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: support QUICK_RUN, TIMEOUT, and EXCLUDED in config

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: add ability to exclude a test or group

Add the ability to exclude a test or whole test group from a test
run. Thus a user can explicitly decide which tests to skip like in
this example where one wants all of the 'block' group but block/001.

block/002 (remove a device while running blktrace)
    0.835s           ...
    runtime  + test  ...
[  363.132053] run blktests block/002 at 2017-05-19 13:01:56
[  363.136844] scsi host0: scsi_debug: version 1.86 [20160430]
[  363.136844]   dev_size_mb=8, opts=0x0, submit_queues=1, statistics=0
[  363.138819] scsi 0:0:0:0: Direct-Access     Linux    scsi_debug       0186 PQ: 0 ANSI: 7
[  363.199172] sd 0:0:0:0: [sda] 16384 512-byte logical blocks: (8.39 MB/8.00 MiB)
[  363.207053] sd 0:0:0:0: [sda] Write Protect is off
block/002 (remove a device while running blktrace)           [passed]

Signed-off-by: Johannes Thumshirn <jthumshirn@suse.de>
[Omar: use associative array, make explicit run take precedence over -x]
Signed-off-by: Omar Sandoval <osandov@fb.com>

Don't skip all devices if device_requires fails on one

Fixes #2.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Merge pull request #1 from bvanassche/master

Make it easy to verify the shell scripts with shellcheck

common/rc: Do not mix strings and arrays

Expansion of $@ results in multiple strings. Since that is not intended
in this context, change $@ into $*. Detected by shellcheck.

Signed-off-by: Bart Van Assche <bart.vanassche@sandisk.com>

Add a Makefile that makes it easy to run shellcheck

Signed-off-by: Bart Van Assche <bart.vanassche@sandisk.com>

README: document that bash 4 is required

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add CONTRIBUTING.md

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add CPU hotplug test

Signed-off-by: Omar Sandoval <osandov@fb.com>

Save and restore sysfs knobs modified during test

This adds two new helpers, _test_dev_queue_get and _test_dev_queue_set,
which wrap access to /sys/block/$dev/queue/*. _test_dev_queue_set saves
the sysfs variable before it overwrites it, to be restored in ./check.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: align test run metrics nicely

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: fix tests getting run twice

Another dumb mistake.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: fix braino

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: add support for quick runs

Easy way to do a quick sanity run: `./check -q`.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Simplify test groups and overhaul test running

This gets rid of the concept of test groups as used by xfstests and
renames categories into groups. If it turns out we want it back, we can
reintroduce test tags later.

This rework also has a few other effects:

- The config file is now entirely optional, as is TEST_DEVS
- prepare() and prepare_device() are renamed to {group_,}requires() and
  {group_,}device_requires()
- QUICK and TIMED are now test flags instead of groups
- Running test groups is now just `./check block`

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add support for test timeout

Add a configurable per-test timeout. By default, tests will run fully.
If $TIMEOUT is set, tests may restrict themselves to that timeout. So,
e.g., `TIMEOUT=30 ./check -g quick -g timed` can be used to do a quick
sanity test without doing the full run.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/007: include mean lat in poll output

Signed-off-by: Jens Axboe <axboe@fb.com>

block/003: change from time based to doing 200k trims

Signed-off-by: Jens Axboe <axboe@fb.com>

Add mandatory test description variable to tests

With this, we can have more meaningful output in the test logs without
having to consult the test script itself.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add fio performance measurement helper

Abstract all of the terse format parsing into a single helper and use
that everywhere.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/006: add regression test fix for blocking blk-mq driver

Signed-off-by: Jens Axboe <axboe@fb.com>

common: require a fio version that supports terse format 4

We need this for trim output. Has been supported since 2012 or so, hence
the requirement should be fair.

Signed-off-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

Add performance numbers to appropriate block tests

Signed-off-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

block/007: test variants of IO polling

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: move I/O polling helpers into their own file]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: relax root requirement

Almost all tests need root, but the meta tests don't. Turn it into a
prepare() helper which is set by default on new categories.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: less dots

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: align passed/failed/notrun

Part 2 of improving output readability.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: colorize passed/failed/not run

Part 1 of making it easier to scan and visually verify the test
progress.

Signed-off-by: Omar Sandoval <osandov@fb.com>

common: fix _test_dev_is_rotational

Reported-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/001: used parted instead of sfdisk

sfdisk from util-linux < 2.26 doesn't support regular files or the syntax this
test was using, so just use parted instead.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add test case that runs a workload while switching schedulers

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: add _test_dev_is_rotational helper, misc cleanup]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: check if stdout is a tty before using terminal commands

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: make sure $TMPDIR is deleted if interrupted

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: move _find_sysfs_dir definition closer to where it is used

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: exit with non-zero status if tests fail

Signed-off-by: Omar Sandoval <osandov@fb.com>

gitignore: remove results.last

This isn't used anymore.

Signed-off-by: Omar Sandoval <osandov@fb.com>

README: update information on writing tests

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: don't interleave definitions and execution

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: fix test group inclusion vs. exclusion

If a test belongs to a group which is included and also a group which is
excluded, the exclusion should take precedence.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/00{3,4}: add to more groups

Signed-off-by: Omar Sandoval <osandov@fb.com>

new: move test writing documentation directly into templates

It's more accesible here, and certain people won't look at the
documentation even when you tell them to.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/003: check if the test device supports discard

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: export sysfs directory for test device

E.g., if TEST_DEV=/dev/sda, then TEST_DEV_SYSFS=/sys/block/sda, and if
TEST_DEV=/dev/nvme0n1p1, then TEST_DEV_SYSFS=/sys/block/nvme0n1 (i.e.,
we get the sysfs directory for the full device, not the partition).

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/00{3,4}: log fio output to $FULL

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: clean up $FULL from previous test runs

Signed-off-by: Omar Sandoval <osandov@fb.com>

Add flush intensive test case

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: used new _have_fio helper, quoted $TEST_DEV]
Signed-off-by: Omar Sandoval <osandov@fb.com>

block: add random offset/size discard test case

Signed-off-by: Jens Axboe <axboe@fb.com>
[Omar: created _have_fio helper, quoted $TEST_DEV]
Signed-off-by: Omar Sandoval <osandov@fb.com>

check: allow tests to record arbitrary metrics

Don't run the test function in a subshell so tests can set
TEST_RUN[foo]=bar and it will be shown along with the runtime.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: change how results are recorded

Preparation for allowing tests to record arbitrary metrics.

Signed-off-by: Omar Sandoval <osandov@fb.com>

check: stricter test matching

Jens noticed that check tried to execute his undo file:

./check: line 219: .: tests/block/.003.un~: cannot execute binary file

Fix it by explicitly matching '[0-9]{3}'.

Reported-by: Jens Axboe <axboe@fb.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>

meta/00{7,8}: fix skip reason formatting

Signed-off-by: Omar Sandoval <osandov@fb.com>

README: document dependency on GNU awk

Signed-off-by: Omar Sandoval <osandov@fb.com>

block/001: remove from quick group

This takes almost 30 seconds on my VM and longer than 30 seconds on a
different machine.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: test debugfs interaction with blktrace

The lifetimes in the kernel are tricky, let's make sure we get it right.

Signed-off-by: Omar Sandoval <osandov@fb.com>

block: stress test device hotplugging

Based on my old stress_test_scsi_debug.sh script.

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop/001: add to quick group

Signed-off-by: Omar Sandoval <osandov@fb.com>

Fix README links

Signed-off-by: Omar Sandoval <osandov@fb.com>

loop: test partition scanning

First real test case.

Signed-off-by: Omar Sandoval <osandov@fb.com>

Initial commit

blktests is heavily inspired by xfstests, with a few important
differences:

- It can run tests on multiple devices at once (serialized for now, but
  this can be changed).
- It has a notion of per-device tests (e.g., for testing specific I/O
  workloads that have been known to cause problems) and no-device tests
  (e.g., for tests that set up pseudo-devices).
- It has documentation.
- It's not ancient, so the framework is much cleaner.

Also included is a set of "meta" tests, i.e., tests that test the
testing framework itself.

Signed-off-by: Omar Sandoval <osandov@fb.com>