sed: add '--read-only' to 'sed initialize'

By default 'sed initialize' will set the entire disk to read/write
locked, ie no access is possible. That is all fine if the BIOS supports
TCG Opal, as then the BIOS can unlock the drive before access.
But for BIOS _not_ supporting TCG Opal this results in an inaccessible
drive, and requires the user to use a different drive to boot and
unlock the SED device.
This patch adds a flag '--read-only' to 'nvme sed initlialize' such
that the 'read-lock enable' flag is not set for the locking range,
and the device continues to be readable by the BIOS for booting.

Signed-off-by: Hannes Reinecke <hare@suse.de>

plugins: build plugins not depended on json without json

Some plugins do not use json so no need to check the build dependency.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: update internal-log command telemetry type description

Add host0 and host1 help documentation description.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: delete internal-log command telemetry type none value definition

Since the type none value never set by the command handling.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

nvme: plugins/fdp, check endurance group identifier

For FDP options such as stats and events, default endurance identifier 0
is used which results in error.
This patch returns error for missing endurance group identifier from
user.

Signed-off-by: Nitesh Shetty <nj.shetty@samsung.com>

print: OACS Host Managed Live Migration Support (HMLMS)

Additional HMLMS bit in OACS field (stdout)

Signed-off-by: Nate Thornton <n.thornton@samsung.com>

build: bump libnvme wrap

Update libnvme wrap to latest to pick up Live Migration types & ioctls

Signed-off-by: Nate Thornton <n.thornton@samsung.com>

nbft: Report proper error codes from discover_from_nbft()

In case of a connection failure of any SSNS records that are not
marked as 'unavailable', report proper error code so that nvme-cli
callers may retry the operation.

The semantics of most functions is to return 0 zero for success
and negative errno numbers in case of an error.

Signed-off-by: Tomas Bzatek <tbzatek@redhat.com>

tests: Use container image to run nightly tests

Using the pre-build linux-nvme/debian.python container to avoid
installing dependencies every time which fails occasionally.

Also drop clean up steps as this is part of the self-hosted runner
now.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix `subprosess.call` calls

Don't use stdout=PIPE with subprocess.call as noted in the documentation:
https://docs.python.org/3/library/subprocess.html#subprocess.call

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Refactor prints

Remove unused prints and add some informative prints.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Remove unneeded sleep statements

Removing sleep statements, which improves the test cases runtime.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: use current LBA format as I/O block size

When running I/O use the current LBA format as default block size.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Use json output for parsing

To make the parsing of nvme cmd output easier use the json output when
possible.

Refactoring code snippets that needed to be touched when adjusing for
json output.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Introduce configurable nvme binary path

Introducing the `nvme_bin` config to point to a different nvme-cli
binary.

With this change all nvme cmd strings are reworked for uniformity.
This includes using f-strings and expanding short options into long
options.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

nvme: add Namespace Zeroes support to Write Zeroes command

Added the Namespace Zeroes (NSZ) support to Write Zeroes command.
Also, fixed the dtype limitation (bit 22:20).
TP4160 - WZSL Limit Modification

Signed-off-by: Francis Pravin <francis.p@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

print: id-ctrl print updated based on NVMe v2.1

new fields, missing fields print added

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

print: Add missing fid to string

NVME_FEAT_FID_CTRL_DATA_QUEUE : Controller Data Queue

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: bump libnvme wrap

types: Update id-ctrl field based on NVMe 2.1 spec
new fields are added on id-ctrl structure

Boot Partition Capabilities (BPCAP)
NVM Subsystem Shutdown Latency (NSSL)
Power Loss Signaling Information (PLSI)
Controller Reachability Capabilities (CRCAP)
Key Per I/O Capabilities (KPIOC)
Maximum Processing Time for Firmware Activation Without Reset (MPTFAWR)
Command Quiesce Time (CQT)
Recommended Host-Initiated Refresh Interval (RHIRI)
Host-Initiated Refresh Time (HIRT)

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

ocp: TCG Configuration Log field added ocp v2.6

Add Number of Namespace Provisioned Locking Objects Extended(TCGL-23)
remove reserved area prints (Shall be cleared to zero)
reserved area field name modified by byte address

remove 0x from rsvd area stdout print (aligned with json)
0x%d prints wrong way to print, so follow json print logic

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

ns_descs: prevent buffer overrun and memory corruption

nsdescs should point to an allocated memory of size
NVME_IDENTIFY_DATA_SIZE bytes, not "sizeof(*void)" bytes.

Signed-off-by: Maurizio Lombardi <mlombard@redhat.com>

ocp: set UUID index to get extended smart log

The index is required by the OCP specification.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

plugins/ocp: fixed crash in telemetry string log output format json

Fixed the code to handle the json output crash
Disabled debug logs output when parsing telemetry-string-log data

Signed-off-by: Karthik Balan karthik.b82@samsung.com <karthik.b82@samsung.com>
Reviewed-by: Arunpandian J <arun.j@samsung.com>

nvme: Host-init telemetry log mcda field added

Maximum Created Data Area for Telemetry Host-Initiated Log creation
This will ignored by contorller when MCDAS bit is 0 from supported log

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: bump libnvme wrap

mi: telemetry log update based NVMe v2.1

This update allow to call below APIs
  nvme_get_log_create_telemetry_host
  nvme_mi_admin_get_log_create_telemetry_host_mcda

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print-stdout: print MAXWZD and NSZS bits of ONCS field

Print the newly added MAXWZD and NSZS bits of ONCS field in Identify
Controller Data Structure.
TP4160 - WZSL Limit Modification

Signed-off-by: Francis Pravin <francis.p@samsung.com>

build: bump libnvme wrap

b50a076 - types: add enum for the fields added in TP4160

Signed-off-by: Francis Pravin <francis.p@samsung.com>

netapp-smdev: add verbose output

Add a verbose option to display additional information of smdevices
on the host. And while at it, make a few corrections/modifications
to the JSON output as well.

Signed-off-by: Martin George <marting@netapp.com>
Tested-by: Clayton Skaggs <claytons@netapp.com>

netapp-smdev-doc: add verbose details

Add verbose option details to the smdevices documentation.

Signed-off-by: Martin George <marting@netapp.com>
Tested-by: Clayton Skaggs <claytons@netapp.com>

netapp-smdev: remove redundant code

Remove redundant code in regular and JSON functions, which is
already invoked in a separate function.

Signed-off-by: Martin George <marting@netapp.com>

nvme-print: fix Arbitration Mechanism Supported

Fix the error of the "Arbitration Mechanism Supported"
in the Controller Capabilities field of Controller Properties

Signed-off-by: Xiaoyuan Zhang <zhxiaoy2024@gmail.com>

nvme: telemetry ctrl-init need to clear RAE

if rae default is true, it's always true
so it was not possible to issue with RAE=0

If the host is reading the Telemetry Controller-Initiated log page,
then the host reads any portion of that log page with the Retain
Asynchronous Event bit cleared to ‘0’ to indicate to the controller
that the host has completed reading the Telemetry Controller-Initiated
log page

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-netapp: update err messages

Trivial fix to update a few error messages.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: fix JSON output for nsze & nuse

The namespace size & utilization values printed in the JSON
output was incorrect. Fix the same.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: fix fw version handling

The string used to capture the fw version was not handled
properly. Fix the same.

Signed-off-by: Martin George <marting@netapp.com>

print: Supported Log lidsp print updated NVMe v2.1

LIDSP : LID Specific Parameter using upper 16bits
so fix wrong bit shift (0x16 = 22bit shift)

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print-stdout: add nvm-id-ctrl command VER and LBAMQF fields

The fields added by NVM command set specification 1.1.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

build: bump libnvme wrap

Fetch dad5a9805a38 ("types: add NVME_ID_CTRL_NVM_LBAMQF definitions")

Signed-off-by: Daniel Wagner <wagi@kernel.org>

wdc: rework log retrieval and parsing

We should only need to retrieve the log page once, rather than once per
field to be parsed. This also fixes some endianness issues when handling
the parsed data entries.

Signed-off-by: Brandon Paupore <brandon.paupore@wdc.com>

build: change muon setup command and parameter

The command and parameter changed by the muon commits below.
  eec469bb ("bootstrap.sh - use muon-bootstrap as exe name")
  5a64dfd3 ("disable bestline by default")

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: set UUID index to get hwcomp log

The index is required by the OCP specification.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

type: Using enums of ANSAN and RGCNS bit for OAES

Using enums of ANSAN and RGCNS bit for OAES field based on NVM Express
Base Specification 2.1

Signed-off-by: Arbaz Khan <arbaz.khan@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>
Reviewed-by: Francis Pravin <francis.p@samsung.com>

nvme-print: print the new fields added in Sanitize log - TP4152

Print the new fields added in Sanitize log as part of TP4152.
TP4152 - Post-Sanitize Media Verification 2024.04.01 Ratified.

Signed-off-by: Francis Pravin <francis.p@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: bump libnvme wrap

To use enum for idctrl CTRATT.RHII

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print: Add id-ctrl CTRATT.RHII, using enum

use enum nvme_id_ctrl_ctratt to parse values
reorder variable define
rename variables with abbreviation from nvme spec 2.1

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

fabrics: update return values for dim

The nvme dim command returns a zero even for failure scenarios
as shown below:

nvme0 DIM register command error. Status:0xffffffff -
Operation not supported

echo $?
0

Fix this by ensuring appropriate values are returned for success
and failure scenarios. And while at it, remove a couple of
superfluous braces too here.

Signed-off-by: Martin George <marting@netapp.com>

ocp-nvme: Add Error Injection type from ocp2.6

4.15.3.1 Error Injection Entry Data Structure
ERRIE-3 Error Injection Type

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

ocp-nvme: Update ocp v2.6 Hardware Component

Log Identifier C6h
Hardware Component Log Size (bytes)
Component Identifier added
0x000C Born on Date. The date on which the device was manufactured.
ASCII string format is MMDDYYYY.

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build(deps): bump codecov/codecov-action from 4 to 5

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4 to 5.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/v4...v5)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

nvme: update messages for few misc functions

Print a helpful success message (under verbose option) for few
functions like subsystem_reset(), reset() and ns_rescan().

Signed-off-by: Martin George <marting@netapp.com>

ocp-nvme: fix the error display of Hardware Component Log

The display of Hardware Component (Log Identifier C6h) failures to
comply with protocol OCP2.5

Issue: https://github.com/linux-nvme/nvme-cli/issues/2566

Signed-off-by: liuzhen <liuzhen@dapustor.com>

opc: fix hardware component descriptions bytes number

Subtract offset bytes number 64 from the hardware component log size.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp-nvme: Recommit removed patch

commit a5f155c9740b ("ocp-nvme: Add LMDATA-37 for Latency Monitor Log")

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

netapp-ontapdev-doc: add verbose details

Add verbose option details to the ontapdevices documentation.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: add verbose output

Add a vebose output option to display additional information of
ONTAP devices on the host.

Signed-off-by: Martin George <marting@netapp.com>

plugins/netapp: add include of libgen.h for basename(3) prototype

Fixes build with musl libc.

Signed-off-by: Daniel Néri <dne+commits@rb67.eu>

nvme-print: add fallback for non-standard locale category

LC_MEASUREMENT is a GNU (libc) extension - fall back to LC_ALL if it's
not defined.

Fixes build with musl libc

Signed-off-by: Daniel Néri <dne+commits@rb67.eu>

docs: add howto to setup TLS connections

There are couple of step necessary to get TLS working nicely. Document
it how this is done.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

plugins/amzn: add stats support

this patch adds support to pull stats from amzn ebs nvme devices.

Signed-off-by: Swapnil Dinkar <sddinkar@amazon.com>

nvme-print: use NVME_GET in sanitize log

Used NVME_GET macro in sanitize log. Also, updated the print statement
as per NVM Express Base Specification Revision 2.1.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

wdc:  Fixes for SNTMP Capabilities

This change will allow the correct debug log data to be
collected for the SNTMP drive.

Signed-off-by: jeff-lien-wdc <jeff.lien@wdc.com>

build: Add token for coverage test

The code coverage action is silently failing partly because the required
Codecov token is missing.
Reading the token from the GitHub secrets.

The missing gpg package must be fixed in
https://github.com/linux-nvme/ci-containers.

Furthermore, fail the coverage workflow if the codecov-action errors out.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

Release v2.11

Signed-off-by: Daniel Wagner <wagi@kernel.org>

doc: Regenerate all docs for v2.11

Signed-off-by: Daniel Wagner <wagi@kernel.org>

scripts: handle libnvme version update correctly

The pattern \([\.1-9]\+\) captures strings like .1, .9, or other
partial version numbers starting from 1. For full version formats, we
can update the pattern to capture more comprehensive version styles,
including major, minor, and patch levels (e.g., 1.0, 1.2.3, 10.3, etc.).

Exchange the match with:

\([0-9]\+\) matches the major version, consisting of one or more digits.

\(\.[0-9]\+\)* matches any additional minor or patch versions, capturing
optional segments starting with a dot and followed by one or more
digits.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

build: bump libnvme wrap

Fetch libnvme v1.11 release.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

docs: update check-tls-key arguments

Add the newly added --keyfile command line option.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

nvme: add support to append TLS PSK to keyfile for check-tls-key

When checking a key and it is inserted into keystore, support to
append it to a keyfile too.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

nvme: return correct error code in append_keyfile

On success fprintf returns the number of bytes written, thus we need to
set the err variable to 0 to return success.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

docs: nvme-id-doman: dom{ia => ai}n

$ sed -i 's/domian/domain/g' $(git grep -l domian)

Signed-off-by: Ahelenia Ziemiańska <nabijaczleweli@nabijaczleweli.xyz>

ocp: fix latency monitoring data structure entry endian

Fix the entry data to little endian format.
Also delete to fill the data to 0 since already initialized by 0.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: fix TCG configuration log endian

Fix the entry data fields to little endian format.
Basically print functions convert the fields data to cpu format.
But still some errors then fixed the print json functions also.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: fix firmware activation history entry endian

Fix the entry data fields to little endian format.
Basically print functions convert the fields data to cpu format.
But still some errors then fixed the print functions also.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

CI: Add workflow for running tests on real nvme device

Introducing a GitHub workflow which runs all test cases under the
`tests` directory on real hardware through a self-hosted runner.
This workflow is triggered nightly or on demand as the tests run about an
hour.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Create default ns on tearDown

After a test was run, the `tearDown` function is called and then creates
and attaches a single ns with the full NVM capacity.
This is done so the caller or the next test case receives a reasonably
formated drive.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_get_lba_status_test and nvme_lba_status_log_test

Look up if the drive supports the `Get LBA Status` optional admin
command before executing a `nvme get-lba-status` or `nvme
lba-status-log` command.

Furthermore use the correct action value on `get-lba-status`.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Add feature check to nvme_compare_test

Check if the NVM 'compare' command is supported before running the
nvme_compare_test which whould then fail with an 'Invalid Command
Opcode'

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_smart_log_test

Don't parse the smart log output to then print the (unsuccessfuly) parsed
values. Instead we print out the whole smart log output.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Use correct flag in vendor specific id-ctrl

Use the long option for a vendor specific id-ctrl instead of the verbose
flag 'v'.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_get_features_test

Specify mandatory namespace for Error Recovery (Feature Identifier 05h)
get features command.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Adjust ncap and nsze for nvme_format_test

Set ncap and nsze to the lowest possible value, such that this test can
be run on different device capacities.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Improve nvme_ctrl_reset_test

Run I/O after a successful ctrl reset.
This tests if the sqs and cqs are constructed after reset.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fixup nvme_create_max_ns_test

Fix off by one errors and capacity allocation.

Small speedup for nvme_create_max_ns_test by reducing the io done by
`run_ns_io`. For this we introduce a new count parameter which can
overwrite the default value of 10.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_copy_test python traceback fails

Reworking the `get_ocfs` function to correctly parse the ocfs field.
At the same time refactor `nvme id-ctrl` that extracts the ocfs
field into separate functions. This is in preparation for following
commits that reuse the same functionality.

Furthermore nvme_copy_test fails on devices that do not support any
copy formats. For this to pass we need to declare
`self.host_behavior_data` in any case.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: fix nvme_attach_detach_ns_test

Calculate ncap with configured flbas instead of setting a hard coded
value that might be to big for the test device.

Also, for this test to not fail the `nvme list-ctrl` outputs a summary
of ctrls present which must be skipped when parsing for the ctrl-id.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Use raw string for compiling regex

This fixes "SyntaxWarning: invalid escape sequence" when `get_error_log`
is being called.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

docs: update gen-tls-key arguments

Add the newly added --keyfile command line option.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: add support to add derive TLS PSK to keyfile

When creating a new key and it is inserted into keystore also support to
append it to a keyfile.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: rename identity to version

Use the variable name consistently. The rest of the code base names this
variable as version.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: set file permission for keyfile to owner only

Since this file contains secret enforce the read/write permission
limited to the owner only.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: export tls keys honoring version and hmac

Export the keys with the correct encoding scheme.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvmf-keys: add udev rule to import tls keys

Load keys to the keyring when the nvme-tcp module is loaded.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

docs: update TLS options

With the added support to also accept the key via the command line
update the documentation accordingly.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

fabrics: add support to connect to accept a PSK command line

Extend the connect command also to accept the pre-shared key via command
line. Obviously, this is not recommended to use for a production system
but for testing this is a simple way to get a setup working.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

fabrics: add support to connect to accept a configuration

The connect-all command accepts JSON configuration but not
the connect command. connect-all will try to connect to all
possible resources, which includes creating discovery controllers.
This might not always needed or wanted.

The connect command will only connect to the controllers
listed in the configuration file and doesn't to any
additional discovery at all.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: use unsigned char for hmac and identity

The spec is limiting the size of both variables to one byte, thus there
is no need to use wider types.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

build: bump libnvme wrap

Fetch TLS API changes.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme-print: Add Sanitize Media Verification Event in PEL log

Add Sanitize Media Verification Event in Persistent Event Log.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

netapp-ontapdev: add err msg for no ontapdevices

Print an error message if no ontapdevices on the host.

Signed-off-by: Martin George <marting@netapp.com>

netapp-smdev: add err msg for no smdevices

Print an error message if no smdevices on the host.

Signed-off-by: Martin George <marting@netapp.com>