ns_descs: prevent buffer overrun and memory corruption

nsdescs should point to an allocated memory of size
NVME_IDENTIFY_DATA_SIZE bytes, not "sizeof(*void)" bytes.

Signed-off-by: Maurizio Lombardi <mlombard@redhat.com>

ocp: set UUID index to get extended smart log

The index is required by the OCP specification.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

plugins/ocp: fixed crash in telemetry string log output format json

Fixed the code to handle the json output crash
Disabled debug logs output when parsing telemetry-string-log data

Signed-off-by: Karthik Balan karthik.b82@samsung.com <karthik.b82@samsung.com>
Reviewed-by: Arunpandian J <arun.j@samsung.com>

nvme: Host-init telemetry log mcda field added

Maximum Created Data Area for Telemetry Host-Initiated Log creation
This will ignored by contorller when MCDAS bit is 0 from supported log

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: bump libnvme wrap

mi: telemetry log update based NVMe v2.1

This update allow to call below APIs
  nvme_get_log_create_telemetry_host
  nvme_mi_admin_get_log_create_telemetry_host_mcda

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print-stdout: print MAXWZD and NSZS bits of ONCS field

Print the newly added MAXWZD and NSZS bits of ONCS field in Identify
Controller Data Structure.
TP4160 - WZSL Limit Modification

Signed-off-by: Francis Pravin <francis.p@samsung.com>

build: bump libnvme wrap

b50a076 - types: add enum for the fields added in TP4160

Signed-off-by: Francis Pravin <francis.p@samsung.com>

netapp-smdev: add verbose output

Add a verbose option to display additional information of smdevices
on the host. And while at it, make a few corrections/modifications
to the JSON output as well.

Signed-off-by: Martin George <marting@netapp.com>
Tested-by: Clayton Skaggs <claytons@netapp.com>

netapp-smdev-doc: add verbose details

Add verbose option details to the smdevices documentation.

Signed-off-by: Martin George <marting@netapp.com>
Tested-by: Clayton Skaggs <claytons@netapp.com>

netapp-smdev: remove redundant code

Remove redundant code in regular and JSON functions, which is
already invoked in a separate function.

Signed-off-by: Martin George <marting@netapp.com>

nvme-print: fix Arbitration Mechanism Supported

Fix the error of the "Arbitration Mechanism Supported"
in the Controller Capabilities field of Controller Properties

Signed-off-by: Xiaoyuan Zhang <zhxiaoy2024@gmail.com>

nvme: telemetry ctrl-init need to clear RAE

if rae default is true, it's always true
so it was not possible to issue with RAE=0

If the host is reading the Telemetry Controller-Initiated log page,
then the host reads any portion of that log page with the Retain
Asynchronous Event bit cleared to ‘0’ to indicate to the controller
that the host has completed reading the Telemetry Controller-Initiated
log page

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-netapp: update err messages

Trivial fix to update a few error messages.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: fix JSON output for nsze & nuse

The namespace size & utilization values printed in the JSON
output was incorrect. Fix the same.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: fix fw version handling

The string used to capture the fw version was not handled
properly. Fix the same.

Signed-off-by: Martin George <marting@netapp.com>

print: Supported Log lidsp print updated NVMe v2.1

LIDSP : LID Specific Parameter using upper 16bits
so fix wrong bit shift (0x16 = 22bit shift)

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print-stdout: add nvm-id-ctrl command VER and LBAMQF fields

The fields added by NVM command set specification 1.1.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

build: bump libnvme wrap

Fetch dad5a9805a38 ("types: add NVME_ID_CTRL_NVM_LBAMQF definitions")

Signed-off-by: Daniel Wagner <wagi@kernel.org>

wdc: rework log retrieval and parsing

We should only need to retrieve the log page once, rather than once per
field to be parsed. This also fixes some endianness issues when handling
the parsed data entries.

Signed-off-by: Brandon Paupore <brandon.paupore@wdc.com>

build: change muon setup command and parameter

The command and parameter changed by the muon commits below.
  eec469bb ("bootstrap.sh - use muon-bootstrap as exe name")
  5a64dfd3 ("disable bestline by default")

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: set UUID index to get hwcomp log

The index is required by the OCP specification.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

type: Using enums of ANSAN and RGCNS bit for OAES

Using enums of ANSAN and RGCNS bit for OAES field based on NVM Express
Base Specification 2.1

Signed-off-by: Arbaz Khan <arbaz.khan@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>
Reviewed-by: Francis Pravin <francis.p@samsung.com>

nvme-print: print the new fields added in Sanitize log - TP4152

Print the new fields added in Sanitize log as part of TP4152.
TP4152 - Post-Sanitize Media Verification 2024.04.01 Ratified.

Signed-off-by: Francis Pravin <francis.p@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: bump libnvme wrap

To use enum for idctrl CTRATT.RHII

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

nvme-print: Add id-ctrl CTRATT.RHII, using enum

use enum nvme_id_ctrl_ctratt to parse values
reorder variable define
rename variables with abbreviation from nvme spec 2.1

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

fabrics: update return values for dim

The nvme dim command returns a zero even for failure scenarios
as shown below:

nvme0 DIM register command error. Status:0xffffffff -
Operation not supported

echo $?
0

Fix this by ensuring appropriate values are returned for success
and failure scenarios. And while at it, remove a couple of
superfluous braces too here.

Signed-off-by: Martin George <marting@netapp.com>

ocp-nvme: Add Error Injection type from ocp2.6

4.15.3.1 Error Injection Entry Data Structure
ERRIE-3 Error Injection Type

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

ocp-nvme: Update ocp v2.6 Hardware Component

Log Identifier C6h
Hardware Component Log Size (bytes)
Component Identifier added
0x000C Born on Date. The date on which the device was manufactured.
ASCII string format is MMDDYYYY.

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build(deps): bump codecov/codecov-action from 4 to 5

Bumps [codecov/codecov-action](https://github.com/codecov/codecov-action) from 4 to 5.
- [Release notes](https://github.com/codecov/codecov-action/releases)
- [Changelog](https://github.com/codecov/codecov-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/codecov/codecov-action/compare/v4...v5)

---
updated-dependencies:
- dependency-name: codecov/codecov-action
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>

nvme: update messages for few misc functions

Print a helpful success message (under verbose option) for few
functions like subsystem_reset(), reset() and ns_rescan().

Signed-off-by: Martin George <marting@netapp.com>

ocp-nvme: fix the error display of Hardware Component Log

The display of Hardware Component (Log Identifier C6h) failures to
comply with protocol OCP2.5

Issue: https://github.com/linux-nvme/nvme-cli/issues/2566

Signed-off-by: liuzhen <liuzhen@dapustor.com>

opc: fix hardware component descriptions bytes number

Subtract offset bytes number 64 from the hardware component log size.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp-nvme: Recommit removed patch

commit a5f155c9740b ("ocp-nvme: Add LMDATA-37 for Latency Monitor Log")

Signed-off-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

netapp-ontapdev-doc: add verbose details

Add verbose option details to the ontapdevices documentation.

Signed-off-by: Martin George <marting@netapp.com>

netapp-ontapdev: add verbose output

Add a vebose output option to display additional information of
ONTAP devices on the host.

Signed-off-by: Martin George <marting@netapp.com>

plugins/netapp: add include of libgen.h for basename(3) prototype

Fixes build with musl libc.

Signed-off-by: Daniel Néri <dne+commits@rb67.eu>

nvme-print: add fallback for non-standard locale category

LC_MEASUREMENT is a GNU (libc) extension - fall back to LC_ALL if it's
not defined.

Fixes build with musl libc

Signed-off-by: Daniel Néri <dne+commits@rb67.eu>

docs: add howto to setup TLS connections

There are couple of step necessary to get TLS working nicely. Document
it how this is done.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

plugins/amzn: add stats support

this patch adds support to pull stats from amzn ebs nvme devices.

Signed-off-by: Swapnil Dinkar <sddinkar@amazon.com>

nvme-print: use NVME_GET in sanitize log

Used NVME_GET macro in sanitize log. Also, updated the print statement
as per NVM Express Base Specification Revision 2.1.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

wdc:  Fixes for SNTMP Capabilities

This change will allow the correct debug log data to be
collected for the SNTMP drive.

Signed-off-by: jeff-lien-wdc <jeff.lien@wdc.com>

build: Add token for coverage test

The code coverage action is silently failing partly because the required
Codecov token is missing.
Reading the token from the GitHub secrets.

The missing gpg package must be fixed in
https://github.com/linux-nvme/ci-containers.

Furthermore, fail the coverage workflow if the codecov-action errors out.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

Release v2.11

Signed-off-by: Daniel Wagner <wagi@kernel.org>

doc: Regenerate all docs for v2.11

Signed-off-by: Daniel Wagner <wagi@kernel.org>

scripts: handle libnvme version update correctly

The pattern \([\.1-9]\+\) captures strings like .1, .9, or other
partial version numbers starting from 1. For full version formats, we
can update the pattern to capture more comprehensive version styles,
including major, minor, and patch levels (e.g., 1.0, 1.2.3, 10.3, etc.).

Exchange the match with:

\([0-9]\+\) matches the major version, consisting of one or more digits.

\(\.[0-9]\+\)* matches any additional minor or patch versions, capturing
optional segments starting with a dot and followed by one or more
digits.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

build: bump libnvme wrap

Fetch libnvme v1.11 release.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

docs: update check-tls-key arguments

Add the newly added --keyfile command line option.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

nvme: add support to append TLS PSK to keyfile for check-tls-key

When checking a key and it is inserted into keystore, support to
append it to a keyfile too.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

nvme: return correct error code in append_keyfile

On success fprintf returns the number of bytes written, thus we need to
set the err variable to 0 to return success.

Signed-off-by: Daniel Wagner <wagi@kernel.org>

docs: nvme-id-doman: dom{ia => ai}n

$ sed -i 's/domian/domain/g' $(git grep -l domian)

Signed-off-by: Ahelenia Ziemiańska <nabijaczleweli@nabijaczleweli.xyz>

ocp: fix latency monitoring data structure entry endian

Fix the entry data to little endian format.
Also delete to fill the data to 0 since already initialized by 0.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: fix TCG configuration log endian

Fix the entry data fields to little endian format.
Basically print functions convert the fields data to cpu format.
But still some errors then fixed the print json functions also.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: fix firmware activation history entry endian

Fix the entry data fields to little endian format.
Basically print functions convert the fields data to cpu format.
But still some errors then fixed the print functions also.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

CI: Add workflow for running tests on real nvme device

Introducing a GitHub workflow which runs all test cases under the
`tests` directory on real hardware through a self-hosted runner.
This workflow is triggered nightly or on demand as the tests run about an
hour.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Create default ns on tearDown

After a test was run, the `tearDown` function is called and then creates
and attaches a single ns with the full NVM capacity.
This is done so the caller or the next test case receives a reasonably
formated drive.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_get_lba_status_test and nvme_lba_status_log_test

Look up if the drive supports the `Get LBA Status` optional admin
command before executing a `nvme get-lba-status` or `nvme
lba-status-log` command.

Furthermore use the correct action value on `get-lba-status`.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Add feature check to nvme_compare_test

Check if the NVM 'compare' command is supported before running the
nvme_compare_test which whould then fail with an 'Invalid Command
Opcode'

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_smart_log_test

Don't parse the smart log output to then print the (unsuccessfuly) parsed
values. Instead we print out the whole smart log output.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Use correct flag in vendor specific id-ctrl

Use the long option for a vendor specific id-ctrl instead of the verbose
flag 'v'.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_get_features_test

Specify mandatory namespace for Error Recovery (Feature Identifier 05h)
get features command.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Adjust ncap and nsze for nvme_format_test

Set ncap and nsze to the lowest possible value, such that this test can
be run on different device capacities.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Improve nvme_ctrl_reset_test

Run I/O after a successful ctrl reset.
This tests if the sqs and cqs are constructed after reset.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fixup nvme_create_max_ns_test

Fix off by one errors and capacity allocation.

Small speedup for nvme_create_max_ns_test by reducing the io done by
`run_ns_io`. For this we introduce a new count parameter which can
overwrite the default value of 10.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Fix nvme_copy_test python traceback fails

Reworking the `get_ocfs` function to correctly parse the ocfs field.
At the same time refactor `nvme id-ctrl` that extracts the ocfs
field into separate functions. This is in preparation for following
commits that reuse the same functionality.

Furthermore nvme_copy_test fails on devices that do not support any
copy formats. For this to pass we need to declare
`self.host_behavior_data` in any case.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: fix nvme_attach_detach_ns_test

Calculate ncap with configured flbas instead of setting a hard coded
value that might be to big for the test device.

Also, for this test to not fail the `nvme list-ctrl` outputs a summary
of ctrls present which must be skipped when parsing for the ctrl-id.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

tests: Use raw string for compiling regex

This fixes "SyntaxWarning: invalid escape sequence" when `get_error_log`
is being called.

Signed-off-by: Dennis Maisenbacher <dennis.maisenbacher@wdc.com>

docs: update gen-tls-key arguments

Add the newly added --keyfile command line option.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: add support to add derive TLS PSK to keyfile

When creating a new key and it is inserted into keystore also support to
append it to a keyfile.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: rename identity to version

Use the variable name consistently. The rest of the code base names this
variable as version.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: set file permission for keyfile to owner only

Since this file contains secret enforce the read/write permission
limited to the owner only.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: export tls keys honoring version and hmac

Export the keys with the correct encoding scheme.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvmf-keys: add udev rule to import tls keys

Load keys to the keyring when the nvme-tcp module is loaded.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

docs: update TLS options

With the added support to also accept the key via the command line
update the documentation accordingly.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

fabrics: add support to connect to accept a PSK command line

Extend the connect command also to accept the pre-shared key via command
line. Obviously, this is not recommended to use for a production system
but for testing this is a simple way to get a setup working.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

fabrics: add support to connect to accept a configuration

The connect-all command accepts JSON configuration but not
the connect command. connect-all will try to connect to all
possible resources, which includes creating discovery controllers.
This might not always needed or wanted.

The connect command will only connect to the controllers
listed in the configuration file and doesn't to any
additional discovery at all.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme: use unsigned char for hmac and identity

The spec is limiting the size of both variables to one byte, thus there
is no need to use wider types.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

build: bump libnvme wrap

Fetch TLS API changes.

Signed-off-by: Daniel Wagner <dwagner@suse.de>

nvme-print: Add Sanitize Media Verification Event in PEL log

Add Sanitize Media Verification Event in Persistent Event Log.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

netapp-ontapdev: add err msg for no ontapdevices

Print an error message if no ontapdevices on the host.

Signed-off-by: Martin George <marting@netapp.com>

netapp-smdev: add err msg for no smdevices

Print an error message if no smdevices on the host.

Signed-off-by: Martin George <marting@netapp.com>

doc: Add sanitize command emvs option

Add Enter Media Verification State (EVMS) option of Sanitize command.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

ocp: combine to use GUID length definitions

This reduces the duplicated GUID length 16 bytes definitions.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

nvme: update tls_key() handling

Few misc issues in current tls_key() implementation:

1) Additional blank line printed in err message if the keyfile
cannot be opened.

2) For export, nvme_scan_tls_keys() can return positive values too
for successful scenarios. So this currently leads to erroneous return
value handling.

3) For import, no return value checking for import_key() failure
scenarios.

4) For revoke, return appropriate error immediately when
nvme_revoke_tls_key() fails.

5) No helpful success message printed for all the options.

Fix the same.

Signed-off-by: Martin George <marting@netapp.com>

nvme-print-stdout: print VERS bit of SANICAP field

Print the newly added VERS bit of SANICAP field in Identify Controller
Data Structure. Also, changed the variable names as per spec.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

nvme: add EMVS support to sanitize command

Add Enter Media Verification State (EMVS) support to sanitize
command.
TP4152 - Post-Sanitize Media Verification 2024.04.01 Ratified.

Signed-off-by: Francis Pravin <francis.p@samsung.com>
Reviewed-by: Steven Seungcheol Lee <sc108.lee@samsung.com>

build: update libnvme wrap

Get EMVS support of sanitize command and SMVES enum.

Signed-off-by: Francis Pravin <francis.p@samsung.com>

ocp: remove callback function cast

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

doc: added commit conventions to contribution guidelines

Show new contributors the project's commit guidelines

Signed-off-by: paumr <paum@bdisk.eu>

ocp: fix ocp-print-stdout.c indentation error

Fix also some build warnings.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: fix ocp-nvme.c indentation errors

Also fix to use cpu_to_le64 to output __le64 values.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: build ocp-nvme.c and ocp-telemetry-decode.c without json

Still ocp-telemetry-decode.c includes json code so check CONFIG_JSON.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split TCG configuration log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split telemetry string log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split device capabilities log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split error recovery log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split unsupported requirement log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split latency monitor log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: move ocp telemetry log print function into ocp-print

Still the ocp-telemetry-decode used by print functions combined json code.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split smart extended log print codes

Move into ocp-print-stdout.c and ocp-print-json.c.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>

ocp: split ocp-fw-activation-history print codes

Moved into print stdout and json files.

Signed-off-by: Tokunori Ikegami <ikegami.t@gmail.com>