Add VOLSER.GetSize and uint64_t xdr support

Add the VOLSER.GetSize RPC operation and add the uint64_t encode/decode
support to rxgen.

Signed-off-by: David Howells <dhowells@redhat.com>

aklog now makes key name lower case

When aklog adds a key, it now makes the cell name lower case, so kafs-utils
needs to follow suit.

Signed-off-by: David Howells <dhowells@redhat.com>

Fix -noauth security handling

Fix the handling of -noauth security in the af_rxrpc transport module.

Without this, a SEGV can be triggered by:

pts examine -nameorid dhowells -noauth -cell my.cell.org

Signed-off-by: David Howells <dhowells@redhat.com>

Dynamically load the transport interface as a shared library

Make it possible to change the transport interface by abstracting it out
into a shared library and loading it dynamically by name.

kafs/main.py currently loads it by specific name:

    rpc.load_kafs_transport("/usr/local/lib64/kafs_af_rxrpc.so")

but this needs altering so that the name of the transport can be supplied
by the user.

File kafs/transport.h defines the interface as a table of function pointers
defined as:

struct kafs_transport kafs_transport = {
.id = kafs_transport_id,
.name = "<name of transport>"
...
};

The ->new_service(), ->shutdown_service() and ->accept_call() methods
aren't currently used.  Each transport interface can define the following
structures in any way it sees fit:

struct kafs_transport_handle;
struct kafs_security_handle;
struct kafs_connection_handle;
struct kafs_service_handle;
struct kafs_call_handle;

As far as kafs-utils is concerned they're opaque handles.

Note that the interface is expected to invoke the data_ready_func function
passed to ->make_call() when data becomes available.  At that point, the
data_ready_func function will call ->recv_data() to load data into the
supplied buffers.  ->poll_connection() is called to see if there's any data
and potentially to wait for it if there isn't.

The AF_RXRPC transport interface is now separated from core kafs-utils code
and is currently not built or installed by the setup.py script.  This will
need fixing in some manner.

Signed-off-by: David Howells <dhowells@redhat.com>

The bash-comp-helper.py script is now in kafs/, not suite/

The bash-comp-helper.py script is now in kafs/, not suite/ so bash_complete
needs to change to reflect that.

Signed-off-by: David Howells <dhowells@redhat.com>

Fix calculation of padding in the enc/dec routines

Fix calculation of that amount of padding around a blob or string in the
encoding and decoding routines.

Signed-off-by: David Howells <dhowells@redhat.com>

Fix warnings from -Wsign-compare

Signed-off-by: David Howells <dhowells@redhat.com>

Add more stuff to "make clean"

Get "make clean" to delete some stuff left behind by python.

Signed-off-by: David Howells <dhowells@redhat.com>

Add a TODO list

Add a TODO list, including the commands that need implementing.

Signed-off-by: David Howells <dhowells@redhat.com>

setup: Clean up some print statements

Clean up some debugging print statements from the setup script.

Signed-off-by: David Howells <dhowells@redhat.com>

setup: Sort out the Python setup so that it can build an RPM

This does the following steps:

 (1) Adds a new command class to handle rxgen in the setup script so that the
     Python builder runs the XDR routine generation rather than needing a
     separate make step.

 (2) Moves everything that needs installing under kafs - which will be the
     name of the module.

 (3) Renames the module produced by the various C components to kafs.rpc and
     accesses it from python scripts with "import kafs.rpc as rpc" and then
     uses "rpc." instead of "kafs." to qualify accesses to the module.

Signed-off-by: David Howells <dhowells@redhat.com>

Remove the Perl rxgen

Remove the Perl rxgen program as it is now replaced with the Python
version.

Signed-off-by: David Howells <dhowells@redhat.com>

Rewrite rxgen in python using the ply module

Signed-off-by: David Howells <dhowells@redhat.com>

Convert the xg files to UTF-8 to keep Python happy

Signed-off-by: David Howells <dhowells@redhat.com>

Package setup script should be called setup.py

Package setup script should be called setup.py so call it that.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "vos create"

Signed-off-by: David Howells <dhowells@redhat.com>

The "vos examine" script needs to import AFSException to be able to use it

Signed-off-by: David Howells <dhowells@redhat.com>

Fix some places IP addresses are output as strings

Fix some places IP addresses are supposed to be output as strings but instead
try to output a non-string type.

Signed-off-by: David Howells <dhowells@redhat.com>

Strip AFSVol prefixes from RPC call names in volumeserver.xg

Strip AFSVol prefixes from RPC call names in volumeserver.xg as they're
redundant given that the the xg compiler prefixes them with the package name.

Signed-off-by: David Howells <dhowells@redhat.com>

"pts createuser" should use PR_NewEntry and not PR_INewEntry

"pts createuser" should use PR_NewEntry and not PR_INewEntry for two reasons:
firstly, the latter doesn't return the expected new database entry ID, and
secondly, the latter fails with PRPERM when the former works.

Signed-off-by: David Howells <dhowells@redhat.com>

Fix callers of the prcache eviction functions

Fix callers of the prcache eviction functions - they should be calling
evict_*() from the prcache object.

Signed-off-by: David Howells <dhowells@redhat.com>

Limit a multivalued param that is followed by another required param

A multivalued parameter that is followed by another required parameter is
limited to a single value unless prefaced with its switch, eg:

pts adduser A B C D

B, C and D are group names and A is a user name, despite the user name field
taking multiple values.  In contrast in:

pts adduser -user A B -group C D

A and B are users and only C and D are groups.

Signed-off-by: David Howells <dhowells@redhat.com>

Don't log from the bash_complete script

Signed-off-by: David Howells <dhowells@redhat.com>

Fix some variable deletions in the bash autocomplete handling

Signed-off-by: David Howells <dhowells@redhat.com>

Provide bash completion

Provide bash completion that uses the argument lists in the individual
subcommand files to work out how to complete.  The completion algorithm will
interpolate required flags first and will fully expand flag names.  Flag
parameters will be switched to hostname expansion or cellname expansion as
appropriate.

Signed-off-by: David Howells <dhowells@redhat.com>

Add a Developer's Certificate of Origin

Add a Developer's Certificate of Origin for the use of people submitting
patches.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts setmax"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts setfields"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts chown"

Signed-off-by: David Howells <dhowells@redhat.com>

Add methods to evict entries from the PR ID<->Name cache

Add methods to evict entries from the PR ID<->Name cache so that interactive
mode can make use of it.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts rename"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts creategroup"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts adduser" and "pts removeuser"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts membership"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts examine"

Signed-off-by: David Howells <dhowells@redhat.com>

Provide a protection DB Name<->ID cache

Provide a protection DB Name<->ID cache to eliminate redundant lookups and to
reduce the number of NameToID and IDToName RPC calls made by consolidating
multiple requests into single calls.

Signed-off-by: David Howells <dhowells@redhat.com>

Add a verbosef() display function

Add a verbosef() display function to do formatted verbose output.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts listowned"

Signed-off-by: David Howells <dhowells@redhat.com>

Better iterate over list of ptservers upon failure

Separate out the iteration over a list of ptservers when one fails.  We don't
want to have to intermingle it with a loop over a list of calls to make (eg. a
list of IDs to be deleted).

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Always check type of objects in a bulk list when encoding arguments

We should always check the type of the objects in a bulk list when we're
encoding them as part of an argument (or result) list.  Previously we only did
this when we needed to fold things like arrays of ints into an object.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Integer INOUT args should take an int in PyArg_ParseTuple()

Integer INOUT args should take an int in PyArg_ParseTuple() rather than an
arbitrary object as the code now doesn't pass results back through the argument
list.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Support INOUT bulk and struct rpc call args

We can support INOUT bulk and struct rpc call args since the code now doesn't
try to return results through the argument list.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts listmax"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts listentries"

Signed-off-by: David Howells <dhowells@redhat.com>

Fix the help-on-help text

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts delete"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "pts createuser"

Signed-off-by: David Howells <dhowells@redhat.com>

Handle exit codes better

Returning the intended exit code from the main try block that invokes the
subcommand handler rather than trying to exit within the exception handling
seems to work better and actually return the error code.

Signed-off-by: David Howells <dhowells@redhat.com>

Handle negative numeric command line arguments

Handle negative numeric command line arguments, distinguishing them from flags
that begin with dashes.

Signed-off-by: David Howells <dhowells@redhat.com>

Add parsing for the CellServDB file

Add parsing for the CellServDB file if the DNS doesn't throw up AFSDB or SRV
records for volume location database servers.

Signed-off-by: David Howells <dhowells@redhat.com>

Use the Python ipaddress module to represent IP addresses

Use the Python ipaddress module to represent IP addresses internally rather
than trying to do it myself.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Handle bulk arguments correctly

Need to check for a bulk-class argument of an integer-type before testing for
the integer-type otherwise the integer-type is selected.  This causes the wrong
argument spec to be emitted for PyArg_ParseTuple() when decoding the arguments
for an RPC call to be issued.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Reset call->need_size for each bulk element

We need to reset call->need_size each time the decode phase for a bulk item
repeats as the value is now whittled down by rxrpc_post_dec().

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Check call->more_recv instead of checking MSG_MORE in rxrpc_recv_data()

Signed-off-by: David Howells <dhowells@redhat.com>

Pass the right value to verbose() in bos/adduser.py

Signed-off-by: David Howells <dhowells@redhat.com>

Fix the output of "vos listvldb"

Fix the output of "vos listvldb" in the following ways:

 (1) Print a blank line between records in the output.

 (2) Adjust the indentation.

 (3) Don't print RW/RO/Backup volume IDs if the corresponding VLSF_xxVOL
     flag is not set.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos getlog" and reengineer the decode path somewhat

Implement the "bos getlog" subcommand - which requires making the receive side
of split RPC function work.  To this end, the following reengineering has been
done to the decode side:

 (1) Lift the requirement that the Rx buffer cursor be 4-byte aligned as
     BOZO.GetLog() doesn't align the log data it returns.

 (2) Permit a request for an unknown - and possibly zero - amount of data to be
     set in call->need_size.  BOZO.GetLog() doesn't tell you in advance how
     much data it will return: the data stops when the Rx receive phase ends
     with LAST_PACKET being flagged.

 (3) Separate blob decoding (strings & opaques) from bulk decoding in the
     member variables of the rx_call struct, where a bulk decode is now a
     sequence of blobs, structs or ints.

 (4) Handle blob decoding asynchronously, where the buffer into which a blob is
     being written may not represent contiguous memory.  This is done by
     setting up with an init function, called once, and a decode-into function,
     called repeatedly whilst it returns 1.  The function is only called when
     there is sufficient data in the receive buffers.

 (5) Decode padding asynchronously by working out up front for a blob how much
     padding it requires and then decoding it as its own blob at the end using
     a special source buffer as a marker to switch processing.

 (6) Perform split reception by adding additional states within the decode
     state machine to call out to the handler functions.

The receive() method of the split_handler class provided to a split RPC
function then implements its own state machine on top of the decoder state
machine.

Further:

 (*) rxrpc_recv_data() now reports ENODATA rather than EMSGSIZE if the receive
     phase ends with short data.

 (*) MSG_MORE handling has separate rx_call struct members for the send and
     receive phase now to avoid confusion.

 (*) rxrpc_enc/dec_slow() now use rxrpc_enc/dec_blob() to avoid duplicating a
     lot of code.

 (*) rxrpc_enc/dec() now also go to the slow path if the cursor is misaligned,
     which may mean the data to be read is split across buffers.

 (*) The rx_call struct now has a pointer to a cleanup function to clean up the
     decoder state at the end to deal with aborted calls.

 (*) rxrpc_post_dec() reduces call->need_size as well as call->data_count as we
     don't want to be waiting for N bytes to turn up for a size-N blob if we
     have already received N-1 bytes of it and only need one more byte.

     This does mean that call->need_size may need resetting more often.

 (*) Added an output_raw() python output method to permit bytearray objects to
     be printed.  Conversion to a string means that control characters and
     quotes get escaped (eg. a newline char gets converted to \n).

 (*) Catching the SystemExit exception should not produce an error due to ret
     not existing as a variable.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos setrestricted"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos setrestart"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "x help" and "x apropos" for all command sets (bos, vos, ...)

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos removekey"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos addkey"

Implement "bos addkey".  This requires the Kerberos library for the
string-to-key password transformation.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos listkeys"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos uninstall"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos install"

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Implement the transmission side of split-mode RPC calls

Implement the transmission side of RPC calls that are marked with a 'split'
flag - ie. functions in which the caller is allowed to interpolate an
arbitrary transmission blob after the arguments and to receive an arbitrary
blob before the response is received.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Use PyErr_NoMemory() rather than PyExc_MemoryError

Use PyErr_NoMemory() rather than PyExc_MemoryError as the former actually
raises an exception.  The latter is just a class and is then just an object
with no special meaning when returned.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Fix rxrpc_send_data()

Make three Fixes to rxrpc_send_data():

 (1) Advance to the next buffer when filling the iovec array rather than
     endlessly cycling over the first one.

 (2) Only clear MSG_MORE if we have sent all the buffered data at the end of
     the transmission phase of a call.

 (3) Don't turn the return value of sendmsg() into just -1 or 0 as we need the
     number of bytes actually sent to allow us to correctly advance the buffer
     cursor.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Clean up the debugging in the AF_RXRPC driver a bit

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos prune"

Signed-off-by: David Howells <dhowells@redhat.com>

Fix argument non-combination checking

Implement "bos exec"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos restart"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos setauth"

Signed-off-by: David Howells <dhowells@redhat.com>

Mark accesses to global vars in addrcache as 'global'

Mark accesses to global vars in the addrcache module as 'global' to make sure
Python doesn't do local access instead.

Signed-off-by: David Howells <dhowells@redhat.com>

Fix up output and error displaying in commands

Fix up output and error displaying in commands so far implemented.  Replace
usage of print() with output() and outputf() for normal operation and error()
for error display.  debug() is replaced with verbose() which is contingent on
the -verbose switch.

Also add error handling to a number of commands.

Signed-off-by: David Howells <dhowells@redhat.com>

Provide argument exception class and check argument length restrictions

Create an argument error class specifically for the indication of command line
argument problems and catch it in main.py.

Further, provide checking for string arguments that have length restrictions
in the protocol.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: Check maximum length of parameter string or opaque

Check the maximum length of string or opaque parameter to a function and raise
an exception if it is too long.

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: The abort table comparator needs to handle big numbers

The abort table comparator needs to handle big numbers (larger than
0x7fffffff).  Subtracting a small number from such a big number and then
casting to a signed int results in a negative number, which bsearch()
interprets as indicating that the bigger number is smaller than the smaller
number.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos {adduser,removeuser}"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos removehost"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos {startup,shutdown}"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos {start,stop}" and make "bos delete" handle multiple instances

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos delete"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos create"

Signed-off-by: David Howells <dhowells@redhat.com>

Preface AFS error messages with the program name

When printing an error message passed through AFSException, preface it with
the name the program was run as.

Signed-off-by: David Howells <dhowells@redhat.com>

Provide separate arg interpretation functions for multivalued arguments

Provide separate arg interpretation functions for multivalued arguments so
that the single-valued versions return a non-list and the multivalued returns
a list.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos addhost"

Signed-off-by: David Howells <dhowells@redhat.com>

Use gethostbyname_ex() and gethostbyaddr() rather than the DNS resolver

Use gethostbyname_ex() and gethostbyaddr() for A and PTR record retrieval
rather than using the DNS resolver directly so that /etc/hosts and suchlike
are also used.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos setcellname"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos getrestricted"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos getrestart"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos status"

Signed-off-by: David Howells <dhowells@redhat.com>

rxgen: The string and bytes decode functions must advance the cursor

The string and bytes decode functions (py_dec_string() and rxrpc_dec_bytes())
need to advance the extraction cursor after extracting so the data doesn't get
reused.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos listusers"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos getdate"

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "bos listhosts" and "bos getcell"

Signed-off-by: David Howells <dhowells@redhat.com>

Create AFS standard date and time format library module

Create an python library module to format date and times in the AFS standard
way.

Signed-off-by: David Howells <dhowells@redhat.com>

Implement "vos monitor"

Signed-off-by: David Howells <dhowells@redhat.com>

Clean up unnecessary imports

Signed-off-by: David Howells <dhowells@redhat.com>