sdp: fixed SrcAvail memory leak

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: removed unnecessary variable 'vm_wait'

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: stability improvements for ZCopy

- beter handling of ZCopy errors and SrcAvailCancel requests
- fixed SrcAvailCancel sequence number handling

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: properly kill nagle_timer on socket reset

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2092 - ib_device field in sdp_sock is reset not in user-context

ib_device field of sdp_sock is NULL after either cases:
- cma handler resetting the socket
- device removal
Both cases are not in user-context.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for stopping tx timer/tasklet when socket state is TCP_CLOSE

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1403 - last sk_refcnt is called while cma handler is invoked

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: bug fix for a case of no memory to allocate for rx_sa

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rx_irq should use tasklet instead of timer due to latency issue

mod_timer(..., 0) measured to add 4ms delay.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: better handling of page-allocation-failure

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: reduce size of sdp_buf to what is really being used

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove the relation between qp_active and sdp_free_fmr()

This will fix the warning message from ib_destroy_fmr_pool().

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: small fix to support device removal during traffic

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: bug fix for a case of no memory to allocate for tx_sa

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix behavior when a skb allocation fails

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: some small non-behavioral changes in sdp_dreq_wait_timeout_work()

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rewrite orphan count logic

orphan count is increased on every call to sdp_common_release and decreased on
every call to sdp_destruct (just before the socket is freed).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: change socket reference semantics: keepalive != alive

keepalive timer manages a socket reference count regardless to the initial
socket reference (SOCK_REF_ALIVE).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove unnecessary argument from sdp_connected_handler.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: removed extra debug message and comment.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for socket refcnt when error is marked while in TCP_TIME_WAIT state

When socket is in TCP_TIME_WAIT state, the next sdp_destroy_work() call will
put the cma_refcnt, so we should not change the socket state even if there is
an error.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: enable support for ib devices that do not support fmr

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: before activating rx_ring timer, need to check that qp is still active.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix compilation warnings

use %z for size_t in printk's

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: define SDP_MAX_PAYLOAD as ulong instead of int, to comply with PAGE_SIZE

SDP_MAX_PAYLOAD is compared a lot to PAGE_SIZE by min(), and on some kernels a
compilation warning of "comparison of distinct pointer types lacks a cast"
appears.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: some small non-functional changes.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: enable rx_cq arming when no one polls.

No need to explicitly arm the cq, posts_handler_put will arm it.

sdp: before arming cq, need to check if cq was not destroyed already.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: When purging tx_ring, rdma_inflight accountings should be disregarded, so the number of skbs to free is just (posted=head-tail).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: tx_ring timer should not be scheduled if the qp is not active anymore.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: if can't recv or send, and the qp is not active, return -EPIPE instead of 0

This fixes an endles loop problem where userspace programs are looping on recv
or send until all required bytes processed or until an error returned.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rx completions workqueue should be flushed after qp destruction and before the socket is freed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rx/tx tasklets should be properly killed when destroying qp.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: some annoying whitespaces removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove white spaces in the end of some lines.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: device_removal_lock should not be a spinlock because module removal takes a long time.

In order to prevent a situation that many CPUs are stack with read-spinlock
waiting for remove-device write-lock to be freed, I replaced the rw-spinlock
with rw-semaphore. That way the blocked processes goes to sleep and are not
blocking other processes.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: error value for sdp_set_error() should be negative.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Fix for deadlock between sdp_connect and sdp_destroy_work.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: cleanup ssk->rx_sa when aborting incoming SrcAvail

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation warnings in RH

use %z for size_t in printf's

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_destroy_qp should be protected in destroy work

sdp_destroy_work didn't take a lock before destorying QP

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: don't double free fmr

There are flows that try to free ssk->fmr twice.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Limit FMR resources

- Make FMR pool size a module parameter and set default value to a
  smaller value (20 FMR's)
- Fallback to SendSM silently when  can't allocate FMR

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix for hangs/crashes in rare cases

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix for warning message when receiving with MSG_PEEK flag, and free skb that is not needed any more after all data was read from it.

'rx_sa->used', unlike 'offset', was not updated when MSG_PEEK flag was up and
that lead to the behavior that bytes considered to be available to copy while
the sequence offset showed that the bytes already consumed.
The solution is to discard any use of 'rx_sa->used' and use 'offset' instead.

An skb of SDP_MID_SRCAVAIL is not needed anymore when all its inline data was
consumed and the RDMA operation was canceled (due to MSG_PEEK flag).
This fix eliminates the warning message: "Trying to read beyond SKB".

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: On MSG_PEEK, no rdma_rd_complete should be sent.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: update for sdp_cma_handler() events debug messages.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for handling multi iov's in ZCOPY.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Fix iperf multistream hanging

When trying to send and no credits available. Sometime coulnd't get
credit update, because interrupts are turned off by default.
Added poll RX CQ to fix in this case.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix wrong use of ssk->sdp_disconnect

Due to miss-use of sdp_disconnect rx cq is not armed after disconnect is
sent

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: protect sdp_auto_moderation from device removal

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_recvmsg() shouldn't handle SDP_MID_DISCONN when MSG_PEEK flag is up.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: added lock_sock() to sdp_poll()

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Cleanedup some commented lines

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bad handling of small rcvbuf size in zcopy

- Do not send RdmaRdComp when no buffers
- Same for SendSm
- post at least 3 buffers in RX to have the minimal number of credits
- make purge_tx_ring ignore WR used by RDMA
- fixed a typo, to reschedule tx_cq_poll timer according to tx queue and
  not to rx queue (!)
- Allow credit updates when less than half RX Q is filled

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix issues in orphan count

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: protect rx_ring access with a lock

because sdp_poll_rx_cq() is accessed both from interrupt and from user
context, need to protect it with a lock.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cleanup skb allocations

- Bad sizing of inline data on send sockets had implications on the
  performance.
- All sent data is placed on the skb itself (unless accumulated by nagle)
- Do not count sdp header twice when allocating skb
  added some likely/unlikely

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Reuse buffers in rx ring

To improve latency in small packets - reuse already pinned and allocated
pages that wasn't used.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cpu affinity in sdpstats

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use polling in rx

poll on RX whenever possible, use interrupts only before sleeping,
during graceful close or in zcopy.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix for a bug of lost refcnt in TCP_TIME_WAIT state.

OFED addons break semantics of cancel_delayed_work_sync(), like in SLES 10.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2038 - transmission goal size won't exceed SDP_MAX_PAYLOAD

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: SDP_WARN_ON defined to be used instead of WARN_ON, for better compatibility

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: new debug function added, minor debug message change.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: device removal rewritten for a stability improvement.

main changes:
1. device_removal_lock is better used.
2. sdp_dev is marked NULL in order to prevent new sockets born to the removed
   device.
3. new timeout functionality used when a reference count was taken for the CMA
   to return, but the CMA won't be invoked because rdma_id was destroyed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary local variable removed, 'const' declarations added

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: tx timer is deleted when sockets goes to TCP_CLOSE

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: canceled a call to sdp_desroy_work() on send completion with error

No need to destroy resources after send completion with error.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary wait-queue removed from sdp_sock structure.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary local variable removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: debug message for reference count changed from CM_TW to CMA

This debug message marks that the sdp_cma_handler() is expected to be invoked.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2031 - sdp_cma_handler() won't be invoked after last ref count removed

rdma_id will be destructed in cases where the sdp_cma_handler() is not required any more.
This will disable asynchronous-events handling after the last reference count removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix a leak when ib_post_xxx fail + small fixes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: on device removal, ref count taken so that socket won't be destructed

On device removal, socket resources that are based on device are destroyed,
but the socket itself will be destroyed later, upon user request.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: use max number of SGE from HW capabilities

Instead of using hard coded max number of SGE's take
it from device capabilities.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix a hang when ib_post_recv is failed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation warning on debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_bzcopy_thresh module parameter removal

Field [bzcopy_thresh] inside 'struct sdp_sock' changed to [zcopy_thresh] and
the ability to disable zcopy per-socket was added.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2017 - better initialization implementation for ssk->nagle_timer

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for brutal device removing

Kernel always crashed in the following test case:
user program: socket+bind+listen+accept. socket accpted.
shell: rmmod mlx4_ib
user program: close <<< CRASH
The fix closes any socket that its ib_device is the device being removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Don't try to allocate FMR larger than RLIMIT_MEMLOCK

During ZCopy. If don't have CAP_IPC_LOCK capability and current
max number of locked pages is smaller than the buffer size, split
the send into small fragments.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Don't count sdp header twice when calculating size_goal

sizeof(struct sdp_bsdh) is included inside skb->len. Ignore it
when calculating maximum payload of the skb.
This mistake caused every BCopy send of 32K (and its multiples) to
be split and thus got bad performance.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: timeout for abortive close updated

SDP_FIN_WAIT_TIMEOUT updated from 10[sec] to 60[sec] to comply with TCP
TCP_FIN_TIMEOUT.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: module parameter to disable SDP over ROCEE

Since ROCEE added, SDP always try to connect, even
if link layer of type Ethernet. This make 'both' mode
in libsdp useless.

Added a module paramter to disable it by default

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added differentiation between bind failures of sdp.

When bind()ing in mode 'BOTH', bind(sdp_sock) might fail if:
1. the IP&port is already bounded.
2. the IP is not part of IB network.
previous implementation returned errno=EADDRINUSE either way.

Only the first case should fail the bind(), the second is legitimate
because the TCP socket will hanle the connection.
This fix corresponds to a fix in libsdp.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - there is no point of using zcopy when credits are not available.

if credits are not available, data won't be transferred anyway,
so it would be better to use bcopy.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1992 - enable transmission of credits update when tx_credits == 1

According to spec, if one credit is available, we can only send messages that
provide additional credits and also do not contain data payload.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary 'if' statement canceled.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - fixed select(2) behavior on a new nonblocking socket.

when calling for select(2) after socket(2) on a nonblocking socket,
select(2) should return 'writable'.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - sdp_destroy_work() and sdp_connect() interfere with each other.

This fix was done in order to make sure that sdp_destroy_work() is done
before sdp_connect() is active.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: support iovlen > 1 in zcopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sdp_socket.h available to user applications

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: enable FMR pool cache

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Stop SA Cancel timeout when getting SendSM/RdmaRdCompl

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: SendSM wasn't sent sometimes after getting SrcAvailCancel

* skb was freed if rx_sa is aborted - preventing SendSM
  to be sent.
* Didn't update rx_sa->used in case of SrcAvailCancel
  and therefore not sending RdmaRdCompl.
  This also caused the next read to fail because offset
  wasn't updated

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Send SendSM from recvmsg context and not from interrupt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bug in crossing SrcAvail

* Handle RdmaRdCompl in interrupt, before splitted to two Q's
  This way the handling is sequencial, and no race could occure
  between RdmaRdCompl and SrcAvailCancel
* Fixed an error when checking that RdmaRdCompl is not for
  old SrcAvail

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Add detailed ZCopy aborted send statistics

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Prevent kernel crash if device init fails (plus bonus fix)

If sdp_add_device() fails, there is no client data stored in the IB device,
leading to a kernel crash when a connection is being established. Fix this
by rejecting connections when the device is not initialized.

Also, fix a bad goto target in an error case early in sdp_init_qp().

Signed-off-by: Joachim Fenkes <fenkes@de.ibm.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>