sdp: Do not ignore scope_id in IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make backport sk_inet()->xxx simpler

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix get getsockname/getpeername in IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Allow bind to address with family AF_INETx_SDP

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Use %pI4 + %pI6 in new kernels

A patch in this subject was in the wrong backport. Moving it to a dedicated patch.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix connect to IPv4 over IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix some issues in ipv6 support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: ipv6 support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: move histogram allocation from stack to heap

- Cause a kernel crash when accessing /proc/net/sdpstats on RH6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: print error value when ib_umem_get fails

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: remove 'reading beyond SKB' warning

This is a good sanity check, but could print a warning when a
partially used SrcAvail skb is cancelled.
This should be fixed in a way that will leave the sanity check,
but need to make minimal changes before the GA.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: RdmaRdCompl not sent sometimes

When SrcAvailCancel is handled after RDMA finshed and before sending
RdmaRdCompl, RdmaRdCompl won't be sent, and a data corruption will occur.
Made sure that all sdp_abort_rx_srcavail will send RdmaRdCompl if needed.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sdp_prf index atomic

Will make sdpprf more reliable - records won't override other records.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: handle failed RDMA read

When RDMA read is failed, do not report those bytes as read, and
return error code to user.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix compilation error when SDP_DEBUG_DATA is off

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Enable set zcopy threshold to 0 using setsockopt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG2161 - hanging sockets are left

When getting DREQ at TCP_CLOSE_WAIT state, CMA ref count is taken
and not returned. This happens because CMA timer is not started.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Take into account HW inline capabilities

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Send small sends using inline

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: access socket history from debugfs

Also moved sdpprf to /sys/kernel/debug/sdp - seems to be a better place
than /proc/net

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use a macro to convert ssk into sk

Instead of accessing &ssk->isk.sk cast the sdp socket into
sock. Do it from a macro sk_ssk(ssk)

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Initialize remote credits when sending Hello

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG2158 - do not send SrcAvail too small

- Shouldn't send SrcAvail with no RDMA payload - could happen when RLIMIT is
  too small.

- Do not crash when getting 2 SrcAvail.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: add a sanity check for sg_len

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix socket_allocated counter

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: no point of waiting for data if remote host can't send

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix support for a case of no locking capabilities

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: if can not allocate memory - no point of waiting

We don't wake up sleeper when we free memory, so mem sleeper will sleep forever.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: cosmetics

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for CMA reference count

When sdp_destroy_work() is invoked (due to the cma handler),
but "ssk->cma_timewait_timeout == 0", a socket reference was putted even though
it was never taken. This can happen in 2 scenarios:
1. sdp_destroy_work() locked the socket before sdp_close()
2. sdp_destroy_work() locked the socket after sdp_cma_timewait_timeout_work()

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: add ability to set a maximum memory usage for the entire module

use top_mem_usage module parameter for this.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Accept AF_INET_SDP in address supplied to connect()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix RDMA read completion with error

- set socket to error state for all wr_id's
- no need in sdp_handle_send_comp()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_post_rdma_read() should clean up its mess

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation error when compiling without debug flags

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: treat unfinished RDMA operation as a fatal error

mark socket with EIO error code.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for race condition with SrcAvailCancel handling

Tx complition resets "rdma_inflight->busy" and wakes up the recvmsg().
But rx_workqueue might get the lock of the socket before recvmsg(), so
SrcAvailCancel might be polled from the rx_cq, and since "busy = 0",
rx_sa wil be freed (w/o freeing umem&fmr).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: call ib_umem_get with the right access

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Improve the look of packet dump

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cosmetics, debug messages, error codes

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: SrcAvailCancel should not be processed during RDMA read

fmr should be freed only after tx completion, regardless if SrcAvailCancel arrived.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2082 - fix orphan counter reading

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: when aborting SrcAvail, should check if it wasn't aborted already

Check is relevant only after sleeping.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: ZCopy doesn't support multithreading - warning & kernel panic protection

Correspond to BUG 2147.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Enable RoCE by default

Could led to long delays when trying to establish connection to ethernet
peer, and libsdp is set to 'both'. Should be fixed by letting user set
both/sdp/tcp per interface and not only by subnet/port/process in libsdp.conf.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: SrcAvailCancel should be processed even if SrcAvail was partly processed

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2144 - first free rx_sa before sending SendSM

otherwise a new rx_sa might be alloced before the old one is removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix code readability

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2141 - fix refcnt bug

This bug is reproducable when sdpnetstat(1) is run while a socket is being
destructed. sdp_proc utilities might try to hold a refcnt for a socket that its
destruction already began. This is possible because sdp_proc utilities uses
sock_list to scan for sockets, but a socket is removed from that list only
after all its resourcs are freed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: refcnt debug tool

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: cosmetics & add/remove warning messages

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: extend socket locking scope in dreq timeout function

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: sdp_poll() should not excessively poll rx_cq

sdp_poll() might be called before send(), and if there is no data in rx_cq,
polling rx_cq will waste 700 usec (recv_poll).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: postpone rx timer when arming rx_cq

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for timestamping values in debug messages

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: better sequence-number handling and cosmetic updates

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: add some checking & protection for enum values in debug utilities

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2138 - 32bit hosts can't devide 64bit variables

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove recursion in tx_ring processing

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix keepalive timer setup for server-sockets

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix logarithmic histogram index

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix compilation on ia64 and ppc

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Some improvements to multistream BW

- Removed almost all locks in data path - using lock_sock only
- CPU Affinity for SKB handling
- Don't do any RX proccessing from IRQ/timer
- recv_poll value in usec instead of msec

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: add support for no recv polling at all

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1923 - fix support for MSG_OOB

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove unused variables

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fixed for error code in sendmsg-BZCopy

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fixed skbs-control-queue memory leak

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fixed device removal issues

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: added the ability to use sdpprf for any debug message

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fixed a deadlock when tx_timer calls sdp_reset that tries to del the timer

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fixed SrcAvail memory leak

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: removed unnecessary variable 'vm_wait'

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: stability improvements for ZCopy

- beter handling of ZCopy errors and SrcAvailCancel requests
- fixed SrcAvailCancel sequence number handling

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: properly kill nagle_timer on socket reset

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2092 - ib_device field in sdp_sock is reset not in user-context

ib_device field of sdp_sock is NULL after either cases:
- cma handler resetting the socket
- device removal
Both cases are not in user-context.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for stopping tx timer/tasklet when socket state is TCP_CLOSE

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1403 - last sk_refcnt is called while cma handler is invoked

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: bug fix for a case of no memory to allocate for rx_sa

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rx_irq should use tasklet instead of timer due to latency issue

mod_timer(..., 0) measured to add 4ms delay.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: better handling of page-allocation-failure

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: reduce size of sdp_buf to what is really being used

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove the relation between qp_active and sdp_free_fmr()

This will fix the warning message from ib_destroy_fmr_pool().

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: small fix to support device removal during traffic

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: bug fix for a case of no memory to allocate for tx_sa

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix behavior when a skb allocation fails

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: some small non-behavioral changes in sdp_dreq_wait_timeout_work()

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: rewrite orphan count logic

orphan count is increased on every call to sdp_common_release and decreased on
every call to sdp_destruct (just before the socket is freed).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: change socket reference semantics: keepalive != alive

keepalive timer manages a socket reference count regardless to the initial
socket reference (SOCK_REF_ALIVE).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: remove unnecessary argument from sdp_connected_handler.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: removed extra debug message and comment.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for socket refcnt when error is marked while in TCP_TIME_WAIT state

When socket is in TCP_TIME_WAIT state, the next sdp_destroy_work() call will
put the cma_refcnt, so we should not change the socket state even if there is
an error.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: enable support for ib devices that do not support fmr

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: before activating rx_ring timer, need to check that qp is still active.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix compilation warnings

use %z for size_t in printk's

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: define SDP_MAX_PAYLOAD as ulong instead of int, to comply with PAGE_SIZE

SDP_MAX_PAYLOAD is compared a lot to PAGE_SIZE by min(), and on some kernels a
compilation warning of "comparison of distinct pointer types lacks a cast"
appears.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: some small non-functional changes.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: enable rx_cq arming when no one polls.

No need to explicitly arm the cq, posts_handler_put will arm it.

sdp: before arming cq, need to check if cq was not destroyed already.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: When purging tx_ring, rdma_inflight accountings should be disregarded, so the number of skbs to free is just (posted=head-tail).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>