sdp: Kconfig and Makefile changes

Signed-off-by: Ajaykumar Hotchandani <ajaykumar.hotchandani@oracle.com>

sdp: port the code to uek2

Signed-off-by: Dotan Barak <dotanb@dev.mellanox.co.il>

sdp: added debug print for the event: RDMA_CM_EVENT_ALT_PATH_LOADED

Signed-off-by: Bang Nguyen <bang.nguyen@oracle.com>

sdp: prepare support to kernel 2.6.39-200.1.1.el5uek: add macro to get sk_sleep

This will ease up the porting to the new kernel.

Signed-off-by: Dotan Barak <dotanb@dev.mellanox.co.il>

sdp: add support to kernel 2.6.39-200.1.1.el5uek

Rename the MACROs inet_daddr and inet_rcv_saddr, since they exists in this
kernel.

Signed-off-by: Dotan Barak <dotanb@dev.mellanox.co.il>

sdp: add [rt]x_bytes counters to sdpstats

Those counter shows how many bytes actually rx/tx using SDP sockets.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>
Signed-off-by: Dotan Barak <dotanb@dev.mellanox.co.il>

sdp: Fix Bug 114242 - Multi connection net_perf causes server to hang

    Fix the soft lockup bug by changing the allocation flag in
    sdp_bcopy.c from 0 to gfp.

    Reviewed by: Amir Vadai

Signed-off-by: Moran Perets <moranp@mellanox.co.il>

FMR: remove FMR failure messages

remove the messages per Oracle's request. FMR is not yet supported in VMs.

Signed-off-by: Eli Cohen <eli@mellanox.co.il>

sdp: make sdp memory leak print a debug

Since this is probably an accounting error and not a real memory leak - should
be a debug only for now.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: changed memory accounting warning into debug

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix issues in sdpprf

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Remove protection before sleep on RX

No need for this protection, it was needed because of a bug previously fixed.
Credit update could be sent even when credit reaches 2.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Enable automatic path migration support also in the passive side of the connection.

Signed-off-by: Moni Shoua <monis@mellanox.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed some coverity issues

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

Flatten the entire tree fixes

As from now we are going to avoid using patches to commit changes to the
driver. Instead, we will push directly to the source files. Backports are still
maintained but only for 2.6.18-EL5.5; backaports of 2.6.32 are completely
removed.

Signed-off-by: Eli Cohen <eli@mellanox.co.il>

sdp: Fixed compilation error on 2.6.18 RH5.5

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix memory leak. sockets_allocated wasn't freed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Removed spaces and tabs at end of lines

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix sdpprf

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed bcopy statistics

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Bad behaviour when setting low rcvbuf size

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed a typo

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Limit total memory consumed by rcvbuf

rcvbuf is already limited by the payload in the queue. But also need to limit
total memory consumption of it, since small packets received might have a very
large overhead to the payload.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix "sdpprf empty after a long run"

sdpprf_log_count gets to a negative value after a long run.
This is only a quick fix - still might loose logs sometimes.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make SDP_RX_SIZE a module parameter

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Rollback credit limit during ZCopy transaction.

This limit was added at commit 2574b53 ("Abort rx SrcAvail when out of
credits")

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: get per socket memory statistics at socket's sysfs file

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix a hole in rx memory limit

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sure memory is reclaimed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: send packets without payload when credits=1

This according to the SPEC, and prevent a deadlock in ZCopy. SrcAvailCancel
wasn't acked when credits got low.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed some prints to sdpprf

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: remove unused rcvbuf_scale module parameter

Was used when in slow start mechanism.
Not needed till having slow start again.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix memory socket accounting

skb->truesize - total bytes allocated by skb, including fragments

Specific socket accounting:
* sk->sk_wmem_queued - send bytes currently in TX queue
* RX queue accounting is done by using seq
* sk->sk_rmem_alloc - bytes consumed by RX

Protocol accounting:
* sk->sk_forward_alloc - bytes that are available to be consumed
* prot->memory_allocated - bytes consumed by TX/RX

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix sdp_sendmsg counters in sdpstats

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make retry count a module parameter

Setting a lower value means faster path migration in APM

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG2217 - fix sdpstats negative values

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: do not abort connection on RDMA_CM_EVENT_ADDR_CHANGE

This could happen when having a bonding device.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

rdma_cm, sdp: bug fixes and some changes to APM logic

- We no longer rely on the private data buffer of the LAP/APR messages for passive side LID improvement.
    Instead, we use the protocol defined LID improvement APR error code.
    - Two paths are allocated on id creation to simplify code.
    - Various small bug fixes.
    - Added a missing ref_count get
    - Some code cleanup.
    - Important: rdma_enable_apm may be called only upon receiving RDMA_CM_ROUTE_RESOLVED event.
      This was done to break symmetry on failover and possibly on other occasions.

Signed-off-by: Nir Muchtar <nirm@voltaire.com>
Signed-off-by: Moni Shoua <monis@voltaire.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed debug print

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use APM support in rdma_cm

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: do not reenter sdp_abort_rx_srcavail

SrcAvailCancel could be handled from within sdp_abort_rx_srcavail. This
shouldn't happen. To prevent it, ssk->rx_sa is set to NULL at the begining.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Abort rx SrcAvail when out of credits

SrcAvail sink side could run out of credits when having bcopy sends to the
other direction. Because of that no RdmaRdCompl could be sent nor SendSM.  This
could hang the sender side forever (No SendSM on SrcAvailCancel).

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed BUG2207 - EINVAL when connect after IPv6 bind

Connect to IPv4 over IPv6 address need rdma id to be created with IPv4 address.
If bound before with IPv6 adderss, need to destroy and recreate the id.
Also, when connecting after bind, keep the same source port number.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: check address family before connecting

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Do not ignore scope_id in IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make backport sk_inet()->xxx simpler

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix get getsockname/getpeername in IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Allow bind to address with family AF_INETx_SDP

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Use %pI4 + %pI6 in new kernels

A patch in this subject was in the wrong backport. Moving it to a dedicated patch.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix connect to IPv4 over IPv6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix some issues in ipv6 support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: ipv6 support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: move histogram allocation from stack to heap

- Cause a kernel crash when accessing /proc/net/sdpstats on RH6

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: print error value when ib_umem_get fails

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: remove 'reading beyond SKB' warning

This is a good sanity check, but could print a warning when a
partially used SrcAvail skb is cancelled.
This should be fixed in a way that will leave the sanity check,
but need to make minimal changes before the GA.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: RdmaRdCompl not sent sometimes

When SrcAvailCancel is handled after RDMA finshed and before sending
RdmaRdCompl, RdmaRdCompl won't be sent, and a data corruption will occur.
Made sure that all sdp_abort_rx_srcavail will send RdmaRdCompl if needed.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sdp_prf index atomic

Will make sdpprf more reliable - records won't override other records.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: handle failed RDMA read

When RDMA read is failed, do not report those bytes as read, and
return error code to user.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix compilation error when SDP_DEBUG_DATA is off

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Enable set zcopy threshold to 0 using setsockopt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG2161 - hanging sockets are left

When getting DREQ at TCP_CLOSE_WAIT state, CMA ref count is taken
and not returned. This happens because CMA timer is not started.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Take into account HW inline capabilities

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Send small sends using inline

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: access socket history from debugfs

Also moved sdpprf to /sys/kernel/debug/sdp - seems to be a better place
than /proc/net

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use a macro to convert ssk into sk

Instead of accessing &ssk->isk.sk cast the sdp socket into
sock. Do it from a macro sk_ssk(ssk)

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Initialize remote credits when sending Hello

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG2158 - do not send SrcAvail too small

- Shouldn't send SrcAvail with no RDMA payload - could happen when RLIMIT is
  too small.

- Do not crash when getting 2 SrcAvail.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: add a sanity check for sg_len

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix socket_allocated counter

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: no point of waiting for data if remote host can't send

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix support for a case of no locking capabilities

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: if can not allocate memory - no point of waiting

We don't wake up sleeper when we free memory, so mem sleeper will sleep forever.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: cosmetics

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for CMA reference count

When sdp_destroy_work() is invoked (due to the cma handler),
but "ssk->cma_timewait_timeout == 0", a socket reference was putted even though
it was never taken. This can happen in 2 scenarios:
1. sdp_destroy_work() locked the socket before sdp_close()
2. sdp_destroy_work() locked the socket after sdp_cma_timewait_timeout_work()

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: add ability to set a maximum memory usage for the entire module

use top_mem_usage module parameter for this.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Accept AF_INET_SDP in address supplied to connect()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix RDMA read completion with error

- set socket to error state for all wr_id's
- no need in sdp_handle_send_comp()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_post_rdma_read() should clean up its mess

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation error when compiling without debug flags

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: treat unfinished RDMA operation as a fatal error

mark socket with EIO error code.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for race condition with SrcAvailCancel handling

Tx complition resets "rdma_inflight->busy" and wakes up the recvmsg().
But rx_workqueue might get the lock of the socket before recvmsg(), so
SrcAvailCancel might be polled from the rx_cq, and since "busy = 0",
rx_sa wil be freed (w/o freeing umem&fmr).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: call ib_umem_get with the right access

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Improve the look of packet dump

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cosmetics, debug messages, error codes

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: SrcAvailCancel should not be processed during RDMA read

fmr should be freed only after tx completion, regardless if SrcAvailCancel arrived.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2082 - fix orphan counter reading

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: when aborting SrcAvail, should check if it wasn't aborted already

Check is relevant only after sleeping.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: ZCopy doesn't support multithreading - warning & kernel panic protection

Correspond to BUG 2147.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Enable RoCE by default

Could led to long delays when trying to establish connection to ethernet
peer, and libsdp is set to 'both'. Should be fixed by letting user set
both/sdp/tcp per interface and not only by subnet/port/process in libsdp.conf.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: SrcAvailCancel should be processed even if SrcAvail was partly processed

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2144 - first free rx_sa before sending SendSM

otherwise a new rx_sa might be alloced before the old one is removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix code readability

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2141 - fix refcnt bug

This bug is reproducable when sdpnetstat(1) is run while a socket is being
destructed. sdp_proc utilities might try to hold a refcnt for a socket that its
destruction already began. This is possible because sdp_proc utilities uses
sock_list to scan for sockets, but a socket is removed from that list only
after all its resourcs are freed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: refcnt debug tool

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: cosmetics & add/remove warning messages

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: extend socket locking scope in dreq timeout function

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: sdp_poll() should not excessively poll rx_cq

sdp_poll() might be called before send(), and if there is no data in rx_cq,
polling rx_cq will waste 700 usec (recv_poll).

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: postpone rx timer when arming rx_cq

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for timestamping values in debug messages

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: better sequence-number handling and cosmetic updates

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>