sdp: Limit skb frag size to 64K-1

When 64K pages are in use, the skb_frag size can become larger
than the skb_frag can address. An skb_frag's max size is 64K-1.
This patch defines SDP_MAX_PAYLOAD as 64K - SDP_HEADER_SIZE.
The patch changes sdp_post_recv() and sdp_sendmsg() to use the smaller of
PAGE_SIZE or SDP_MAX_PAYLOAD as it segment size.

This fix the bug here:
https://bugs.openfabrics.org/show_bug.cgi?id=1300

Signed-off-by: David Wilder <dwilder@us.ibm.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: more verbose debugging messages for sock_put and sock_head

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1282 - ref count not taken during sdp_shutdown

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: print socket tcp-state in /proc/net/sdp

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: fix initial recv buffer size

Set initial recv buffer according to incoming hha header.

Fixed bugzilla 1086: SDP Linux and SDP windows don't work togeather

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

support for 2.6.27 + backports

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: RDMA_CM_EVENT_TIMWAIT_EXIT renamed into RDMA_CM_EVENT_TIMEWAIT_EXIT.

Signed-off-by: Vladimir Sokolovsky <vlad@mellanox.co.il>

SDP: Don't allow destruct socket when having sdp_destroy_work in workqueue

in error flow, sdp_destroy_work is placed in workqueue and sometimes the
user application call close() that destruct the socket before sdp_destroy_work
is called.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: do gracefull close instead of always doing abortive close.

Main changes:
1.  when a close/shutdown syscall is called, instead of sending a DREQ, put
    last socket ref count and go to TCP_CLOSE state do:
    - take a socket reference count
    - set state to TCP_TIME_WAIT
    - start infiniband tear down
    - wait till got RDMA_CM_EVENT_TIMEWAIT_EXIT
    - set socket state to TCP_CLOSE
    - put last socket ref count - this will call sdp_destruct()

2. No need for sdp_time_wait

3. Abortive close will immedietly start infiniband teardown - will finilize the
   socket closing when CM finish.

4. Fixed references accounting + state exchanges

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: Split sdp_handle_wc() to smaller functions

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: Use sdp_set_state()

use sdp_set_state() instead of modifying sk_state directly

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

Commited old fixes from kernel_patches/fixes/cma_established1.patch into git

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

Modifies SDP to support the updated 2.6.26-rc2 kernel APIs.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP - Fix compile problem on 2.6.24 ia64

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP: Enable bzcopy by default

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Bug837: executing netperf with TCP_CORK enabled never ends

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Bug829: poll() always returns POLLOUT on non-blocking socket

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Bug294: SDP connect() only allows AF_INET (2), not AF_INET_SDP (27)

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP: various bzcopy fixes V2

The Mellanox regression tests posted a number of failures when
multiple threads were accessing the same sockets concurrently.  In
addition to test failures, there were log messages of the form:
  sdp_sock(54386:19002): Could not reap -5 in-flight sends

This fix handles all these failures and errors.

The V2 is a fix to handle 2.6.22+ kernels where sk_buffs have
changed.

Signed-off-by: Jim Mott <jim@mellanox.com>

Applied 'kernel_patches/fixes/sdp_skbuff_offset.patch'.

Signed-off-by: Vladimir Sokolovsky <vlad@mellanox.co.il>

Applied 'kernel_patches/fixes/sdp_post_credits.patch'

Signed-off-by: Vladimir Sokolovsky <vlad@mellanox.co.il>

SDP: Applied 'kernel_patches/fixes/sdp_cq_param.patch'

Signed-off-by: Vladimir Sokolovsky <vlad@mellanox.co.il>

SDP: Disable Zcopy.

Signed-off-by: Jim Mott <jim@mellanox.com>

Modifies SDP to support the updated 2.6.24-rc2 kernel APIs.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP: A better fix of a potential memory leak in the new bzcopy code.

Signed-off-by: Dotan Barak <dotanb@dev.mellanox.co.il>

sdp: Fix data corretness regression test failure.

Mellanox regression testing for data correctness started failing
after the recent addition of bzcopy. This was because sdp_sendmsg
returned before all in-flight RC transfers completed.
This allowed user space to modify buffers that had not been sent.

A big oops.

This fixes that bug.  Small frame bandwidth is even worse
now, but small frame latency is lower which is good.  The
default transfer size that triggers bzcopy has been
increased to the bandwidth crossover point found in
MLX4-MLX4 tests.  More work will be required to find the
best value for the release.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Fix reference count locking bug

Add code to fix a problem found by the Mellanox regression group.  When
mlx4_ib driver is unloaded while SDP connections are active, the system
would hang.

The original fix for this problem called an rdma_cm service that can block
with 2 spin locks held.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Make bzcopy defualt for 2K and larger transfer size

In order to be sure we test the new bzcopy code it will be enabled by
default.  The 2K threshold is what my testing shows to be the lowest
value that always wins.  We may have to adjust this upward if other
hardware has worse performance.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Fix reference count bug that prevents mlx4_ib and ib_sdp unload

Add code to handle mlx4 device remove call.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Add note on where linux bits in sdp_main come from.

Signed-off-by: Michael S. Tsirkin <mst@dev.mellanox.co.il>

SDP - Zero copy bcopy support

This patch adds zero copy send support to SDP.  Below 2K transfer size,
it is better to bcopy.  With larger transfers, this is a net win on
bandwidth.  Latency testing is yet to be done.

                     BCOPY        BZCOPY
   1K  TCP_STREAM  3555 Mb/sec  2250 Mb/sec
   2K  TCP_STREAM  3650 Mb/sec  3785 Mb/sec
   4K  TCP_STREAM  3560 Mb/sec  6220 Mb/sec
   8K  TCP_STREAM  3555 Mb/sec  6190 Mb/sec
  16K  TCP_STREAM  5100 Mb/sec  6155 Mb/sec
   1M  TCP_STREAM  4630 Mb/sec  6210 Mb/sec

Performance work still remains.  Open issues include correct setsockopt
defines (use previous SDP values?), code cleanup, performance tuning,
rigorous regression testing, and multi-OS build+test.  Simple testing to
date includes netperf and iperf, ^C recovery, unload/load, and checking
for gross memory leaks on Rhat4u4.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP - Method used to allocate socket buffers may cause node to hang

The problem we are seeing is that if a node is under load, and
a memory allocation fails (say in sock_sendmsg()), the kernel will
use the allocation policy to decide how to proceed with the allocation.
If GFP_KERNEL is specified, then the kernel may attempt to free pages
through the iSCSI block device that is making the socket call, which
would result in a deadlock.  Use of GFP_NOIO should prevent the kernel
from using the IO backend to free memory resources.

Each kernel level socket has an allocation flag to specify the
memory allocation policy for socket buffers, the default is GFP_ATOMIC
(or GFP_KERNEL for SDP).  If the caller creates a socket with the
policy set to GFP_NOFS or GFP_NOIO this should be the allocation
policy used by the SDP layer.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP bug647 - Validate ChRcvBuf range and add comments

Clean up the buffer resize code to comply with CA4-83:
  Upon receipt of ChRcvBuf message, the remote peer shall not
change the buffer size in the direction opposite of that
requested.

Also add some comments and pretty up the code.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP bug646 - Do not send DisConn if there is only 1 credit

Compliance with CA4-82:
  If one credit is available, an implementation shall only send SDP
messages that provide additional credits and also do not contain ULP
payload.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP bug644 - DisConn, ChRcvBuf, and ChRcvBufAck sent solicited

This patch brings the implementation into compliance with A4.11.2 which
says that these messages are not to be sent as solicited.

Signed-off-by: Jim Mott <jim@mellanox.com>

SDP: Add keepalive support

Signed-off-by: Jim Mott <jim@mellanox.com>

Fix SDP build issue in 2.6.22-rc7 kernel. There are skbuff.h changes.

IB/sdp: move the socket to accept queue

Move socket to accept queue if RTU is dropped and DREQ is recieved
(bugzilla 645)

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: resize data should be added to skb via skb_put (bugzilla 620)

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: fix problem with sles9 backport (bugzilla 621)

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: slow start recv buffer sizes, and try to resize if out of credits (bugzilla 556)

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: print queued rx and tx status to proc_fs implement SIOCOUTQ ioctl

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: Cleanup compilation warnings.

workqueue function gets passed work_struct sizeof should be printed with %zd

Signed-off-by: Michael S. Tsirkin <mst@dev.mellanox.co.il>

IB/sdp: Fix to be compliant with CA4-119 (bugzilla 596)

Signed-off-by: Michael S. Tsirkin <mst@dev.mellanox.co.il>
Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: adjust module parameter to improve 8K message BW

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: prevent removal of ib device before cleanup

Should cleanup  all related resources (bugzzila num. 579)

Signed-off-by: Ami Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: fix dma mapping direction (bugzzila num. 556)

Signed-off-by: Amiram Perlmutter <amip@dev.mellanox.co.il>

IB/sdp - use the ib_dma interface

The SDP module should be using the ib_dma_* interface, not the dma_*
interface directly.  This fixes a crash on InfiniPath hardware.

Signed-off-by: Ralph Campbell <ralph.campbell@qlogic.com>
Signed-off-by: Robert Walsh <robert.walsh@qlogic.com>

IB/sdp: cm disconnect should wake up any sleeping processes (bugzzila num. 492)

Signed-off-by: Amiram Perlmutter <amip@dev.mellanox.co.il>

IB/sdp: add uid and inode to proc_fs info

Signed-off-by: Amiram Perlmutter <amip@dev.mellanox.co.il>
Signed-off-by: Michael S. Tsirkin <mst@dev.mellanox.co.il>

IB/sdp: fix dma leak

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: fix BSDH len field for HH/HAH login messages.

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>
Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: try to send after push mark is set

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: allow users via module parameter to bound SDP's memory use

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: fix NULL pointer dereference

introduced by patch "IB/sdp: handle shutdown recv on listening socket"

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>
Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: add proc_fs support

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: handle shutdown recv on listening socket

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

Update for API changes merged for 2.6.20.

IB/sdp: fill required login fields

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: poll cq in sendmsg only when sent size is larger than

threshold to improve small message BW

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: fixed compilation error

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: fixed typo in module parameter description

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: merge small skbs on receive side into larger ones.

For now, only do this if both skbs are linear.

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>
Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: modify buffer use calculation to eliminate credit starvation

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: handle immediate errors on post_send/post_receive

could happen if cma has moved the QP to error asynchronously

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: disable timewait on close if socket has been disconnected

State should move to CLOSE or CLOSE_WAIT etc on disconnect.
Since it currently doesn't, do it in sdp_close to avoid timewait.

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: emulate completion with error if packet queued after disconnect.

In TCP packet is sent, and we get RST from the remote. Emulate this in SDP.

IB/sdp: add receive buffer size scale factor

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: improve urgent data latency

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: fix data corruption on SLES10 (should affect other systems as well).

IB/sdp: fix a crash when child is disconnected while parent is being destroyed

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

CMA should check backlog_queue, not accept_queue, since accept_queue could be changed by accept().

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: request notification only if CQ exists.

Further, poll after request for notification, as required by IB spec.

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: do not kill the child socket in accept queue

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: implement SIOCINQ (FIONREAD)

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: set inet's daddr and dport on active side as part of connect

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: Fix skb truesize calculation for the RX skb

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: increment seq in case of fin

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: do not reset offsets on disconnect

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: Use inet_sk for portability.

IB/sdp: fill in source address in inet_sock when it is available

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>
(cherry picked from c5858a33c5df475a544ad53c1e629e91cc2eb9f4 commit)

IB/sdp: add support for MSG_OOB

Signed-off-by: Amiram Perlmutter <amip@mellanox.co.il>

IB/sdp: Add CQ polling, weight configurable globally.

IB/sdp: Three bugfixes in SDP sockets.

1. reset socket on cma error
2. move head/tail init to where we init the ring buffers
3. poll to handle DREQ bypassing disconn

IB/sdp: remove unused include

IB/sdp: Two bugfixes in SDP

1. Do not mark socket as closed on flushed with error events
2. Simplify locking and reduce code duplication for poll code

Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il>

IB/sdp: Change PFN_INDEX -> PAGE_INDEX

IB/sdp: Thinko fix: must update nr frags.

IB/sdp:Free unused pages.

IB/sdp: set sport on autobind

IB/sdp: Use high memory for receive buffers

(reduce low memory pressure on 32 bit systems).

IB/sdp: Fix typo in code

IB/sdp: Implement Nagle algorithm.

IB/sdp:Split data path debug from not

(cherry picked from d7d5948842ab93dca50c0f38c9abf03489829d91 commit)

IB/sdp: Fix error handling for case when mr allocation fails

IB/sdp: Comment out gso_seg initialization.

TCP has it but we don't seem to use.
This field name recently changed from tso_seg.

IB/sdp: Fix memory leak in SDP

sdp: Add SDP - lone SDP from SVN 8227

Linux 4.1

Merge git://git.kernel.org/pub/scm/linux/kernel/git/nab/target-pending

Pull scsi target fixes from Nicholas Bellinger:
 "Apologies for the late pull request.

  Here are the outstanding target-pending fixes for v4.1 code.

  The series contains three patches from Sagi + Co that address a few
  iser-target issues that have been uncovered during recent testing at
  Mellanox.

  Patch #1 has a v3.16+ stable tag, and #2-3 have v3.10+ stable tags"

* git://git.kernel.org/pub/scm/linux/kernel/git/nab/target-pending:
  iser-target: Fix possible use-after-free
  iser-target: release stale iser connections
  iser-target: Fix variable-length response error completion