sdp: on device removal, ref count taken so that socket won't be destructed

On device removal, socket resources that are based on device are destroyed,
but the socket itself will be destroyed later, upon user request.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: use max number of SGE from HW capabilities

Instead of using hard coded max number of SGE's take
it from device capabilities.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix a hang when ib_post_recv is failed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation warning on debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: sdp_bzcopy_thresh module parameter removal

Field [bzcopy_thresh] inside 'struct sdp_sock' changed to [zcopy_thresh] and
the ability to disable zcopy per-socket was added.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG2017 - better initialization implementation for ssk->nagle_timer

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: fix for brutal device removing

Kernel always crashed in the following test case:
user program: socket+bind+listen+accept. socket accpted.
shell: rmmod mlx4_ib
user program: close <<< CRASH
The fix closes any socket that its ib_device is the device being removed.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: Don't try to allocate FMR larger than RLIMIT_MEMLOCK

During ZCopy. If don't have CAP_IPC_LOCK capability and current
max number of locked pages is smaller than the buffer size, split
the send into small fragments.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Don't count sdp header twice when calculating size_goal

sizeof(struct sdp_bsdh) is included inside skb->len. Ignore it
when calculating maximum payload of the skb.
This mistake caused every BCopy send of 32K (and its multiples) to
be split and thus got bad performance.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: timeout for abortive close updated

SDP_FIN_WAIT_TIMEOUT updated from 10[sec] to 60[sec] to comply with TCP
TCP_FIN_TIMEOUT.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: module parameter to disable SDP over ROCEE

Since ROCEE added, SDP always try to connect, even
if link layer of type Ethernet. This make 'both' mode
in libsdp useless.

Added a module paramter to disable it by default

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added differentiation between bind failures of sdp.

When bind()ing in mode 'BOTH', bind(sdp_sock) might fail if:
1. the IP&port is already bounded.
2. the IP is not part of IB network.
previous implementation returned errno=EADDRINUSE either way.

Only the first case should fail the bind(), the second is legitimate
because the TCP socket will hanle the connection.
This fix corresponds to a fix in libsdp.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - there is no point of using zcopy when credits are not available.

if credits are not available, data won't be transferred anyway,
so it would be better to use bcopy.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1992 - enable transmission of credits update when tx_credits == 1

According to spec, if one credit is available, we can only send messages that
provide additional credits and also do not contain data payload.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary 'if' statement canceled.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - fixed select(2) behavior on a new nonblocking socket.

when calling for select(2) after socket(2) on a nonblocking socket,
select(2) should return 'writable'.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - sdp_destroy_work() and sdp_connect() interfere with each other.

This fix was done in order to make sure that sdp_destroy_work() is done
before sdp_connect() is active.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: support iovlen > 1 in zcopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sdp_socket.h available to user applications

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: enable FMR pool cache

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Stop SA Cancel timeout when getting SendSM/RdmaRdCompl

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: SendSM wasn't sent sometimes after getting SrcAvailCancel

* skb was freed if rx_sa is aborted - preventing SendSM
  to be sent.
* Didn't update rx_sa->used in case of SrcAvailCancel
  and therefore not sending RdmaRdCompl.
  This also caused the next read to fail because offset
  wasn't updated

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Send SendSM from recvmsg context and not from interrupt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bug in crossing SrcAvail

* Handle RdmaRdCompl in interrupt, before splitted to two Q's
  This way the handling is sequencial, and no race could occure
  between RdmaRdCompl and SrcAvailCancel
* Fixed an error when checking that RdmaRdCompl is not for
  old SrcAvail

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Add detailed ZCopy aborted send statistics

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Prevent kernel crash if device init fails (plus bonus fix)

If sdp_add_device() fails, there is no client data stored in the IB device,
leading to a kernel crash when a connection is being established. Fix this
by rejecting connections when the device is not initialized.

Also, fix a bad goto target in an error case early in sdp_init_qp().

Signed-off-by: Joachim Fenkes <fenkes@de.ibm.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix crossing SrcAvail handling

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bugs in huge paged HW's

* Protect some constants that are based on PAGE_SIZE:
  - FMR size
  - xmit_goal
* renamed SDP_HEAD_SIZE => SDP_SKB_HEAD_SIZE
* removed unneeded special IA64 code due to changes here

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1899 - fix warnings on RH4.8 by avoiding multiple deletions on the same timer.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: must use ib_sg_dma_*, not sg_dma_* for mapping

This fixes OFED bug 1895, althoug some warnings are still generated,
when running qperf sdp_bw with large sizes (using zcopy), on the
truescale adapters.

Signed-off-by: Dave Olson <dave.olson@qlogic.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use IB_CQ_VECTOR_LEAST_ATTACHED for cq's

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make statistics per cpu

- Caused lots of cache misses during multi stream traffic

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added statistics instead of prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix partial ZCopy send bug + recvmsg with MSG_PEEK support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Set a lower limit to ZCopy threshold

No need to use ZCopy, when the whole packet is sent as SrcAvail payload

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix ZCopy sink not working

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed compilation warning

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: ZCopy SrcAvail payload size limit fixed + fix ZCopy rx for small packets

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: small spec compliancy fixes in code

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix lockup on mthca cards

- rx_irq called sdp_sock_queue_rcv_skb() who calls
  sk->sk_data_ready() == sock_def_readable

- sock_def_readable() can't be called from interrupt context
  because it takes read_lock (the writer to the lock uses
  write_lock_bh)

- moved rx processing to tasklet

sock_def_readable was trying to take read_lock

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix a warning in RH4.0

never del uninitialized timer

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix Hello Ack Header to be according to spec

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make /proc/net/sdpprf on only if debug data is on

This way, in performance measurements it is off and on regression
it is on.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Cleanup ZCopy page registrations

- use ib_umem_get instead of get_user_pages
- Use FMR for RDMA reads
- ZCopy sender side to use ib_umem
- send remainder of ZCopy with BCopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cancel_work_sync on 2.6.22 didn't return a value

Since the return value was used for debug message only,
gave up this message to make backports easier.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: changed important prints in zcopy to warning instead of debug

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: flush rx_comp_work before destroying socket + make dreq_wait_timeout_work flushing synced

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cleaned up debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: take a reference during zcopy_send

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Disable BZcopy + Enable ZCopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: changed some warnings into debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed BUG1826 part 1 - schedule while atomic

Allocate skb according to context

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed annoying warning by memtrack

kzalloc done in sdp_seq_open is freed by the system in a function
that memtrack can't see. Therefore it printed false warning.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed BUG1796 - running out of memory on rx

rcv queue could grow endlessly because minimal RX buffers in QP
was set to SDP_MIN_TX_CREDITS + 1 - so there always were credits
available for the sender.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed sparse warnings

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed unneeded list initialization - percpu_counter might not have this memeber

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: get max send sge from device capabilities instead of hard coded

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: incorrect SDP_FMR_SIZE on 32-bit machines

On 32-bit machines, sizeof (u64 *) is 4 bytes (size of a ***pointer***).
However, the max SDP FMR pool size should be PAGE_SIZE / sizeof(an mtt entry) --
and mtt entries are u64's (or __be64's).

This resulted in SDP requesting twice as many entries per pool on 32-bit machines
as could fit on a single page -- with the result that the fmr pool allocation failed
at driver startup.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>

sdp: check if sdp device is actually present in sdp_remove_one

If sdp fails to initialize at driver startup for any reason,
the device is still registered with the ib_core, but there will be
no client data (i.e., ib_set_client_data() will not be called, and all
kernel resources are de-allocated).

On removal, ib_get_client_data() will return NULL in this case -- and this
must be tested for -- or we will get a kernel Oops for a NULL pointer
dereference.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>

sdp: Process tx completions from sendmsg context. arm tx cq when needed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: More code cleanup and ZCopy bugs fixes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: code cleanup

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix cross SrcAvail deadlock

The sending SrcAvail will give up and send SrcAvailCancel.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix ZCopy compatability issues

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix memory leak in bzcopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed signedness warning in compilation + don't use getnstimeofday

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: split very big tx buffer into smaller sends

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: QP should be destroyed before its CQs

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix driver to accept credit updates after RCV_SHUTDOWN

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Add support for ZCopy combined mode - RDMA Read

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed unnecessary statistics that caused compilation errors on powerpc

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix some warning and bugs in porting to ofed 1.5

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix bad credits advertised when connection initiated

This enables removing the ugly post credits after connection
establishment

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix memory leak in bzcopy

Thanks to Lars Ellenberg for finding the leak

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix wrong credit advertised in Hello MID

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation error on 2.6.30

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed coding style

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: IB_CQ_VECTOR_LEAST_ATTACHED is not supported yet in 1.5 tree

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed div by zero in sdpstats

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make interrupt moderation adaptive

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: arm nagle timer on not sent packet instead of on sent packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: two bug fixes

fix bad HELLO/HELLO_ACK buffer size matching
let recvmsg do posts on data packets too

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make bzcopy poll timeout in jiffies instead of iterations count

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix bad handling for not aligned buffers in bzcopy + removed poll at end of send

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix RX to work well on sink side + cosmetics changes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: TX from 1 context only. RX with minimal context switches

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: don't arm nagle timer for every sent packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: remove leftover from debugging

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Do not nagle BZCopy packets

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: don't do nagle on first packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix backports

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: process RX CQ from interrupt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: created sdp_rx and sdp_tx

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: /proc/net/sdpprf - performance utilities

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: no tx interrupts

poll tx cq with timer instead of interrupts

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: move tx_ring into dedicated structre + many cosmetic fixes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed compilation error when statistics turned off

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cosmetics changes

* renamed ssk->bufs into ssk->tx_credits
* renamed SDP_MIN_BUFS into SDP_MIN_TX_CREDITS
* get bz struct from skb in a macro

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Interrupts performance fixes

* use rcvbuf_initial - fix server to use rcvbuf_initial_size as initial
* hw interrupt moderation
* fix interrupts statistics
* fix max frags bug

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added /proc/net/sdpstats + packets dump

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>