sdp: BUG1992 - enable transmission of credits update when tx_credits == 1

According to spec, if one credit is available, we can only send messages that
provide additional credits and also do not contain data payload.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: unnecessary 'if' statement canceled.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - fixed select(2) behavior on a new nonblocking socket.

when calling for select(2) after socket(2) on a nonblocking socket,
select(2) should return 'writable'.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: BUG1727 - sdp_destroy_work() and sdp_connect() interfere with each other.

This fix was done in order to make sure that sdp_destroy_work() is done
before sdp_connect() is active.

Signed-off-by: Eldad Zinger <eldadz@mellanox.co.il>

sdp: support iovlen > 1 in zcopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make sdp_socket.h available to user applications

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: enable FMR pool cache

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Stop SA Cancel timeout when getting SendSM/RdmaRdCompl

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: SendSM wasn't sent sometimes after getting SrcAvailCancel

* skb was freed if rx_sa is aborted - preventing SendSM
  to be sent.
* Didn't update rx_sa->used in case of SrcAvailCancel
  and therefore not sending RdmaRdCompl.
  This also caused the next read to fail because offset
  wasn't updated

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Send SendSM from recvmsg context and not from interrupt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bug in crossing SrcAvail

* Handle RdmaRdCompl in interrupt, before splitted to two Q's
  This way the handling is sequencial, and no race could occure
  between RdmaRdCompl and SrcAvailCancel
* Fixed an error when checking that RdmaRdCompl is not for
  old SrcAvail

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Add detailed ZCopy aborted send statistics

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Prevent kernel crash if device init fails (plus bonus fix)

If sdp_add_device() fails, there is no client data stored in the IB device,
leading to a kernel crash when a connection is being established. Fix this
by rejecting connections when the device is not initialized.

Also, fix a bad goto target in an error case early in sdp_init_qp().

Signed-off-by: Joachim Fenkes <fenkes@de.ibm.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix crossing SrcAvail handling

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix bugs in huge paged HW's

* Protect some constants that are based on PAGE_SIZE:
  - FMR size
  - xmit_goal
* renamed SDP_HEAD_SIZE => SDP_SKB_HEAD_SIZE
* removed unneeded special IA64 code due to changes here

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1899 - fix warnings on RH4.8 by avoiding multiple deletions on the same timer.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: must use ib_sg_dma_*, not sg_dma_* for mapping

This fixes OFED bug 1895, althoug some warnings are still generated,
when running qperf sdp_bw with large sizes (using zcopy), on the
truescale adapters.

Signed-off-by: Dave Olson <dave.olson@qlogic.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: use IB_CQ_VECTOR_LEAST_ATTACHED for cq's

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make statistics per cpu

- Caused lots of cache misses during multi stream traffic

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added statistics instead of prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix partial ZCopy send bug + recvmsg with MSG_PEEK support

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Set a lower limit to ZCopy threshold

No need to use ZCopy, when the whole packet is sent as SrcAvail payload

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix ZCopy sink not working

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed compilation warning

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: ZCopy SrcAvail payload size limit fixed + fix ZCopy rx for small packets

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: small spec compliancy fixes in code

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix lockup on mthca cards

- rx_irq called sdp_sock_queue_rcv_skb() who calls
  sk->sk_data_ready() == sock_def_readable

- sock_def_readable() can't be called from interrupt context
  because it takes read_lock (the writer to the lock uses
  write_lock_bh)

- moved rx processing to tasklet

sock_def_readable was trying to take read_lock

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix a warning in RH4.0

never del uninitialized timer

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix Hello Ack Header to be according to spec

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make /proc/net/sdpprf on only if debug data is on

This way, in performance measurements it is off and on regression
it is on.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Cleanup ZCopy page registrations

- use ib_umem_get instead of get_user_pages
- Use FMR for RDMA reads
- ZCopy sender side to use ib_umem
- send remainder of ZCopy with BCopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cancel_work_sync on 2.6.22 didn't return a value

Since the return value was used for debug message only,
gave up this message to make backports easier.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: changed important prints in zcopy to warning instead of debug

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: flush rx_comp_work before destroying socket + make dreq_wait_timeout_work flushing synced

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cleaned up debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: take a reference during zcopy_send

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Disable BZcopy + Enable ZCopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: changed some warnings into debug prints

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed BUG1826 part 1 - schedule while atomic

Allocate skb according to context

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fixed annoying warning by memtrack

kzalloc done in sdp_seq_open is freed by the system in a function
that memtrack can't see. Therefore it printed false warning.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed BUG1796 - running out of memory on rx

rcv queue could grow endlessly because minimal RX buffers in QP
was set to SDP_MIN_TX_CREDITS + 1 - so there always were credits
available for the sender.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed sparse warnings

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed unneeded list initialization - percpu_counter might not have this memeber

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: get max send sge from device capabilities instead of hard coded

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: incorrect SDP_FMR_SIZE on 32-bit machines

On 32-bit machines, sizeof (u64 *) is 4 bytes (size of a ***pointer***).
However, the max SDP FMR pool size should be PAGE_SIZE / sizeof(an mtt entry) --
and mtt entries are u64's (or __be64's).

This resulted in SDP requesting twice as many entries per pool on 32-bit machines
as could fit on a single page -- with the result that the fmr pool allocation failed
at driver startup.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>

sdp: check if sdp device is actually present in sdp_remove_one

If sdp fails to initialize at driver startup for any reason,
the device is still registered with the ib_core, but there will be
no client data (i.e., ib_set_client_data() will not be called, and all
kernel resources are de-allocated).

On removal, ib_get_client_data() will return NULL in this case -- and this
must be tested for -- or we will get a kernel Oops for a NULL pointer
dereference.

Signed-off-by: Jack Morgenstein <jackm@dev.mellanox.co.il>

sdp: Process tx completions from sendmsg context. arm tx cq when needed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: More code cleanup and ZCopy bugs fixes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: code cleanup

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix cross SrcAvail deadlock

The sending SrcAvail will give up and send SrcAvailCancel.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix ZCopy compatability issues

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix memory leak in bzcopy

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed signedness warning in compilation + don't use getnstimeofday

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: split very big tx buffer into smaller sends

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: QP should be destroyed before its CQs

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix driver to accept credit updates after RCV_SHUTDOWN

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Add support for ZCopy combined mode - RDMA Read

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: removed unnecessary statistics that caused compilation errors on powerpc

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix some warning and bugs in porting to ofed 1.5

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix bad credits advertised when connection initiated

This enables removing the ugly post credits after connection
establishment

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Fix memory leak in bzcopy

Thanks to Lars Ellenberg for finding the leak

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix wrong credit advertised in Hello MID

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix compilation error on 2.6.30

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed coding style

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: IB_CQ_VECTOR_LEAST_ATTACHED is not supported yet in 1.5 tree

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed div by zero in sdpstats

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make interrupt moderation adaptive

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: arm nagle timer on not sent packet instead of on sent packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: two bug fixes

fix bad HELLO/HELLO_ACK buffer size matching
let recvmsg do posts on data packets too

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: make bzcopy poll timeout in jiffies instead of iterations count

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix bad handling for not aligned buffers in bzcopy + removed poll at end of send

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix RX to work well on sink side + cosmetics changes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: TX from 1 context only. RX with minimal context switches

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: don't arm nagle timer for every sent packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: remove leftover from debugging

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Do not nagle BZCopy packets

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: don't do nagle on first packet

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fix backports

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: process RX CQ from interrupt

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: created sdp_rx and sdp_tx

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: /proc/net/sdpprf - performance utilities

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: no tx interrupts

poll tx cq with timer instead of interrupts

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: move tx_ring into dedicated structre + many cosmetic fixes

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed compilation error when statistics turned off

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: cosmetics changes

* renamed ssk->bufs into ssk->tx_credits
* renamed SDP_MIN_BUFS into SDP_MIN_TX_CREDITS
* get bz struct from skb in a macro

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: Interrupts performance fixes

* use rcvbuf_initial - fix server to use rcvbuf_initial_size as initial
* hw interrupt moderation
* fix interrupts statistics
* fix max frags bug

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: added /proc/net/sdpstats + packets dump

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1311 Netpipe fails with a IB_WC_LOC_LEN_ERR.

This problem is seen when the receive buffer or the receive buffer fragments
are smaller than the senders buffer. If the sender is using 64KB pages
and supports a sk fragment of 64KB it may send fragments that are a full 64KB
in length causing the receiver to generate an IB_WC_LOC_LEN_ERR. This patch
makes two changes:

If the kernel does not support a full 64KB fragment it will reject resize
requests over 32K. (On older kernels a fragment size is defined as a U16)

If a kernel supports a 64KB fragment then it allows a full 64KB receive
fragment to be used.

Signed-off-by: David Wilder <dwilder@us.ibm.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: change orphan_count and sockets_allocated from atomic_t to percpu_counter

Fixed SDP to work on 2.6.29+
As percpu_counter are huge they can be allocated on the stack without causing sdp module to crash.
Both variable are now dynamically allocated at module init.

Signed-off-by: Nicolas Morey-Chaisemartin <nicolas.morey-chaisemartin@ext.bull.net>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1472 - clean socket timeouts and refcount when device is removed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: fixed typo Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1502 - scheduling while atomic

Don't destory qp from interrupt context - do it in work queue

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: small typo fixed

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: BUG1309 - SDP close is slow + fix recv buffer initial size setting

sdp_post_recv is called when the QP is closed. therefore it tries to post
recv buffers without success till the socket is destructed.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: BUG1087 - fixed recovery from failing rdma_create_qp()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: Fix to limit max buffer size in sdp_resize_buffers on IA64

Fix for bug 1311
https://bugs.openfabrics.org/show_bug.cgi?id=1311

Signed-off-by: Nicolas Morey-Chaisemartin <nicolas.morey-chaisemartin@ext.bull.net>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1429 - Sdp doesnt close resources

When called from sdp_dreq_timeout() - not holding ref count for
timewait exit - when IB is already teared down.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

sdp: BUG1047 - crash in sdp_destroy_qp() when no memory

fix initialization of sdp socket special attributes after sk_clone()

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: BUG1391 - bugs in the zero-copy send code

* fix sdp_bz_setup() code to handle the case of kernel data segment correctly (kernel sockets)
* make sdp_bz_setup() pass ENOMEM, EFAULT or other errors to sendmsg().
* Fix: the deallocation of bz descriptor in sendmsg() is not handled properly -- it is allocated many times, but freed once
* Fix: sdp_bzcopy_get() code does not raise reference count for all  pages in the bz descriptor (only the "partial" pages will get the count raised).
  However, the send completion code will call put_page() on all entries, leading to a crash for page-aligned transfers.

Signed-off-by: Constantine Gavrilov <constantine.gavrilov@gmail.com>
Signed-off-by: Amir Vadai <amirv@mellanox.co.il>

SDP: BUG1348 - a socket is left after netper on the server side

Removed unneccessary sock_hold from sdp_shutdown. This ref count
will be taken by close(). no need to take it twice.

Signed-off-by: Amir Vadai <amirv@mellanox.co.il>