drivers/net/ethernet/qlogic/qede/qede.h

   1 /* QLogic qede NIC Driver
   2  * Copyright (c) 2015-2017  QLogic Corporation
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * OpenIB.org BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and /or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  */
  32 #ifndef _QEDE_H_
  33 #define _QEDE_H_
  34 #include <linux/compiler.h>
  35 #include <linux/version.h>
  36 #include <linux/workqueue.h>
  37 #include <linux/netdevice.h>
  38 #include <linux/interrupt.h>
  39 #include <linux/bitmap.h>
  40 #include <linux/kernel.h>
  41 #include <linux/mutex.h>
  42 #include <linux/bpf.h>
  43 #include <linux/qed/qede_rdma.h>
  44 #include <linux/io.h>
  45 #ifdef CONFIG_RFS_ACCEL
  46 #include <linux/cpu_rmap.h>
  47 #endif
  48 #include <linux/qed/common_hsi.h>
  49 #include <linux/qed/eth_common.h>
  50 #include <linux/qed/qed_if.h>
  51 #include <linux/qed/qed_chain.h>
  52 #include <linux/qed/qed_eth_if.h>
  53
  54 #define QEDE_MAJOR_VERSION              8
  55 #define QEDE_MINOR_VERSION              10
  56 #define QEDE_REVISION_VERSION           10
  57 #define QEDE_ENGINEERING_VERSION        21
  58 #define DRV_MODULE_VERSION __stringify(QEDE_MAJOR_VERSION) "."  \
  59                 __stringify(QEDE_MINOR_VERSION) "."             \
  60                 __stringify(QEDE_REVISION_VERSION) "."          \
  61                 __stringify(QEDE_ENGINEERING_VERSION)
  62
  63 #define DRV_MODULE_SYM          qede
  64
  65 struct qede_stats_common {
  66         u64 no_buff_discards;
  67         u64 packet_too_big_discard;
  68         u64 ttl0_discard;
  69         u64 rx_ucast_bytes;
  70         u64 rx_mcast_bytes;
  71         u64 rx_bcast_bytes;
  72         u64 rx_ucast_pkts;
  73         u64 rx_mcast_pkts;
  74         u64 rx_bcast_pkts;
  75         u64 mftag_filter_discards;
  76         u64 mac_filter_discards;
  77         u64 tx_ucast_bytes;
  78         u64 tx_mcast_bytes;
  79         u64 tx_bcast_bytes;
  80         u64 tx_ucast_pkts;
  81         u64 tx_mcast_pkts;
  82         u64 tx_bcast_pkts;
  83         u64 tx_err_drop_pkts;
  84         u64 coalesced_pkts;
  85         u64 coalesced_events;
  86         u64 coalesced_aborts_num;
  87         u64 non_coalesced_pkts;
  88         u64 coalesced_bytes;
  89
  90         /* port */
  91         u64 rx_64_byte_packets;
  92         u64 rx_65_to_127_byte_packets;
  93         u64 rx_128_to_255_byte_packets;
  94         u64 rx_256_to_511_byte_packets;
  95         u64 rx_512_to_1023_byte_packets;
  96         u64 rx_1024_to_1518_byte_packets;
  97         u64 rx_crc_errors;
  98         u64 rx_mac_crtl_frames;
  99         u64 rx_pause_frames;
 100         u64 rx_pfc_frames;
 101         u64 rx_align_errors;
 102         u64 rx_carrier_errors;
 103         u64 rx_oversize_packets;
 104         u64 rx_jabbers;
 105         u64 rx_undersize_packets;
 106         u64 rx_fragments;
 107         u64 tx_64_byte_packets;
 108         u64 tx_65_to_127_byte_packets;
 109         u64 tx_128_to_255_byte_packets;
 110         u64 tx_256_to_511_byte_packets;
 111         u64 tx_512_to_1023_byte_packets;
 112         u64 tx_1024_to_1518_byte_packets;
 113         u64 tx_pause_frames;
 114         u64 tx_pfc_frames;
 115         u64 brb_truncates;
 116         u64 brb_discards;
 117         u64 tx_mac_ctrl_frames;
 118 };
 119
 120 struct qede_stats_bb {
 121         u64 rx_1519_to_1522_byte_packets;
 122         u64 rx_1519_to_2047_byte_packets;
 123         u64 rx_2048_to_4095_byte_packets;
 124         u64 rx_4096_to_9216_byte_packets;
 125         u64 rx_9217_to_16383_byte_packets;
 126         u64 tx_1519_to_2047_byte_packets;
 127         u64 tx_2048_to_4095_byte_packets;
 128         u64 tx_4096_to_9216_byte_packets;
 129         u64 tx_9217_to_16383_byte_packets;
 130         u64 tx_lpi_entry_count;
 131         u64 tx_total_collisions;
 132 };
 133
 134 struct qede_stats_ah {
 135         u64 rx_1519_to_max_byte_packets;
 136         u64 tx_1519_to_max_byte_packets;
 137 };
 138
 139 struct qede_stats {
 140         struct qede_stats_common common;
 141
 142         union {
 143                 struct qede_stats_bb bb;
 144                 struct qede_stats_ah ah;
 145         };
 146 };
 147
 148 struct qede_vlan {
 149         struct list_head list;
 150         u16 vid;
 151         bool configured;
 152 };
 153
 154 struct qede_rdma_dev {
 155         struct qedr_dev *qedr_dev;
 156         struct list_head entry;
 157         struct list_head rdma_event_list;
 158         struct workqueue_struct *rdma_wq;
 159 };
 160
 161 struct qede_ptp;
 162
 163 struct qede_dev {
 164         struct qed_dev                  *cdev;
 165         struct net_device               *ndev;
 166         struct pci_dev                  *pdev;
 167
 168         u32                             dp_module;
 169         u8                              dp_level;
 170
 171         unsigned long flags;
 172 #define QEDE_FLAG_IS_VF                 BIT(0)
 173 #define IS_VF(edev)     (!!((edev)->flags & QEDE_FLAG_IS_VF))
 174 #define QEDE_TX_TIMESTAMPING_EN         BIT(1)
 175 #define QEDE_FLAGS_PTP_TX_IN_PRORGESS   BIT(2)
 176
 177         const struct qed_eth_ops        *ops;
 178         struct qede_ptp                 *ptp;
 179
 180         struct qed_dev_eth_info dev_info;
 181 #define QEDE_MAX_RSS_CNT(edev)  ((edev)->dev_info.num_queues)
 182 #define QEDE_MAX_TSS_CNT(edev)  ((edev)->dev_info.num_queues)
 183 #define QEDE_IS_BB(edev) \
 184         ((edev)->dev_info.common.dev_type == QED_DEV_TYPE_BB)
 185 #define QEDE_IS_AH(edev) \
 186         ((edev)->dev_info.common.dev_type == QED_DEV_TYPE_AH)
 187
 188         struct qede_fastpath            *fp_array;
 189         u8                              req_num_tx;
 190         u8                              fp_num_tx;
 191         u8                              req_num_rx;
 192         u8                              fp_num_rx;
 193         u16                             req_queues;
 194         u16                             num_queues;
 195 #define QEDE_QUEUE_CNT(edev)    ((edev)->num_queues)
 196 #define QEDE_RSS_COUNT(edev)    ((edev)->num_queues - (edev)->fp_num_tx)
 197 #define QEDE_RX_QUEUE_IDX(edev, i)      (i)
 198 #define QEDE_TSS_COUNT(edev)    ((edev)->num_queues - (edev)->fp_num_rx)
 199
 200         struct qed_int_info             int_info;
 201
 202         /* Smaller private varaiant of the RTNL lock */
 203         struct mutex                    qede_lock;
 204         u32                             state; /* Protected by qede_lock */
 205         u16                             rx_buf_size;
 206         u32                             rx_copybreak;
 207
 208         /* L2 header size + 2*VLANs (8 bytes) + LLC SNAP (8 bytes) */
 209 #define ETH_OVERHEAD                    (ETH_HLEN + 8 + 8)
 210         /* Max supported alignment is 256 (8 shift)
 211          * minimal alignment shift 6 is optimal for 57xxx HW performance
 212          */
 213 #define QEDE_RX_ALIGN_SHIFT             max(6, min(8, L1_CACHE_SHIFT))
 214         /* We assume skb_build() uses sizeof(struct skb_shared_info) bytes
 215          * at the end of skb->data, to avoid wasting a full cache line.
 216          * This reduces memory use (skb->truesize).
 217          */
 218 #define QEDE_FW_RX_ALIGN_END                                    \
 219         max_t(u64, 1UL << QEDE_RX_ALIGN_SHIFT,                  \
 220               SKB_DATA_ALIGN(sizeof(struct skb_shared_info)))
 221
 222         struct qede_stats               stats;
 223 #define QEDE_RSS_INDIR_INITED   BIT(0)
 224 #define QEDE_RSS_KEY_INITED     BIT(1)
 225 #define QEDE_RSS_CAPS_INITED    BIT(2)
 226         u32 rss_params_inited; /* bit-field to track initialized rss params */
 227         u16 rss_ind_table[128];
 228         u32 rss_key[10];
 229         u8 rss_caps;
 230
 231         u16                     q_num_rx_buffers; /* Must be a power of two */
 232         u16                     q_num_tx_buffers; /* Must be a power of two */
 233
 234         bool gro_disable;
 235         struct list_head vlan_list;
 236         u16 configured_vlans;
 237         u16 non_configured_vlans;
 238         bool accept_any_vlan;
 239         struct delayed_work             sp_task;
 240         unsigned long                   sp_flags;
 241         u16                             vxlan_dst_port;
 242         u16                             geneve_dst_port;
 243
 244 #ifdef CONFIG_RFS_ACCEL
 245         struct qede_arfs                *arfs;
 246 #endif
 247         bool                            wol_enabled;
 248
 249         struct qede_rdma_dev            rdma_info;
 250
 251         struct bpf_prog *xdp_prog;
 252 };
 253
 254 enum QEDE_STATE {
 255         QEDE_STATE_CLOSED,
 256         QEDE_STATE_OPEN,
 257 };
 258
 259 #define HILO_U64(hi, lo)                ((((u64)(hi)) << 32) + (lo))
 260
 261 #define MAX_NUM_TC      8
 262 #define MAX_NUM_PRI     8
 263
 264 /* The driver supports the new build_skb() API:
 265  * RX ring buffer contains pointer to kmalloc() data only,
 266  * skb are built only after the frame was DMA-ed.
 267  */
 268 struct sw_rx_data {
 269         struct page *data;
 270         dma_addr_t mapping;
 271         unsigned int page_offset;
 272 };
 273
 274 enum qede_agg_state {
 275         QEDE_AGG_STATE_NONE  = 0,
 276         QEDE_AGG_STATE_START = 1,
 277         QEDE_AGG_STATE_ERROR = 2
 278 };
 279
 280 struct qede_agg_info {
 281         /* rx_buf is a data buffer that can be placed / consumed from rx bd
 282          * chain. It has two purposes: We will preallocate the data buffer
 283          * for each aggregation when we open the interface and will place this
 284          * buffer on the rx-bd-ring when we receive TPA_START. We don't want
 285          * to be in a state where allocation fails, as we can't reuse the
 286          * consumer buffer in the rx-chain since FW may still be writing to it
 287          * (since header needs to be modified for TPA).
 288          * The second purpose is to keep a pointer to the bd buffer during
 289          * aggregation.
 290          */
 291         struct sw_rx_data buffer;
 292         dma_addr_t buffer_mapping;
 293
 294         struct sk_buff *skb;
 295
 296         /* We need some structs from the start cookie until termination */
 297         u16 vlan_tag;
 298         u16 start_cqe_bd_len;
 299         u8 start_cqe_placement_offset;
 300
 301         u8 state;
 302         u8 frag_id;
 303
 304         u8 tunnel_type;
 305 };
 306
 307 struct qede_rx_queue {
 308         __le16 *hw_cons_ptr;
 309         void __iomem *hw_rxq_prod_addr;
 310
 311         /* Required for the allocation of replacement buffers */
 312         struct device *dev;
 313
 314         struct bpf_prog *xdp_prog;
 315
 316         u16 sw_rx_cons;
 317         u16 sw_rx_prod;
 318
 319         u16 filled_buffers;
 320         u8 data_direction;
 321         u8 rxq_id;
 322
 323         /* Used once per each NAPI run */
 324         u16 num_rx_buffers;
 325
 326         u16 rx_headroom;
 327
 328         u32 rx_buf_size;
 329         u32 rx_buf_seg_size;
 330
 331         struct sw_rx_data *sw_rx_ring;
 332         struct qed_chain rx_bd_ring;
 333         struct qed_chain rx_comp_ring ____cacheline_aligned;
 334
 335         /* GRO */
 336         struct qede_agg_info tpa_info[ETH_TPA_MAX_AGGS_NUM];
 337
 338         /* Used once per each NAPI run */
 339         u64 rcv_pkts;
 340
 341         u64 rx_hw_errors;
 342         u64 rx_alloc_errors;
 343         u64 rx_ip_frags;
 344
 345         u64 xdp_no_pass;
 346
 347         void *handle;
 348 };
 349
 350 union db_prod {
 351         struct eth_db_data data;
 352         u32             raw;
 353 };
 354
 355 struct sw_tx_bd {
 356         struct sk_buff *skb;
 357         u8 flags;
 358 /* Set on the first BD descriptor when there is a split BD */
 359 #define QEDE_TSO_SPLIT_BD               BIT(0)
 360 };
 361
 362 struct sw_tx_xdp {
 363         struct page *page;
 364         dma_addr_t mapping;
 365 };
 366
 367 struct qede_tx_queue {
 368         u8 is_xdp;
 369         bool is_legacy;
 370         u16 sw_tx_cons;
 371         u16 sw_tx_prod;
 372         u16 num_tx_buffers; /* Slowpath only */
 373
 374         u64 xmit_pkts;
 375         u64 stopped_cnt;
 376
 377         __le16 *hw_cons_ptr;
 378
 379         /* Needed for the mapping of packets */
 380         struct device *dev;
 381
 382         void __iomem *doorbell_addr;
 383         union db_prod tx_db;
 384         int index; /* Slowpath only */
 385 #define QEDE_TXQ_XDP_TO_IDX(edev, txq)  ((txq)->index - \
 386                                          QEDE_MAX_TSS_CNT(edev))
 387 #define QEDE_TXQ_IDX_TO_XDP(edev, idx)  ((idx) + QEDE_MAX_TSS_CNT(edev))
 388
 389         /* Regular Tx requires skb + metadata for release purpose,
 390          * while XDP requires the pages and the mapped address.
 391          */
 392         union {
 393                 struct sw_tx_bd *skbs;
 394                 struct sw_tx_xdp *xdp;
 395         } sw_tx_ring;
 396
 397         struct qed_chain tx_pbl;
 398
 399         /* Slowpath; Should be kept in end [unless missing padding] */
 400         void *handle;
 401 };
 402
 403 #define BD_UNMAP_ADDR(bd)               HILO_U64(le32_to_cpu((bd)->addr.hi), \
 404                                                  le32_to_cpu((bd)->addr.lo))
 405 #define BD_SET_UNMAP_ADDR_LEN(bd, maddr, len)                           \
 406         do {                                                            \
 407                 (bd)->addr.hi = cpu_to_le32(upper_32_bits(maddr));      \
 408                 (bd)->addr.lo = cpu_to_le32(lower_32_bits(maddr));      \
 409                 (bd)->nbytes = cpu_to_le16(len);                        \
 410         } while (0)
 411 #define BD_UNMAP_LEN(bd)                (le16_to_cpu((bd)->nbytes))
 412
 413 struct qede_fastpath {
 414         struct qede_dev *edev;
 415 #define QEDE_FASTPATH_TX        BIT(0)
 416 #define QEDE_FASTPATH_RX        BIT(1)
 417 #define QEDE_FASTPATH_XDP       BIT(2)
 418 #define QEDE_FASTPATH_COMBINED  (QEDE_FASTPATH_TX | QEDE_FASTPATH_RX)
 419         u8                      type;
 420         u8                      id;
 421         u8                      xdp_xmit;
 422         struct napi_struct      napi;
 423         struct qed_sb_info      *sb_info;
 424         struct qede_rx_queue    *rxq;
 425         struct qede_tx_queue    *txq;
 426         struct qede_tx_queue    *xdp_tx;
 427
 428 #define VEC_NAME_SIZE   (sizeof(((struct net_device *)0)->name) + 8)
 429         char    name[VEC_NAME_SIZE];
 430 };
 431
 432 /* Debug print definitions */
 433 #define DP_NAME(edev) ((edev)->ndev->name)
 434
 435 #define XMIT_PLAIN              0
 436 #define XMIT_L4_CSUM            BIT(0)
 437 #define XMIT_LSO                BIT(1)
 438 #define XMIT_ENC                BIT(2)
 439 #define XMIT_ENC_GSO_L4_CSUM    BIT(3)
 440
 441 #define QEDE_CSUM_ERROR                 BIT(0)
 442 #define QEDE_CSUM_UNNECESSARY           BIT(1)
 443 #define QEDE_TUNN_CSUM_UNNECESSARY      BIT(2)
 444
 445 #define QEDE_SP_RX_MODE                 1
 446
 447 #ifdef CONFIG_RFS_ACCEL
 448 int qede_rx_flow_steer(struct net_device *dev, const struct sk_buff *skb,
 449                        u16 rxq_index, u32 flow_id);
 450 void qede_process_arfs_filters(struct qede_dev *edev, bool free_fltr);
 451 void qede_poll_for_freeing_arfs_filters(struct qede_dev *edev);
 452 void qede_arfs_filter_op(void *dev, void *filter, u8 fw_rc);
 453 void qede_free_arfs(struct qede_dev *edev);
 454 int qede_alloc_arfs(struct qede_dev *edev);
 455
 456 #define QEDE_SP_ARFS_CONFIG     4
 457 #define QEDE_SP_TASK_POLL_DELAY (5 * HZ)
 458 #define QEDE_RFS_MAX_FLTR       256
 459 #endif
 460
 461 struct qede_reload_args {
 462         void (*func)(struct qede_dev *edev, struct qede_reload_args *args);
 463         union {
 464                 netdev_features_t features;
 465                 struct bpf_prog *new_prog;
 466                 u16 mtu;
 467         } u;
 468 };
 469
 470 /* Datapath functions definition */
 471 netdev_tx_t qede_start_xmit(struct sk_buff *skb, struct net_device *ndev);
 472 netdev_features_t qede_features_check(struct sk_buff *skb,
 473                                       struct net_device *dev,
 474                                       netdev_features_t features);
 475 void qede_tx_log_print(struct qede_dev *edev, struct qede_fastpath *fp);
 476 int qede_alloc_rx_buffer(struct qede_rx_queue *rxq, bool allow_lazy);
 477 int qede_free_tx_pkt(struct qede_dev *edev,
 478                      struct qede_tx_queue *txq, int *len);
 479 int qede_poll(struct napi_struct *napi, int budget);
 480 irqreturn_t qede_msix_fp_int(int irq, void *fp_cookie);
 481
 482 /* Filtering function definitions */
 483 void qede_force_mac(void *dev, u8 *mac, bool forced);
 484 void qede_udp_ports_update(void *dev, u16 vxlan_port, u16 geneve_port);
 485 int qede_set_mac_addr(struct net_device *ndev, void *p);
 486
 487 int qede_vlan_rx_add_vid(struct net_device *dev, __be16 proto, u16 vid);
 488 int qede_vlan_rx_kill_vid(struct net_device *dev, __be16 proto, u16 vid);
 489 void qede_vlan_mark_nonconfigured(struct qede_dev *edev);
 490 int qede_configure_vlan_filters(struct qede_dev *edev);
 491
 492 int qede_set_features(struct net_device *dev, netdev_features_t features);
 493 void qede_set_rx_mode(struct net_device *ndev);
 494 void qede_config_rx_mode(struct net_device *ndev);
 495 void qede_fill_rss_params(struct qede_dev *edev,
 496                           struct qed_update_vport_rss_params *rss, u8 *update);
 497
 498 void qede_udp_tunnel_add(struct net_device *dev, struct udp_tunnel_info *ti);
 499 void qede_udp_tunnel_del(struct net_device *dev, struct udp_tunnel_info *ti);
 500
 501 int qede_xdp(struct net_device *dev, struct netdev_xdp *xdp);
 502
 503 #ifdef CONFIG_DCB
 504 void qede_set_dcbnl_ops(struct net_device *ndev);
 505 #endif
 506
 507 void qede_config_debug(uint debug, u32 *p_dp_module, u8 *p_dp_level);
 508 void qede_set_ethtool_ops(struct net_device *netdev);
 509 void qede_reload(struct qede_dev *edev,
 510                  struct qede_reload_args *args, bool is_locked);
 511 int qede_change_mtu(struct net_device *dev, int new_mtu);
 512 void qede_fill_by_demand_stats(struct qede_dev *edev);
 513 void __qede_lock(struct qede_dev *edev);
 514 void __qede_unlock(struct qede_dev *edev);
 515 bool qede_has_rx_work(struct qede_rx_queue *rxq);
 516 int qede_txq_has_work(struct qede_tx_queue *txq);
 517 void qede_recycle_rx_bd_ring(struct qede_rx_queue *rxq, u8 count);
 518 void qede_update_rx_prod(struct qede_dev *edev, struct qede_rx_queue *rxq);
 519
 520 #define RX_RING_SIZE_POW        13
 521 #define RX_RING_SIZE            ((u16)BIT(RX_RING_SIZE_POW))
 522 #define NUM_RX_BDS_MAX          (RX_RING_SIZE - 1)
 523 #define NUM_RX_BDS_MIN          128
 524 #define NUM_RX_BDS_DEF          ((u16)BIT(10) - 1)
 525
 526 #define TX_RING_SIZE_POW        13
 527 #define TX_RING_SIZE            ((u16)BIT(TX_RING_SIZE_POW))
 528 #define NUM_TX_BDS_MAX          (TX_RING_SIZE - 1)
 529 #define NUM_TX_BDS_MIN          128
 530 #define NUM_TX_BDS_DEF          NUM_TX_BDS_MAX
 531
 532 #define QEDE_MIN_PKT_LEN                64
 533 #define QEDE_RX_HDR_SIZE                256
 534 #define QEDE_MAX_JUMBO_PACKET_SIZE      9600
 535 #define for_each_queue(i) for (i = 0; i < edev->num_queues; i++)
 536
 537 #endif /* _QEDE_H_ */