drivers/net/cpsw.c

   1 /*
   2  * CPSW Ethernet Switch Driver
   3  *
   4  * See file CREDITS for list of people who contributed to this
   5  * project.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License as published by
   9  * the Free Software Foundation; either version 2 of the License, or
  10  * (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU General Public License
  18  * along with this program; if not, write to the Free Software
  19  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  20  */
  21 //#define DEBUG
  22 #include <common.h>
  23 #include <command.h>
  24 #include <net.h>
  25 #include <miiphy.h>
  26 #include <malloc.h>
  27 #include <net.h>
  28 #include <netdev.h>
  29 #include <asm/errno.h>
  30 #include <asm/io.h>
  31 #include <asm/arch/cpu.h>
  32
  33 #define BITMASK(bits)           ((1 << (bits)) - 1)
  34 #define PHY_REG_MASK            0x1f
  35 #define PHY_ID_MASK             0x1f
  36 #define NUM_DESCS               (PKTBUFSRX * 2)
  37 #define PKT_MIN                 60
  38 #define PKT_MAX                 (1500 + 14 + 4 + 4)
  39
  40 /* DMA Registers */
  41 #define CPDMA_TXCONTROL         0x004
  42 #define CPDMA_RXCONTROL         0x014
  43 #define CPDMA_SOFTRESET         0x01c
  44 #define CPDMA_RXFREE            0x0e0
  45 #define CPDMA_TXHDP_VER1        0x100
  46 #define CPDMA_TXHDP_VER2        0x200
  47 #define CPDMA_RXHDP_VER1        0x120
  48 #define CPDMA_RXHDP_VER2        0x220
  49 #define CPDMA_TXCP_VER1         0x140
  50 #define CPDMA_TXCP_VER2         0x240
  51 #define CPDMA_RXCP_VER1         0x160
  52 #define CPDMA_RXCP_VER2         0x260
  53
  54 /* Descriptor mode bits */
  55 #define CPDMA_DESC_SOP          BIT(31)
  56 #define CPDMA_DESC_EOP          BIT(30)
  57 #define CPDMA_DESC_OWNER        BIT(29)
  58 #define CPDMA_DESC_EOQ          BIT(28)
  59
  60 #ifndef CONFIG_SYS_CACHELINE_SIZE
  61 #define CONFIG_SYS_CACHELINE_SIZE       64
  62 #endif
  63
  64 struct cpsw_mdio_regs {
  65         u32     version;
  66         u32     control;
  67 #define CONTROL_IDLE            (1 << 31)
  68 #define CONTROL_ENABLE          (1 << 30)
  69
  70         u32     alive;
  71         u32     link;
  72         u32     linkintraw;
  73         u32     linkintmasked;
  74         u32     __reserved_0[2];
  75         u32     userintraw;
  76         u32     userintmasked;
  77         u32     userintmaskset;
  78         u32     userintmaskclr;
  79         u32     __reserved_1[20];
  80
  81         struct {
  82                 u32 access;
  83                 u32 physel;
  84 #define USERACCESS_GO           (1 << 31)
  85 #define USERACCESS_WRITE        (1 << 30)
  86 #define USERACCESS_ACK          (1 << 29)
  87 #define USERACCESS_READ         0
  88 #define USERACCESS_DATA         0xffff
  89         } user[0];
  90 };
  91
  92 struct cpsw_regs {
  93         u32     id_ver;
  94         u32     control;
  95         u32     soft_reset;
  96         u32     stat_port_en;
  97         u32     ptype;
  98 };
  99
 100 struct cpsw_slave_regs {
 101         u32     max_blks;
 102         u32     blk_cnt;
 103         u32     flow_thresh;
 104         u32     port_vlan;
 105         u32     tx_pri_map;
 106         u32     ts_seq_mtype;
 107 #ifdef CONFIG_TI814X
 108         u32     ts_ctl;
 109         u32     ts_seq_ltype;
 110         u32     ts_vlan;
 111 #endif
 112         u32     sa_lo;
 113         u32     sa_hi;
 114 };
 115
 116 struct cpsw_host_regs {
 117         u32     max_blks;
 118         u32     blk_cnt;
 119         u32     flow_thresh;
 120         u32     port_vlan;
 121         u32     tx_pri_map;
 122         u32     cpdma_tx_pri_map;
 123         u32     cpdma_rx_chan_map;
 124 };
 125
 126 struct cpsw_sliver_regs {
 127         u32     id_ver;
 128         u32     mac_control;
 129         u32     mac_status;
 130         u32     soft_reset;
 131         u32     rx_maxlen;
 132         u32     __reserved_0;
 133         u32     rx_pause;
 134         u32     tx_pause;
 135         u32     __reserved_1;
 136         u32     rx_pri_map;
 137 };
 138
 139 #define ALE_ENTRY_BITS          68
 140 #define ALE_ENTRY_WORDS         DIV_ROUND_UP(ALE_ENTRY_BITS, 32)
 141
 142 /* ALE Registers */
 143 #define ALE_CONTROL             0x08
 144 #define ALE_UNKNOWNVLAN         0x18
 145 #define ALE_TABLE_CONTROL       0x20
 146 #define ALE_TABLE               0x34
 147 #define ALE_PORTCTL             0x40
 148
 149 #define ALE_TABLE_WRITE         BIT(31)
 150
 151 #define ALE_TYPE_FREE                   0
 152 #define ALE_TYPE_ADDR                   1
 153 #define ALE_TYPE_VLAN                   2
 154 #define ALE_TYPE_VLAN_ADDR              3
 155
 156 #define ALE_UCAST_PERSISTANT            0
 157 #define ALE_UCAST_UNTOUCHED             1
 158 #define ALE_UCAST_OUI                   2
 159 #define ALE_UCAST_TOUCHED               3
 160
 161 #define ALE_MCAST_FWD                   0
 162 #define ALE_MCAST_BLOCK_LEARN_FWD       1
 163 #define ALE_MCAST_FWD_LEARN             2
 164 #define ALE_MCAST_FWD_2                 3
 165
 166 enum cpsw_ale_port_state {
 167         ALE_PORT_STATE_DISABLE  = 0x00,
 168         ALE_PORT_STATE_BLOCK    = 0x01,
 169         ALE_PORT_STATE_LEARN    = 0x02,
 170         ALE_PORT_STATE_FORWARD  = 0x03,
 171 };
 172
 173 /* ALE unicast entry flags - passed into cpsw_ale_add_ucast() */
 174 #define ALE_SECURE      1
 175 #define ALE_BLOCKED     2
 176
 177 struct cpsw_slave {
 178         struct cpsw_slave_regs          *regs;
 179         struct cpsw_sliver_regs         *sliver;
 180         int                             slave_num;
 181         u32                             mac_control;
 182         struct cpsw_slave_data          *data;
 183 };
 184
 185 struct cpdma_desc {
 186         /* hardware fields */
 187         u32                     hw_next;
 188         u32                     hw_buffer;
 189         u32                     hw_len;
 190         u32                     hw_mode;
 191 } __attribute__((aligned(CONFIG_SYS_CACHELINE_SIZE)));
 192
 193 struct cpsw_desc {
 194         volatile void *sw_buffer;
 195         struct cpsw_desc *next;
 196         struct cpdma_desc *dma_desc;
 197 };
 198
 199 struct cpdma_chan {
 200         struct cpsw_desc        *head, *tail;
 201         void                    *hdp, *cp, *rxfree;
 202 };
 203
 204 #if 0
 205 #define desc_write(desc, fld, val)      __raw_writel((u32)(val), &(desc)->fld)
 206 #define desc_read(desc, fld)            __raw_readl(&(desc)->fld)
 207 #define desc_read_ptr(desc, fld)        ((void *)__raw_readl(&(desc)->fld))
 208 #else
 209 #define desc_write(desc, fld, val)      ((desc)->dma_desc->fld = (u32)(val))
 210 #define desc_read(desc, fld)            __desc_read(&(desc)->dma_desc->fld, #fld, __func__, __LINE__)
 211 static inline u32 __desc_read(u32 *fld, const char *name,
 212                         const char *fn, int ln)
 213 {
 214         u32 val = *fld;
 215
 216         debug("%s@%d: %s@%p=%08x\n", fn, ln, name, fld, val);
 217         return val;
 218 }
 219 #define desc_read_ptr(desc, fld)        ((void *)desc_read(desc->dma_desc, fld))
 220 #endif
 221
 222 #define chan_write(chan, fld, val)      __raw_writel((u32)(val), (chan)->fld)
 223 #define chan_read(chan, fld)            __raw_readl((chan)->fld)
 224 #define chan_read_ptr(chan, fld)        ((void *)__raw_readl((chan)->fld))
 225
 226 struct cpsw_priv {
 227         struct eth_device               *dev;
 228         struct cpsw_platform_data       *data;
 229         int                             host_port;
 230
 231         struct cpsw_regs                *regs;
 232         void                            *dma_regs;
 233         struct cpsw_host_regs           *host_port_regs;
 234         void                            *ale_regs;
 235
 236         struct cpsw_desc                descs[NUM_DESCS];
 237         struct cpsw_desc                *desc_free;
 238         struct cpdma_chan               rx_chan, tx_chan;
 239
 240         struct cpsw_slave               *slaves;
 241 };
 242
 243 #define for_each_slave(priv, func, arg...)                      \
 244         do {                                                    \
 245                 int idx;                                        \
 246                 for (idx = 0; idx < (priv)->data->slaves; idx++)        \
 247                         (func)((priv)->slaves + idx, ##arg);    \
 248         } while (0)
 249
 250 static inline int cpsw_ale_get_field(u32 *ale_entry, u32 start, u32 bits)
 251 {
 252         int idx;
 253
 254         idx    = start / 32;
 255         start -= idx * 32;
 256         idx    = 2 - idx; /* flip */
 257         return (ale_entry[idx] >> start) & BITMASK(bits);
 258 }
 259
 260 static inline void cpsw_ale_set_field(u32 *ale_entry, u32 start, u32 bits,
 261                                       u32 value)
 262 {
 263         int idx;
 264
 265         value &= BITMASK(bits);
 266         idx    = start / 32;
 267         start -= idx * 32;
 268         idx    = 2 - idx; /* flip */
 269         ale_entry[idx] &= ~(BITMASK(bits) << start);
 270         ale_entry[idx] |=  (value << start);
 271 }
 272
 273 #define DEFINE_ALE_FIELD(name, start, bits)                             \
 274 static inline int cpsw_ale_get_##name(u32 *ale_entry)                   \
 275 {                                                                       \
 276         return cpsw_ale_get_field(ale_entry, start, bits);              \
 277 }                                                                       \
 278 static inline void cpsw_ale_set_##name(u32 *ale_entry, u32 value)       \
 279 {                                                                       \
 280         cpsw_ale_set_field(ale_entry, start, bits, value);              \
 281 }
 282
 283 DEFINE_ALE_FIELD(entry_type,            60,     2)
 284 DEFINE_ALE_FIELD(mcast_state,           62,     2)
 285 DEFINE_ALE_FIELD(port_mask,             66,     3)
 286 DEFINE_ALE_FIELD(ucast_type,            62,     2)
 287 DEFINE_ALE_FIELD(port_num,              66,     2)
 288 DEFINE_ALE_FIELD(blocked,               65,     1)
 289 DEFINE_ALE_FIELD(secure,                64,     1)
 290 DEFINE_ALE_FIELD(mcast,                 40,     1)
 291
 292 /* The MAC address field in the ALE entry cannot be macroized as above */
 293 static inline void cpsw_ale_get_addr(u32 *ale_entry, u8 *addr)
 294 {
 295         int i;
 296
 297         for (i = 0; i < 6; i++)
 298                 addr[i] = cpsw_ale_get_field(ale_entry, 40 - 8*i, 8);
 299 }
 300
 301 static inline void cpsw_ale_set_addr(u32 *ale_entry, u8 *addr)
 302 {
 303         int i;
 304
 305         for (i = 0; i < 6; i++)
 306                 cpsw_ale_set_field(ale_entry, 40 - 8*i, 8, addr[i]);
 307 }
 308
 309 static int cpsw_ale_read(struct cpsw_priv *priv, int idx, u32 *ale_entry)
 310 {
 311         int i;
 312
 313         __raw_writel(idx, priv->ale_regs + ALE_TABLE_CONTROL);
 314
 315         for (i = 0; i < ALE_ENTRY_WORDS; i++)
 316                 ale_entry[i] = __raw_readl(priv->ale_regs + ALE_TABLE + 4 * i);
 317
 318         return idx;
 319 }
 320
 321 static int cpsw_ale_write(struct cpsw_priv *priv, int idx, u32 *ale_entry)
 322 {
 323         int i;
 324
 325         for (i = 0; i < ALE_ENTRY_WORDS; i++)
 326                 __raw_writel(ale_entry[i], priv->ale_regs + ALE_TABLE + 4 * i);
 327
 328         __raw_writel(idx | ALE_TABLE_WRITE, priv->ale_regs + ALE_TABLE_CONTROL);
 329
 330         return idx;
 331 }
 332
 333 static int cpsw_ale_match_addr(struct cpsw_priv *priv, u8* addr)
 334 {
 335         u32 ale_entry[ALE_ENTRY_WORDS];
 336         int type, idx;
 337
 338         for (idx = 0; idx < priv->data->ale_entries; idx++) {
 339                 u8 entry_addr[6];
 340
 341                 cpsw_ale_read(priv, idx, ale_entry);
 342                 type = cpsw_ale_get_entry_type(ale_entry);
 343                 if (type != ALE_TYPE_ADDR && type != ALE_TYPE_VLAN_ADDR)
 344                         continue;
 345                 cpsw_ale_get_addr(ale_entry, entry_addr);
 346                 if (memcmp(entry_addr, addr, 6) == 0)
 347                         return idx;
 348         }
 349         return -ENOENT;
 350 }
 351
 352 static int cpsw_ale_match_free(struct cpsw_priv *priv)
 353 {
 354         u32 ale_entry[ALE_ENTRY_WORDS];
 355         int type, idx;
 356
 357         for (idx = 0; idx < priv->data->ale_entries; idx++) {
 358                 cpsw_ale_read(priv, idx, ale_entry);
 359                 type = cpsw_ale_get_entry_type(ale_entry);
 360                 if (type == ALE_TYPE_FREE)
 361                         return idx;
 362         }
 363         return -ENOENT;
 364 }
 365
 366 static int cpsw_ale_find_ageable(struct cpsw_priv *priv)
 367 {
 368         u32 ale_entry[ALE_ENTRY_WORDS];
 369         int type, idx;
 370
 371         for (idx = 0; idx < priv->data->ale_entries; idx++) {
 372                 cpsw_ale_read(priv, idx, ale_entry);
 373                 type = cpsw_ale_get_entry_type(ale_entry);
 374                 if (type != ALE_TYPE_ADDR && type != ALE_TYPE_VLAN_ADDR)
 375                         continue;
 376                 if (cpsw_ale_get_mcast(ale_entry))
 377                         continue;
 378                 type = cpsw_ale_get_ucast_type(ale_entry);
 379                 if (type != ALE_UCAST_PERSISTANT &&
 380                     type != ALE_UCAST_OUI)
 381                         return idx;
 382         }
 383         return -ENOENT;
 384 }
 385
 386 static int cpsw_ale_add_ucast(struct cpsw_priv *priv, u8 *addr,
 387                               int port, int flags)
 388 {
 389         u32 ale_entry[ALE_ENTRY_WORDS] = {0, 0, 0};
 390         int idx;
 391
 392         cpsw_ale_set_entry_type(ale_entry, ALE_TYPE_ADDR);
 393         cpsw_ale_set_addr(ale_entry, addr);
 394         cpsw_ale_set_ucast_type(ale_entry, ALE_UCAST_PERSISTANT);
 395         cpsw_ale_set_secure(ale_entry, (flags & ALE_SECURE) ? 1 : 0);
 396         cpsw_ale_set_blocked(ale_entry, (flags & ALE_BLOCKED) ? 1 : 0);
 397         cpsw_ale_set_port_num(ale_entry, port);
 398
 399         idx = cpsw_ale_match_addr(priv, addr);
 400         if (idx < 0)
 401                 idx = cpsw_ale_match_free(priv);
 402         if (idx < 0)
 403                 idx = cpsw_ale_find_ageable(priv);
 404         if (idx < 0)
 405                 return -ENOMEM;
 406
 407         cpsw_ale_write(priv, idx, ale_entry);
 408         return 0;
 409 }
 410
 411 static int cpsw_ale_add_mcast(struct cpsw_priv *priv, u8 *addr, int port_mask)
 412 {
 413         u32 ale_entry[ALE_ENTRY_WORDS] = {0, 0, 0};
 414         int idx, mask;
 415
 416         idx = cpsw_ale_match_addr(priv, addr);
 417         if (idx >= 0)
 418                 cpsw_ale_read(priv, idx, ale_entry);
 419
 420         cpsw_ale_set_entry_type(ale_entry, ALE_TYPE_ADDR);
 421         cpsw_ale_set_addr(ale_entry, addr);
 422         cpsw_ale_set_mcast_state(ale_entry, ALE_MCAST_FWD_2);
 423
 424         mask = cpsw_ale_get_port_mask(ale_entry);
 425         port_mask |= mask;
 426         cpsw_ale_set_port_mask(ale_entry, port_mask);
 427
 428         if (idx < 0)
 429                 idx = cpsw_ale_match_free(priv);
 430         if (idx < 0)
 431                 idx = cpsw_ale_find_ageable(priv);
 432         if (idx < 0)
 433                 return -ENOMEM;
 434
 435         cpsw_ale_write(priv, idx, ale_entry);
 436         return 0;
 437 }
 438
 439 static inline void cpsw_ale_control(struct cpsw_priv *priv, int bit, int val)
 440 {
 441         u32 tmp, mask = BIT(bit);
 442
 443         tmp  = __raw_readl(priv->ale_regs + ALE_CONTROL);
 444         tmp &= ~mask;
 445         tmp |= val ? mask : 0;
 446         __raw_writel(tmp, priv->ale_regs + ALE_CONTROL);
 447 }
 448
 449 #define cpsw_ale_enable(priv, val)      cpsw_ale_control(priv, 31, val)
 450 #define cpsw_ale_clear(priv, val)       cpsw_ale_control(priv, 30, val)
 451 #define cpsw_ale_vlan_aware(priv, val)  cpsw_ale_control(priv,  2, val)
 452
 453 static inline void cpsw_ale_port_state(struct cpsw_priv *priv, int port,
 454                                        int val)
 455 {
 456         int offset = ALE_PORTCTL + 4 * port;
 457         u32 tmp, mask = 0x3;
 458
 459         tmp  = __raw_readl(priv->ale_regs + offset);
 460         tmp &= ~mask;
 461         tmp |= val & 0x3;
 462         __raw_writel(tmp, priv->ale_regs + offset);
 463 }
 464
 465 static struct cpsw_mdio_regs *mdio_regs;
 466
 467 /* wait until hardware is ready for another user access */
 468 static inline u32 wait_for_user_access(void)
 469 {
 470         int timeout = 1000;
 471         u32 reg;
 472
 473         while ((reg = __raw_readl(&mdio_regs->user[0].access)) & USERACCESS_GO) {
 474                 udelay(1);
 475                 if (--timeout <= 0) {
 476                         printf("TIMEOUT waiting for USERACCESS_GO\n");
 477                         return -1;
 478                 }
 479         }
 480
 481         return reg;
 482 }
 483
 484 /* wait until hardware state machine is idle */
 485 static inline void wait_for_idle(void)
 486 {
 487         int timeout = 1000;
 488
 489         while ((__raw_readl(&mdio_regs->control) & CONTROL_IDLE) == 0) {
 490                 if (--timeout <= 0) {
 491                         printf("TIMEOUT waiting for state machine idle\n");
 492                         break;
 493                 }
 494                 udelay(1);
 495         }
 496 }
 497
 498 static int cpsw_mdio_read(const char *devname, unsigned char phy_id,
 499                           unsigned char phy_reg, unsigned short *data)
 500 {
 501         u32 reg;
 502
 503         if (phy_reg & ~PHY_REG_MASK || phy_id & ~PHY_ID_MASK)
 504                 return -EINVAL;
 505
 506         wait_for_user_access();
 507         reg = (USERACCESS_GO | USERACCESS_READ | (phy_reg << 21) |
 508                (phy_id << 16));
 509         __raw_writel(reg, &mdio_regs->user[0].access);
 510         reg = wait_for_user_access();
 511
 512         *data = (reg & USERACCESS_ACK) ? (reg & USERACCESS_DATA) : -1;
 513         return (reg & USERACCESS_ACK) ? 0 : -EIO;
 514 }
 515
 516 static int cpsw_mdio_write(const char *devname, unsigned char phy_id,
 517                            unsigned char phy_reg, unsigned short data)
 518 {
 519         u32 reg;
 520
 521         if (phy_reg & ~PHY_REG_MASK || phy_id & ~PHY_ID_MASK)
 522                 return -EINVAL;
 523
 524         wait_for_user_access();
 525         reg = (USERACCESS_GO | USERACCESS_WRITE | (phy_reg << 21) |
 526                    (phy_id << 16) | (data & USERACCESS_DATA));
 527         __raw_writel(reg, &mdio_regs->user[0].access);
 528         wait_for_user_access();
 529
 530         return 0;
 531 }
 532
 533 static void cpsw_mdio_init(char *name, u32 mdio_base, u32 div)
 534 {
 535         mdio_regs = (struct cpsw_mdio_regs *)mdio_base;
 536
 537         /* set enable and clock divider */
 538         __raw_writel(div | CONTROL_ENABLE, &mdio_regs->control);
 539
 540         /*
 541          * wait for scan logic to settle:
 542          * the scan time consists of (a) a large fixed component, and (b) a
 543          * small component that varies with the mii bus frequency.  These
 544          * were estimated using measurements at 1.1 and 2.2 MHz on tnetv107x
 545          * silicon.  Since the effect of (b) was found to be largely
 546          * negligible, we keep things simple here.
 547          */
 548         udelay(1000);
 549
 550         miiphy_register(name, cpsw_mdio_read, cpsw_mdio_write);
 551 }
 552
 553 static inline void soft_reset(void *reg)
 554 {
 555         int loops = 0;
 556
 557         debug("%s\n", __func__);
 558         __raw_writel(1, reg);
 559         while (__raw_readl(reg) & 1) {
 560                 loops++;
 561         }
 562         debug("%s: reset finished after %u loops\n", __func__, loops);
 563 }
 564
 565 #define mac_hi(mac)     (((mac)[0] << 0) | ((mac)[1] << 8) |    \
 566                          ((mac)[2] << 16) | ((mac)[3] << 24))
 567 #define mac_lo(mac)     (((mac)[4] << 0) | ((mac)[5] << 8))
 568
 569 static void cpsw_set_slave_mac(struct cpsw_slave *slave,
 570                                struct cpsw_priv *priv)
 571 {
 572         __raw_writel(mac_hi(priv->dev->enetaddr), &slave->regs->sa_hi);
 573         __raw_writel(mac_lo(priv->dev->enetaddr), &slave->regs->sa_lo);
 574 }
 575
 576 static void cpsw_slave_update_link(struct cpsw_slave *slave,
 577                                    struct cpsw_priv *priv, int *link)
 578 {
 579         char *name = priv->dev->name;
 580         int phy_id = slave->data->phy_id;
 581         int speed, duplex;
 582         unsigned short reg;
 583         u32 mac_control = 0;
 584
 585         debug("%s@%d\n", __func__, __LINE__);
 586         if (miiphy_read(name, phy_id, MII_BMSR, &reg)) {
 587                 printf("Failed to read PHY reg\n");
 588                 return; /* could not read, assume no link */
 589         }
 590
 591         if (reg & BMSR_LSTATUS) { /* link up */
 592                 speed = miiphy_speed(name, phy_id);
 593                 duplex = miiphy_duplex(name, phy_id);
 594
 595                 *link = 1;
 596                 mac_control = priv->data->mac_control;
 597                 if (speed == 10)
 598                         mac_control |= BIT(18); /* In Band mode */
 599                 else if (speed == 100)
 600                         mac_control |= BIT(15);
 601                 else if (speed == 1000) {
 602                         if (priv->data->gigabit_en)
 603                                 mac_control |= BIT(7);
 604                         else {
 605                                 /* Disable gigabit as it's non-functional */
 606                                 mac_control &= ~BIT(7);
 607                                 speed = 100;
 608                         }
 609                 }
 610
 611                 if (duplex == FULL)
 612                         mac_control |= BIT(0);  /* FULLDUPLEXEN */
 613         }
 614         debug("%s: mac_control: %08x -> %08x\n", __func__,
 615                 slave->mac_control, mac_control);
 616
 617         if (mac_control == slave->mac_control)
 618                 return;
 619
 620         if (mac_control) {
 621                 printf("link up on port %d, speed %d, %s duplex\n",
 622                                 slave->slave_num, speed,
 623                                 (duplex == FULL) ?  "full" : "half");
 624         } else {
 625                 printf("link down on port %d\n", slave->slave_num);
 626         }
 627
 628         debug("%s@%d\n", __func__, __LINE__);
 629         __raw_writel(mac_control, &slave->sliver->mac_control);
 630         debug("%s@%d\n", __func__, __LINE__);
 631         slave->mac_control = mac_control;
 632         debug("%s: done\n", __func__);
 633 }
 634
 635 static int cpsw_update_link(struct cpsw_priv *priv)
 636 {
 637         int link = 0;
 638         for_each_slave(priv, cpsw_slave_update_link, priv, &link);
 639         return link;
 640 }
 641
 642 static inline u32 cpsw_get_slave_port(struct cpsw_priv *priv, u32 slave_num)
 643 {
 644         if (priv->host_port == 0)
 645                 return slave_num + 1;
 646         else
 647                 return slave_num;
 648 }
 649
 650 static void cpsw_slave_init(struct cpsw_slave *slave, struct cpsw_priv *priv)
 651 {
 652         u32     slave_port;
 653
 654         debug("%s\n", __func__);
 655
 656         soft_reset(&slave->sliver->soft_reset);
 657
 658         /* setup priority mapping */
 659         __raw_writel(0x76543210, &slave->sliver->rx_pri_map);
 660         __raw_writel(0x33221100, &slave->regs->tx_pri_map);
 661
 662         /* setup max packet size, and mac address */
 663         __raw_writel(PKT_MAX, &slave->sliver->rx_maxlen);
 664         cpsw_set_slave_mac(slave, priv);
 665
 666         slave->mac_control = 0; /* no link yet */
 667
 668         /* enable forwarding */
 669         slave_port = cpsw_get_slave_port(priv, slave->slave_num);
 670         cpsw_ale_port_state(priv, slave_port, ALE_PORT_STATE_FORWARD);
 671
 672         cpsw_ale_add_mcast(priv, NetBcastAddr, 1 << slave_port);
 673
 674         priv->data->phy_init(priv->dev->name, slave->data->phy_id);
 675 }
 676
 677 #ifdef DEBUG
 678 #define cpdma_desc_get(d)       __cpdma_desc_get(d, __func__, __LINE__)
 679 #define cpdma_desc_put(d)       __cpdma_desc_put(d, __func__, __LINE__)
 680
 681 static void __cpdma_desc_get(struct cpsw_desc *desc,
 682                         const char *fn, int ln)
 683 {
 684         debug("%s@%d: Invalidating DCACHE range: %p..%p\n", fn, ln,
 685                 desc->dma_desc, &desc->dma_desc[1]);
 686         invalidate_dcache_range((u32)desc->dma_desc, (u32)(&desc->dma_desc[1]));
 687 }
 688
 689 static void __cpdma_desc_put(struct cpsw_desc *desc,
 690                         const char *fn, int ln)
 691 {
 692         debug("%s@%d: Flushing DCACHE range: %p..%p\n", fn, ln,
 693                 desc->dma_desc, &desc->dma_desc[1]);
 694         flush_dcache_range((u32)desc->dma_desc, (u32)(&desc->dma_desc[1]));
 695 }
 696 #else
 697 static void cpdma_desc_get(struct cpsw_desc *desc)
 698 {
 699         invalidate_dcache_range((u32)desc->dma_desc, (u32)(&desc->dma_desc[1]));
 700 }
 701
 702 static void cpdma_desc_put(struct cpsw_desc *desc)
 703 {
 704         flush_dcache_range((u32)desc->dma_desc, (u32)(&desc->dma_desc[1]));
 705 }
 706 #endif
 707
 708 static struct cpsw_desc *cpdma_desc_alloc(struct cpsw_priv *priv)
 709 {
 710         struct cpsw_desc *desc = priv->desc_free;
 711
 712         if (desc) {
 713                 cpdma_desc_get(desc);
 714                 priv->desc_free = desc->next;
 715         }
 716         return desc;
 717 }
 718
 719 static void cpdma_desc_free(struct cpsw_priv *priv, struct cpsw_desc *desc)
 720 {
 721         if (desc) {
 722                 desc_write(desc, hw_next, priv->desc_free->dma_desc);
 723                 cpdma_desc_put(desc);
 724                 desc->next = priv->desc_free;
 725                 priv->desc_free = desc;
 726         }
 727 }
 728 static int cpdma_submit(struct cpsw_priv *priv, struct cpdma_chan *chan,
 729                         volatile void *buffer, int len)
 730 {
 731         struct cpsw_desc *desc, *prev;
 732         u32 mode;
 733
 734         if (!buffer) {
 735                 printf("ERROR: %s() NULL buffer\n", __func__);
 736                 return -EINVAL;
 737         }
 738
 739         debug("%s@%d: buffer %p..%p\n", __func__, __LINE__,
 740                 buffer, buffer + len);
 741
 742         flush_dcache_range((u32)buffer, (u32)buffer + len);
 743
 744         desc = cpdma_desc_alloc(priv);
 745         if (!desc)
 746                 return -ENOMEM;
 747
 748         debug("%s@%d: %cX desc %p DMA %p\n", __func__, __LINE__,
 749                 chan == &priv->rx_chan ? 'R' : 'T', desc, desc->dma_desc);
 750         if (len < PKT_MIN)
 751                 len = PKT_MIN;
 752
 753         mode = CPDMA_DESC_OWNER | CPDMA_DESC_SOP | CPDMA_DESC_EOP;
 754
 755         desc->next = NULL;
 756         desc_write(desc, hw_next,   0);
 757         desc_write(desc, hw_buffer, buffer);
 758         desc_write(desc, hw_len,    len);
 759         desc_write(desc, hw_mode,   mode | len);
 760         //desc_write(desc, sw_buffer, buffer);
 761         desc->sw_buffer = buffer;
 762 //      desc_write(desc, sw_len,    len);
 763
 764         if (!chan->head) {
 765                 /* simple case - first packet enqueued */
 766                 chan->head = desc;
 767                 chan->tail = desc;
 768                 chan_write(chan, hdp, desc->dma_desc);
 769                 goto done;
 770         }
 771         cpdma_desc_put(desc);
 772
 773         /* not the first packet - enqueue at the tail */
 774         prev = chan->tail;
 775
 776         prev->next = desc;
 777         cpdma_desc_get(prev);
 778         desc_write(prev, hw_next, desc->dma_desc);
 779         cpdma_desc_put(prev);
 780
 781         chan->tail = desc;
 782
 783         /* next check if EOQ has been triggered already */
 784         if (desc_read(prev, hw_mode) & CPDMA_DESC_EOQ)
 785                 chan_write(chan, hdp, desc->dma_desc);
 786
 787 done:
 788         if (chan->rxfree)
 789                 chan_write(chan, rxfree, 1);
 790         debug("%s@%d\n", __func__, __LINE__);
 791         return 0;
 792 }
 793
 794 static int cpdma_process(struct cpsw_priv *priv, struct cpdma_chan *chan,
 795                          volatile void **buffer, int *len)
 796 {
 797         struct cpsw_desc *desc = chan->head;
 798         u32 status;
 799
 800         if (!desc)
 801                 return -ENOENT;
 802
 803         cpdma_desc_get(desc);
 804
 805         debug("%s@%d desc=%p chan=%p\n", __func__, __LINE__, desc->dma_desc, chan);
 806         status = desc_read(desc, hw_mode);
 807
 808         if (len)
 809                 *len = status & 0x7ff;
 810         debug("%s@%d: status=%08x len=%u\n", __func__, __LINE__,
 811                 status, *len);
 812
 813         if (buffer)
 814                 *buffer = desc->sw_buffer;
 815         debug("%s@%d: buffer=%p\n", __func__, __LINE__, desc->sw_buffer);
 816
 817         if (status & CPDMA_DESC_OWNER)
 818                 return -EBUSY;
 819
 820         chan->head = desc->next;
 821         chan_write(chan, cp, desc->dma_desc);
 822
 823         cpdma_desc_free(priv, desc);
 824         return 0;
 825 }
 826
 827 static int cpsw_init(struct eth_device *dev, bd_t *bis)
 828 {
 829         struct cpsw_priv        *priv = dev->priv;
 830         int i, ret;
 831
 832         debug("%s\n", __func__);
 833
 834         priv->data->control(1);
 835
 836         /* soft reset the controller and initialize priv */
 837         soft_reset(&priv->regs->soft_reset);
 838
 839         /* initialize and reset the address lookup engine */
 840         cpsw_ale_enable(priv, 1);
 841         cpsw_ale_clear(priv, 1);
 842         cpsw_ale_vlan_aware(priv, 0); /* vlan unaware mode */
 843
 844         /* setup host port priority mapping */
 845         __raw_writel(0x76543210, &priv->host_port_regs->cpdma_tx_pri_map);
 846         __raw_writel(0, &priv->host_port_regs->cpdma_rx_chan_map);
 847
 848         /* disable priority elevation and enable statistics on all ports */
 849         __raw_writel(0, &priv->regs->ptype);
 850
 851         /* enable statistics collection only on the host port */
 852         __raw_writel(BIT(priv->host_port), &priv->regs->stat_port_en);
 853
 854         cpsw_ale_port_state(priv, priv->host_port, ALE_PORT_STATE_FORWARD);
 855
 856         cpsw_ale_add_ucast(priv, priv->dev->enetaddr, priv->host_port,
 857                            ALE_SECURE);
 858         cpsw_ale_add_mcast(priv, NetBcastAddr, 1 << priv->host_port);
 859
 860         for_each_slave(priv, cpsw_slave_init, priv);
 861
 862         cpsw_update_link(priv);
 863
 864         /* init descriptor pool */
 865         for (i = 0; i < NUM_DESCS; i++) {
 866                 struct cpsw_desc *next_desc = (i < (NUM_DESCS - 1)) ?
 867                         &priv->descs[i + 1] : NULL;
 868
 869                 priv->descs[i].next = next_desc;
 870                 desc_write(&priv->descs[i], hw_next,
 871                         next_desc ? next_desc->dma_desc : 0);
 872                 cpdma_desc_put(&priv->descs[i]);
 873         }
 874         priv->desc_free = &priv->descs[0];
 875
 876         /* initialize channels */
 877         if (priv->data->version == CPSW_CTRL_VERSION_2) {
 878                 memset(&priv->rx_chan, 0, sizeof(struct cpdma_chan));
 879                 priv->rx_chan.hdp       = priv->dma_regs + CPDMA_RXHDP_VER2;
 880                 priv->rx_chan.cp        = priv->dma_regs + CPDMA_RXCP_VER2;
 881                 priv->rx_chan.rxfree    = priv->dma_regs + CPDMA_RXFREE;
 882
 883                 memset(&priv->tx_chan, 0, sizeof(struct cpdma_chan));
 884                 priv->tx_chan.hdp       = priv->dma_regs + CPDMA_TXHDP_VER2;
 885                 priv->tx_chan.cp        = priv->dma_regs + CPDMA_TXCP_VER2;
 886         } else {
 887                 memset(&priv->rx_chan, 0, sizeof(struct cpdma_chan));
 888                 priv->rx_chan.hdp       = priv->dma_regs + CPDMA_RXHDP_VER1;
 889                 priv->rx_chan.cp        = priv->dma_regs + CPDMA_RXCP_VER1;
 890                 priv->rx_chan.rxfree    = priv->dma_regs + CPDMA_RXFREE;
 891
 892                 memset(&priv->tx_chan, 0, sizeof(struct cpdma_chan));
 893                 priv->tx_chan.hdp       = priv->dma_regs + CPDMA_TXHDP_VER1;
 894                 priv->tx_chan.cp        = priv->dma_regs + CPDMA_TXCP_VER1;
 895         }
 896
 897         /* clear dma state */
 898         soft_reset(priv->dma_regs + CPDMA_SOFTRESET);
 899
 900         if (priv->data->version == CPSW_CTRL_VERSION_2) {
 901                 for (i = 0; i < priv->data->channels; i++) {
 902                         __raw_writel(0, priv->dma_regs + CPDMA_RXHDP_VER2 + 4 * i);
 903                         __raw_writel(0, priv->dma_regs + CPDMA_RXFREE + 4 * i);
 904                         __raw_writel(0, priv->dma_regs + CPDMA_RXCP_VER2 + 4 * i);
 905                         __raw_writel(0, priv->dma_regs + CPDMA_TXHDP_VER2 + 4 * i);
 906                         __raw_writel(0, priv->dma_regs + CPDMA_TXCP_VER2 + 4 * i);
 907                 }
 908         } else {
 909                 for (i = 0; i < priv->data->channels; i++) {
 910                         __raw_writel(0, priv->dma_regs + CPDMA_RXHDP_VER1 + 4 * i);
 911                         __raw_writel(0, priv->dma_regs + CPDMA_RXFREE + 4 * i);
 912                         __raw_writel(0, priv->dma_regs + CPDMA_RXCP_VER1 + 4 * i);
 913                         __raw_writel(0, priv->dma_regs + CPDMA_TXHDP_VER1 + 4 * i);
 914                         __raw_writel(0, priv->dma_regs + CPDMA_TXCP_VER1 + 4 * i);
 915
 916                 }
 917         }
 918         __raw_writel(1, priv->dma_regs + CPDMA_TXCONTROL);
 919         __raw_writel(1, priv->dma_regs + CPDMA_RXCONTROL);
 920
 921         /* submit rx descs */
 922         for (i = 0; i < PKTBUFSRX; i++) {
 923                 ret = cpdma_submit(priv, &priv->rx_chan, NetRxPackets[i],
 924                                    PKTSIZE);
 925                 if (ret < 0) {
 926                         printf("error %d submitting rx desc\n", ret);
 927                         break;
 928                 }
 929         }
 930
 931         return 0;
 932 }
 933
 934 static void cpsw_halt(struct eth_device *dev)
 935 {
 936         struct cpsw_priv        *priv = dev->priv;
 937
 938         debug("%s\n", __func__);
 939         priv->data->control(0);
 940 }
 941
 942 static int cpsw_send(struct eth_device *dev, volatile void *packet, int length)
 943 {
 944         struct cpsw_priv        *priv = dev->priv;
 945         volatile void *buffer = (volatile void *)0xeeeeeeee;
 946         int len = 0x77777777;
 947
 948         debug("%s@%d sending packet %p..%p\n", __func__, __LINE__,
 949                 packet, packet + length - 1);
 950         if (!cpsw_update_link(priv))
 951                 return -EIO;
 952
 953         debug("%s@%d\n", __func__, __LINE__);
 954         /* first reap completed packets */
 955         while (cpdma_process(priv, &priv->tx_chan, &buffer, &len) >= 0) {
 956                 debug("%s@%d: buffer=%p len=%d\n", __func__, __LINE__,
 957                         buffer, len);
 958         }
 959         debug("%s@%d\n", __func__, __LINE__);
 960
 961         return cpdma_submit(priv, &priv->tx_chan, packet, length);
 962 }
 963
 964 static int cpsw_recv(struct eth_device *dev)
 965 {
 966         struct cpsw_priv        *priv = dev->priv;
 967         volatile void *buffer;
 968         int len;
 969
 970         debug("%s@%d\n", __func__, __LINE__);
 971         while (cpdma_process(priv, &priv->rx_chan, &buffer, &len) >= 0) {
 972                 debug("invalidating %p..%p\n", buffer,
 973                         buffer + ALIGN(len, CONFIG_SYS_CACHELINE_SIZE));
 974                 invalidate_dcache_range((u32)buffer,
 975                         (u32)buffer + ALIGN(len, CONFIG_SYS_CACHELINE_SIZE));
 976                 NetReceive(buffer, len);
 977                 cpdma_submit(priv, &priv->rx_chan, buffer, PKTSIZE);
 978         }
 979         debug("%s@%d: done\n", __func__, __LINE__);
 980         return 0;
 981 }
 982
 983 static void cpsw_slave_setup(struct cpsw_slave *slave, int slave_num,
 984                             struct cpsw_priv *priv)
 985 {
 986         void                    *regs = priv->regs;
 987         struct cpsw_slave_data  *data = priv->data->slave_data + slave_num;
 988
 989         debug("%s@%d: slave[%d] %p\n", __func__, __LINE__,
 990                 slave_num, slave);
 991         slave->slave_num = slave_num;
 992         slave->data     = data;
 993         slave->regs     = regs + data->slave_reg_ofs;
 994         slave->sliver   = regs + data->sliver_reg_ofs;
 995 }
 996
 997 int cpsw_register(struct cpsw_platform_data *data)
 998 {
 999         struct cpsw_priv        *priv;
1000         void                    *regs = (void *)data->cpsw_base;
1001         struct eth_device       *dev;
1002         int i;
1003
1004         debug("%s@%d\n", __func__, __LINE__);
1005
1006         dev = calloc(sizeof(*dev), 1);
1007         if (!dev)
1008                 return -ENOMEM;
1009
1010         priv = calloc(sizeof(*priv), 1);
1011         if (!priv) {
1012                 free(dev);
1013                 return -ENOMEM;
1014         }
1015
1016         priv->data = data;
1017         priv->dev  = dev;
1018
1019         priv->slaves = calloc(sizeof(struct cpsw_slave), data->slaves);
1020         if (!priv->slaves) {
1021                 free(dev);
1022                 free(priv);
1023                 return -ENOMEM;
1024         }
1025
1026         for (i = 0; i < NUM_DESCS; i++) {
1027                 priv->descs[i].dma_desc = memalign(CONFIG_SYS_CACHELINE_SIZE,
1028                                 sizeof(struct cpsw_desc) * NUM_DESCS);
1029                 if (!priv->descs[i].dma_desc) {
1030                         while (--i >= 0) {
1031                                 free(priv->descs[i].dma_desc);
1032                         }
1033                         free(priv->slaves);
1034                         free(priv);
1035                         free(dev);
1036                         return -ENOMEM;
1037                 }
1038                 debug("DMA desc[%d] allocated @ %p desc_size %u\n",
1039                         i, priv->descs[i].dma_desc,
1040                         sizeof(*priv->descs[i].dma_desc));
1041         }
1042
1043         priv->host_port         = data->host_port_num;
1044         priv->regs              = regs;
1045         priv->host_port_regs    = regs + data->host_port_reg_ofs;
1046         priv->dma_regs          = regs + data->cpdma_reg_ofs;
1047         priv->ale_regs          = regs + data->ale_reg_ofs;
1048
1049         for_each_slave(priv, cpsw_slave_setup, idx, priv);
1050         debug("%s@%d\n", __func__, __LINE__);
1051
1052         strcpy(dev->name, "cpsw");
1053         dev->iobase     = 0;
1054         dev->init       = cpsw_init;
1055         dev->halt       = cpsw_halt;
1056         dev->send       = cpsw_send;
1057         dev->recv       = cpsw_recv;
1058         dev->priv       = priv;
1059
1060         debug("%s@%d\n", __func__, __LINE__);
1061         eth_register(dev);
1062
1063         debug("%s@%d\n", __func__, __LINE__);
1064         cpsw_mdio_init(dev->name, data->mdio_base, data->mdio_div);
1065
1066         debug("%s@%d: done\n", __func__, __LINE__);
1067         return 1;
1068 }