drivers/net/dwc_eth_qos.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2016, NVIDIA CORPORATION.
   4  *
   5  * Portions based on U-Boot's rtl8169.c.
   6  */
   7
   8 /*
   9  * This driver supports the Synopsys Designware Ethernet QOS (Quality Of
  10  * Service) IP block. The IP supports multiple options for bus type, clocking/
  11  * reset structure, and feature list.
  12  *
  13  * The driver is written such that generic core logic is kept separate from
  14  * configuration-specific logic. Code that interacts with configuration-
  15  * specific resources is split out into separate functions to avoid polluting
  16  * common code. If/when this driver is enhanced to support multiple
  17  * configurations, the core code should be adapted to call all configuration-
  18  * specific functions through function pointers, with the definition of those
  19  * function pointers being supplied by struct udevice_id eqos_ids[]'s .data
  20  * field.
  21  *
  22  * The following configurations are currently supported:
  23  * tegra186:
  24  *    NVIDIA's Tegra186 chip. This configuration uses an AXI master/DMA bus, an
  25  *    AHB slave/register bus, contains the DMA, MTL, and MAC sub-blocks, and
  26  *    supports a single RGMII PHY. This configuration also has SW control over
  27  *    all clock and reset signals to the HW block.
  28  */
  29 #include <common.h>
  30 #include <clk.h>
  31 #include <cpu_func.h>
  32 #include <dm.h>
  33 #include <errno.h>
  34 #include <log.h>
  35 #include <malloc.h>
  36 #include <memalign.h>
  37 #include <miiphy.h>
  38 #include <net.h>
  39 #include <netdev.h>
  40 #include <phy.h>
  41 #include <reset.h>
  42 #include <wait_bit.h>
  43 #include <asm/cache.h>
  44 #include <asm/gpio.h>
  45 #include <asm/io.h>
  46 #include <eth_phy.h>
  47 #ifdef CONFIG_ARCH_IMX8M
  48 #include <asm/arch/clock.h>
  49 #include <asm/mach-imx/sys_proto.h>
  50 #endif
  51 #include <linux/delay.h>
  52
  53 /* Core registers */
  54
  55 #define EQOS_MAC_REGS_BASE 0x000
  56 struct eqos_mac_regs {
  57         uint32_t configuration;                         /* 0x000 */
  58         uint32_t unused_004[(0x070 - 0x004) / 4];       /* 0x004 */
  59         uint32_t q0_tx_flow_ctrl;                       /* 0x070 */
  60         uint32_t unused_070[(0x090 - 0x074) / 4];       /* 0x074 */
  61         uint32_t rx_flow_ctrl;                          /* 0x090 */
  62         uint32_t unused_094;                            /* 0x094 */
  63         uint32_t txq_prty_map0;                         /* 0x098 */
  64         uint32_t unused_09c;                            /* 0x09c */
  65         uint32_t rxq_ctrl0;                             /* 0x0a0 */
  66         uint32_t unused_0a4;                            /* 0x0a4 */
  67         uint32_t rxq_ctrl2;                             /* 0x0a8 */
  68         uint32_t unused_0ac[(0x0dc - 0x0ac) / 4];       /* 0x0ac */
  69         uint32_t us_tic_counter;                        /* 0x0dc */
  70         uint32_t unused_0e0[(0x11c - 0x0e0) / 4];       /* 0x0e0 */
  71         uint32_t hw_feature0;                           /* 0x11c */
  72         uint32_t hw_feature1;                           /* 0x120 */
  73         uint32_t hw_feature2;                           /* 0x124 */
  74         uint32_t unused_128[(0x200 - 0x128) / 4];       /* 0x128 */
  75         uint32_t mdio_address;                          /* 0x200 */
  76         uint32_t mdio_data;                             /* 0x204 */
  77         uint32_t unused_208[(0x300 - 0x208) / 4];       /* 0x208 */
  78         uint32_t address0_high;                         /* 0x300 */
  79         uint32_t address0_low;                          /* 0x304 */
  80 };
  81
  82 #define EQOS_MAC_CONFIGURATION_GPSLCE                   BIT(23)
  83 #define EQOS_MAC_CONFIGURATION_CST                      BIT(21)
  84 #define EQOS_MAC_CONFIGURATION_ACS                      BIT(20)
  85 #define EQOS_MAC_CONFIGURATION_WD                       BIT(19)
  86 #define EQOS_MAC_CONFIGURATION_JD                       BIT(17)
  87 #define EQOS_MAC_CONFIGURATION_JE                       BIT(16)
  88 #define EQOS_MAC_CONFIGURATION_PS                       BIT(15)
  89 #define EQOS_MAC_CONFIGURATION_FES                      BIT(14)
  90 #define EQOS_MAC_CONFIGURATION_DM                       BIT(13)
  91 #define EQOS_MAC_CONFIGURATION_LM                       BIT(12)
  92 #define EQOS_MAC_CONFIGURATION_TE                       BIT(1)
  93 #define EQOS_MAC_CONFIGURATION_RE                       BIT(0)
  94
  95 #define EQOS_MAC_Q0_TX_FLOW_CTRL_PT_SHIFT               16
  96 #define EQOS_MAC_Q0_TX_FLOW_CTRL_PT_MASK                0xffff
  97 #define EQOS_MAC_Q0_TX_FLOW_CTRL_TFE                    BIT(1)
  98
  99 #define EQOS_MAC_RX_FLOW_CTRL_RFE                       BIT(0)
 100
 101 #define EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_SHIFT              0
 102 #define EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_MASK               0xff
 103
 104 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT                 0
 105 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK                  3
 106 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_NOT_ENABLED           0
 107 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB           2
 108 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_AV            1
 109
 110 #define EQOS_MAC_RXQ_CTRL2_PSRQ0_SHIFT                  0
 111 #define EQOS_MAC_RXQ_CTRL2_PSRQ0_MASK                   0xff
 112
 113 #define EQOS_MAC_HW_FEATURE0_MMCSEL_SHIFT               8
 114 #define EQOS_MAC_HW_FEATURE0_HDSEL_SHIFT                2
 115 #define EQOS_MAC_HW_FEATURE0_GMIISEL_SHIFT              1
 116 #define EQOS_MAC_HW_FEATURE0_MIISEL_SHIFT               0
 117
 118 #define EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_SHIFT           6
 119 #define EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_MASK            0x1f
 120 #define EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_SHIFT           0
 121 #define EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_MASK            0x1f
 122
 123 #define EQOS_MAC_HW_FEATURE3_ASP_SHIFT                  28
 124 #define EQOS_MAC_HW_FEATURE3_ASP_MASK                   0x3
 125
 126 #define EQOS_MAC_MDIO_ADDRESS_PA_SHIFT                  21
 127 #define EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT                 16
 128 #define EQOS_MAC_MDIO_ADDRESS_CR_SHIFT                  8
 129 #define EQOS_MAC_MDIO_ADDRESS_CR_20_35                  2
 130 #define EQOS_MAC_MDIO_ADDRESS_CR_250_300                5
 131 #define EQOS_MAC_MDIO_ADDRESS_SKAP                      BIT(4)
 132 #define EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT                 2
 133 #define EQOS_MAC_MDIO_ADDRESS_GOC_READ                  3
 134 #define EQOS_MAC_MDIO_ADDRESS_GOC_WRITE                 1
 135 #define EQOS_MAC_MDIO_ADDRESS_C45E                      BIT(1)
 136 #define EQOS_MAC_MDIO_ADDRESS_GB                        BIT(0)
 137
 138 #define EQOS_MAC_MDIO_DATA_GD_MASK                      0xffff
 139
 140 #define EQOS_MTL_REGS_BASE 0xd00
 141 struct eqos_mtl_regs {
 142         uint32_t txq0_operation_mode;                   /* 0xd00 */
 143         uint32_t unused_d04;                            /* 0xd04 */
 144         uint32_t txq0_debug;                            /* 0xd08 */
 145         uint32_t unused_d0c[(0xd18 - 0xd0c) / 4];       /* 0xd0c */
 146         uint32_t txq0_quantum_weight;                   /* 0xd18 */
 147         uint32_t unused_d1c[(0xd30 - 0xd1c) / 4];       /* 0xd1c */
 148         uint32_t rxq0_operation_mode;                   /* 0xd30 */
 149         uint32_t unused_d34;                            /* 0xd34 */
 150         uint32_t rxq0_debug;                            /* 0xd38 */
 151 };
 152
 153 #define EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT          16
 154 #define EQOS_MTL_TXQ0_OPERATION_MODE_TQS_MASK           0x1ff
 155 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_SHIFT        2
 156 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_MASK         3
 157 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_ENABLED      2
 158 #define EQOS_MTL_TXQ0_OPERATION_MODE_TSF                BIT(1)
 159 #define EQOS_MTL_TXQ0_OPERATION_MODE_FTQ                BIT(0)
 160
 161 #define EQOS_MTL_TXQ0_DEBUG_TXQSTS                      BIT(4)
 162 #define EQOS_MTL_TXQ0_DEBUG_TRCSTS_SHIFT                1
 163 #define EQOS_MTL_TXQ0_DEBUG_TRCSTS_MASK                 3
 164
 165 #define EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT          20
 166 #define EQOS_MTL_RXQ0_OPERATION_MODE_RQS_MASK           0x3ff
 167 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT          14
 168 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFD_MASK           0x3f
 169 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT          8
 170 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFA_MASK           0x3f
 171 #define EQOS_MTL_RXQ0_OPERATION_MODE_EHFC               BIT(7)
 172 #define EQOS_MTL_RXQ0_OPERATION_MODE_RSF                BIT(5)
 173 #define EQOS_MTL_RXQ0_OPERATION_MODE_FEP                BIT(4)
 174 #define EQOS_MTL_RXQ0_OPERATION_MODE_FUP                BIT(3)
 175
 176 #define EQOS_MTL_RXQ0_DEBUG_PRXQ_SHIFT                  16
 177 #define EQOS_MTL_RXQ0_DEBUG_PRXQ_MASK                   0x7fff
 178 #define EQOS_MTL_RXQ0_DEBUG_RXQSTS_SHIFT                4
 179 #define EQOS_MTL_RXQ0_DEBUG_RXQSTS_MASK                 3
 180
 181 #define EQOS_DMA_REGS_BASE 0x1000
 182 struct eqos_dma_regs {
 183         uint32_t mode;                                  /* 0x1000 */
 184         uint32_t sysbus_mode;                           /* 0x1004 */
 185         uint32_t unused_1008[(0x1100 - 0x1008) / 4];    /* 0x1008 */
 186         uint32_t ch0_control;                           /* 0x1100 */
 187         uint32_t ch0_tx_control;                        /* 0x1104 */
 188         uint32_t ch0_rx_control;                        /* 0x1108 */
 189         uint32_t unused_110c;                           /* 0x110c */
 190         uint32_t ch0_txdesc_list_haddress;              /* 0x1110 */
 191         uint32_t ch0_txdesc_list_address;               /* 0x1114 */
 192         uint32_t ch0_rxdesc_list_haddress;              /* 0x1118 */
 193         uint32_t ch0_rxdesc_list_address;               /* 0x111c */
 194         uint32_t ch0_txdesc_tail_pointer;               /* 0x1120 */
 195         uint32_t unused_1124;                           /* 0x1124 */
 196         uint32_t ch0_rxdesc_tail_pointer;               /* 0x1128 */
 197         uint32_t ch0_txdesc_ring_length;                /* 0x112c */
 198         uint32_t ch0_rxdesc_ring_length;                /* 0x1130 */
 199 };
 200
 201 #define EQOS_DMA_MODE_SWR                               BIT(0)
 202
 203 #define EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_SHIFT           16
 204 #define EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_MASK            0xf
 205 #define EQOS_DMA_SYSBUS_MODE_EAME                       BIT(11)
 206 #define EQOS_DMA_SYSBUS_MODE_BLEN16                     BIT(3)
 207 #define EQOS_DMA_SYSBUS_MODE_BLEN8                      BIT(2)
 208 #define EQOS_DMA_SYSBUS_MODE_BLEN4                      BIT(1)
 209
 210 #define EQOS_DMA_CH0_CONTROL_PBLX8                      BIT(16)
 211
 212 #define EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT             16
 213 #define EQOS_DMA_CH0_TX_CONTROL_TXPBL_MASK              0x3f
 214 #define EQOS_DMA_CH0_TX_CONTROL_OSP                     BIT(4)
 215 #define EQOS_DMA_CH0_TX_CONTROL_ST                      BIT(0)
 216
 217 #define EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT             16
 218 #define EQOS_DMA_CH0_RX_CONTROL_RXPBL_MASK              0x3f
 219 #define EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT              1
 220 #define EQOS_DMA_CH0_RX_CONTROL_RBSZ_MASK               0x3fff
 221 #define EQOS_DMA_CH0_RX_CONTROL_SR                      BIT(0)
 222
 223 /* These registers are Tegra186-specific */
 224 #define EQOS_TEGRA186_REGS_BASE 0x8800
 225 struct eqos_tegra186_regs {
 226         uint32_t sdmemcomppadctrl;                      /* 0x8800 */
 227         uint32_t auto_cal_config;                       /* 0x8804 */
 228         uint32_t unused_8808;                           /* 0x8808 */
 229         uint32_t auto_cal_status;                       /* 0x880c */
 230 };
 231
 232 #define EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD     BIT(31)
 233
 234 #define EQOS_AUTO_CAL_CONFIG_START                      BIT(31)
 235 #define EQOS_AUTO_CAL_CONFIG_ENABLE                     BIT(29)
 236
 237 #define EQOS_AUTO_CAL_STATUS_ACTIVE                     BIT(31)
 238
 239 /* Descriptors */
 240
 241 #define EQOS_DESCRIPTOR_WORDS   4
 242 #define EQOS_DESCRIPTOR_SIZE    (EQOS_DESCRIPTOR_WORDS * 4)
 243 /* We assume ARCH_DMA_MINALIGN >= 16; 16 is the EQOS HW minimum */
 244 #define EQOS_DESCRIPTOR_ALIGN   ARCH_DMA_MINALIGN
 245 #define EQOS_DESCRIPTORS_TX     4
 246 #define EQOS_DESCRIPTORS_RX     4
 247 #define EQOS_DESCRIPTORS_NUM    (EQOS_DESCRIPTORS_TX + EQOS_DESCRIPTORS_RX)
 248 #define EQOS_DESCRIPTORS_SIZE   ALIGN(EQOS_DESCRIPTORS_NUM * \
 249                                       EQOS_DESCRIPTOR_SIZE, ARCH_DMA_MINALIGN)
 250 #define EQOS_BUFFER_ALIGN       ARCH_DMA_MINALIGN
 251 #define EQOS_MAX_PACKET_SIZE    ALIGN(1568, ARCH_DMA_MINALIGN)
 252 #define EQOS_RX_BUFFER_SIZE     (EQOS_DESCRIPTORS_RX * EQOS_MAX_PACKET_SIZE)
 253
 254 /*
 255  * Warn if the cache-line size is larger than the descriptor size. In such
 256  * cases the driver will likely fail because the CPU needs to flush the cache
 257  * when requeuing RX buffers, therefore descriptors written by the hardware
 258  * may be discarded. Architectures with full IO coherence, such as x86, do not
 259  * experience this issue, and hence are excluded from this condition.
 260  *
 261  * This can be fixed by defining CONFIG_SYS_NONCACHED_MEMORY which will cause
 262  * the driver to allocate descriptors from a pool of non-cached memory.
 263  */
 264 #if EQOS_DESCRIPTOR_SIZE < ARCH_DMA_MINALIGN
 265 #if !defined(CONFIG_SYS_NONCACHED_MEMORY) && \
 266         !CONFIG_IS_ENABLED(SYS_DCACHE_OFF) && !defined(CONFIG_X86)
 267 #warning Cache line size is larger than descriptor size
 268 #endif
 269 #endif
 270
 271 struct eqos_desc {
 272         u32 des0;
 273         u32 des1;
 274         u32 des2;
 275         u32 des3;
 276 };
 277
 278 #define EQOS_DESC3_OWN          BIT(31)
 279 #define EQOS_DESC3_FD           BIT(29)
 280 #define EQOS_DESC3_LD           BIT(28)
 281 #define EQOS_DESC3_BUF1V        BIT(24)
 282
 283 struct eqos_config {
 284         bool reg_access_always_ok;
 285         int mdio_wait;
 286         int swr_wait;
 287         int config_mac;
 288         int config_mac_mdio;
 289         phy_interface_t (*interface)(struct udevice *dev);
 290         struct eqos_ops *ops;
 291 };
 292
 293 struct eqos_ops {
 294         void (*eqos_inval_desc)(void *desc);
 295         void (*eqos_flush_desc)(void *desc);
 296         void (*eqos_inval_buffer)(void *buf, size_t size);
 297         void (*eqos_flush_buffer)(void *buf, size_t size);
 298         int (*eqos_probe_resources)(struct udevice *dev);
 299         int (*eqos_remove_resources)(struct udevice *dev);
 300         int (*eqos_stop_resets)(struct udevice *dev);
 301         int (*eqos_start_resets)(struct udevice *dev);
 302         void (*eqos_stop_clks)(struct udevice *dev);
 303         int (*eqos_start_clks)(struct udevice *dev);
 304         int (*eqos_calibrate_pads)(struct udevice *dev);
 305         int (*eqos_disable_calibration)(struct udevice *dev);
 306         int (*eqos_set_tx_clk_speed)(struct udevice *dev);
 307         ulong (*eqos_get_tick_clk_rate)(struct udevice *dev);
 308 };
 309
 310 struct eqos_priv {
 311         struct udevice *dev;
 312         const struct eqos_config *config;
 313         fdt_addr_t regs;
 314         struct eqos_mac_regs *mac_regs;
 315         struct eqos_mtl_regs *mtl_regs;
 316         struct eqos_dma_regs *dma_regs;
 317         struct eqos_tegra186_regs *tegra186_regs;
 318         struct reset_ctl reset_ctl;
 319         struct gpio_desc phy_reset_gpio;
 320         struct clk clk_master_bus;
 321         struct clk clk_rx;
 322         struct clk clk_ptp_ref;
 323         struct clk clk_tx;
 324         struct clk clk_ck;
 325         struct clk clk_slave_bus;
 326         struct mii_dev *mii;
 327         struct phy_device *phy;
 328         int phyaddr;
 329         u32 max_speed;
 330         void *descs;
 331         struct eqos_desc *tx_descs;
 332         struct eqos_desc *rx_descs;
 333         int tx_desc_idx, rx_desc_idx;
 334         void *tx_dma_buf;
 335         void *rx_dma_buf;
 336         void *rx_pkt;
 337         bool started;
 338         bool reg_access_ok;
 339 };
 340
 341 /*
 342  * TX and RX descriptors are 16 bytes. This causes problems with the cache
 343  * maintenance on CPUs where the cache-line size exceeds the size of these
 344  * descriptors. What will happen is that when the driver receives a packet
 345  * it will be immediately requeued for the hardware to reuse. The CPU will
 346  * therefore need to flush the cache-line containing the descriptor, which
 347  * will cause all other descriptors in the same cache-line to be flushed
 348  * along with it. If one of those descriptors had been written to by the
 349  * device those changes (and the associated packet) will be lost.
 350  *
 351  * To work around this, we make use of non-cached memory if available. If
 352  * descriptors are mapped uncached there's no need to manually flush them
 353  * or invalidate them.
 354  *
 355  * Note that this only applies to descriptors. The packet data buffers do
 356  * not have the same constraints since they are 1536 bytes large, so they
 357  * are unlikely to share cache-lines.
 358  */
 359 static void *eqos_alloc_descs(unsigned int num)
 360 {
 361 #ifdef CONFIG_SYS_NONCACHED_MEMORY
 362         return (void *)noncached_alloc(EQOS_DESCRIPTORS_SIZE,
 363                                       EQOS_DESCRIPTOR_ALIGN);
 364 #else
 365         return memalign(EQOS_DESCRIPTOR_ALIGN, EQOS_DESCRIPTORS_SIZE);
 366 #endif
 367 }
 368
 369 static void eqos_free_descs(void *descs)
 370 {
 371 #ifdef CONFIG_SYS_NONCACHED_MEMORY
 372         /* FIXME: noncached_alloc() has no opposite */
 373 #else
 374         free(descs);
 375 #endif
 376 }
 377
 378 static void eqos_inval_desc_tegra186(void *desc)
 379 {
 380 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 381         unsigned long start = (unsigned long)desc & ~(ARCH_DMA_MINALIGN - 1);
 382         unsigned long end = ALIGN(start + EQOS_DESCRIPTOR_SIZE,
 383                                   ARCH_DMA_MINALIGN);
 384
 385         invalidate_dcache_range(start, end);
 386 #endif
 387 }
 388
 389 static void eqos_inval_desc_generic(void *desc)
 390 {
 391 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 392         unsigned long start = rounddown((unsigned long)desc, ARCH_DMA_MINALIGN);
 393         unsigned long end = roundup((unsigned long)desc + EQOS_DESCRIPTOR_SIZE,
 394                                     ARCH_DMA_MINALIGN);
 395
 396         invalidate_dcache_range(start, end);
 397 #endif
 398 }
 399
 400 static void eqos_flush_desc_tegra186(void *desc)
 401 {
 402 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 403         flush_cache((unsigned long)desc, EQOS_DESCRIPTOR_SIZE);
 404 #endif
 405 }
 406
 407 static void eqos_flush_desc_generic(void *desc)
 408 {
 409 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 410         unsigned long start = rounddown((unsigned long)desc, ARCH_DMA_MINALIGN);
 411         unsigned long end = roundup((unsigned long)desc + EQOS_DESCRIPTOR_SIZE,
 412                                     ARCH_DMA_MINALIGN);
 413
 414         flush_dcache_range(start, end);
 415 #endif
 416 }
 417
 418 static void eqos_inval_buffer_tegra186(void *buf, size_t size)
 419 {
 420         unsigned long start = (unsigned long)buf & ~(ARCH_DMA_MINALIGN - 1);
 421         unsigned long end = ALIGN(start + size, ARCH_DMA_MINALIGN);
 422
 423         invalidate_dcache_range(start, end);
 424 }
 425
 426 static void eqos_inval_buffer_generic(void *buf, size_t size)
 427 {
 428         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 429         unsigned long end = roundup((unsigned long)buf + size,
 430                                     ARCH_DMA_MINALIGN);
 431
 432         invalidate_dcache_range(start, end);
 433 }
 434
 435 static void eqos_flush_buffer_tegra186(void *buf, size_t size)
 436 {
 437         flush_cache((unsigned long)buf, size);
 438 }
 439
 440 static void eqos_flush_buffer_generic(void *buf, size_t size)
 441 {
 442         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 443         unsigned long end = roundup((unsigned long)buf + size,
 444                                     ARCH_DMA_MINALIGN);
 445
 446         flush_dcache_range(start, end);
 447 }
 448
 449 static int eqos_mdio_wait_idle(struct eqos_priv *eqos)
 450 {
 451         return wait_for_bit_le32(&eqos->mac_regs->mdio_address,
 452                                  EQOS_MAC_MDIO_ADDRESS_GB, false,
 453                                  1000000, true);
 454 }
 455
 456 static int eqos_mdio_read(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 457                           int mdio_reg)
 458 {
 459         struct eqos_priv *eqos = bus->priv;
 460         u32 val;
 461         int ret;
 462
 463         debug("%s(dev=%p, addr=%x, reg=%d):\n", __func__, eqos->dev, mdio_addr,
 464               mdio_reg);
 465
 466         ret = eqos_mdio_wait_idle(eqos);
 467         if (ret) {
 468                 pr_err("MDIO not idle at entry");
 469                 return ret;
 470         }
 471
 472         val = readl(&eqos->mac_regs->mdio_address);
 473         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 474                 EQOS_MAC_MDIO_ADDRESS_C45E;
 475         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 476                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 477                 (eqos->config->config_mac_mdio <<
 478                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 479                 (EQOS_MAC_MDIO_ADDRESS_GOC_READ <<
 480                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 481                 EQOS_MAC_MDIO_ADDRESS_GB;
 482         writel(val, &eqos->mac_regs->mdio_address);
 483
 484         udelay(eqos->config->mdio_wait);
 485
 486         ret = eqos_mdio_wait_idle(eqos);
 487         if (ret) {
 488                 pr_err("MDIO read didn't complete");
 489                 return ret;
 490         }
 491
 492         val = readl(&eqos->mac_regs->mdio_data);
 493         val &= EQOS_MAC_MDIO_DATA_GD_MASK;
 494
 495         debug("%s: val=%x\n", __func__, val);
 496
 497         return val;
 498 }
 499
 500 static int eqos_mdio_write(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 501                            int mdio_reg, u16 mdio_val)
 502 {
 503         struct eqos_priv *eqos = bus->priv;
 504         u32 val;
 505         int ret;
 506
 507         debug("%s(dev=%p, addr=%x, reg=%d, val=%x):\n", __func__, eqos->dev,
 508               mdio_addr, mdio_reg, mdio_val);
 509
 510         ret = eqos_mdio_wait_idle(eqos);
 511         if (ret) {
 512                 pr_err("MDIO not idle at entry");
 513                 return ret;
 514         }
 515
 516         writel(mdio_val, &eqos->mac_regs->mdio_data);
 517
 518         val = readl(&eqos->mac_regs->mdio_address);
 519         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 520                 EQOS_MAC_MDIO_ADDRESS_C45E;
 521         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 522                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 523                 (eqos->config->config_mac_mdio <<
 524                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 525                 (EQOS_MAC_MDIO_ADDRESS_GOC_WRITE <<
 526                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 527                 EQOS_MAC_MDIO_ADDRESS_GB;
 528         writel(val, &eqos->mac_regs->mdio_address);
 529
 530         udelay(eqos->config->mdio_wait);
 531
 532         ret = eqos_mdio_wait_idle(eqos);
 533         if (ret) {
 534                 pr_err("MDIO read didn't complete");
 535                 return ret;
 536         }
 537
 538         return 0;
 539 }
 540
 541 static int eqos_start_clks_tegra186(struct udevice *dev)
 542 {
 543 #ifdef CONFIG_CLK
 544         struct eqos_priv *eqos = dev_get_priv(dev);
 545         int ret;
 546
 547         debug("%s(dev=%p):\n", __func__, dev);
 548
 549         ret = clk_enable(&eqos->clk_slave_bus);
 550         if (ret < 0) {
 551                 pr_err("clk_enable(clk_slave_bus) failed: %d", ret);
 552                 goto err;
 553         }
 554
 555         ret = clk_enable(&eqos->clk_master_bus);
 556         if (ret < 0) {
 557                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 558                 goto err_disable_clk_slave_bus;
 559         }
 560
 561         ret = clk_enable(&eqos->clk_rx);
 562         if (ret < 0) {
 563                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 564                 goto err_disable_clk_master_bus;
 565         }
 566
 567         ret = clk_enable(&eqos->clk_ptp_ref);
 568         if (ret < 0) {
 569                 pr_err("clk_enable(clk_ptp_ref) failed: %d", ret);
 570                 goto err_disable_clk_rx;
 571         }
 572
 573         ret = clk_set_rate(&eqos->clk_ptp_ref, 125 * 1000 * 1000);
 574         if (ret < 0) {
 575                 pr_err("clk_set_rate(clk_ptp_ref) failed: %d", ret);
 576                 goto err_disable_clk_ptp_ref;
 577         }
 578
 579         ret = clk_enable(&eqos->clk_tx);
 580         if (ret < 0) {
 581                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 582                 goto err_disable_clk_ptp_ref;
 583         }
 584 #endif
 585
 586         debug("%s: OK\n", __func__);
 587         return 0;
 588
 589 #ifdef CONFIG_CLK
 590 err_disable_clk_ptp_ref:
 591         clk_disable(&eqos->clk_ptp_ref);
 592 err_disable_clk_rx:
 593         clk_disable(&eqos->clk_rx);
 594 err_disable_clk_master_bus:
 595         clk_disable(&eqos->clk_master_bus);
 596 err_disable_clk_slave_bus:
 597         clk_disable(&eqos->clk_slave_bus);
 598 err:
 599         debug("%s: FAILED: %d\n", __func__, ret);
 600         return ret;
 601 #endif
 602 }
 603
 604 static int eqos_start_clks_stm32(struct udevice *dev)
 605 {
 606 #ifdef CONFIG_CLK
 607         struct eqos_priv *eqos = dev_get_priv(dev);
 608         int ret;
 609
 610         debug("%s(dev=%p):\n", __func__, dev);
 611
 612         ret = clk_enable(&eqos->clk_master_bus);
 613         if (ret < 0) {
 614                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 615                 goto err;
 616         }
 617
 618         ret = clk_enable(&eqos->clk_rx);
 619         if (ret < 0) {
 620                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 621                 goto err_disable_clk_master_bus;
 622         }
 623
 624         ret = clk_enable(&eqos->clk_tx);
 625         if (ret < 0) {
 626                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 627                 goto err_disable_clk_rx;
 628         }
 629
 630         if (clk_valid(&eqos->clk_ck)) {
 631                 ret = clk_enable(&eqos->clk_ck);
 632                 if (ret < 0) {
 633                         pr_err("clk_enable(clk_ck) failed: %d", ret);
 634                         goto err_disable_clk_tx;
 635                 }
 636         }
 637 #endif
 638
 639         debug("%s: OK\n", __func__);
 640         return 0;
 641
 642 #ifdef CONFIG_CLK
 643 err_disable_clk_tx:
 644         clk_disable(&eqos->clk_tx);
 645 err_disable_clk_rx:
 646         clk_disable(&eqos->clk_rx);
 647 err_disable_clk_master_bus:
 648         clk_disable(&eqos->clk_master_bus);
 649 err:
 650         debug("%s: FAILED: %d\n", __func__, ret);
 651         return ret;
 652 #endif
 653 }
 654
 655 static int eqos_start_clks_imx(struct udevice *dev)
 656 {
 657         return 0;
 658 }
 659
 660 static void eqos_stop_clks_tegra186(struct udevice *dev)
 661 {
 662 #ifdef CONFIG_CLK
 663         struct eqos_priv *eqos = dev_get_priv(dev);
 664
 665         debug("%s(dev=%p):\n", __func__, dev);
 666
 667         clk_disable(&eqos->clk_tx);
 668         clk_disable(&eqos->clk_ptp_ref);
 669         clk_disable(&eqos->clk_rx);
 670         clk_disable(&eqos->clk_master_bus);
 671         clk_disable(&eqos->clk_slave_bus);
 672 #endif
 673
 674         debug("%s: OK\n", __func__);
 675 }
 676
 677 static void eqos_stop_clks_stm32(struct udevice *dev)
 678 {
 679 #ifdef CONFIG_CLK
 680         struct eqos_priv *eqos = dev_get_priv(dev);
 681
 682         debug("%s(dev=%p):\n", __func__, dev);
 683
 684         clk_disable(&eqos->clk_tx);
 685         clk_disable(&eqos->clk_rx);
 686         clk_disable(&eqos->clk_master_bus);
 687         if (clk_valid(&eqos->clk_ck))
 688                 clk_disable(&eqos->clk_ck);
 689 #endif
 690
 691         debug("%s: OK\n", __func__);
 692 }
 693
 694 static void eqos_stop_clks_imx(struct udevice *dev)
 695 {
 696         /* empty */
 697 }
 698
 699 static int eqos_start_resets_tegra186(struct udevice *dev)
 700 {
 701         struct eqos_priv *eqos = dev_get_priv(dev);
 702         int ret;
 703
 704         debug("%s(dev=%p):\n", __func__, dev);
 705
 706         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 707         if (ret < 0) {
 708                 pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d", ret);
 709                 return ret;
 710         }
 711
 712         udelay(2);
 713
 714         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 0);
 715         if (ret < 0) {
 716                 pr_err("dm_gpio_set_value(phy_reset, deassert) failed: %d", ret);
 717                 return ret;
 718         }
 719
 720         ret = reset_assert(&eqos->reset_ctl);
 721         if (ret < 0) {
 722                 pr_err("reset_assert() failed: %d", ret);
 723                 return ret;
 724         }
 725
 726         udelay(2);
 727
 728         ret = reset_deassert(&eqos->reset_ctl);
 729         if (ret < 0) {
 730                 pr_err("reset_deassert() failed: %d", ret);
 731                 return ret;
 732         }
 733
 734         debug("%s: OK\n", __func__);
 735         return 0;
 736 }
 737
 738 static int eqos_start_resets_stm32(struct udevice *dev)
 739 {
 740         struct eqos_priv *eqos = dev_get_priv(dev);
 741         int ret;
 742
 743         debug("%s(dev=%p):\n", __func__, dev);
 744         if (dm_gpio_is_valid(&eqos->phy_reset_gpio)) {
 745                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 746                 if (ret < 0) {
 747                         pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d",
 748                                ret);
 749                         return ret;
 750                 }
 751
 752                 udelay(2);
 753
 754                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 0);
 755                 if (ret < 0) {
 756                         pr_err("dm_gpio_set_value(phy_reset, deassert) failed: %d",
 757                                ret);
 758                         return ret;
 759                 }
 760         }
 761         debug("%s: OK\n", __func__);
 762
 763         return 0;
 764 }
 765
 766 static int eqos_start_resets_imx(struct udevice *dev)
 767 {
 768         return 0;
 769 }
 770
 771 static int eqos_stop_resets_tegra186(struct udevice *dev)
 772 {
 773         struct eqos_priv *eqos = dev_get_priv(dev);
 774
 775         reset_assert(&eqos->reset_ctl);
 776         dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 777
 778         return 0;
 779 }
 780
 781 static int eqos_stop_resets_stm32(struct udevice *dev)
 782 {
 783         struct eqos_priv *eqos = dev_get_priv(dev);
 784         int ret;
 785
 786         if (dm_gpio_is_valid(&eqos->phy_reset_gpio)) {
 787                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 788                 if (ret < 0) {
 789                         pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d",
 790                                ret);
 791                         return ret;
 792                 }
 793         }
 794
 795         return 0;
 796 }
 797
 798 static int eqos_stop_resets_imx(struct udevice *dev)
 799 {
 800         return 0;
 801 }
 802
 803 static int eqos_calibrate_pads_tegra186(struct udevice *dev)
 804 {
 805         struct eqos_priv *eqos = dev_get_priv(dev);
 806         int ret;
 807
 808         debug("%s(dev=%p):\n", __func__, dev);
 809
 810         setbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 811                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 812
 813         udelay(1);
 814
 815         setbits_le32(&eqos->tegra186_regs->auto_cal_config,
 816                      EQOS_AUTO_CAL_CONFIG_START | EQOS_AUTO_CAL_CONFIG_ENABLE);
 817
 818         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 819                                 EQOS_AUTO_CAL_STATUS_ACTIVE, true, 10, false);
 820         if (ret) {
 821                 pr_err("calibrate didn't start");
 822                 goto failed;
 823         }
 824
 825         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 826                                 EQOS_AUTO_CAL_STATUS_ACTIVE, false, 10, false);
 827         if (ret) {
 828                 pr_err("calibrate didn't finish");
 829                 goto failed;
 830         }
 831
 832         ret = 0;
 833
 834 failed:
 835         clrbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 836                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 837
 838         debug("%s: returns %d\n", __func__, ret);
 839
 840         return ret;
 841 }
 842
 843 static int eqos_disable_calibration_tegra186(struct udevice *dev)
 844 {
 845         struct eqos_priv *eqos = dev_get_priv(dev);
 846
 847         debug("%s(dev=%p):\n", __func__, dev);
 848
 849         clrbits_le32(&eqos->tegra186_regs->auto_cal_config,
 850                      EQOS_AUTO_CAL_CONFIG_ENABLE);
 851
 852         return 0;
 853 }
 854
 855 static ulong eqos_get_tick_clk_rate_tegra186(struct udevice *dev)
 856 {
 857 #ifdef CONFIG_CLK
 858         struct eqos_priv *eqos = dev_get_priv(dev);
 859
 860         return clk_get_rate(&eqos->clk_slave_bus);
 861 #else
 862         return 0;
 863 #endif
 864 }
 865
 866 static ulong eqos_get_tick_clk_rate_stm32(struct udevice *dev)
 867 {
 868 #ifdef CONFIG_CLK
 869         struct eqos_priv *eqos = dev_get_priv(dev);
 870
 871         return clk_get_rate(&eqos->clk_master_bus);
 872 #else
 873         return 0;
 874 #endif
 875 }
 876
 877 __weak u32 imx_get_eqos_csr_clk(void)
 878 {
 879         return 100 * 1000000;
 880 }
 881 __weak int imx_eqos_txclk_set_rate(unsigned long rate)
 882 {
 883         return 0;
 884 }
 885
 886 static ulong eqos_get_tick_clk_rate_imx(struct udevice *dev)
 887 {
 888         return imx_get_eqos_csr_clk();
 889 }
 890
 891 static int eqos_calibrate_pads_stm32(struct udevice *dev)
 892 {
 893         return 0;
 894 }
 895
 896 static int eqos_calibrate_pads_imx(struct udevice *dev)
 897 {
 898         return 0;
 899 }
 900
 901 static int eqos_disable_calibration_stm32(struct udevice *dev)
 902 {
 903         return 0;
 904 }
 905
 906 static int eqos_disable_calibration_imx(struct udevice *dev)
 907 {
 908         return 0;
 909 }
 910
 911 static int eqos_set_full_duplex(struct udevice *dev)
 912 {
 913         struct eqos_priv *eqos = dev_get_priv(dev);
 914
 915         debug("%s(dev=%p):\n", __func__, dev);
 916
 917         setbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 918
 919         return 0;
 920 }
 921
 922 static int eqos_set_half_duplex(struct udevice *dev)
 923 {
 924         struct eqos_priv *eqos = dev_get_priv(dev);
 925
 926         debug("%s(dev=%p):\n", __func__, dev);
 927
 928         clrbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 929
 930         /* WAR: Flush TX queue when switching to half-duplex */
 931         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
 932                      EQOS_MTL_TXQ0_OPERATION_MODE_FTQ);
 933
 934         return 0;
 935 }
 936
 937 static int eqos_set_gmii_speed(struct udevice *dev)
 938 {
 939         struct eqos_priv *eqos = dev_get_priv(dev);
 940
 941         debug("%s(dev=%p):\n", __func__, dev);
 942
 943         clrbits_le32(&eqos->mac_regs->configuration,
 944                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 945
 946         return 0;
 947 }
 948
 949 static int eqos_set_mii_speed_100(struct udevice *dev)
 950 {
 951         struct eqos_priv *eqos = dev_get_priv(dev);
 952
 953         debug("%s(dev=%p):\n", __func__, dev);
 954
 955         setbits_le32(&eqos->mac_regs->configuration,
 956                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 957
 958         return 0;
 959 }
 960
 961 static int eqos_set_mii_speed_10(struct udevice *dev)
 962 {
 963         struct eqos_priv *eqos = dev_get_priv(dev);
 964
 965         debug("%s(dev=%p):\n", __func__, dev);
 966
 967         clrsetbits_le32(&eqos->mac_regs->configuration,
 968                         EQOS_MAC_CONFIGURATION_FES, EQOS_MAC_CONFIGURATION_PS);
 969
 970         return 0;
 971 }
 972
 973 static int eqos_set_tx_clk_speed_tegra186(struct udevice *dev)
 974 {
 975 #ifdef CONFIG_CLK
 976         struct eqos_priv *eqos = dev_get_priv(dev);
 977         ulong rate;
 978         int ret;
 979
 980         debug("%s(dev=%p):\n", __func__, dev);
 981
 982         switch (eqos->phy->speed) {
 983         case SPEED_1000:
 984                 rate = 125 * 1000 * 1000;
 985                 break;
 986         case SPEED_100:
 987                 rate = 25 * 1000 * 1000;
 988                 break;
 989         case SPEED_10:
 990                 rate = 2.5 * 1000 * 1000;
 991                 break;
 992         default:
 993                 pr_err("invalid speed %d", eqos->phy->speed);
 994                 return -EINVAL;
 995         }
 996
 997         ret = clk_set_rate(&eqos->clk_tx, rate);
 998         if (ret < 0) {
 999                 pr_err("clk_set_rate(tx_clk, %lu) failed: %d", rate, ret);
1000                 return ret;
1001         }
1002 #endif
1003
1004         return 0;
1005 }
1006
1007 static int eqos_set_tx_clk_speed_stm32(struct udevice *dev)
1008 {
1009         return 0;
1010 }
1011
1012 static int eqos_set_tx_clk_speed_imx(struct udevice *dev)
1013 {
1014         struct eqos_priv *eqos = dev_get_priv(dev);
1015         ulong rate;
1016         int ret;
1017
1018         debug("%s(dev=%p):\n", __func__, dev);
1019
1020         switch (eqos->phy->speed) {
1021         case SPEED_1000:
1022                 rate = 125 * 1000 * 1000;
1023                 break;
1024         case SPEED_100:
1025                 rate = 25 * 1000 * 1000;
1026                 break;
1027         case SPEED_10:
1028                 rate = 2.5 * 1000 * 1000;
1029                 break;
1030         default:
1031                 pr_err("invalid speed %d", eqos->phy->speed);
1032                 return -EINVAL;
1033         }
1034
1035         ret = imx_eqos_txclk_set_rate(rate);
1036         if (ret < 0) {
1037                 pr_err("imx (tx_clk, %lu) failed: %d", rate, ret);
1038                 return ret;
1039         }
1040
1041         return 0;
1042 }
1043
1044 static int eqos_adjust_link(struct udevice *dev)
1045 {
1046         struct eqos_priv *eqos = dev_get_priv(dev);
1047         int ret;
1048         bool en_calibration;
1049
1050         debug("%s(dev=%p):\n", __func__, dev);
1051
1052         if (eqos->phy->duplex)
1053                 ret = eqos_set_full_duplex(dev);
1054         else
1055                 ret = eqos_set_half_duplex(dev);
1056         if (ret < 0) {
1057                 pr_err("eqos_set_*_duplex() failed: %d", ret);
1058                 return ret;
1059         }
1060
1061         switch (eqos->phy->speed) {
1062         case SPEED_1000:
1063                 en_calibration = true;
1064                 ret = eqos_set_gmii_speed(dev);
1065                 break;
1066         case SPEED_100:
1067                 en_calibration = true;
1068                 ret = eqos_set_mii_speed_100(dev);
1069                 break;
1070         case SPEED_10:
1071                 en_calibration = false;
1072                 ret = eqos_set_mii_speed_10(dev);
1073                 break;
1074         default:
1075                 pr_err("invalid speed %d", eqos->phy->speed);
1076                 return -EINVAL;
1077         }
1078         if (ret < 0) {
1079                 pr_err("eqos_set_*mii_speed*() failed: %d", ret);
1080                 return ret;
1081         }
1082
1083         if (en_calibration) {
1084                 ret = eqos->config->ops->eqos_calibrate_pads(dev);
1085                 if (ret < 0) {
1086                         pr_err("eqos_calibrate_pads() failed: %d",
1087                                ret);
1088                         return ret;
1089                 }
1090         } else {
1091                 ret = eqos->config->ops->eqos_disable_calibration(dev);
1092                 if (ret < 0) {
1093                         pr_err("eqos_disable_calibration() failed: %d",
1094                                ret);
1095                         return ret;
1096                 }
1097         }
1098         ret = eqos->config->ops->eqos_set_tx_clk_speed(dev);
1099         if (ret < 0) {
1100                 pr_err("eqos_set_tx_clk_speed() failed: %d", ret);
1101                 return ret;
1102         }
1103
1104         return 0;
1105 }
1106
1107 static int eqos_write_hwaddr(struct udevice *dev)
1108 {
1109         struct eth_pdata *plat = dev_get_platdata(dev);
1110         struct eqos_priv *eqos = dev_get_priv(dev);
1111         uint32_t val;
1112
1113         /*
1114          * This function may be called before start() or after stop(). At that
1115          * time, on at least some configurations of the EQoS HW, all clocks to
1116          * the EQoS HW block will be stopped, and a reset signal applied. If
1117          * any register access is attempted in this state, bus timeouts or CPU
1118          * hangs may occur. This check prevents that.
1119          *
1120          * A simple solution to this problem would be to not implement
1121          * write_hwaddr(), since start() always writes the MAC address into HW
1122          * anyway. However, it is desirable to implement write_hwaddr() to
1123          * support the case of SW that runs subsequent to U-Boot which expects
1124          * the MAC address to already be programmed into the EQoS registers,
1125          * which must happen irrespective of whether the U-Boot user (or
1126          * scripts) actually made use of the EQoS device, and hence
1127          * irrespective of whether start() was ever called.
1128          *
1129          * Note that this requirement by subsequent SW is not valid for
1130          * Tegra186, and is likely not valid for any non-PCI instantiation of
1131          * the EQoS HW block. This function is implemented solely as
1132          * future-proofing with the expectation the driver will eventually be
1133          * ported to some system where the expectation above is true.
1134          */
1135         if (!eqos->config->reg_access_always_ok && !eqos->reg_access_ok)
1136                 return 0;
1137
1138         /* Update the MAC address */
1139         val = (plat->enetaddr[5] << 8) |
1140                 (plat->enetaddr[4]);
1141         writel(val, &eqos->mac_regs->address0_high);
1142         val = (plat->enetaddr[3] << 24) |
1143                 (plat->enetaddr[2] << 16) |
1144                 (plat->enetaddr[1] << 8) |
1145                 (plat->enetaddr[0]);
1146         writel(val, &eqos->mac_regs->address0_low);
1147
1148         return 0;
1149 }
1150
1151 static int eqos_read_rom_hwaddr(struct udevice *dev)
1152 {
1153         struct eth_pdata *pdata = dev_get_platdata(dev);
1154
1155 #ifdef CONFIG_ARCH_IMX8M
1156         imx_get_mac_from_fuse(dev->req_seq, pdata->enetaddr);
1157 #endif
1158         return !is_valid_ethaddr(pdata->enetaddr);
1159 }
1160
1161 static int eqos_start(struct udevice *dev)
1162 {
1163         struct eqos_priv *eqos = dev_get_priv(dev);
1164         int ret, i;
1165         ulong rate;
1166         u32 val, tx_fifo_sz, rx_fifo_sz, tqs, rqs, pbl;
1167         ulong last_rx_desc;
1168
1169         debug("%s(dev=%p):\n", __func__, dev);
1170
1171         eqos->tx_desc_idx = 0;
1172         eqos->rx_desc_idx = 0;
1173
1174         ret = eqos->config->ops->eqos_start_clks(dev);
1175         if (ret < 0) {
1176                 pr_err("eqos_start_clks() failed: %d", ret);
1177                 goto err;
1178         }
1179
1180         ret = eqos->config->ops->eqos_start_resets(dev);
1181         if (ret < 0) {
1182                 pr_err("eqos_start_resets() failed: %d", ret);
1183                 goto err_stop_clks;
1184         }
1185
1186         udelay(10);
1187
1188         eqos->reg_access_ok = true;
1189
1190         ret = wait_for_bit_le32(&eqos->dma_regs->mode,
1191                                 EQOS_DMA_MODE_SWR, false,
1192                                 eqos->config->swr_wait, false);
1193         if (ret) {
1194                 pr_err("EQOS_DMA_MODE_SWR stuck");
1195                 goto err_stop_resets;
1196         }
1197
1198         ret = eqos->config->ops->eqos_calibrate_pads(dev);
1199         if (ret < 0) {
1200                 pr_err("eqos_calibrate_pads() failed: %d", ret);
1201                 goto err_stop_resets;
1202         }
1203         rate = eqos->config->ops->eqos_get_tick_clk_rate(dev);
1204
1205         val = (rate / 1000000) - 1;
1206         writel(val, &eqos->mac_regs->us_tic_counter);
1207
1208         /*
1209          * if PHY was already connected and configured,
1210          * don't need to reconnect/reconfigure again
1211          */
1212         if (!eqos->phy) {
1213                 int addr = -1;
1214 #ifdef CONFIG_DM_ETH_PHY
1215                 addr = eth_phy_get_addr(dev);
1216 #endif
1217 #ifdef DWC_NET_PHYADDR
1218                 addr = DWC_NET_PHYADDR;
1219 #endif
1220                 eqos->phy = phy_connect(eqos->mii, addr, dev,
1221                                         eqos->config->interface(dev));
1222                 if (!eqos->phy) {
1223                         pr_err("phy_connect() failed");
1224                         goto err_stop_resets;
1225                 }
1226
1227                 if (eqos->max_speed) {
1228                         ret = phy_set_supported(eqos->phy, eqos->max_speed);
1229                         if (ret) {
1230                                 pr_err("phy_set_supported() failed: %d", ret);
1231                                 goto err_shutdown_phy;
1232                         }
1233                 }
1234
1235                 ret = phy_config(eqos->phy);
1236                 if (ret < 0) {
1237                         pr_err("phy_config() failed: %d", ret);
1238                         goto err_shutdown_phy;
1239                 }
1240         }
1241
1242         ret = phy_startup(eqos->phy);
1243         if (ret < 0) {
1244                 pr_err("phy_startup() failed: %d", ret);
1245                 goto err_shutdown_phy;
1246         }
1247
1248         if (!eqos->phy->link) {
1249                 pr_err("No link");
1250                 goto err_shutdown_phy;
1251         }
1252
1253         ret = eqos_adjust_link(dev);
1254         if (ret < 0) {
1255                 pr_err("eqos_adjust_link() failed: %d", ret);
1256                 goto err_shutdown_phy;
1257         }
1258
1259         /* Configure MTL */
1260         writel(0x60, &eqos->mtl_regs->txq0_quantum_weight - 0x100);
1261
1262         /* Enable Store and Forward mode for TX */
1263         /* Program Tx operating mode */
1264         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
1265                      EQOS_MTL_TXQ0_OPERATION_MODE_TSF |
1266                      (EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_ENABLED <<
1267                       EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_SHIFT));
1268
1269         /* Transmit Queue weight */
1270         writel(0x10, &eqos->mtl_regs->txq0_quantum_weight);
1271
1272         /* Enable Store and Forward mode for RX, since no jumbo frame */
1273         setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1274                      EQOS_MTL_RXQ0_OPERATION_MODE_RSF |
1275                      EQOS_MTL_RXQ0_OPERATION_MODE_FEP |
1276                      EQOS_MTL_RXQ0_OPERATION_MODE_FUP);
1277
1278         /* Transmit/Receive queue fifo size; use all RAM for 1 queue */
1279         val = readl(&eqos->mac_regs->hw_feature1);
1280         tx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_SHIFT) &
1281                 EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_MASK;
1282         rx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_SHIFT) &
1283                 EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_MASK;
1284
1285         /*
1286          * r/tx_fifo_sz is encoded as log2(n / 128). Undo that by shifting.
1287          * r/tqs is encoded as (n / 256) - 1.
1288          */
1289         tqs = (128 << tx_fifo_sz) / 256 - 1;
1290         rqs = (128 << rx_fifo_sz) / 256 - 1;
1291
1292         clrsetbits_le32(&eqos->mtl_regs->txq0_operation_mode,
1293                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_MASK <<
1294                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT,
1295                         tqs << EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT);
1296         clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1297                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_MASK <<
1298                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT,
1299                         rqs << EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT);
1300
1301         /* Flow control used only if each channel gets 4KB or more FIFO */
1302         if (rqs >= ((4096 / 256) - 1)) {
1303                 u32 rfd, rfa;
1304
1305                 setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1306                              EQOS_MTL_RXQ0_OPERATION_MODE_EHFC);
1307
1308                 /*
1309                  * Set Threshold for Activating Flow Contol space for min 2
1310                  * frames ie, (1500 * 1) = 1500 bytes.
1311                  *
1312                  * Set Threshold for Deactivating Flow Contol for space of
1313                  * min 1 frame (frame size 1500bytes) in receive fifo
1314                  */
1315                 if (rqs == ((4096 / 256) - 1)) {
1316                         /*
1317                          * This violates the above formula because of FIFO size
1318                          * limit therefore overflow may occur inspite of this.
1319                          */
1320                         rfd = 0x3;      /* Full-3K */
1321                         rfa = 0x1;      /* Full-1.5K */
1322                 } else if (rqs == ((8192 / 256) - 1)) {
1323                         rfd = 0x6;      /* Full-4K */
1324                         rfa = 0xa;      /* Full-6K */
1325                 } else if (rqs == ((16384 / 256) - 1)) {
1326                         rfd = 0x6;      /* Full-4K */
1327                         rfa = 0x12;     /* Full-10K */
1328                 } else {
1329                         rfd = 0x6;      /* Full-4K */
1330                         rfa = 0x1E;     /* Full-16K */
1331                 }
1332
1333                 clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1334                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFD_MASK <<
1335                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
1336                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFA_MASK <<
1337                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT),
1338                                 (rfd <<
1339                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
1340                                 (rfa <<
1341                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT));
1342         }
1343
1344         /* Configure MAC */
1345
1346         clrsetbits_le32(&eqos->mac_regs->rxq_ctrl0,
1347                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK <<
1348                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT,
1349                         eqos->config->config_mac <<
1350                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT);
1351
1352         clrsetbits_le32(&eqos->mac_regs->rxq_ctrl0,
1353                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK <<
1354                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT,
1355                         0x2 <<
1356                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT);
1357
1358         /* Multicast and Broadcast Queue Enable */
1359         setbits_le32(&eqos->mac_regs->unused_0a4,
1360                      0x00100000);
1361         /* enable promise mode */
1362         setbits_le32(&eqos->mac_regs->unused_004[1],
1363                      0x1);
1364
1365         /* Set TX flow control parameters */
1366         /* Set Pause Time */
1367         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
1368                      0xffff << EQOS_MAC_Q0_TX_FLOW_CTRL_PT_SHIFT);
1369         /* Assign priority for TX flow control */
1370         clrbits_le32(&eqos->mac_regs->txq_prty_map0,
1371                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_MASK <<
1372                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_SHIFT);
1373         /* Assign priority for RX flow control */
1374         clrbits_le32(&eqos->mac_regs->rxq_ctrl2,
1375                      EQOS_MAC_RXQ_CTRL2_PSRQ0_MASK <<
1376                      EQOS_MAC_RXQ_CTRL2_PSRQ0_SHIFT);
1377         /* Enable flow control */
1378         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
1379                      EQOS_MAC_Q0_TX_FLOW_CTRL_TFE);
1380         setbits_le32(&eqos->mac_regs->rx_flow_ctrl,
1381                      EQOS_MAC_RX_FLOW_CTRL_RFE);
1382
1383         clrsetbits_le32(&eqos->mac_regs->configuration,
1384                         EQOS_MAC_CONFIGURATION_GPSLCE |
1385                         EQOS_MAC_CONFIGURATION_WD |
1386                         EQOS_MAC_CONFIGURATION_JD |
1387                         EQOS_MAC_CONFIGURATION_JE,
1388                         EQOS_MAC_CONFIGURATION_CST |
1389                         EQOS_MAC_CONFIGURATION_ACS);
1390
1391         eqos_write_hwaddr(dev);
1392
1393         /* Configure DMA */
1394
1395         /* Enable OSP mode */
1396         setbits_le32(&eqos->dma_regs->ch0_tx_control,
1397                      EQOS_DMA_CH0_TX_CONTROL_OSP);
1398
1399         /* RX buffer size. Must be a multiple of bus width */
1400         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
1401                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_MASK <<
1402                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT,
1403                         EQOS_MAX_PACKET_SIZE <<
1404                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT);
1405
1406         setbits_le32(&eqos->dma_regs->ch0_control,
1407                      EQOS_DMA_CH0_CONTROL_PBLX8);
1408
1409         /*
1410          * Burst length must be < 1/2 FIFO size.
1411          * FIFO size in tqs is encoded as (n / 256) - 1.
1412          * Each burst is n * 8 (PBLX8) * 16 (AXI width) == 128 bytes.
1413          * Half of n * 256 is n * 128, so pbl == tqs, modulo the -1.
1414          */
1415         pbl = tqs + 1;
1416         if (pbl > 32)
1417                 pbl = 32;
1418         clrsetbits_le32(&eqos->dma_regs->ch0_tx_control,
1419                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_MASK <<
1420                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT,
1421                         pbl << EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT);
1422
1423         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
1424                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_MASK <<
1425                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT,
1426                         8 << EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT);
1427
1428         /* DMA performance configuration */
1429         val = (2 << EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_SHIFT) |
1430                 EQOS_DMA_SYSBUS_MODE_EAME | EQOS_DMA_SYSBUS_MODE_BLEN16 |
1431                 EQOS_DMA_SYSBUS_MODE_BLEN8 | EQOS_DMA_SYSBUS_MODE_BLEN4;
1432         writel(val, &eqos->dma_regs->sysbus_mode);
1433
1434         /* Set up descriptors */
1435
1436         memset(eqos->descs, 0, EQOS_DESCRIPTORS_SIZE);
1437         for (i = 0; i < EQOS_DESCRIPTORS_RX; i++) {
1438                 struct eqos_desc *rx_desc = &(eqos->rx_descs[i]);
1439                 rx_desc->des0 = (u32)(ulong)(eqos->rx_dma_buf +
1440                                              (i * EQOS_MAX_PACKET_SIZE));
1441                 rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1442                 mb();
1443                 eqos->config->ops->eqos_flush_desc(rx_desc);
1444                 eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf +
1445                                                 (i * EQOS_MAX_PACKET_SIZE),
1446                                                 EQOS_MAX_PACKET_SIZE);
1447         }
1448
1449         writel(0, &eqos->dma_regs->ch0_txdesc_list_haddress);
1450         writel((ulong)eqos->tx_descs, &eqos->dma_regs->ch0_txdesc_list_address);
1451         writel(EQOS_DESCRIPTORS_TX - 1,
1452                &eqos->dma_regs->ch0_txdesc_ring_length);
1453
1454         writel(0, &eqos->dma_regs->ch0_rxdesc_list_haddress);
1455         writel((ulong)eqos->rx_descs, &eqos->dma_regs->ch0_rxdesc_list_address);
1456         writel(EQOS_DESCRIPTORS_RX - 1,
1457                &eqos->dma_regs->ch0_rxdesc_ring_length);
1458
1459         /* Enable everything */
1460         setbits_le32(&eqos->dma_regs->ch0_tx_control,
1461                      EQOS_DMA_CH0_TX_CONTROL_ST);
1462         setbits_le32(&eqos->dma_regs->ch0_rx_control,
1463                      EQOS_DMA_CH0_RX_CONTROL_SR);
1464         setbits_le32(&eqos->mac_regs->configuration,
1465                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1466
1467         /* TX tail pointer not written until we need to TX a packet */
1468         /*
1469          * Point RX tail pointer at last descriptor. Ideally, we'd point at the
1470          * first descriptor, implying all descriptors were available. However,
1471          * that's not distinguishable from none of the descriptors being
1472          * available.
1473          */
1474         last_rx_desc = (ulong)&(eqos->rx_descs[(EQOS_DESCRIPTORS_RX - 1)]);
1475         writel(last_rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1476
1477         eqos->started = true;
1478
1479         debug("%s: OK\n", __func__);
1480         return 0;
1481
1482 err_shutdown_phy:
1483         phy_shutdown(eqos->phy);
1484 err_stop_resets:
1485         eqos->config->ops->eqos_stop_resets(dev);
1486 err_stop_clks:
1487         eqos->config->ops->eqos_stop_clks(dev);
1488 err:
1489         pr_err("FAILED: %d", ret);
1490         return ret;
1491 }
1492
1493 static void eqos_stop(struct udevice *dev)
1494 {
1495         struct eqos_priv *eqos = dev_get_priv(dev);
1496         int i;
1497
1498         debug("%s(dev=%p):\n", __func__, dev);
1499
1500         if (!eqos->started)
1501                 return;
1502         eqos->started = false;
1503         eqos->reg_access_ok = false;
1504
1505         /* Disable TX DMA */
1506         clrbits_le32(&eqos->dma_regs->ch0_tx_control,
1507                      EQOS_DMA_CH0_TX_CONTROL_ST);
1508
1509         /* Wait for TX all packets to drain out of MTL */
1510         for (i = 0; i < 1000000; i++) {
1511                 u32 val = readl(&eqos->mtl_regs->txq0_debug);
1512                 u32 trcsts = (val >> EQOS_MTL_TXQ0_DEBUG_TRCSTS_SHIFT) &
1513                         EQOS_MTL_TXQ0_DEBUG_TRCSTS_MASK;
1514                 u32 txqsts = val & EQOS_MTL_TXQ0_DEBUG_TXQSTS;
1515                 if ((trcsts != 1) && (!txqsts))
1516                         break;
1517         }
1518
1519         /* Turn off MAC TX and RX */
1520         clrbits_le32(&eqos->mac_regs->configuration,
1521                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1522
1523         /* Wait for all RX packets to drain out of MTL */
1524         for (i = 0; i < 1000000; i++) {
1525                 u32 val = readl(&eqos->mtl_regs->rxq0_debug);
1526                 u32 prxq = (val >> EQOS_MTL_RXQ0_DEBUG_PRXQ_SHIFT) &
1527                         EQOS_MTL_RXQ0_DEBUG_PRXQ_MASK;
1528                 u32 rxqsts = (val >> EQOS_MTL_RXQ0_DEBUG_RXQSTS_SHIFT) &
1529                         EQOS_MTL_RXQ0_DEBUG_RXQSTS_MASK;
1530                 if ((!prxq) && (!rxqsts))
1531                         break;
1532         }
1533
1534         /* Turn off RX DMA */
1535         clrbits_le32(&eqos->dma_regs->ch0_rx_control,
1536                      EQOS_DMA_CH0_RX_CONTROL_SR);
1537
1538         if (eqos->phy) {
1539                 phy_shutdown(eqos->phy);
1540         }
1541         eqos->config->ops->eqos_stop_resets(dev);
1542         eqos->config->ops->eqos_stop_clks(dev);
1543
1544         debug("%s: OK\n", __func__);
1545 }
1546
1547 static int eqos_send(struct udevice *dev, void *packet, int length)
1548 {
1549         struct eqos_priv *eqos = dev_get_priv(dev);
1550         struct eqos_desc *tx_desc;
1551         int i;
1552
1553         debug("%s(dev=%p, packet=%p, length=%d):\n", __func__, dev, packet,
1554               length);
1555
1556         memcpy(eqos->tx_dma_buf, packet, length);
1557         eqos->config->ops->eqos_flush_buffer(eqos->tx_dma_buf, length);
1558
1559         tx_desc = &(eqos->tx_descs[eqos->tx_desc_idx]);
1560         eqos->tx_desc_idx++;
1561         eqos->tx_desc_idx %= EQOS_DESCRIPTORS_TX;
1562
1563         tx_desc->des0 = (ulong)eqos->tx_dma_buf;
1564         tx_desc->des1 = 0;
1565         tx_desc->des2 = length;
1566         /*
1567          * Make sure that if HW sees the _OWN write below, it will see all the
1568          * writes to the rest of the descriptor too.
1569          */
1570         mb();
1571         tx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_FD | EQOS_DESC3_LD | length;
1572         eqos->config->ops->eqos_flush_desc(tx_desc);
1573
1574         writel((ulong)(&(eqos->tx_descs[eqos->tx_desc_idx])),
1575                 &eqos->dma_regs->ch0_txdesc_tail_pointer);
1576
1577         for (i = 0; i < 1000000; i++) {
1578                 eqos->config->ops->eqos_inval_desc(tx_desc);
1579                 if (!(readl(&tx_desc->des3) & EQOS_DESC3_OWN))
1580                         return 0;
1581                 udelay(1);
1582         }
1583
1584         debug("%s: TX timeout\n", __func__);
1585
1586         return -ETIMEDOUT;
1587 }
1588
1589 static int eqos_recv(struct udevice *dev, int flags, uchar **packetp)
1590 {
1591         struct eqos_priv *eqos = dev_get_priv(dev);
1592         struct eqos_desc *rx_desc;
1593         int length;
1594
1595         debug("%s(dev=%p, flags=%x):\n", __func__, dev, flags);
1596
1597         rx_desc = &(eqos->rx_descs[eqos->rx_desc_idx]);
1598         eqos->config->ops->eqos_inval_desc(rx_desc);
1599         if (rx_desc->des3 & EQOS_DESC3_OWN) {
1600                 debug("%s: RX packet not available\n", __func__);
1601                 return -EAGAIN;
1602         }
1603
1604         *packetp = eqos->rx_dma_buf +
1605                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1606         length = rx_desc->des3 & 0x7fff;
1607         debug("%s: *packetp=%p, length=%d\n", __func__, *packetp, length);
1608
1609         eqos->config->ops->eqos_inval_buffer(*packetp, length);
1610
1611         return length;
1612 }
1613
1614 static int eqos_free_pkt(struct udevice *dev, uchar *packet, int length)
1615 {
1616         struct eqos_priv *eqos = dev_get_priv(dev);
1617         uchar *packet_expected;
1618         struct eqos_desc *rx_desc;
1619
1620         debug("%s(packet=%p, length=%d)\n", __func__, packet, length);
1621
1622         packet_expected = eqos->rx_dma_buf +
1623                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1624         if (packet != packet_expected) {
1625                 debug("%s: Unexpected packet (expected %p)\n", __func__,
1626                       packet_expected);
1627                 return -EINVAL;
1628         }
1629
1630         eqos->config->ops->eqos_inval_buffer(packet, length);
1631
1632         rx_desc = &(eqos->rx_descs[eqos->rx_desc_idx]);
1633
1634         rx_desc->des0 = 0;
1635         mb();
1636         eqos->config->ops->eqos_flush_desc(rx_desc);
1637         eqos->config->ops->eqos_inval_buffer(packet, length);
1638         rx_desc->des0 = (u32)(ulong)packet;
1639         rx_desc->des1 = 0;
1640         rx_desc->des2 = 0;
1641         /*
1642          * Make sure that if HW sees the _OWN write below, it will see all the
1643          * writes to the rest of the descriptor too.
1644          */
1645         mb();
1646         rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1647         eqos->config->ops->eqos_flush_desc(rx_desc);
1648
1649         writel((ulong)rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1650
1651         eqos->rx_desc_idx++;
1652         eqos->rx_desc_idx %= EQOS_DESCRIPTORS_RX;
1653
1654         return 0;
1655 }
1656
1657 static int eqos_probe_resources_core(struct udevice *dev)
1658 {
1659         struct eqos_priv *eqos = dev_get_priv(dev);
1660         int ret;
1661
1662         debug("%s(dev=%p):\n", __func__, dev);
1663
1664         eqos->descs = eqos_alloc_descs(EQOS_DESCRIPTORS_TX +
1665                                        EQOS_DESCRIPTORS_RX);
1666         if (!eqos->descs) {
1667                 debug("%s: eqos_alloc_descs() failed\n", __func__);
1668                 ret = -ENOMEM;
1669                 goto err;
1670         }
1671         eqos->tx_descs = (struct eqos_desc *)eqos->descs;
1672         eqos->rx_descs = (eqos->tx_descs + EQOS_DESCRIPTORS_TX);
1673         debug("%s: tx_descs=%p, rx_descs=%p\n", __func__, eqos->tx_descs,
1674               eqos->rx_descs);
1675
1676         eqos->tx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_MAX_PACKET_SIZE);
1677         if (!eqos->tx_dma_buf) {
1678                 debug("%s: memalign(tx_dma_buf) failed\n", __func__);
1679                 ret = -ENOMEM;
1680                 goto err_free_descs;
1681         }
1682         debug("%s: tx_dma_buf=%p\n", __func__, eqos->tx_dma_buf);
1683
1684         eqos->rx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_RX_BUFFER_SIZE);
1685         if (!eqos->rx_dma_buf) {
1686                 debug("%s: memalign(rx_dma_buf) failed\n", __func__);
1687                 ret = -ENOMEM;
1688                 goto err_free_tx_dma_buf;
1689         }
1690         debug("%s: rx_dma_buf=%p\n", __func__, eqos->rx_dma_buf);
1691
1692         eqos->rx_pkt = malloc(EQOS_MAX_PACKET_SIZE);
1693         if (!eqos->rx_pkt) {
1694                 debug("%s: malloc(rx_pkt) failed\n", __func__);
1695                 ret = -ENOMEM;
1696                 goto err_free_rx_dma_buf;
1697         }
1698         debug("%s: rx_pkt=%p\n", __func__, eqos->rx_pkt);
1699
1700         eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf,
1701                         EQOS_MAX_PACKET_SIZE * EQOS_DESCRIPTORS_RX);
1702
1703         debug("%s: OK\n", __func__);
1704         return 0;
1705
1706 err_free_rx_dma_buf:
1707         free(eqos->rx_dma_buf);
1708 err_free_tx_dma_buf:
1709         free(eqos->tx_dma_buf);
1710 err_free_descs:
1711         eqos_free_descs(eqos->descs);
1712 err:
1713
1714         debug("%s: returns %d\n", __func__, ret);
1715         return ret;
1716 }
1717
1718 static int eqos_remove_resources_core(struct udevice *dev)
1719 {
1720         struct eqos_priv *eqos = dev_get_priv(dev);
1721
1722         debug("%s(dev=%p):\n", __func__, dev);
1723
1724         free(eqos->rx_pkt);
1725         free(eqos->rx_dma_buf);
1726         free(eqos->tx_dma_buf);
1727         eqos_free_descs(eqos->descs);
1728
1729         debug("%s: OK\n", __func__);
1730         return 0;
1731 }
1732
1733 static int eqos_probe_resources_tegra186(struct udevice *dev)
1734 {
1735         struct eqos_priv *eqos = dev_get_priv(dev);
1736         int ret;
1737
1738         debug("%s(dev=%p):\n", __func__, dev);
1739
1740         ret = reset_get_by_name(dev, "eqos", &eqos->reset_ctl);
1741         if (ret) {
1742                 pr_err("reset_get_by_name(rst) failed: %d", ret);
1743                 return ret;
1744         }
1745
1746         ret = gpio_request_by_name(dev, "phy-reset-gpios", 0,
1747                                    &eqos->phy_reset_gpio,
1748                                    GPIOD_IS_OUT | GPIOD_IS_OUT_ACTIVE);
1749         if (ret) {
1750                 pr_err("gpio_request_by_name(phy reset) failed: %d", ret);
1751                 goto err_free_reset_eqos;
1752         }
1753
1754         ret = clk_get_by_name(dev, "slave_bus", &eqos->clk_slave_bus);
1755         if (ret) {
1756                 pr_err("clk_get_by_name(slave_bus) failed: %d", ret);
1757                 goto err_free_gpio_phy_reset;
1758         }
1759
1760         ret = clk_get_by_name(dev, "master_bus", &eqos->clk_master_bus);
1761         if (ret) {
1762                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1763                 goto err_free_clk_slave_bus;
1764         }
1765
1766         ret = clk_get_by_name(dev, "rx", &eqos->clk_rx);
1767         if (ret) {
1768                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1769                 goto err_free_clk_master_bus;
1770         }
1771
1772         ret = clk_get_by_name(dev, "ptp_ref", &eqos->clk_ptp_ref);
1773         if (ret) {
1774                 pr_err("clk_get_by_name(ptp_ref) failed: %d", ret);
1775                 goto err_free_clk_rx;
1776                 return ret;
1777         }
1778
1779         ret = clk_get_by_name(dev, "tx", &eqos->clk_tx);
1780         if (ret) {
1781                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1782                 goto err_free_clk_ptp_ref;
1783         }
1784
1785         debug("%s: OK\n", __func__);
1786         return 0;
1787
1788 err_free_clk_ptp_ref:
1789         clk_free(&eqos->clk_ptp_ref);
1790 err_free_clk_rx:
1791         clk_free(&eqos->clk_rx);
1792 err_free_clk_master_bus:
1793         clk_free(&eqos->clk_master_bus);
1794 err_free_clk_slave_bus:
1795         clk_free(&eqos->clk_slave_bus);
1796 err_free_gpio_phy_reset:
1797         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1798 err_free_reset_eqos:
1799         reset_free(&eqos->reset_ctl);
1800
1801         debug("%s: returns %d\n", __func__, ret);
1802         return ret;
1803 }
1804
1805 /* board-specific Ethernet Interface initializations. */
1806 __weak int board_interface_eth_init(struct udevice *dev,
1807                                     phy_interface_t interface_type)
1808 {
1809         return 0;
1810 }
1811
1812 static int eqos_probe_resources_stm32(struct udevice *dev)
1813 {
1814         struct eqos_priv *eqos = dev_get_priv(dev);
1815         int ret;
1816         phy_interface_t interface;
1817         struct ofnode_phandle_args phandle_args;
1818
1819         debug("%s(dev=%p):\n", __func__, dev);
1820
1821         interface = eqos->config->interface(dev);
1822
1823         if (interface == PHY_INTERFACE_MODE_NONE) {
1824                 pr_err("Invalid PHY interface\n");
1825                 return -EINVAL;
1826         }
1827
1828         ret = board_interface_eth_init(dev, interface);
1829         if (ret)
1830                 return -EINVAL;
1831
1832         eqos->max_speed = dev_read_u32_default(dev, "max-speed", 0);
1833
1834         ret = clk_get_by_name(dev, "stmmaceth", &eqos->clk_master_bus);
1835         if (ret) {
1836                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1837                 goto err_probe;
1838         }
1839
1840         ret = clk_get_by_name(dev, "mac-clk-rx", &eqos->clk_rx);
1841         if (ret) {
1842                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1843                 goto err_free_clk_master_bus;
1844         }
1845
1846         ret = clk_get_by_name(dev, "mac-clk-tx", &eqos->clk_tx);
1847         if (ret) {
1848                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1849                 goto err_free_clk_rx;
1850         }
1851
1852         /*  Get ETH_CLK clocks (optional) */
1853         ret = clk_get_by_name(dev, "eth-ck", &eqos->clk_ck);
1854         if (ret)
1855                 pr_warn("No phy clock provided %d", ret);
1856
1857         eqos->phyaddr = -1;
1858         ret = dev_read_phandle_with_args(dev, "phy-handle", NULL, 0, 0,
1859                                          &phandle_args);
1860         if (!ret) {
1861                 /* search "reset-gpios" in phy node */
1862                 ret = gpio_request_by_name_nodev(phandle_args.node,
1863                                                  "reset-gpios", 0,
1864                                                  &eqos->phy_reset_gpio,
1865                                                  GPIOD_IS_OUT |
1866                                                  GPIOD_IS_OUT_ACTIVE);
1867                 if (ret)
1868                         pr_warn("gpio_request_by_name(phy reset) not provided %d",
1869                                 ret);
1870
1871                 eqos->phyaddr = ofnode_read_u32_default(phandle_args.node,
1872                                                         "reg", -1);
1873         }
1874
1875         debug("%s: OK\n", __func__);
1876         return 0;
1877
1878 err_free_clk_rx:
1879         clk_free(&eqos->clk_rx);
1880 err_free_clk_master_bus:
1881         clk_free(&eqos->clk_master_bus);
1882 err_probe:
1883
1884         debug("%s: returns %d\n", __func__, ret);
1885         return ret;
1886 }
1887
1888 static phy_interface_t eqos_get_interface_stm32(struct udevice *dev)
1889 {
1890         const char *phy_mode;
1891         phy_interface_t interface = PHY_INTERFACE_MODE_NONE;
1892
1893         debug("%s(dev=%p):\n", __func__, dev);
1894
1895         phy_mode = fdt_getprop(gd->fdt_blob, dev_of_offset(dev), "phy-mode",
1896                                NULL);
1897         if (phy_mode)
1898                 interface = phy_get_interface_by_name(phy_mode);
1899
1900         return interface;
1901 }
1902
1903 static phy_interface_t eqos_get_interface_tegra186(struct udevice *dev)
1904 {
1905         return PHY_INTERFACE_MODE_MII;
1906 }
1907
1908 static int eqos_probe_resources_imx(struct udevice *dev)
1909 {
1910         struct eqos_priv *eqos = dev_get_priv(dev);
1911         phy_interface_t interface;
1912
1913         debug("%s(dev=%p):\n", __func__, dev);
1914
1915         interface = eqos->config->interface(dev);
1916
1917         if (interface == PHY_INTERFACE_MODE_NONE) {
1918                 pr_err("Invalid PHY interface\n");
1919                 return -EINVAL;
1920         }
1921
1922         debug("%s: OK\n", __func__);
1923         return 0;
1924 }
1925
1926 static phy_interface_t eqos_get_interface_imx(struct udevice *dev)
1927 {
1928         const char *phy_mode;
1929         phy_interface_t interface = PHY_INTERFACE_MODE_NONE;
1930
1931         debug("%s(dev=%p):\n", __func__, dev);
1932
1933         phy_mode = fdt_getprop(gd->fdt_blob, dev_of_offset(dev), "phy-mode",
1934                                NULL);
1935         if (phy_mode)
1936                 interface = phy_get_interface_by_name(phy_mode);
1937
1938         return interface;
1939 }
1940
1941 static int eqos_remove_resources_tegra186(struct udevice *dev)
1942 {
1943         struct eqos_priv *eqos = dev_get_priv(dev);
1944
1945         debug("%s(dev=%p):\n", __func__, dev);
1946
1947 #ifdef CONFIG_CLK
1948         clk_free(&eqos->clk_tx);
1949         clk_free(&eqos->clk_ptp_ref);
1950         clk_free(&eqos->clk_rx);
1951         clk_free(&eqos->clk_slave_bus);
1952         clk_free(&eqos->clk_master_bus);
1953 #endif
1954         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1955         reset_free(&eqos->reset_ctl);
1956
1957         debug("%s: OK\n", __func__);
1958         return 0;
1959 }
1960
1961 static int eqos_remove_resources_stm32(struct udevice *dev)
1962 {
1963 #ifdef CONFIG_CLK
1964         struct eqos_priv *eqos = dev_get_priv(dev);
1965
1966         debug("%s(dev=%p):\n", __func__, dev);
1967
1968         clk_free(&eqos->clk_tx);
1969         clk_free(&eqos->clk_rx);
1970         clk_free(&eqos->clk_master_bus);
1971         if (clk_valid(&eqos->clk_ck))
1972                 clk_free(&eqos->clk_ck);
1973 #endif
1974
1975         if (dm_gpio_is_valid(&eqos->phy_reset_gpio))
1976                 dm_gpio_free(dev, &eqos->phy_reset_gpio);
1977
1978         debug("%s: OK\n", __func__);
1979         return 0;
1980 }
1981
1982 static int eqos_remove_resources_imx(struct udevice *dev)
1983 {
1984         return 0;
1985 }
1986
1987 static int eqos_probe(struct udevice *dev)
1988 {
1989         struct eqos_priv *eqos = dev_get_priv(dev);
1990         int ret;
1991
1992         debug("%s(dev=%p):\n", __func__, dev);
1993
1994         eqos->dev = dev;
1995         eqos->config = (void *)dev_get_driver_data(dev);
1996
1997         eqos->regs = devfdt_get_addr(dev);
1998         if (eqos->regs == FDT_ADDR_T_NONE) {
1999                 pr_err("devfdt_get_addr() failed");
2000                 return -ENODEV;
2001         }
2002         eqos->mac_regs = (void *)(eqos->regs + EQOS_MAC_REGS_BASE);
2003         eqos->mtl_regs = (void *)(eqos->regs + EQOS_MTL_REGS_BASE);
2004         eqos->dma_regs = (void *)(eqos->regs + EQOS_DMA_REGS_BASE);
2005         eqos->tegra186_regs = (void *)(eqos->regs + EQOS_TEGRA186_REGS_BASE);
2006
2007         ret = eqos_probe_resources_core(dev);
2008         if (ret < 0) {
2009                 pr_err("eqos_probe_resources_core() failed: %d", ret);
2010                 return ret;
2011         }
2012
2013         ret = eqos->config->ops->eqos_probe_resources(dev);
2014         if (ret < 0) {
2015                 pr_err("eqos_probe_resources() failed: %d", ret);
2016                 goto err_remove_resources_core;
2017         }
2018
2019 #ifdef CONFIG_DM_ETH_PHY
2020         eqos->mii = eth_phy_get_mdio_bus(dev);
2021 #endif
2022         if (!eqos->mii) {
2023                 eqos->mii = mdio_alloc();
2024                 if (!eqos->mii) {
2025                         pr_err("mdio_alloc() failed");
2026                         ret = -ENOMEM;
2027                         goto err_remove_resources_tegra;
2028                 }
2029                 eqos->mii->read = eqos_mdio_read;
2030                 eqos->mii->write = eqos_mdio_write;
2031                 eqos->mii->priv = eqos;
2032                 strcpy(eqos->mii->name, dev->name);
2033
2034                 ret = mdio_register(eqos->mii);
2035                 if (ret < 0) {
2036                         pr_err("mdio_register() failed: %d", ret);
2037                         goto err_free_mdio;
2038                 }
2039         }
2040
2041 #ifdef CONFIG_DM_ETH_PHY
2042         eth_phy_set_mdio_bus(dev, eqos->mii);
2043 #endif
2044
2045         debug("%s: OK\n", __func__);
2046         return 0;
2047
2048 err_free_mdio:
2049         mdio_free(eqos->mii);
2050 err_remove_resources_tegra:
2051         eqos->config->ops->eqos_remove_resources(dev);
2052 err_remove_resources_core:
2053         eqos_remove_resources_core(dev);
2054
2055         debug("%s: returns %d\n", __func__, ret);
2056         return ret;
2057 }
2058
2059 static int eqos_remove(struct udevice *dev)
2060 {
2061         struct eqos_priv *eqos = dev_get_priv(dev);
2062
2063         debug("%s(dev=%p):\n", __func__, dev);
2064
2065         mdio_unregister(eqos->mii);
2066         mdio_free(eqos->mii);
2067         eqos->config->ops->eqos_remove_resources(dev);
2068
2069         eqos_probe_resources_core(dev);
2070
2071         debug("%s: OK\n", __func__);
2072         return 0;
2073 }
2074
2075 static const struct eth_ops eqos_ops = {
2076         .start = eqos_start,
2077         .stop = eqos_stop,
2078         .send = eqos_send,
2079         .recv = eqos_recv,
2080         .free_pkt = eqos_free_pkt,
2081         .write_hwaddr = eqos_write_hwaddr,
2082         .read_rom_hwaddr        = eqos_read_rom_hwaddr,
2083 };
2084
2085 static struct eqos_ops eqos_tegra186_ops = {
2086         .eqos_inval_desc = eqos_inval_desc_tegra186,
2087         .eqos_flush_desc = eqos_flush_desc_tegra186,
2088         .eqos_inval_buffer = eqos_inval_buffer_tegra186,
2089         .eqos_flush_buffer = eqos_flush_buffer_tegra186,
2090         .eqos_probe_resources = eqos_probe_resources_tegra186,
2091         .eqos_remove_resources = eqos_remove_resources_tegra186,
2092         .eqos_stop_resets = eqos_stop_resets_tegra186,
2093         .eqos_start_resets = eqos_start_resets_tegra186,
2094         .eqos_stop_clks = eqos_stop_clks_tegra186,
2095         .eqos_start_clks = eqos_start_clks_tegra186,
2096         .eqos_calibrate_pads = eqos_calibrate_pads_tegra186,
2097         .eqos_disable_calibration = eqos_disable_calibration_tegra186,
2098         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_tegra186,
2099         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_tegra186
2100 };
2101
2102 static const struct eqos_config eqos_tegra186_config = {
2103         .reg_access_always_ok = false,
2104         .mdio_wait = 10,
2105         .swr_wait = 10,
2106         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB,
2107         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_20_35,
2108         .interface = eqos_get_interface_tegra186,
2109         .ops = &eqos_tegra186_ops
2110 };
2111
2112 static struct eqos_ops eqos_stm32_ops = {
2113         .eqos_inval_desc = eqos_inval_desc_generic,
2114         .eqos_flush_desc = eqos_flush_desc_generic,
2115         .eqos_inval_buffer = eqos_inval_buffer_generic,
2116         .eqos_flush_buffer = eqos_flush_buffer_generic,
2117         .eqos_probe_resources = eqos_probe_resources_stm32,
2118         .eqos_remove_resources = eqos_remove_resources_stm32,
2119         .eqos_stop_resets = eqos_stop_resets_stm32,
2120         .eqos_start_resets = eqos_start_resets_stm32,
2121         .eqos_stop_clks = eqos_stop_clks_stm32,
2122         .eqos_start_clks = eqos_start_clks_stm32,
2123         .eqos_calibrate_pads = eqos_calibrate_pads_stm32,
2124         .eqos_disable_calibration = eqos_disable_calibration_stm32,
2125         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_stm32,
2126         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_stm32
2127 };
2128
2129 static const struct eqos_config eqos_stm32_config = {
2130         .reg_access_always_ok = false,
2131         .mdio_wait = 10000,
2132         .swr_wait = 50,
2133         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_AV,
2134         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_250_300,
2135         .interface = eqos_get_interface_stm32,
2136         .ops = &eqos_stm32_ops
2137 };
2138
2139 static struct eqos_ops eqos_imx_ops = {
2140         .eqos_inval_desc = eqos_inval_desc_generic,
2141         .eqos_flush_desc = eqos_flush_desc_generic,
2142         .eqos_inval_buffer = eqos_inval_buffer_generic,
2143         .eqos_flush_buffer = eqos_flush_buffer_generic,
2144         .eqos_probe_resources = eqos_probe_resources_imx,
2145         .eqos_remove_resources = eqos_remove_resources_imx,
2146         .eqos_stop_resets = eqos_stop_resets_imx,
2147         .eqos_start_resets = eqos_start_resets_imx,
2148         .eqos_stop_clks = eqos_stop_clks_imx,
2149         .eqos_start_clks = eqos_start_clks_imx,
2150         .eqos_calibrate_pads = eqos_calibrate_pads_imx,
2151         .eqos_disable_calibration = eqos_disable_calibration_imx,
2152         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_imx,
2153         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_imx
2154 };
2155
2156 struct eqos_config eqos_imx_config = {
2157         .reg_access_always_ok = false,
2158         .mdio_wait = 10000,
2159         .swr_wait = 50,
2160         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB,
2161         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_250_300,
2162         .interface = eqos_get_interface_imx,
2163         .ops = &eqos_imx_ops
2164 };
2165
2166 static const struct udevice_id eqos_ids[] = {
2167         {
2168                 .compatible = "nvidia,tegra186-eqos",
2169                 .data = (ulong)&eqos_tegra186_config
2170         },
2171         {
2172                 .compatible = "snps,dwmac-4.20a",
2173                 .data = (ulong)&eqos_stm32_config
2174         },
2175         {
2176                 .compatible = "fsl,imx-eqos",
2177                 .data = (ulong)&eqos_imx_config
2178         },
2179
2180         { }
2181 };
2182
2183 U_BOOT_DRIVER(eth_eqos) = {
2184         .name = "eth_eqos",
2185         .id = UCLASS_ETH,
2186         .of_match = of_match_ptr(eqos_ids),
2187         .probe = eqos_probe,
2188         .remove = eqos_remove,
2189         .ops = &eqos_ops,
2190         .priv_auto_alloc_size = sizeof(struct eqos_priv),
2191         .platdata_auto_alloc_size = sizeof(struct eth_pdata),
2192 };