drivers/net/dwc_eth_qos.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2016, NVIDIA CORPORATION.
   4  *
   5  * Portions based on U-Boot's rtl8169.c.
   6  */
   7
   8 /*
   9  * This driver supports the Synopsys Designware Ethernet QOS (Quality Of
  10  * Service) IP block. The IP supports multiple options for bus type, clocking/
  11  * reset structure, and feature list.
  12  *
  13  * The driver is written such that generic core logic is kept separate from
  14  * configuration-specific logic. Code that interacts with configuration-
  15  * specific resources is split out into separate functions to avoid polluting
  16  * common code. If/when this driver is enhanced to support multiple
  17  * configurations, the core code should be adapted to call all configuration-
  18  * specific functions through function pointers, with the definition of those
  19  * function pointers being supplied by struct udevice_id eqos_ids[]'s .data
  20  * field.
  21  *
  22  * The following configurations are currently supported:
  23  * tegra186:
  24  *    NVIDIA's Tegra186 chip. This configuration uses an AXI master/DMA bus, an
  25  *    AHB slave/register bus, contains the DMA, MTL, and MAC sub-blocks, and
  26  *    supports a single RGMII PHY. This configuration also has SW control over
  27  *    all clock and reset signals to the HW block.
  28  */
  29 #include <common.h>
  30 #include <clk.h>
  31 #include <cpu_func.h>
  32 #include <dm.h>
  33 #include <errno.h>
  34 #include <malloc.h>
  35 #include <memalign.h>
  36 #include <miiphy.h>
  37 #include <net.h>
  38 #include <netdev.h>
  39 #include <phy.h>
  40 #include <reset.h>
  41 #include <wait_bit.h>
  42 #include <asm/cache.h>
  43 #include <asm/gpio.h>
  44 #include <asm/io.h>
  45 #include <eth_phy.h>
  46 #ifdef CONFIG_ARCH_IMX8M
  47 #include <asm/arch/clock.h>
  48 #include <asm/mach-imx/sys_proto.h>
  49 #endif
  50
  51 /* Core registers */
  52
  53 #define EQOS_MAC_REGS_BASE 0x000
  54 struct eqos_mac_regs {
  55         uint32_t configuration;                         /* 0x000 */
  56         uint32_t unused_004[(0x070 - 0x004) / 4];       /* 0x004 */
  57         uint32_t q0_tx_flow_ctrl;                       /* 0x070 */
  58         uint32_t unused_070[(0x090 - 0x074) / 4];       /* 0x074 */
  59         uint32_t rx_flow_ctrl;                          /* 0x090 */
  60         uint32_t unused_094;                            /* 0x094 */
  61         uint32_t txq_prty_map0;                         /* 0x098 */
  62         uint32_t unused_09c;                            /* 0x09c */
  63         uint32_t rxq_ctrl0;                             /* 0x0a0 */
  64         uint32_t unused_0a4;                            /* 0x0a4 */
  65         uint32_t rxq_ctrl2;                             /* 0x0a8 */
  66         uint32_t unused_0ac[(0x0dc - 0x0ac) / 4];       /* 0x0ac */
  67         uint32_t us_tic_counter;                        /* 0x0dc */
  68         uint32_t unused_0e0[(0x11c - 0x0e0) / 4];       /* 0x0e0 */
  69         uint32_t hw_feature0;                           /* 0x11c */
  70         uint32_t hw_feature1;                           /* 0x120 */
  71         uint32_t hw_feature2;                           /* 0x124 */
  72         uint32_t unused_128[(0x200 - 0x128) / 4];       /* 0x128 */
  73         uint32_t mdio_address;                          /* 0x200 */
  74         uint32_t mdio_data;                             /* 0x204 */
  75         uint32_t unused_208[(0x300 - 0x208) / 4];       /* 0x208 */
  76         uint32_t address0_high;                         /* 0x300 */
  77         uint32_t address0_low;                          /* 0x304 */
  78 };
  79
  80 #define EQOS_MAC_CONFIGURATION_GPSLCE                   BIT(23)
  81 #define EQOS_MAC_CONFIGURATION_CST                      BIT(21)
  82 #define EQOS_MAC_CONFIGURATION_ACS                      BIT(20)
  83 #define EQOS_MAC_CONFIGURATION_WD                       BIT(19)
  84 #define EQOS_MAC_CONFIGURATION_JD                       BIT(17)
  85 #define EQOS_MAC_CONFIGURATION_JE                       BIT(16)
  86 #define EQOS_MAC_CONFIGURATION_PS                       BIT(15)
  87 #define EQOS_MAC_CONFIGURATION_FES                      BIT(14)
  88 #define EQOS_MAC_CONFIGURATION_DM                       BIT(13)
  89 #define EQOS_MAC_CONFIGURATION_LM                       BIT(12)
  90 #define EQOS_MAC_CONFIGURATION_TE                       BIT(1)
  91 #define EQOS_MAC_CONFIGURATION_RE                       BIT(0)
  92
  93 #define EQOS_MAC_Q0_TX_FLOW_CTRL_PT_SHIFT               16
  94 #define EQOS_MAC_Q0_TX_FLOW_CTRL_PT_MASK                0xffff
  95 #define EQOS_MAC_Q0_TX_FLOW_CTRL_TFE                    BIT(1)
  96
  97 #define EQOS_MAC_RX_FLOW_CTRL_RFE                       BIT(0)
  98
  99 #define EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_SHIFT              0
 100 #define EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_MASK               0xff
 101
 102 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT                 0
 103 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK                  3
 104 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_NOT_ENABLED           0
 105 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB           2
 106 #define EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_AV            1
 107
 108 #define EQOS_MAC_RXQ_CTRL2_PSRQ0_SHIFT                  0
 109 #define EQOS_MAC_RXQ_CTRL2_PSRQ0_MASK                   0xff
 110
 111 #define EQOS_MAC_HW_FEATURE0_MMCSEL_SHIFT               8
 112 #define EQOS_MAC_HW_FEATURE0_HDSEL_SHIFT                2
 113 #define EQOS_MAC_HW_FEATURE0_GMIISEL_SHIFT              1
 114 #define EQOS_MAC_HW_FEATURE0_MIISEL_SHIFT               0
 115
 116 #define EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_SHIFT           6
 117 #define EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_MASK            0x1f
 118 #define EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_SHIFT           0
 119 #define EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_MASK            0x1f
 120
 121 #define EQOS_MAC_HW_FEATURE3_ASP_SHIFT                  28
 122 #define EQOS_MAC_HW_FEATURE3_ASP_MASK                   0x3
 123
 124 #define EQOS_MAC_MDIO_ADDRESS_PA_SHIFT                  21
 125 #define EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT                 16
 126 #define EQOS_MAC_MDIO_ADDRESS_CR_SHIFT                  8
 127 #define EQOS_MAC_MDIO_ADDRESS_CR_20_35                  2
 128 #define EQOS_MAC_MDIO_ADDRESS_CR_250_300                5
 129 #define EQOS_MAC_MDIO_ADDRESS_SKAP                      BIT(4)
 130 #define EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT                 2
 131 #define EQOS_MAC_MDIO_ADDRESS_GOC_READ                  3
 132 #define EQOS_MAC_MDIO_ADDRESS_GOC_WRITE                 1
 133 #define EQOS_MAC_MDIO_ADDRESS_C45E                      BIT(1)
 134 #define EQOS_MAC_MDIO_ADDRESS_GB                        BIT(0)
 135
 136 #define EQOS_MAC_MDIO_DATA_GD_MASK                      0xffff
 137
 138 #define EQOS_MTL_REGS_BASE 0xd00
 139 struct eqos_mtl_regs {
 140         uint32_t txq0_operation_mode;                   /* 0xd00 */
 141         uint32_t unused_d04;                            /* 0xd04 */
 142         uint32_t txq0_debug;                            /* 0xd08 */
 143         uint32_t unused_d0c[(0xd18 - 0xd0c) / 4];       /* 0xd0c */
 144         uint32_t txq0_quantum_weight;                   /* 0xd18 */
 145         uint32_t unused_d1c[(0xd30 - 0xd1c) / 4];       /* 0xd1c */
 146         uint32_t rxq0_operation_mode;                   /* 0xd30 */
 147         uint32_t unused_d34;                            /* 0xd34 */
 148         uint32_t rxq0_debug;                            /* 0xd38 */
 149 };
 150
 151 #define EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT          16
 152 #define EQOS_MTL_TXQ0_OPERATION_MODE_TQS_MASK           0x1ff
 153 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_SHIFT        2
 154 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_MASK         3
 155 #define EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_ENABLED      2
 156 #define EQOS_MTL_TXQ0_OPERATION_MODE_TSF                BIT(1)
 157 #define EQOS_MTL_TXQ0_OPERATION_MODE_FTQ                BIT(0)
 158
 159 #define EQOS_MTL_TXQ0_DEBUG_TXQSTS                      BIT(4)
 160 #define EQOS_MTL_TXQ0_DEBUG_TRCSTS_SHIFT                1
 161 #define EQOS_MTL_TXQ0_DEBUG_TRCSTS_MASK                 3
 162
 163 #define EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT          20
 164 #define EQOS_MTL_RXQ0_OPERATION_MODE_RQS_MASK           0x3ff
 165 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT          14
 166 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFD_MASK           0x3f
 167 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT          8
 168 #define EQOS_MTL_RXQ0_OPERATION_MODE_RFA_MASK           0x3f
 169 #define EQOS_MTL_RXQ0_OPERATION_MODE_EHFC               BIT(7)
 170 #define EQOS_MTL_RXQ0_OPERATION_MODE_RSF                BIT(5)
 171 #define EQOS_MTL_RXQ0_OPERATION_MODE_FEP                BIT(4)
 172 #define EQOS_MTL_RXQ0_OPERATION_MODE_FUP                BIT(3)
 173
 174 #define EQOS_MTL_RXQ0_DEBUG_PRXQ_SHIFT                  16
 175 #define EQOS_MTL_RXQ0_DEBUG_PRXQ_MASK                   0x7fff
 176 #define EQOS_MTL_RXQ0_DEBUG_RXQSTS_SHIFT                4
 177 #define EQOS_MTL_RXQ0_DEBUG_RXQSTS_MASK                 3
 178
 179 #define EQOS_DMA_REGS_BASE 0x1000
 180 struct eqos_dma_regs {
 181         uint32_t mode;                                  /* 0x1000 */
 182         uint32_t sysbus_mode;                           /* 0x1004 */
 183         uint32_t unused_1008[(0x1100 - 0x1008) / 4];    /* 0x1008 */
 184         uint32_t ch0_control;                           /* 0x1100 */
 185         uint32_t ch0_tx_control;                        /* 0x1104 */
 186         uint32_t ch0_rx_control;                        /* 0x1108 */
 187         uint32_t unused_110c;                           /* 0x110c */
 188         uint32_t ch0_txdesc_list_haddress;              /* 0x1110 */
 189         uint32_t ch0_txdesc_list_address;               /* 0x1114 */
 190         uint32_t ch0_rxdesc_list_haddress;              /* 0x1118 */
 191         uint32_t ch0_rxdesc_list_address;               /* 0x111c */
 192         uint32_t ch0_txdesc_tail_pointer;               /* 0x1120 */
 193         uint32_t unused_1124;                           /* 0x1124 */
 194         uint32_t ch0_rxdesc_tail_pointer;               /* 0x1128 */
 195         uint32_t ch0_txdesc_ring_length;                /* 0x112c */
 196         uint32_t ch0_rxdesc_ring_length;                /* 0x1130 */
 197 };
 198
 199 #define EQOS_DMA_MODE_SWR                               BIT(0)
 200
 201 #define EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_SHIFT           16
 202 #define EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_MASK            0xf
 203 #define EQOS_DMA_SYSBUS_MODE_EAME                       BIT(11)
 204 #define EQOS_DMA_SYSBUS_MODE_BLEN16                     BIT(3)
 205 #define EQOS_DMA_SYSBUS_MODE_BLEN8                      BIT(2)
 206 #define EQOS_DMA_SYSBUS_MODE_BLEN4                      BIT(1)
 207
 208 #define EQOS_DMA_CH0_CONTROL_PBLX8                      BIT(16)
 209
 210 #define EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT             16
 211 #define EQOS_DMA_CH0_TX_CONTROL_TXPBL_MASK              0x3f
 212 #define EQOS_DMA_CH0_TX_CONTROL_OSP                     BIT(4)
 213 #define EQOS_DMA_CH0_TX_CONTROL_ST                      BIT(0)
 214
 215 #define EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT             16
 216 #define EQOS_DMA_CH0_RX_CONTROL_RXPBL_MASK              0x3f
 217 #define EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT              1
 218 #define EQOS_DMA_CH0_RX_CONTROL_RBSZ_MASK               0x3fff
 219 #define EQOS_DMA_CH0_RX_CONTROL_SR                      BIT(0)
 220
 221 /* These registers are Tegra186-specific */
 222 #define EQOS_TEGRA186_REGS_BASE 0x8800
 223 struct eqos_tegra186_regs {
 224         uint32_t sdmemcomppadctrl;                      /* 0x8800 */
 225         uint32_t auto_cal_config;                       /* 0x8804 */
 226         uint32_t unused_8808;                           /* 0x8808 */
 227         uint32_t auto_cal_status;                       /* 0x880c */
 228 };
 229
 230 #define EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD     BIT(31)
 231
 232 #define EQOS_AUTO_CAL_CONFIG_START                      BIT(31)
 233 #define EQOS_AUTO_CAL_CONFIG_ENABLE                     BIT(29)
 234
 235 #define EQOS_AUTO_CAL_STATUS_ACTIVE                     BIT(31)
 236
 237 /* Descriptors */
 238
 239 #define EQOS_DESCRIPTOR_WORDS   4
 240 #define EQOS_DESCRIPTOR_SIZE    (EQOS_DESCRIPTOR_WORDS * 4)
 241 /* We assume ARCH_DMA_MINALIGN >= 16; 16 is the EQOS HW minimum */
 242 #define EQOS_DESCRIPTOR_ALIGN   ARCH_DMA_MINALIGN
 243 #define EQOS_DESCRIPTORS_TX     4
 244 #define EQOS_DESCRIPTORS_RX     4
 245 #define EQOS_DESCRIPTORS_NUM    (EQOS_DESCRIPTORS_TX + EQOS_DESCRIPTORS_RX)
 246 #define EQOS_DESCRIPTORS_SIZE   ALIGN(EQOS_DESCRIPTORS_NUM * \
 247                                       EQOS_DESCRIPTOR_SIZE, ARCH_DMA_MINALIGN)
 248 #define EQOS_BUFFER_ALIGN       ARCH_DMA_MINALIGN
 249 #define EQOS_MAX_PACKET_SIZE    ALIGN(1568, ARCH_DMA_MINALIGN)
 250 #define EQOS_RX_BUFFER_SIZE     (EQOS_DESCRIPTORS_RX * EQOS_MAX_PACKET_SIZE)
 251
 252 /*
 253  * Warn if the cache-line size is larger than the descriptor size. In such
 254  * cases the driver will likely fail because the CPU needs to flush the cache
 255  * when requeuing RX buffers, therefore descriptors written by the hardware
 256  * may be discarded. Architectures with full IO coherence, such as x86, do not
 257  * experience this issue, and hence are excluded from this condition.
 258  *
 259  * This can be fixed by defining CONFIG_SYS_NONCACHED_MEMORY which will cause
 260  * the driver to allocate descriptors from a pool of non-cached memory.
 261  */
 262 #if EQOS_DESCRIPTOR_SIZE < ARCH_DMA_MINALIGN
 263 #if !defined(CONFIG_SYS_NONCACHED_MEMORY) && \
 264         !CONFIG_IS_ENABLED(SYS_DCACHE_OFF) && !defined(CONFIG_X86)
 265 #warning Cache line size is larger than descriptor size
 266 #endif
 267 #endif
 268
 269 struct eqos_desc {
 270         u32 des0;
 271         u32 des1;
 272         u32 des2;
 273         u32 des3;
 274 };
 275
 276 #define EQOS_DESC3_OWN          BIT(31)
 277 #define EQOS_DESC3_FD           BIT(29)
 278 #define EQOS_DESC3_LD           BIT(28)
 279 #define EQOS_DESC3_BUF1V        BIT(24)
 280
 281 struct eqos_config {
 282         bool reg_access_always_ok;
 283         int mdio_wait;
 284         int swr_wait;
 285         int config_mac;
 286         int config_mac_mdio;
 287         phy_interface_t (*interface)(struct udevice *dev);
 288         struct eqos_ops *ops;
 289 };
 290
 291 struct eqos_ops {
 292         void (*eqos_inval_desc)(void *desc);
 293         void (*eqos_flush_desc)(void *desc);
 294         void (*eqos_inval_buffer)(void *buf, size_t size);
 295         void (*eqos_flush_buffer)(void *buf, size_t size);
 296         int (*eqos_probe_resources)(struct udevice *dev);
 297         int (*eqos_remove_resources)(struct udevice *dev);
 298         int (*eqos_stop_resets)(struct udevice *dev);
 299         int (*eqos_start_resets)(struct udevice *dev);
 300         void (*eqos_stop_clks)(struct udevice *dev);
 301         int (*eqos_start_clks)(struct udevice *dev);
 302         int (*eqos_calibrate_pads)(struct udevice *dev);
 303         int (*eqos_disable_calibration)(struct udevice *dev);
 304         int (*eqos_set_tx_clk_speed)(struct udevice *dev);
 305         ulong (*eqos_get_tick_clk_rate)(struct udevice *dev);
 306 };
 307
 308 struct eqos_priv {
 309         struct udevice *dev;
 310         const struct eqos_config *config;
 311         fdt_addr_t regs;
 312         struct eqos_mac_regs *mac_regs;
 313         struct eqos_mtl_regs *mtl_regs;
 314         struct eqos_dma_regs *dma_regs;
 315         struct eqos_tegra186_regs *tegra186_regs;
 316         struct reset_ctl reset_ctl;
 317         struct gpio_desc phy_reset_gpio;
 318         struct clk clk_master_bus;
 319         struct clk clk_rx;
 320         struct clk clk_ptp_ref;
 321         struct clk clk_tx;
 322         struct clk clk_ck;
 323         struct clk clk_slave_bus;
 324         struct mii_dev *mii;
 325         struct phy_device *phy;
 326         int phyaddr;
 327         u32 max_speed;
 328         void *descs;
 329         struct eqos_desc *tx_descs;
 330         struct eqos_desc *rx_descs;
 331         int tx_desc_idx, rx_desc_idx;
 332         void *tx_dma_buf;
 333         void *rx_dma_buf;
 334         void *rx_pkt;
 335         bool started;
 336         bool reg_access_ok;
 337 };
 338
 339 /*
 340  * TX and RX descriptors are 16 bytes. This causes problems with the cache
 341  * maintenance on CPUs where the cache-line size exceeds the size of these
 342  * descriptors. What will happen is that when the driver receives a packet
 343  * it will be immediately requeued for the hardware to reuse. The CPU will
 344  * therefore need to flush the cache-line containing the descriptor, which
 345  * will cause all other descriptors in the same cache-line to be flushed
 346  * along with it. If one of those descriptors had been written to by the
 347  * device those changes (and the associated packet) will be lost.
 348  *
 349  * To work around this, we make use of non-cached memory if available. If
 350  * descriptors are mapped uncached there's no need to manually flush them
 351  * or invalidate them.
 352  *
 353  * Note that this only applies to descriptors. The packet data buffers do
 354  * not have the same constraints since they are 1536 bytes large, so they
 355  * are unlikely to share cache-lines.
 356  */
 357 static void *eqos_alloc_descs(unsigned int num)
 358 {
 359 #ifdef CONFIG_SYS_NONCACHED_MEMORY
 360         return (void *)noncached_alloc(EQOS_DESCRIPTORS_SIZE,
 361                                       EQOS_DESCRIPTOR_ALIGN);
 362 #else
 363         return memalign(EQOS_DESCRIPTOR_ALIGN, EQOS_DESCRIPTORS_SIZE);
 364 #endif
 365 }
 366
 367 static void eqos_free_descs(void *descs)
 368 {
 369 #ifdef CONFIG_SYS_NONCACHED_MEMORY
 370         /* FIXME: noncached_alloc() has no opposite */
 371 #else
 372         free(descs);
 373 #endif
 374 }
 375
 376 static void eqos_inval_desc_tegra186(void *desc)
 377 {
 378 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 379         unsigned long start = (unsigned long)desc & ~(ARCH_DMA_MINALIGN - 1);
 380         unsigned long end = ALIGN(start + EQOS_DESCRIPTOR_SIZE,
 381                                   ARCH_DMA_MINALIGN);
 382
 383         invalidate_dcache_range(start, end);
 384 #endif
 385 }
 386
 387 static void eqos_inval_desc_generic(void *desc)
 388 {
 389 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 390         unsigned long start = rounddown((unsigned long)desc, ARCH_DMA_MINALIGN);
 391         unsigned long end = roundup((unsigned long)desc + EQOS_DESCRIPTOR_SIZE,
 392                                     ARCH_DMA_MINALIGN);
 393
 394         invalidate_dcache_range(start, end);
 395 #endif
 396 }
 397
 398 static void eqos_flush_desc_tegra186(void *desc)
 399 {
 400 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 401         flush_cache((unsigned long)desc, EQOS_DESCRIPTOR_SIZE);
 402 #endif
 403 }
 404
 405 static void eqos_flush_desc_generic(void *desc)
 406 {
 407 #ifndef CONFIG_SYS_NONCACHED_MEMORY
 408         unsigned long start = rounddown((unsigned long)desc, ARCH_DMA_MINALIGN);
 409         unsigned long end = roundup((unsigned long)desc + EQOS_DESCRIPTOR_SIZE,
 410                                     ARCH_DMA_MINALIGN);
 411
 412         flush_dcache_range(start, end);
 413 #endif
 414 }
 415
 416 static void eqos_inval_buffer_tegra186(void *buf, size_t size)
 417 {
 418         unsigned long start = (unsigned long)buf & ~(ARCH_DMA_MINALIGN - 1);
 419         unsigned long end = ALIGN(start + size, ARCH_DMA_MINALIGN);
 420
 421         invalidate_dcache_range(start, end);
 422 }
 423
 424 static void eqos_inval_buffer_generic(void *buf, size_t size)
 425 {
 426         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 427         unsigned long end = roundup((unsigned long)buf + size,
 428                                     ARCH_DMA_MINALIGN);
 429
 430         invalidate_dcache_range(start, end);
 431 }
 432
 433 static void eqos_flush_buffer_tegra186(void *buf, size_t size)
 434 {
 435         flush_cache((unsigned long)buf, size);
 436 }
 437
 438 static void eqos_flush_buffer_generic(void *buf, size_t size)
 439 {
 440         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 441         unsigned long end = roundup((unsigned long)buf + size,
 442                                     ARCH_DMA_MINALIGN);
 443
 444         flush_dcache_range(start, end);
 445 }
 446
 447 static int eqos_mdio_wait_idle(struct eqos_priv *eqos)
 448 {
 449         return wait_for_bit_le32(&eqos->mac_regs->mdio_address,
 450                                  EQOS_MAC_MDIO_ADDRESS_GB, false,
 451                                  1000000, true);
 452 }
 453
 454 static int eqos_mdio_read(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 455                           int mdio_reg)
 456 {
 457         struct eqos_priv *eqos = bus->priv;
 458         u32 val;
 459         int ret;
 460
 461         debug("%s(dev=%p, addr=%x, reg=%d):\n", __func__, eqos->dev, mdio_addr,
 462               mdio_reg);
 463
 464         ret = eqos_mdio_wait_idle(eqos);
 465         if (ret) {
 466                 pr_err("MDIO not idle at entry");
 467                 return ret;
 468         }
 469
 470         val = readl(&eqos->mac_regs->mdio_address);
 471         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 472                 EQOS_MAC_MDIO_ADDRESS_C45E;
 473         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 474                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 475                 (eqos->config->config_mac_mdio <<
 476                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 477                 (EQOS_MAC_MDIO_ADDRESS_GOC_READ <<
 478                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 479                 EQOS_MAC_MDIO_ADDRESS_GB;
 480         writel(val, &eqos->mac_regs->mdio_address);
 481
 482         udelay(eqos->config->mdio_wait);
 483
 484         ret = eqos_mdio_wait_idle(eqos);
 485         if (ret) {
 486                 pr_err("MDIO read didn't complete");
 487                 return ret;
 488         }
 489
 490         val = readl(&eqos->mac_regs->mdio_data);
 491         val &= EQOS_MAC_MDIO_DATA_GD_MASK;
 492
 493         debug("%s: val=%x\n", __func__, val);
 494
 495         return val;
 496 }
 497
 498 static int eqos_mdio_write(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 499                            int mdio_reg, u16 mdio_val)
 500 {
 501         struct eqos_priv *eqos = bus->priv;
 502         u32 val;
 503         int ret;
 504
 505         debug("%s(dev=%p, addr=%x, reg=%d, val=%x):\n", __func__, eqos->dev,
 506               mdio_addr, mdio_reg, mdio_val);
 507
 508         ret = eqos_mdio_wait_idle(eqos);
 509         if (ret) {
 510                 pr_err("MDIO not idle at entry");
 511                 return ret;
 512         }
 513
 514         writel(mdio_val, &eqos->mac_regs->mdio_data);
 515
 516         val = readl(&eqos->mac_regs->mdio_address);
 517         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 518                 EQOS_MAC_MDIO_ADDRESS_C45E;
 519         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 520                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 521                 (eqos->config->config_mac_mdio <<
 522                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 523                 (EQOS_MAC_MDIO_ADDRESS_GOC_WRITE <<
 524                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 525                 EQOS_MAC_MDIO_ADDRESS_GB;
 526         writel(val, &eqos->mac_regs->mdio_address);
 527
 528         udelay(eqos->config->mdio_wait);
 529
 530         ret = eqos_mdio_wait_idle(eqos);
 531         if (ret) {
 532                 pr_err("MDIO read didn't complete");
 533                 return ret;
 534         }
 535
 536         return 0;
 537 }
 538
 539 static int eqos_start_clks_tegra186(struct udevice *dev)
 540 {
 541 #ifdef CONFIG_CLK
 542         struct eqos_priv *eqos = dev_get_priv(dev);
 543         int ret;
 544
 545         debug("%s(dev=%p):\n", __func__, dev);
 546
 547         ret = clk_enable(&eqos->clk_slave_bus);
 548         if (ret < 0) {
 549                 pr_err("clk_enable(clk_slave_bus) failed: %d", ret);
 550                 goto err;
 551         }
 552
 553         ret = clk_enable(&eqos->clk_master_bus);
 554         if (ret < 0) {
 555                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 556                 goto err_disable_clk_slave_bus;
 557         }
 558
 559         ret = clk_enable(&eqos->clk_rx);
 560         if (ret < 0) {
 561                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 562                 goto err_disable_clk_master_bus;
 563         }
 564
 565         ret = clk_enable(&eqos->clk_ptp_ref);
 566         if (ret < 0) {
 567                 pr_err("clk_enable(clk_ptp_ref) failed: %d", ret);
 568                 goto err_disable_clk_rx;
 569         }
 570
 571         ret = clk_set_rate(&eqos->clk_ptp_ref, 125 * 1000 * 1000);
 572         if (ret < 0) {
 573                 pr_err("clk_set_rate(clk_ptp_ref) failed: %d", ret);
 574                 goto err_disable_clk_ptp_ref;
 575         }
 576
 577         ret = clk_enable(&eqos->clk_tx);
 578         if (ret < 0) {
 579                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 580                 goto err_disable_clk_ptp_ref;
 581         }
 582 #endif
 583
 584         debug("%s: OK\n", __func__);
 585         return 0;
 586
 587 #ifdef CONFIG_CLK
 588 err_disable_clk_ptp_ref:
 589         clk_disable(&eqos->clk_ptp_ref);
 590 err_disable_clk_rx:
 591         clk_disable(&eqos->clk_rx);
 592 err_disable_clk_master_bus:
 593         clk_disable(&eqos->clk_master_bus);
 594 err_disable_clk_slave_bus:
 595         clk_disable(&eqos->clk_slave_bus);
 596 err:
 597         debug("%s: FAILED: %d\n", __func__, ret);
 598         return ret;
 599 #endif
 600 }
 601
 602 static int eqos_start_clks_stm32(struct udevice *dev)
 603 {
 604 #ifdef CONFIG_CLK
 605         struct eqos_priv *eqos = dev_get_priv(dev);
 606         int ret;
 607
 608         debug("%s(dev=%p):\n", __func__, dev);
 609
 610         ret = clk_enable(&eqos->clk_master_bus);
 611         if (ret < 0) {
 612                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 613                 goto err;
 614         }
 615
 616         ret = clk_enable(&eqos->clk_rx);
 617         if (ret < 0) {
 618                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 619                 goto err_disable_clk_master_bus;
 620         }
 621
 622         ret = clk_enable(&eqos->clk_tx);
 623         if (ret < 0) {
 624                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 625                 goto err_disable_clk_rx;
 626         }
 627
 628         if (clk_valid(&eqos->clk_ck)) {
 629                 ret = clk_enable(&eqos->clk_ck);
 630                 if (ret < 0) {
 631                         pr_err("clk_enable(clk_ck) failed: %d", ret);
 632                         goto err_disable_clk_tx;
 633                 }
 634         }
 635 #endif
 636
 637         debug("%s: OK\n", __func__);
 638         return 0;
 639
 640 #ifdef CONFIG_CLK
 641 err_disable_clk_tx:
 642         clk_disable(&eqos->clk_tx);
 643 err_disable_clk_rx:
 644         clk_disable(&eqos->clk_rx);
 645 err_disable_clk_master_bus:
 646         clk_disable(&eqos->clk_master_bus);
 647 err:
 648         debug("%s: FAILED: %d\n", __func__, ret);
 649         return ret;
 650 #endif
 651 }
 652
 653 static int eqos_start_clks_imx(struct udevice *dev)
 654 {
 655         return 0;
 656 }
 657
 658 static void eqos_stop_clks_tegra186(struct udevice *dev)
 659 {
 660 #ifdef CONFIG_CLK
 661         struct eqos_priv *eqos = dev_get_priv(dev);
 662
 663         debug("%s(dev=%p):\n", __func__, dev);
 664
 665         clk_disable(&eqos->clk_tx);
 666         clk_disable(&eqos->clk_ptp_ref);
 667         clk_disable(&eqos->clk_rx);
 668         clk_disable(&eqos->clk_master_bus);
 669         clk_disable(&eqos->clk_slave_bus);
 670 #endif
 671
 672         debug("%s: OK\n", __func__);
 673 }
 674
 675 static void eqos_stop_clks_stm32(struct udevice *dev)
 676 {
 677 #ifdef CONFIG_CLK
 678         struct eqos_priv *eqos = dev_get_priv(dev);
 679
 680         debug("%s(dev=%p):\n", __func__, dev);
 681
 682         clk_disable(&eqos->clk_tx);
 683         clk_disable(&eqos->clk_rx);
 684         clk_disable(&eqos->clk_master_bus);
 685         if (clk_valid(&eqos->clk_ck))
 686                 clk_disable(&eqos->clk_ck);
 687 #endif
 688
 689         debug("%s: OK\n", __func__);
 690 }
 691
 692 static void eqos_stop_clks_imx(struct udevice *dev)
 693 {
 694         /* empty */
 695 }
 696
 697 static int eqos_start_resets_tegra186(struct udevice *dev)
 698 {
 699         struct eqos_priv *eqos = dev_get_priv(dev);
 700         int ret;
 701
 702         debug("%s(dev=%p):\n", __func__, dev);
 703
 704         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 705         if (ret < 0) {
 706                 pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d", ret);
 707                 return ret;
 708         }
 709
 710         udelay(2);
 711
 712         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 0);
 713         if (ret < 0) {
 714                 pr_err("dm_gpio_set_value(phy_reset, deassert) failed: %d", ret);
 715                 return ret;
 716         }
 717
 718         ret = reset_assert(&eqos->reset_ctl);
 719         if (ret < 0) {
 720                 pr_err("reset_assert() failed: %d", ret);
 721                 return ret;
 722         }
 723
 724         udelay(2);
 725
 726         ret = reset_deassert(&eqos->reset_ctl);
 727         if (ret < 0) {
 728                 pr_err("reset_deassert() failed: %d", ret);
 729                 return ret;
 730         }
 731
 732         debug("%s: OK\n", __func__);
 733         return 0;
 734 }
 735
 736 static int eqos_start_resets_stm32(struct udevice *dev)
 737 {
 738         struct eqos_priv *eqos = dev_get_priv(dev);
 739         int ret;
 740
 741         debug("%s(dev=%p):\n", __func__, dev);
 742         if (dm_gpio_is_valid(&eqos->phy_reset_gpio)) {
 743                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 744                 if (ret < 0) {
 745                         pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d",
 746                                ret);
 747                         return ret;
 748                 }
 749
 750                 udelay(2);
 751
 752                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 0);
 753                 if (ret < 0) {
 754                         pr_err("dm_gpio_set_value(phy_reset, deassert) failed: %d",
 755                                ret);
 756                         return ret;
 757                 }
 758         }
 759         debug("%s: OK\n", __func__);
 760
 761         return 0;
 762 }
 763
 764 static int eqos_start_resets_imx(struct udevice *dev)
 765 {
 766         return 0;
 767 }
 768
 769 static int eqos_stop_resets_tegra186(struct udevice *dev)
 770 {
 771         struct eqos_priv *eqos = dev_get_priv(dev);
 772
 773         reset_assert(&eqos->reset_ctl);
 774         dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 775
 776         return 0;
 777 }
 778
 779 static int eqos_stop_resets_stm32(struct udevice *dev)
 780 {
 781         struct eqos_priv *eqos = dev_get_priv(dev);
 782         int ret;
 783
 784         if (dm_gpio_is_valid(&eqos->phy_reset_gpio)) {
 785                 ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 786                 if (ret < 0) {
 787                         pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d",
 788                                ret);
 789                         return ret;
 790                 }
 791         }
 792
 793         return 0;
 794 }
 795
 796 static int eqos_stop_resets_imx(struct udevice *dev)
 797 {
 798         return 0;
 799 }
 800
 801 static int eqos_calibrate_pads_tegra186(struct udevice *dev)
 802 {
 803         struct eqos_priv *eqos = dev_get_priv(dev);
 804         int ret;
 805
 806         debug("%s(dev=%p):\n", __func__, dev);
 807
 808         setbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 809                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 810
 811         udelay(1);
 812
 813         setbits_le32(&eqos->tegra186_regs->auto_cal_config,
 814                      EQOS_AUTO_CAL_CONFIG_START | EQOS_AUTO_CAL_CONFIG_ENABLE);
 815
 816         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 817                                 EQOS_AUTO_CAL_STATUS_ACTIVE, true, 10, false);
 818         if (ret) {
 819                 pr_err("calibrate didn't start");
 820                 goto failed;
 821         }
 822
 823         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 824                                 EQOS_AUTO_CAL_STATUS_ACTIVE, false, 10, false);
 825         if (ret) {
 826                 pr_err("calibrate didn't finish");
 827                 goto failed;
 828         }
 829
 830         ret = 0;
 831
 832 failed:
 833         clrbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 834                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 835
 836         debug("%s: returns %d\n", __func__, ret);
 837
 838         return ret;
 839 }
 840
 841 static int eqos_disable_calibration_tegra186(struct udevice *dev)
 842 {
 843         struct eqos_priv *eqos = dev_get_priv(dev);
 844
 845         debug("%s(dev=%p):\n", __func__, dev);
 846
 847         clrbits_le32(&eqos->tegra186_regs->auto_cal_config,
 848                      EQOS_AUTO_CAL_CONFIG_ENABLE);
 849
 850         return 0;
 851 }
 852
 853 static ulong eqos_get_tick_clk_rate_tegra186(struct udevice *dev)
 854 {
 855 #ifdef CONFIG_CLK
 856         struct eqos_priv *eqos = dev_get_priv(dev);
 857
 858         return clk_get_rate(&eqos->clk_slave_bus);
 859 #else
 860         return 0;
 861 #endif
 862 }
 863
 864 static ulong eqos_get_tick_clk_rate_stm32(struct udevice *dev)
 865 {
 866 #ifdef CONFIG_CLK
 867         struct eqos_priv *eqos = dev_get_priv(dev);
 868
 869         return clk_get_rate(&eqos->clk_master_bus);
 870 #else
 871         return 0;
 872 #endif
 873 }
 874
 875 __weak u32 imx_get_eqos_csr_clk(void)
 876 {
 877         return 100 * 1000000;
 878 }
 879 __weak int imx_eqos_txclk_set_rate(unsigned long rate)
 880 {
 881         return 0;
 882 }
 883
 884 static ulong eqos_get_tick_clk_rate_imx(struct udevice *dev)
 885 {
 886         return imx_get_eqos_csr_clk();
 887 }
 888
 889 static int eqos_calibrate_pads_stm32(struct udevice *dev)
 890 {
 891         return 0;
 892 }
 893
 894 static int eqos_calibrate_pads_imx(struct udevice *dev)
 895 {
 896         return 0;
 897 }
 898
 899 static int eqos_disable_calibration_stm32(struct udevice *dev)
 900 {
 901         return 0;
 902 }
 903
 904 static int eqos_disable_calibration_imx(struct udevice *dev)
 905 {
 906         return 0;
 907 }
 908
 909 static int eqos_set_full_duplex(struct udevice *dev)
 910 {
 911         struct eqos_priv *eqos = dev_get_priv(dev);
 912
 913         debug("%s(dev=%p):\n", __func__, dev);
 914
 915         setbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 916
 917         return 0;
 918 }
 919
 920 static int eqos_set_half_duplex(struct udevice *dev)
 921 {
 922         struct eqos_priv *eqos = dev_get_priv(dev);
 923
 924         debug("%s(dev=%p):\n", __func__, dev);
 925
 926         clrbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 927
 928         /* WAR: Flush TX queue when switching to half-duplex */
 929         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
 930                      EQOS_MTL_TXQ0_OPERATION_MODE_FTQ);
 931
 932         return 0;
 933 }
 934
 935 static int eqos_set_gmii_speed(struct udevice *dev)
 936 {
 937         struct eqos_priv *eqos = dev_get_priv(dev);
 938
 939         debug("%s(dev=%p):\n", __func__, dev);
 940
 941         clrbits_le32(&eqos->mac_regs->configuration,
 942                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 943
 944         return 0;
 945 }
 946
 947 static int eqos_set_mii_speed_100(struct udevice *dev)
 948 {
 949         struct eqos_priv *eqos = dev_get_priv(dev);
 950
 951         debug("%s(dev=%p):\n", __func__, dev);
 952
 953         setbits_le32(&eqos->mac_regs->configuration,
 954                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 955
 956         return 0;
 957 }
 958
 959 static int eqos_set_mii_speed_10(struct udevice *dev)
 960 {
 961         struct eqos_priv *eqos = dev_get_priv(dev);
 962
 963         debug("%s(dev=%p):\n", __func__, dev);
 964
 965         clrsetbits_le32(&eqos->mac_regs->configuration,
 966                         EQOS_MAC_CONFIGURATION_FES, EQOS_MAC_CONFIGURATION_PS);
 967
 968         return 0;
 969 }
 970
 971 static int eqos_set_tx_clk_speed_tegra186(struct udevice *dev)
 972 {
 973 #ifdef CONFIG_CLK
 974         struct eqos_priv *eqos = dev_get_priv(dev);
 975         ulong rate;
 976         int ret;
 977
 978         debug("%s(dev=%p):\n", __func__, dev);
 979
 980         switch (eqos->phy->speed) {
 981         case SPEED_1000:
 982                 rate = 125 * 1000 * 1000;
 983                 break;
 984         case SPEED_100:
 985                 rate = 25 * 1000 * 1000;
 986                 break;
 987         case SPEED_10:
 988                 rate = 2.5 * 1000 * 1000;
 989                 break;
 990         default:
 991                 pr_err("invalid speed %d", eqos->phy->speed);
 992                 return -EINVAL;
 993         }
 994
 995         ret = clk_set_rate(&eqos->clk_tx, rate);
 996         if (ret < 0) {
 997                 pr_err("clk_set_rate(tx_clk, %lu) failed: %d", rate, ret);
 998                 return ret;
 999         }
1000 #endif
1001
1002         return 0;
1003 }
1004
1005 static int eqos_set_tx_clk_speed_stm32(struct udevice *dev)
1006 {
1007         return 0;
1008 }
1009
1010 static int eqos_set_tx_clk_speed_imx(struct udevice *dev)
1011 {
1012         struct eqos_priv *eqos = dev_get_priv(dev);
1013         ulong rate;
1014         int ret;
1015
1016         debug("%s(dev=%p):\n", __func__, dev);
1017
1018         switch (eqos->phy->speed) {
1019         case SPEED_1000:
1020                 rate = 125 * 1000 * 1000;
1021                 break;
1022         case SPEED_100:
1023                 rate = 25 * 1000 * 1000;
1024                 break;
1025         case SPEED_10:
1026                 rate = 2.5 * 1000 * 1000;
1027                 break;
1028         default:
1029                 pr_err("invalid speed %d", eqos->phy->speed);
1030                 return -EINVAL;
1031         }
1032
1033         ret = imx_eqos_txclk_set_rate(rate);
1034         if (ret < 0) {
1035                 pr_err("imx (tx_clk, %lu) failed: %d", rate, ret);
1036                 return ret;
1037         }
1038
1039         return 0;
1040 }
1041
1042 static int eqos_adjust_link(struct udevice *dev)
1043 {
1044         struct eqos_priv *eqos = dev_get_priv(dev);
1045         int ret;
1046         bool en_calibration;
1047
1048         debug("%s(dev=%p):\n", __func__, dev);
1049
1050         if (eqos->phy->duplex)
1051                 ret = eqos_set_full_duplex(dev);
1052         else
1053                 ret = eqos_set_half_duplex(dev);
1054         if (ret < 0) {
1055                 pr_err("eqos_set_*_duplex() failed: %d", ret);
1056                 return ret;
1057         }
1058
1059         switch (eqos->phy->speed) {
1060         case SPEED_1000:
1061                 en_calibration = true;
1062                 ret = eqos_set_gmii_speed(dev);
1063                 break;
1064         case SPEED_100:
1065                 en_calibration = true;
1066                 ret = eqos_set_mii_speed_100(dev);
1067                 break;
1068         case SPEED_10:
1069                 en_calibration = false;
1070                 ret = eqos_set_mii_speed_10(dev);
1071                 break;
1072         default:
1073                 pr_err("invalid speed %d", eqos->phy->speed);
1074                 return -EINVAL;
1075         }
1076         if (ret < 0) {
1077                 pr_err("eqos_set_*mii_speed*() failed: %d", ret);
1078                 return ret;
1079         }
1080
1081         if (en_calibration) {
1082                 ret = eqos->config->ops->eqos_calibrate_pads(dev);
1083                 if (ret < 0) {
1084                         pr_err("eqos_calibrate_pads() failed: %d",
1085                                ret);
1086                         return ret;
1087                 }
1088         } else {
1089                 ret = eqos->config->ops->eqos_disable_calibration(dev);
1090                 if (ret < 0) {
1091                         pr_err("eqos_disable_calibration() failed: %d",
1092                                ret);
1093                         return ret;
1094                 }
1095         }
1096         ret = eqos->config->ops->eqos_set_tx_clk_speed(dev);
1097         if (ret < 0) {
1098                 pr_err("eqos_set_tx_clk_speed() failed: %d", ret);
1099                 return ret;
1100         }
1101
1102         return 0;
1103 }
1104
1105 static int eqos_write_hwaddr(struct udevice *dev)
1106 {
1107         struct eth_pdata *plat = dev_get_platdata(dev);
1108         struct eqos_priv *eqos = dev_get_priv(dev);
1109         uint32_t val;
1110
1111         /*
1112          * This function may be called before start() or after stop(). At that
1113          * time, on at least some configurations of the EQoS HW, all clocks to
1114          * the EQoS HW block will be stopped, and a reset signal applied. If
1115          * any register access is attempted in this state, bus timeouts or CPU
1116          * hangs may occur. This check prevents that.
1117          *
1118          * A simple solution to this problem would be to not implement
1119          * write_hwaddr(), since start() always writes the MAC address into HW
1120          * anyway. However, it is desirable to implement write_hwaddr() to
1121          * support the case of SW that runs subsequent to U-Boot which expects
1122          * the MAC address to already be programmed into the EQoS registers,
1123          * which must happen irrespective of whether the U-Boot user (or
1124          * scripts) actually made use of the EQoS device, and hence
1125          * irrespective of whether start() was ever called.
1126          *
1127          * Note that this requirement by subsequent SW is not valid for
1128          * Tegra186, and is likely not valid for any non-PCI instantiation of
1129          * the EQoS HW block. This function is implemented solely as
1130          * future-proofing with the expectation the driver will eventually be
1131          * ported to some system where the expectation above is true.
1132          */
1133         if (!eqos->config->reg_access_always_ok && !eqos->reg_access_ok)
1134                 return 0;
1135
1136         /* Update the MAC address */
1137         val = (plat->enetaddr[5] << 8) |
1138                 (plat->enetaddr[4]);
1139         writel(val, &eqos->mac_regs->address0_high);
1140         val = (plat->enetaddr[3] << 24) |
1141                 (plat->enetaddr[2] << 16) |
1142                 (plat->enetaddr[1] << 8) |
1143                 (plat->enetaddr[0]);
1144         writel(val, &eqos->mac_regs->address0_low);
1145
1146         return 0;
1147 }
1148
1149 static int eqos_read_rom_hwaddr(struct udevice *dev)
1150 {
1151         struct eth_pdata *pdata = dev_get_platdata(dev);
1152
1153 #ifdef CONFIG_ARCH_IMX8M
1154         imx_get_mac_from_fuse(dev->req_seq, pdata->enetaddr);
1155 #endif
1156         return !is_valid_ethaddr(pdata->enetaddr);
1157 }
1158
1159 static int eqos_start(struct udevice *dev)
1160 {
1161         struct eqos_priv *eqos = dev_get_priv(dev);
1162         int ret, i;
1163         ulong rate;
1164         u32 val, tx_fifo_sz, rx_fifo_sz, tqs, rqs, pbl;
1165         ulong last_rx_desc;
1166
1167         debug("%s(dev=%p):\n", __func__, dev);
1168
1169         eqos->tx_desc_idx = 0;
1170         eqos->rx_desc_idx = 0;
1171
1172         ret = eqos->config->ops->eqos_start_clks(dev);
1173         if (ret < 0) {
1174                 pr_err("eqos_start_clks() failed: %d", ret);
1175                 goto err;
1176         }
1177
1178         ret = eqos->config->ops->eqos_start_resets(dev);
1179         if (ret < 0) {
1180                 pr_err("eqos_start_resets() failed: %d", ret);
1181                 goto err_stop_clks;
1182         }
1183
1184         udelay(10);
1185
1186         eqos->reg_access_ok = true;
1187
1188         ret = wait_for_bit_le32(&eqos->dma_regs->mode,
1189                                 EQOS_DMA_MODE_SWR, false,
1190                                 eqos->config->swr_wait, false);
1191         if (ret) {
1192                 pr_err("EQOS_DMA_MODE_SWR stuck");
1193                 goto err_stop_resets;
1194         }
1195
1196         ret = eqos->config->ops->eqos_calibrate_pads(dev);
1197         if (ret < 0) {
1198                 pr_err("eqos_calibrate_pads() failed: %d", ret);
1199                 goto err_stop_resets;
1200         }
1201         rate = eqos->config->ops->eqos_get_tick_clk_rate(dev);
1202
1203         val = (rate / 1000000) - 1;
1204         writel(val, &eqos->mac_regs->us_tic_counter);
1205
1206         /*
1207          * if PHY was already connected and configured,
1208          * don't need to reconnect/reconfigure again
1209          */
1210         if (!eqos->phy) {
1211                 int addr = -1;
1212 #ifdef CONFIG_DM_ETH_PHY
1213                 addr = eth_phy_get_addr(dev);
1214 #endif
1215 #ifdef DWC_NET_PHYADDR
1216                 addr = DWC_NET_PHYADDR;
1217 #endif
1218                 eqos->phy = phy_connect(eqos->mii, addr, dev,
1219                                         eqos->config->interface(dev));
1220                 if (!eqos->phy) {
1221                         pr_err("phy_connect() failed");
1222                         goto err_stop_resets;
1223                 }
1224
1225                 if (eqos->max_speed) {
1226                         ret = phy_set_supported(eqos->phy, eqos->max_speed);
1227                         if (ret) {
1228                                 pr_err("phy_set_supported() failed: %d", ret);
1229                                 goto err_shutdown_phy;
1230                         }
1231                 }
1232
1233                 ret = phy_config(eqos->phy);
1234                 if (ret < 0) {
1235                         pr_err("phy_config() failed: %d", ret);
1236                         goto err_shutdown_phy;
1237                 }
1238         }
1239
1240         ret = phy_startup(eqos->phy);
1241         if (ret < 0) {
1242                 pr_err("phy_startup() failed: %d", ret);
1243                 goto err_shutdown_phy;
1244         }
1245
1246         if (!eqos->phy->link) {
1247                 pr_err("No link");
1248                 goto err_shutdown_phy;
1249         }
1250
1251         ret = eqos_adjust_link(dev);
1252         if (ret < 0) {
1253                 pr_err("eqos_adjust_link() failed: %d", ret);
1254                 goto err_shutdown_phy;
1255         }
1256
1257         /* Configure MTL */
1258         writel(0x60, &eqos->mtl_regs->txq0_quantum_weight - 0x100);
1259
1260         /* Enable Store and Forward mode for TX */
1261         /* Program Tx operating mode */
1262         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
1263                      EQOS_MTL_TXQ0_OPERATION_MODE_TSF |
1264                      (EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_ENABLED <<
1265                       EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_SHIFT));
1266
1267         /* Transmit Queue weight */
1268         writel(0x10, &eqos->mtl_regs->txq0_quantum_weight);
1269
1270         /* Enable Store and Forward mode for RX, since no jumbo frame */
1271         setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1272                      EQOS_MTL_RXQ0_OPERATION_MODE_RSF |
1273                      EQOS_MTL_RXQ0_OPERATION_MODE_FEP |
1274                      EQOS_MTL_RXQ0_OPERATION_MODE_FUP);
1275
1276         /* Transmit/Receive queue fifo size; use all RAM for 1 queue */
1277         val = readl(&eqos->mac_regs->hw_feature1);
1278         tx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_SHIFT) &
1279                 EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_MASK;
1280         rx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_SHIFT) &
1281                 EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_MASK;
1282
1283         /*
1284          * r/tx_fifo_sz is encoded as log2(n / 128). Undo that by shifting.
1285          * r/tqs is encoded as (n / 256) - 1.
1286          */
1287         tqs = (128 << tx_fifo_sz) / 256 - 1;
1288         rqs = (128 << rx_fifo_sz) / 256 - 1;
1289
1290         clrsetbits_le32(&eqos->mtl_regs->txq0_operation_mode,
1291                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_MASK <<
1292                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT,
1293                         tqs << EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT);
1294         clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1295                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_MASK <<
1296                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT,
1297                         rqs << EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT);
1298
1299         /* Flow control used only if each channel gets 4KB or more FIFO */
1300         if (rqs >= ((4096 / 256) - 1)) {
1301                 u32 rfd, rfa;
1302
1303                 setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1304                              EQOS_MTL_RXQ0_OPERATION_MODE_EHFC);
1305
1306                 /*
1307                  * Set Threshold for Activating Flow Contol space for min 2
1308                  * frames ie, (1500 * 1) = 1500 bytes.
1309                  *
1310                  * Set Threshold for Deactivating Flow Contol for space of
1311                  * min 1 frame (frame size 1500bytes) in receive fifo
1312                  */
1313                 if (rqs == ((4096 / 256) - 1)) {
1314                         /*
1315                          * This violates the above formula because of FIFO size
1316                          * limit therefore overflow may occur inspite of this.
1317                          */
1318                         rfd = 0x3;      /* Full-3K */
1319                         rfa = 0x1;      /* Full-1.5K */
1320                 } else if (rqs == ((8192 / 256) - 1)) {
1321                         rfd = 0x6;      /* Full-4K */
1322                         rfa = 0xa;      /* Full-6K */
1323                 } else if (rqs == ((16384 / 256) - 1)) {
1324                         rfd = 0x6;      /* Full-4K */
1325                         rfa = 0x12;     /* Full-10K */
1326                 } else {
1327                         rfd = 0x6;      /* Full-4K */
1328                         rfa = 0x1E;     /* Full-16K */
1329                 }
1330
1331                 clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
1332                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFD_MASK <<
1333                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
1334                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFA_MASK <<
1335                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT),
1336                                 (rfd <<
1337                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
1338                                 (rfa <<
1339                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT));
1340         }
1341
1342         /* Configure MAC */
1343
1344         clrsetbits_le32(&eqos->mac_regs->rxq_ctrl0,
1345                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK <<
1346                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT,
1347                         eqos->config->config_mac <<
1348                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT);
1349
1350         clrsetbits_le32(&eqos->mac_regs->rxq_ctrl0,
1351                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK <<
1352                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT,
1353                         0x2 <<
1354                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT);
1355
1356         /* Multicast and Broadcast Queue Enable */
1357         setbits_le32(&eqos->mac_regs->unused_0a4,
1358                      0x00100000);
1359         /* enable promise mode */
1360         setbits_le32(&eqos->mac_regs->unused_004[1],
1361                      0x1);
1362
1363         /* Set TX flow control parameters */
1364         /* Set Pause Time */
1365         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
1366                      0xffff << EQOS_MAC_Q0_TX_FLOW_CTRL_PT_SHIFT);
1367         /* Assign priority for TX flow control */
1368         clrbits_le32(&eqos->mac_regs->txq_prty_map0,
1369                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_MASK <<
1370                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_SHIFT);
1371         /* Assign priority for RX flow control */
1372         clrbits_le32(&eqos->mac_regs->rxq_ctrl2,
1373                      EQOS_MAC_RXQ_CTRL2_PSRQ0_MASK <<
1374                      EQOS_MAC_RXQ_CTRL2_PSRQ0_SHIFT);
1375         /* Enable flow control */
1376         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
1377                      EQOS_MAC_Q0_TX_FLOW_CTRL_TFE);
1378         setbits_le32(&eqos->mac_regs->rx_flow_ctrl,
1379                      EQOS_MAC_RX_FLOW_CTRL_RFE);
1380
1381         clrsetbits_le32(&eqos->mac_regs->configuration,
1382                         EQOS_MAC_CONFIGURATION_GPSLCE |
1383                         EQOS_MAC_CONFIGURATION_WD |
1384                         EQOS_MAC_CONFIGURATION_JD |
1385                         EQOS_MAC_CONFIGURATION_JE,
1386                         EQOS_MAC_CONFIGURATION_CST |
1387                         EQOS_MAC_CONFIGURATION_ACS);
1388
1389         eqos_write_hwaddr(dev);
1390
1391         /* Configure DMA */
1392
1393         /* Enable OSP mode */
1394         setbits_le32(&eqos->dma_regs->ch0_tx_control,
1395                      EQOS_DMA_CH0_TX_CONTROL_OSP);
1396
1397         /* RX buffer size. Must be a multiple of bus width */
1398         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
1399                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_MASK <<
1400                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT,
1401                         EQOS_MAX_PACKET_SIZE <<
1402                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT);
1403
1404         setbits_le32(&eqos->dma_regs->ch0_control,
1405                      EQOS_DMA_CH0_CONTROL_PBLX8);
1406
1407         /*
1408          * Burst length must be < 1/2 FIFO size.
1409          * FIFO size in tqs is encoded as (n / 256) - 1.
1410          * Each burst is n * 8 (PBLX8) * 16 (AXI width) == 128 bytes.
1411          * Half of n * 256 is n * 128, so pbl == tqs, modulo the -1.
1412          */
1413         pbl = tqs + 1;
1414         if (pbl > 32)
1415                 pbl = 32;
1416         clrsetbits_le32(&eqos->dma_regs->ch0_tx_control,
1417                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_MASK <<
1418                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT,
1419                         pbl << EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT);
1420
1421         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
1422                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_MASK <<
1423                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT,
1424                         8 << EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT);
1425
1426         /* DMA performance configuration */
1427         val = (2 << EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_SHIFT) |
1428                 EQOS_DMA_SYSBUS_MODE_EAME | EQOS_DMA_SYSBUS_MODE_BLEN16 |
1429                 EQOS_DMA_SYSBUS_MODE_BLEN8 | EQOS_DMA_SYSBUS_MODE_BLEN4;
1430         writel(val, &eqos->dma_regs->sysbus_mode);
1431
1432         /* Set up descriptors */
1433
1434         memset(eqos->descs, 0, EQOS_DESCRIPTORS_SIZE);
1435         for (i = 0; i < EQOS_DESCRIPTORS_RX; i++) {
1436                 struct eqos_desc *rx_desc = &(eqos->rx_descs[i]);
1437                 rx_desc->des0 = (u32)(ulong)(eqos->rx_dma_buf +
1438                                              (i * EQOS_MAX_PACKET_SIZE));
1439                 rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1440                 mb();
1441                 eqos->config->ops->eqos_flush_desc(rx_desc);
1442                 eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf +
1443                                                 (i * EQOS_MAX_PACKET_SIZE),
1444                                                 EQOS_MAX_PACKET_SIZE);
1445         }
1446
1447         writel(0, &eqos->dma_regs->ch0_txdesc_list_haddress);
1448         writel((ulong)eqos->tx_descs, &eqos->dma_regs->ch0_txdesc_list_address);
1449         writel(EQOS_DESCRIPTORS_TX - 1,
1450                &eqos->dma_regs->ch0_txdesc_ring_length);
1451
1452         writel(0, &eqos->dma_regs->ch0_rxdesc_list_haddress);
1453         writel((ulong)eqos->rx_descs, &eqos->dma_regs->ch0_rxdesc_list_address);
1454         writel(EQOS_DESCRIPTORS_RX - 1,
1455                &eqos->dma_regs->ch0_rxdesc_ring_length);
1456
1457         /* Enable everything */
1458         setbits_le32(&eqos->dma_regs->ch0_tx_control,
1459                      EQOS_DMA_CH0_TX_CONTROL_ST);
1460         setbits_le32(&eqos->dma_regs->ch0_rx_control,
1461                      EQOS_DMA_CH0_RX_CONTROL_SR);
1462         setbits_le32(&eqos->mac_regs->configuration,
1463                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1464
1465         /* TX tail pointer not written until we need to TX a packet */
1466         /*
1467          * Point RX tail pointer at last descriptor. Ideally, we'd point at the
1468          * first descriptor, implying all descriptors were available. However,
1469          * that's not distinguishable from none of the descriptors being
1470          * available.
1471          */
1472         last_rx_desc = (ulong)&(eqos->rx_descs[(EQOS_DESCRIPTORS_RX - 1)]);
1473         writel(last_rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1474
1475         eqos->started = true;
1476
1477         debug("%s: OK\n", __func__);
1478         return 0;
1479
1480 err_shutdown_phy:
1481         phy_shutdown(eqos->phy);
1482 err_stop_resets:
1483         eqos->config->ops->eqos_stop_resets(dev);
1484 err_stop_clks:
1485         eqos->config->ops->eqos_stop_clks(dev);
1486 err:
1487         pr_err("FAILED: %d", ret);
1488         return ret;
1489 }
1490
1491 static void eqos_stop(struct udevice *dev)
1492 {
1493         struct eqos_priv *eqos = dev_get_priv(dev);
1494         int i;
1495
1496         debug("%s(dev=%p):\n", __func__, dev);
1497
1498         if (!eqos->started)
1499                 return;
1500         eqos->started = false;
1501         eqos->reg_access_ok = false;
1502
1503         /* Disable TX DMA */
1504         clrbits_le32(&eqos->dma_regs->ch0_tx_control,
1505                      EQOS_DMA_CH0_TX_CONTROL_ST);
1506
1507         /* Wait for TX all packets to drain out of MTL */
1508         for (i = 0; i < 1000000; i++) {
1509                 u32 val = readl(&eqos->mtl_regs->txq0_debug);
1510                 u32 trcsts = (val >> EQOS_MTL_TXQ0_DEBUG_TRCSTS_SHIFT) &
1511                         EQOS_MTL_TXQ0_DEBUG_TRCSTS_MASK;
1512                 u32 txqsts = val & EQOS_MTL_TXQ0_DEBUG_TXQSTS;
1513                 if ((trcsts != 1) && (!txqsts))
1514                         break;
1515         }
1516
1517         /* Turn off MAC TX and RX */
1518         clrbits_le32(&eqos->mac_regs->configuration,
1519                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1520
1521         /* Wait for all RX packets to drain out of MTL */
1522         for (i = 0; i < 1000000; i++) {
1523                 u32 val = readl(&eqos->mtl_regs->rxq0_debug);
1524                 u32 prxq = (val >> EQOS_MTL_RXQ0_DEBUG_PRXQ_SHIFT) &
1525                         EQOS_MTL_RXQ0_DEBUG_PRXQ_MASK;
1526                 u32 rxqsts = (val >> EQOS_MTL_RXQ0_DEBUG_RXQSTS_SHIFT) &
1527                         EQOS_MTL_RXQ0_DEBUG_RXQSTS_MASK;
1528                 if ((!prxq) && (!rxqsts))
1529                         break;
1530         }
1531
1532         /* Turn off RX DMA */
1533         clrbits_le32(&eqos->dma_regs->ch0_rx_control,
1534                      EQOS_DMA_CH0_RX_CONTROL_SR);
1535
1536         if (eqos->phy) {
1537                 phy_shutdown(eqos->phy);
1538         }
1539         eqos->config->ops->eqos_stop_resets(dev);
1540         eqos->config->ops->eqos_stop_clks(dev);
1541
1542         debug("%s: OK\n", __func__);
1543 }
1544
1545 static int eqos_send(struct udevice *dev, void *packet, int length)
1546 {
1547         struct eqos_priv *eqos = dev_get_priv(dev);
1548         struct eqos_desc *tx_desc;
1549         int i;
1550
1551         debug("%s(dev=%p, packet=%p, length=%d):\n", __func__, dev, packet,
1552               length);
1553
1554         memcpy(eqos->tx_dma_buf, packet, length);
1555         eqos->config->ops->eqos_flush_buffer(eqos->tx_dma_buf, length);
1556
1557         tx_desc = &(eqos->tx_descs[eqos->tx_desc_idx]);
1558         eqos->tx_desc_idx++;
1559         eqos->tx_desc_idx %= EQOS_DESCRIPTORS_TX;
1560
1561         tx_desc->des0 = (ulong)eqos->tx_dma_buf;
1562         tx_desc->des1 = 0;
1563         tx_desc->des2 = length;
1564         /*
1565          * Make sure that if HW sees the _OWN write below, it will see all the
1566          * writes to the rest of the descriptor too.
1567          */
1568         mb();
1569         tx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_FD | EQOS_DESC3_LD | length;
1570         eqos->config->ops->eqos_flush_desc(tx_desc);
1571
1572         writel((ulong)(&(eqos->tx_descs[eqos->tx_desc_idx])),
1573                 &eqos->dma_regs->ch0_txdesc_tail_pointer);
1574
1575         for (i = 0; i < 1000000; i++) {
1576                 eqos->config->ops->eqos_inval_desc(tx_desc);
1577                 if (!(readl(&tx_desc->des3) & EQOS_DESC3_OWN))
1578                         return 0;
1579                 udelay(1);
1580         }
1581
1582         debug("%s: TX timeout\n", __func__);
1583
1584         return -ETIMEDOUT;
1585 }
1586
1587 static int eqos_recv(struct udevice *dev, int flags, uchar **packetp)
1588 {
1589         struct eqos_priv *eqos = dev_get_priv(dev);
1590         struct eqos_desc *rx_desc;
1591         int length;
1592
1593         debug("%s(dev=%p, flags=%x):\n", __func__, dev, flags);
1594
1595         rx_desc = &(eqos->rx_descs[eqos->rx_desc_idx]);
1596         eqos->config->ops->eqos_inval_desc(rx_desc);
1597         if (rx_desc->des3 & EQOS_DESC3_OWN) {
1598                 debug("%s: RX packet not available\n", __func__);
1599                 return -EAGAIN;
1600         }
1601
1602         *packetp = eqos->rx_dma_buf +
1603                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1604         length = rx_desc->des3 & 0x7fff;
1605         debug("%s: *packetp=%p, length=%d\n", __func__, *packetp, length);
1606
1607         eqos->config->ops->eqos_inval_buffer(*packetp, length);
1608
1609         return length;
1610 }
1611
1612 static int eqos_free_pkt(struct udevice *dev, uchar *packet, int length)
1613 {
1614         struct eqos_priv *eqos = dev_get_priv(dev);
1615         uchar *packet_expected;
1616         struct eqos_desc *rx_desc;
1617
1618         debug("%s(packet=%p, length=%d)\n", __func__, packet, length);
1619
1620         packet_expected = eqos->rx_dma_buf +
1621                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1622         if (packet != packet_expected) {
1623                 debug("%s: Unexpected packet (expected %p)\n", __func__,
1624                       packet_expected);
1625                 return -EINVAL;
1626         }
1627
1628         eqos->config->ops->eqos_inval_buffer(packet, length);
1629
1630         rx_desc = &(eqos->rx_descs[eqos->rx_desc_idx]);
1631
1632         rx_desc->des0 = 0;
1633         mb();
1634         eqos->config->ops->eqos_flush_desc(rx_desc);
1635         eqos->config->ops->eqos_inval_buffer(packet, length);
1636         rx_desc->des0 = (u32)(ulong)packet;
1637         rx_desc->des1 = 0;
1638         rx_desc->des2 = 0;
1639         /*
1640          * Make sure that if HW sees the _OWN write below, it will see all the
1641          * writes to the rest of the descriptor too.
1642          */
1643         mb();
1644         rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1645         eqos->config->ops->eqos_flush_desc(rx_desc);
1646
1647         writel((ulong)rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1648
1649         eqos->rx_desc_idx++;
1650         eqos->rx_desc_idx %= EQOS_DESCRIPTORS_RX;
1651
1652         return 0;
1653 }
1654
1655 static int eqos_probe_resources_core(struct udevice *dev)
1656 {
1657         struct eqos_priv *eqos = dev_get_priv(dev);
1658         int ret;
1659
1660         debug("%s(dev=%p):\n", __func__, dev);
1661
1662         eqos->descs = eqos_alloc_descs(EQOS_DESCRIPTORS_TX +
1663                                        EQOS_DESCRIPTORS_RX);
1664         if (!eqos->descs) {
1665                 debug("%s: eqos_alloc_descs() failed\n", __func__);
1666                 ret = -ENOMEM;
1667                 goto err;
1668         }
1669         eqos->tx_descs = (struct eqos_desc *)eqos->descs;
1670         eqos->rx_descs = (eqos->tx_descs + EQOS_DESCRIPTORS_TX);
1671         debug("%s: tx_descs=%p, rx_descs=%p\n", __func__, eqos->tx_descs,
1672               eqos->rx_descs);
1673
1674         eqos->tx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_MAX_PACKET_SIZE);
1675         if (!eqos->tx_dma_buf) {
1676                 debug("%s: memalign(tx_dma_buf) failed\n", __func__);
1677                 ret = -ENOMEM;
1678                 goto err_free_descs;
1679         }
1680         debug("%s: tx_dma_buf=%p\n", __func__, eqos->tx_dma_buf);
1681
1682         eqos->rx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_RX_BUFFER_SIZE);
1683         if (!eqos->rx_dma_buf) {
1684                 debug("%s: memalign(rx_dma_buf) failed\n", __func__);
1685                 ret = -ENOMEM;
1686                 goto err_free_tx_dma_buf;
1687         }
1688         debug("%s: rx_dma_buf=%p\n", __func__, eqos->rx_dma_buf);
1689
1690         eqos->rx_pkt = malloc(EQOS_MAX_PACKET_SIZE);
1691         if (!eqos->rx_pkt) {
1692                 debug("%s: malloc(rx_pkt) failed\n", __func__);
1693                 ret = -ENOMEM;
1694                 goto err_free_rx_dma_buf;
1695         }
1696         debug("%s: rx_pkt=%p\n", __func__, eqos->rx_pkt);
1697
1698         eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf,
1699                         EQOS_MAX_PACKET_SIZE * EQOS_DESCRIPTORS_RX);
1700
1701         debug("%s: OK\n", __func__);
1702         return 0;
1703
1704 err_free_rx_dma_buf:
1705         free(eqos->rx_dma_buf);
1706 err_free_tx_dma_buf:
1707         free(eqos->tx_dma_buf);
1708 err_free_descs:
1709         eqos_free_descs(eqos->descs);
1710 err:
1711
1712         debug("%s: returns %d\n", __func__, ret);
1713         return ret;
1714 }
1715
1716 static int eqos_remove_resources_core(struct udevice *dev)
1717 {
1718         struct eqos_priv *eqos = dev_get_priv(dev);
1719
1720         debug("%s(dev=%p):\n", __func__, dev);
1721
1722         free(eqos->rx_pkt);
1723         free(eqos->rx_dma_buf);
1724         free(eqos->tx_dma_buf);
1725         eqos_free_descs(eqos->descs);
1726
1727         debug("%s: OK\n", __func__);
1728         return 0;
1729 }
1730
1731 static int eqos_probe_resources_tegra186(struct udevice *dev)
1732 {
1733         struct eqos_priv *eqos = dev_get_priv(dev);
1734         int ret;
1735
1736         debug("%s(dev=%p):\n", __func__, dev);
1737
1738         ret = reset_get_by_name(dev, "eqos", &eqos->reset_ctl);
1739         if (ret) {
1740                 pr_err("reset_get_by_name(rst) failed: %d", ret);
1741                 return ret;
1742         }
1743
1744         ret = gpio_request_by_name(dev, "phy-reset-gpios", 0,
1745                                    &eqos->phy_reset_gpio,
1746                                    GPIOD_IS_OUT | GPIOD_IS_OUT_ACTIVE);
1747         if (ret) {
1748                 pr_err("gpio_request_by_name(phy reset) failed: %d", ret);
1749                 goto err_free_reset_eqos;
1750         }
1751
1752         ret = clk_get_by_name(dev, "slave_bus", &eqos->clk_slave_bus);
1753         if (ret) {
1754                 pr_err("clk_get_by_name(slave_bus) failed: %d", ret);
1755                 goto err_free_gpio_phy_reset;
1756         }
1757
1758         ret = clk_get_by_name(dev, "master_bus", &eqos->clk_master_bus);
1759         if (ret) {
1760                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1761                 goto err_free_clk_slave_bus;
1762         }
1763
1764         ret = clk_get_by_name(dev, "rx", &eqos->clk_rx);
1765         if (ret) {
1766                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1767                 goto err_free_clk_master_bus;
1768         }
1769
1770         ret = clk_get_by_name(dev, "ptp_ref", &eqos->clk_ptp_ref);
1771         if (ret) {
1772                 pr_err("clk_get_by_name(ptp_ref) failed: %d", ret);
1773                 goto err_free_clk_rx;
1774                 return ret;
1775         }
1776
1777         ret = clk_get_by_name(dev, "tx", &eqos->clk_tx);
1778         if (ret) {
1779                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1780                 goto err_free_clk_ptp_ref;
1781         }
1782
1783         debug("%s: OK\n", __func__);
1784         return 0;
1785
1786 err_free_clk_ptp_ref:
1787         clk_free(&eqos->clk_ptp_ref);
1788 err_free_clk_rx:
1789         clk_free(&eqos->clk_rx);
1790 err_free_clk_master_bus:
1791         clk_free(&eqos->clk_master_bus);
1792 err_free_clk_slave_bus:
1793         clk_free(&eqos->clk_slave_bus);
1794 err_free_gpio_phy_reset:
1795         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1796 err_free_reset_eqos:
1797         reset_free(&eqos->reset_ctl);
1798
1799         debug("%s: returns %d\n", __func__, ret);
1800         return ret;
1801 }
1802
1803 /* board-specific Ethernet Interface initializations. */
1804 __weak int board_interface_eth_init(struct udevice *dev,
1805                                     phy_interface_t interface_type)
1806 {
1807         return 0;
1808 }
1809
1810 static int eqos_probe_resources_stm32(struct udevice *dev)
1811 {
1812         struct eqos_priv *eqos = dev_get_priv(dev);
1813         int ret;
1814         phy_interface_t interface;
1815         struct ofnode_phandle_args phandle_args;
1816
1817         debug("%s(dev=%p):\n", __func__, dev);
1818
1819         interface = eqos->config->interface(dev);
1820
1821         if (interface == PHY_INTERFACE_MODE_NONE) {
1822                 pr_err("Invalid PHY interface\n");
1823                 return -EINVAL;
1824         }
1825
1826         ret = board_interface_eth_init(dev, interface);
1827         if (ret)
1828                 return -EINVAL;
1829
1830         eqos->max_speed = dev_read_u32_default(dev, "max-speed", 0);
1831
1832         ret = clk_get_by_name(dev, "stmmaceth", &eqos->clk_master_bus);
1833         if (ret) {
1834                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1835                 goto err_probe;
1836         }
1837
1838         ret = clk_get_by_name(dev, "mac-clk-rx", &eqos->clk_rx);
1839         if (ret) {
1840                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1841                 goto err_free_clk_master_bus;
1842         }
1843
1844         ret = clk_get_by_name(dev, "mac-clk-tx", &eqos->clk_tx);
1845         if (ret) {
1846                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1847                 goto err_free_clk_rx;
1848         }
1849
1850         /*  Get ETH_CLK clocks (optional) */
1851         ret = clk_get_by_name(dev, "eth-ck", &eqos->clk_ck);
1852         if (ret)
1853                 pr_warn("No phy clock provided %d", ret);
1854
1855         eqos->phyaddr = -1;
1856         ret = dev_read_phandle_with_args(dev, "phy-handle", NULL, 0, 0,
1857                                          &phandle_args);
1858         if (!ret) {
1859                 /* search "reset-gpios" in phy node */
1860                 ret = gpio_request_by_name_nodev(phandle_args.node,
1861                                                  "reset-gpios", 0,
1862                                                  &eqos->phy_reset_gpio,
1863                                                  GPIOD_IS_OUT |
1864                                                  GPIOD_IS_OUT_ACTIVE);
1865                 if (ret)
1866                         pr_warn("gpio_request_by_name(phy reset) not provided %d",
1867                                 ret);
1868
1869                 eqos->phyaddr = ofnode_read_u32_default(phandle_args.node,
1870                                                         "reg", -1);
1871         }
1872
1873         debug("%s: OK\n", __func__);
1874         return 0;
1875
1876 err_free_clk_rx:
1877         clk_free(&eqos->clk_rx);
1878 err_free_clk_master_bus:
1879         clk_free(&eqos->clk_master_bus);
1880 err_probe:
1881
1882         debug("%s: returns %d\n", __func__, ret);
1883         return ret;
1884 }
1885
1886 static phy_interface_t eqos_get_interface_stm32(struct udevice *dev)
1887 {
1888         const char *phy_mode;
1889         phy_interface_t interface = PHY_INTERFACE_MODE_NONE;
1890
1891         debug("%s(dev=%p):\n", __func__, dev);
1892
1893         phy_mode = fdt_getprop(gd->fdt_blob, dev_of_offset(dev), "phy-mode",
1894                                NULL);
1895         if (phy_mode)
1896                 interface = phy_get_interface_by_name(phy_mode);
1897
1898         return interface;
1899 }
1900
1901 static phy_interface_t eqos_get_interface_tegra186(struct udevice *dev)
1902 {
1903         return PHY_INTERFACE_MODE_MII;
1904 }
1905
1906 static int eqos_probe_resources_imx(struct udevice *dev)
1907 {
1908         struct eqos_priv *eqos = dev_get_priv(dev);
1909         phy_interface_t interface;
1910
1911         debug("%s(dev=%p):\n", __func__, dev);
1912
1913         interface = eqos->config->interface(dev);
1914
1915         if (interface == PHY_INTERFACE_MODE_NONE) {
1916                 pr_err("Invalid PHY interface\n");
1917                 return -EINVAL;
1918         }
1919
1920         debug("%s: OK\n", __func__);
1921         return 0;
1922 }
1923
1924 static phy_interface_t eqos_get_interface_imx(struct udevice *dev)
1925 {
1926         const char *phy_mode;
1927         phy_interface_t interface = PHY_INTERFACE_MODE_NONE;
1928
1929         debug("%s(dev=%p):\n", __func__, dev);
1930
1931         phy_mode = fdt_getprop(gd->fdt_blob, dev_of_offset(dev), "phy-mode",
1932                                NULL);
1933         if (phy_mode)
1934                 interface = phy_get_interface_by_name(phy_mode);
1935
1936         return interface;
1937 }
1938
1939 static int eqos_remove_resources_tegra186(struct udevice *dev)
1940 {
1941         struct eqos_priv *eqos = dev_get_priv(dev);
1942
1943         debug("%s(dev=%p):\n", __func__, dev);
1944
1945 #ifdef CONFIG_CLK
1946         clk_free(&eqos->clk_tx);
1947         clk_free(&eqos->clk_ptp_ref);
1948         clk_free(&eqos->clk_rx);
1949         clk_free(&eqos->clk_slave_bus);
1950         clk_free(&eqos->clk_master_bus);
1951 #endif
1952         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1953         reset_free(&eqos->reset_ctl);
1954
1955         debug("%s: OK\n", __func__);
1956         return 0;
1957 }
1958
1959 static int eqos_remove_resources_stm32(struct udevice *dev)
1960 {
1961 #ifdef CONFIG_CLK
1962         struct eqos_priv *eqos = dev_get_priv(dev);
1963
1964         debug("%s(dev=%p):\n", __func__, dev);
1965
1966         clk_free(&eqos->clk_tx);
1967         clk_free(&eqos->clk_rx);
1968         clk_free(&eqos->clk_master_bus);
1969         if (clk_valid(&eqos->clk_ck))
1970                 clk_free(&eqos->clk_ck);
1971 #endif
1972
1973         if (dm_gpio_is_valid(&eqos->phy_reset_gpio))
1974                 dm_gpio_free(dev, &eqos->phy_reset_gpio);
1975
1976         debug("%s: OK\n", __func__);
1977         return 0;
1978 }
1979
1980 static int eqos_remove_resources_imx(struct udevice *dev)
1981 {
1982         return 0;
1983 }
1984
1985 static int eqos_probe(struct udevice *dev)
1986 {
1987         struct eqos_priv *eqos = dev_get_priv(dev);
1988         int ret;
1989
1990         debug("%s(dev=%p):\n", __func__, dev);
1991
1992         eqos->dev = dev;
1993         eqos->config = (void *)dev_get_driver_data(dev);
1994
1995         eqos->regs = devfdt_get_addr(dev);
1996         if (eqos->regs == FDT_ADDR_T_NONE) {
1997                 pr_err("devfdt_get_addr() failed");
1998                 return -ENODEV;
1999         }
2000         eqos->mac_regs = (void *)(eqos->regs + EQOS_MAC_REGS_BASE);
2001         eqos->mtl_regs = (void *)(eqos->regs + EQOS_MTL_REGS_BASE);
2002         eqos->dma_regs = (void *)(eqos->regs + EQOS_DMA_REGS_BASE);
2003         eqos->tegra186_regs = (void *)(eqos->regs + EQOS_TEGRA186_REGS_BASE);
2004
2005         ret = eqos_probe_resources_core(dev);
2006         if (ret < 0) {
2007                 pr_err("eqos_probe_resources_core() failed: %d", ret);
2008                 return ret;
2009         }
2010
2011         ret = eqos->config->ops->eqos_probe_resources(dev);
2012         if (ret < 0) {
2013                 pr_err("eqos_probe_resources() failed: %d", ret);
2014                 goto err_remove_resources_core;
2015         }
2016
2017 #ifdef CONFIG_DM_ETH_PHY
2018         eqos->mii = eth_phy_get_mdio_bus(dev);
2019 #endif
2020         if (!eqos->mii) {
2021                 eqos->mii = mdio_alloc();
2022                 if (!eqos->mii) {
2023                         pr_err("mdio_alloc() failed");
2024                         ret = -ENOMEM;
2025                         goto err_remove_resources_tegra;
2026                 }
2027                 eqos->mii->read = eqos_mdio_read;
2028                 eqos->mii->write = eqos_mdio_write;
2029                 eqos->mii->priv = eqos;
2030                 strcpy(eqos->mii->name, dev->name);
2031
2032                 ret = mdio_register(eqos->mii);
2033                 if (ret < 0) {
2034                         pr_err("mdio_register() failed: %d", ret);
2035                         goto err_free_mdio;
2036                 }
2037         }
2038
2039 #ifdef CONFIG_DM_ETH_PHY
2040         eth_phy_set_mdio_bus(dev, eqos->mii);
2041 #endif
2042
2043         debug("%s: OK\n", __func__);
2044         return 0;
2045
2046 err_free_mdio:
2047         mdio_free(eqos->mii);
2048 err_remove_resources_tegra:
2049         eqos->config->ops->eqos_remove_resources(dev);
2050 err_remove_resources_core:
2051         eqos_remove_resources_core(dev);
2052
2053         debug("%s: returns %d\n", __func__, ret);
2054         return ret;
2055 }
2056
2057 static int eqos_remove(struct udevice *dev)
2058 {
2059         struct eqos_priv *eqos = dev_get_priv(dev);
2060
2061         debug("%s(dev=%p):\n", __func__, dev);
2062
2063         mdio_unregister(eqos->mii);
2064         mdio_free(eqos->mii);
2065         eqos->config->ops->eqos_remove_resources(dev);
2066
2067         eqos_probe_resources_core(dev);
2068
2069         debug("%s: OK\n", __func__);
2070         return 0;
2071 }
2072
2073 static const struct eth_ops eqos_ops = {
2074         .start = eqos_start,
2075         .stop = eqos_stop,
2076         .send = eqos_send,
2077         .recv = eqos_recv,
2078         .free_pkt = eqos_free_pkt,
2079         .write_hwaddr = eqos_write_hwaddr,
2080         .read_rom_hwaddr        = eqos_read_rom_hwaddr,
2081 };
2082
2083 static struct eqos_ops eqos_tegra186_ops = {
2084         .eqos_inval_desc = eqos_inval_desc_tegra186,
2085         .eqos_flush_desc = eqos_flush_desc_tegra186,
2086         .eqos_inval_buffer = eqos_inval_buffer_tegra186,
2087         .eqos_flush_buffer = eqos_flush_buffer_tegra186,
2088         .eqos_probe_resources = eqos_probe_resources_tegra186,
2089         .eqos_remove_resources = eqos_remove_resources_tegra186,
2090         .eqos_stop_resets = eqos_stop_resets_tegra186,
2091         .eqos_start_resets = eqos_start_resets_tegra186,
2092         .eqos_stop_clks = eqos_stop_clks_tegra186,
2093         .eqos_start_clks = eqos_start_clks_tegra186,
2094         .eqos_calibrate_pads = eqos_calibrate_pads_tegra186,
2095         .eqos_disable_calibration = eqos_disable_calibration_tegra186,
2096         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_tegra186,
2097         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_tegra186
2098 };
2099
2100 static const struct eqos_config eqos_tegra186_config = {
2101         .reg_access_always_ok = false,
2102         .mdio_wait = 10,
2103         .swr_wait = 10,
2104         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB,
2105         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_20_35,
2106         .interface = eqos_get_interface_tegra186,
2107         .ops = &eqos_tegra186_ops
2108 };
2109
2110 static struct eqos_ops eqos_stm32_ops = {
2111         .eqos_inval_desc = eqos_inval_desc_generic,
2112         .eqos_flush_desc = eqos_flush_desc_generic,
2113         .eqos_inval_buffer = eqos_inval_buffer_generic,
2114         .eqos_flush_buffer = eqos_flush_buffer_generic,
2115         .eqos_probe_resources = eqos_probe_resources_stm32,
2116         .eqos_remove_resources = eqos_remove_resources_stm32,
2117         .eqos_stop_resets = eqos_stop_resets_stm32,
2118         .eqos_start_resets = eqos_start_resets_stm32,
2119         .eqos_stop_clks = eqos_stop_clks_stm32,
2120         .eqos_start_clks = eqos_start_clks_stm32,
2121         .eqos_calibrate_pads = eqos_calibrate_pads_stm32,
2122         .eqos_disable_calibration = eqos_disable_calibration_stm32,
2123         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_stm32,
2124         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_stm32
2125 };
2126
2127 static const struct eqos_config eqos_stm32_config = {
2128         .reg_access_always_ok = false,
2129         .mdio_wait = 10000,
2130         .swr_wait = 50,
2131         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_AV,
2132         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_250_300,
2133         .interface = eqos_get_interface_stm32,
2134         .ops = &eqos_stm32_ops
2135 };
2136
2137 static struct eqos_ops eqos_imx_ops = {
2138         .eqos_inval_desc = eqos_inval_desc_generic,
2139         .eqos_flush_desc = eqos_flush_desc_generic,
2140         .eqos_inval_buffer = eqos_inval_buffer_generic,
2141         .eqos_flush_buffer = eqos_flush_buffer_generic,
2142         .eqos_probe_resources = eqos_probe_resources_imx,
2143         .eqos_remove_resources = eqos_remove_resources_imx,
2144         .eqos_stop_resets = eqos_stop_resets_imx,
2145         .eqos_start_resets = eqos_start_resets_imx,
2146         .eqos_stop_clks = eqos_stop_clks_imx,
2147         .eqos_start_clks = eqos_start_clks_imx,
2148         .eqos_calibrate_pads = eqos_calibrate_pads_imx,
2149         .eqos_disable_calibration = eqos_disable_calibration_imx,
2150         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_imx,
2151         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_imx
2152 };
2153
2154 struct eqos_config eqos_imx_config = {
2155         .reg_access_always_ok = false,
2156         .mdio_wait = 10000,
2157         .swr_wait = 50,
2158         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB,
2159         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_250_300,
2160         .interface = eqos_get_interface_imx,
2161         .ops = &eqos_imx_ops
2162 };
2163
2164 static const struct udevice_id eqos_ids[] = {
2165         {
2166                 .compatible = "nvidia,tegra186-eqos",
2167                 .data = (ulong)&eqos_tegra186_config
2168         },
2169         {
2170                 .compatible = "snps,dwmac-4.20a",
2171                 .data = (ulong)&eqos_stm32_config
2172         },
2173         {
2174                 .compatible = "fsl,imx-eqos",
2175                 .data = (ulong)&eqos_imx_config
2176         },
2177
2178         { }
2179 };
2180
2181 U_BOOT_DRIVER(eth_eqos) = {
2182         .name = "eth_eqos",
2183         .id = UCLASS_ETH,
2184         .of_match = of_match_ptr(eqos_ids),
2185         .probe = eqos_probe,
2186         .remove = eqos_remove,
2187         .ops = &eqos_ops,
2188         .priv_auto_alloc_size = sizeof(struct eqos_priv),
2189         .platdata_auto_alloc_size = sizeof(struct eth_pdata),
2190 };