drivers/spi/ich.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Copyright (c) 2011-12 The Chromium OS Authors.
   4  *
   5  * This file is derived from the flashrom project.
   6  */
   7
   8 #define LOG_CATEGORY    UCLASS_SPI
   9
  10 #include <common.h>
  11 #include <bootstage.h>
  12 #include <div64.h>
  13 #include <dm.h>
  14 #include <dt-structs.h>
  15 #include <errno.h>
  16 #include <log.h>
  17 #include <malloc.h>
  18 #include <pch.h>
  19 #include <pci.h>
  20 #include <pci_ids.h>
  21 #include <spi.h>
  22 #include <spi_flash.h>
  23 #include <spi-mem.h>
  24 #include <spl.h>
  25 #include <asm/fast_spi.h>
  26 #include <asm/io.h>
  27 #include <asm/mtrr.h>
  28 #include <linux/delay.h>
  29 #include <linux/sizes.h>
  30
  31 #include "ich.h"
  32
  33 #ifdef DEBUG_TRACE
  34 #define debug_trace(fmt, args...) debug(fmt, ##args)
  35 #else
  36 #define debug_trace(x, args...)
  37 #endif
  38
  39 struct ich_spi_platdata {
  40 #if CONFIG_IS_ENABLED(OF_PLATDATA)
  41         struct dtd_intel_fast_spi dtplat;
  42 #endif
  43         enum ich_version ich_version;   /* Controller version, 7 or 9 */
  44         bool lockdown;                  /* lock down controller settings? */
  45         ulong mmio_base;                /* Base of MMIO registers */
  46         pci_dev_t bdf;                  /* PCI address used by of-platdata */
  47         bool hwseq;                     /* Use hardware sequencing (not s/w) */
  48 };
  49
  50 static u8 ich_readb(struct ich_spi_priv *priv, int reg)
  51 {
  52         u8 value = readb(priv->base + reg);
  53
  54         debug_trace("read %2.2x from %4.4x\n", value, reg);
  55
  56         return value;
  57 }
  58
  59 static u16 ich_readw(struct ich_spi_priv *priv, int reg)
  60 {
  61         u16 value = readw(priv->base + reg);
  62
  63         debug_trace("read %4.4x from %4.4x\n", value, reg);
  64
  65         return value;
  66 }
  67
  68 static u32 ich_readl(struct ich_spi_priv *priv, int reg)
  69 {
  70         u32 value = readl(priv->base + reg);
  71
  72         debug_trace("read %8.8x from %4.4x\n", value, reg);
  73
  74         return value;
  75 }
  76
  77 static void ich_writeb(struct ich_spi_priv *priv, u8 value, int reg)
  78 {
  79         writeb(value, priv->base + reg);
  80         debug_trace("wrote %2.2x to %4.4x\n", value, reg);
  81 }
  82
  83 static void ich_writew(struct ich_spi_priv *priv, u16 value, int reg)
  84 {
  85         writew(value, priv->base + reg);
  86         debug_trace("wrote %4.4x to %4.4x\n", value, reg);
  87 }
  88
  89 static void ich_writel(struct ich_spi_priv *priv, u32 value, int reg)
  90 {
  91         writel(value, priv->base + reg);
  92         debug_trace("wrote %8.8x to %4.4x\n", value, reg);
  93 }
  94
  95 static void write_reg(struct ich_spi_priv *priv, const void *value,
  96                       int dest_reg, uint32_t size)
  97 {
  98         memcpy_toio(priv->base + dest_reg, value, size);
  99 }
 100
 101 static void read_reg(struct ich_spi_priv *priv, int src_reg, void *value,
 102                      uint32_t size)
 103 {
 104         memcpy_fromio(value, priv->base + src_reg, size);
 105 }
 106
 107 static void ich_set_bbar(struct ich_spi_priv *ctlr, uint32_t minaddr)
 108 {
 109         const uint32_t bbar_mask = 0x00ffff00;
 110         uint32_t ichspi_bbar;
 111
 112         if (ctlr->bbar) {
 113                 minaddr &= bbar_mask;
 114                 ichspi_bbar = ich_readl(ctlr, ctlr->bbar) & ~bbar_mask;
 115                 ichspi_bbar |= minaddr;
 116                 ich_writel(ctlr, ichspi_bbar, ctlr->bbar);
 117         }
 118 }
 119
 120 /* @return 1 if the SPI flash supports the 33MHz speed */
 121 static bool ich9_can_do_33mhz(struct udevice *dev)
 122 {
 123         struct ich_spi_priv *priv = dev_get_priv(dev);
 124         u32 fdod, speed;
 125
 126         if (!CONFIG_IS_ENABLED(PCI))
 127                 return false;
 128         /* Observe SPI Descriptor Component Section 0 */
 129         dm_pci_write_config32(priv->pch, 0xb0, 0x1000);
 130
 131         /* Extract the Write/Erase SPI Frequency from descriptor */
 132         dm_pci_read_config32(priv->pch, 0xb4, &fdod);
 133
 134         /* Bits 23:21 have the fast read clock frequency, 0=20MHz, 1=33MHz */
 135         speed = (fdod >> 21) & 7;
 136
 137         return speed == 1;
 138 }
 139
 140 static void spi_lock_down(struct ich_spi_platdata *plat, void *sbase)
 141 {
 142         if (plat->ich_version == ICHV_7) {
 143                 struct ich7_spi_regs *ich7_spi = sbase;
 144
 145                 setbits_le16(&ich7_spi->spis, SPIS_LOCK);
 146         } else if (plat->ich_version == ICHV_9) {
 147                 struct ich9_spi_regs *ich9_spi = sbase;
 148
 149                 setbits_le16(&ich9_spi->hsfs, HSFS_FLOCKDN);
 150         }
 151 }
 152
 153 static bool spi_lock_status(struct ich_spi_platdata *plat, void *sbase)
 154 {
 155         int lock = 0;
 156
 157         if (plat->ich_version == ICHV_7) {
 158                 struct ich7_spi_regs *ich7_spi = sbase;
 159
 160                 lock = readw(&ich7_spi->spis) & SPIS_LOCK;
 161         } else if (plat->ich_version == ICHV_9) {
 162                 struct ich9_spi_regs *ich9_spi = sbase;
 163
 164                 lock = readw(&ich9_spi->hsfs) & HSFS_FLOCKDN;
 165         }
 166
 167         return lock != 0;
 168 }
 169
 170 static int spi_setup_opcode(struct ich_spi_priv *ctlr, struct spi_trans *trans,
 171                             bool lock)
 172 {
 173         uint16_t optypes;
 174         uint8_t opmenu[ctlr->menubytes];
 175
 176         if (!lock) {
 177                 /* The lock is off, so just use index 0. */
 178                 ich_writeb(ctlr, trans->opcode, ctlr->opmenu);
 179                 optypes = ich_readw(ctlr, ctlr->optype);
 180                 optypes = (optypes & 0xfffc) | (trans->type & 0x3);
 181                 ich_writew(ctlr, optypes, ctlr->optype);
 182                 return 0;
 183         } else {
 184                 /* The lock is on. See if what we need is on the menu. */
 185                 uint8_t optype;
 186                 uint16_t opcode_index;
 187
 188                 /* Write Enable is handled as atomic prefix */
 189                 if (trans->opcode == SPI_OPCODE_WREN)
 190                         return 0;
 191
 192                 read_reg(ctlr, ctlr->opmenu, opmenu, sizeof(opmenu));
 193                 for (opcode_index = 0; opcode_index < ctlr->menubytes;
 194                                 opcode_index++) {
 195                         if (opmenu[opcode_index] == trans->opcode)
 196                                 break;
 197                 }
 198
 199                 if (opcode_index == ctlr->menubytes) {
 200                         debug("ICH SPI: Opcode %x not found\n", trans->opcode);
 201                         return -EINVAL;
 202                 }
 203
 204                 optypes = ich_readw(ctlr, ctlr->optype);
 205                 optype = (optypes >> (opcode_index * 2)) & 0x3;
 206
 207                 if (optype != trans->type) {
 208                         debug("ICH SPI: Transaction doesn't fit type %d\n",
 209                               optype);
 210                         return -ENOSPC;
 211                 }
 212                 return opcode_index;
 213         }
 214 }
 215
 216 /*
 217  * Wait for up to 6s til status register bit(s) turn 1 (in case wait_til_set
 218  * below is true) or 0. In case the wait was for the bit(s) to set - write
 219  * those bits back, which would cause resetting them.
 220  *
 221  * Return the last read status value on success or -1 on failure.
 222  */
 223 static int ich_status_poll(struct ich_spi_priv *ctlr, u16 bitmask,
 224                            int wait_til_set)
 225 {
 226         int timeout = 600000; /* This will result in 6s */
 227         u16 status = 0;
 228
 229         while (timeout--) {
 230                 status = ich_readw(ctlr, ctlr->status);
 231                 if (wait_til_set ^ ((status & bitmask) == 0)) {
 232                         if (wait_til_set) {
 233                                 ich_writew(ctlr, status & bitmask,
 234                                            ctlr->status);
 235                         }
 236                         return status;
 237                 }
 238                 udelay(10);
 239         }
 240         debug("ICH SPI: SCIP timeout, read %x, expected %x, wts %x %x\n",
 241               status, bitmask, wait_til_set, status & bitmask);
 242
 243         return -ETIMEDOUT;
 244 }
 245
 246 static void ich_spi_config_opcode(struct udevice *dev)
 247 {
 248         struct ich_spi_priv *ctlr = dev_get_priv(dev);
 249
 250         /*
 251          * PREOP, OPTYPE, OPMENU1/OPMENU2 registers can be locked down
 252          * to prevent accidental or intentional writes. Before they get
 253          * locked down, these registers should be initialized properly.
 254          */
 255         ich_writew(ctlr, SPI_OPPREFIX, ctlr->preop);
 256         ich_writew(ctlr, SPI_OPTYPE, ctlr->optype);
 257         ich_writel(ctlr, SPI_OPMENU_LOWER, ctlr->opmenu);
 258         ich_writel(ctlr, SPI_OPMENU_UPPER, ctlr->opmenu + sizeof(u32));
 259 }
 260
 261 static int ich_spi_exec_op_swseq(struct spi_slave *slave,
 262                                  const struct spi_mem_op *op)
 263 {
 264         struct udevice *bus = dev_get_parent(slave->dev);
 265         struct ich_spi_platdata *plat = dev_get_platdata(bus);
 266         struct ich_spi_priv *ctlr = dev_get_priv(bus);
 267         uint16_t control;
 268         int16_t opcode_index;
 269         int with_address;
 270         int status;
 271         struct spi_trans *trans = &ctlr->trans;
 272         bool lock = spi_lock_status(plat, ctlr->base);
 273         int ret = 0;
 274
 275         trans->in = NULL;
 276         trans->out = NULL;
 277         trans->type = 0xFF;
 278
 279         if (op->data.nbytes) {
 280                 if (op->data.dir == SPI_MEM_DATA_IN) {
 281                         trans->in = op->data.buf.in;
 282                         trans->bytesin = op->data.nbytes;
 283                 } else {
 284                         trans->out = op->data.buf.out;
 285                         trans->bytesout = op->data.nbytes;
 286                 }
 287         }
 288
 289         if (trans->opcode != op->cmd.opcode)
 290                 trans->opcode = op->cmd.opcode;
 291
 292         if (lock && trans->opcode == SPI_OPCODE_WRDIS)
 293                 return 0;
 294
 295         if (trans->opcode == SPI_OPCODE_WREN) {
 296                 /*
 297                  * Treat Write Enable as Atomic Pre-Op if possible
 298                  * in order to prevent the Management Engine from
 299                  * issuing a transaction between WREN and DATA.
 300                  */
 301                 if (!lock)
 302                         ich_writew(ctlr, trans->opcode, ctlr->preop);
 303                 return 0;
 304         }
 305
 306         ret = ich_status_poll(ctlr, SPIS_SCIP, 0);
 307         if (ret < 0)
 308                 return ret;
 309
 310         if (plat->ich_version == ICHV_7)
 311                 ich_writew(ctlr, SPIS_CDS | SPIS_FCERR, ctlr->status);
 312         else
 313                 ich_writeb(ctlr, SPIS_CDS | SPIS_FCERR, ctlr->status);
 314
 315         /* Try to guess spi transaction type */
 316         if (op->data.dir == SPI_MEM_DATA_OUT) {
 317                 if (op->addr.nbytes)
 318                         trans->type = SPI_OPCODE_TYPE_WRITE_WITH_ADDRESS;
 319                 else
 320                         trans->type = SPI_OPCODE_TYPE_WRITE_NO_ADDRESS;
 321         } else {
 322                 if (op->addr.nbytes)
 323                         trans->type = SPI_OPCODE_TYPE_READ_WITH_ADDRESS;
 324                 else
 325                         trans->type = SPI_OPCODE_TYPE_READ_NO_ADDRESS;
 326         }
 327         /* Special erase case handling */
 328         if (op->addr.nbytes && !op->data.buswidth)
 329                 trans->type = SPI_OPCODE_TYPE_WRITE_WITH_ADDRESS;
 330
 331         opcode_index = spi_setup_opcode(ctlr, trans, lock);
 332         if (opcode_index < 0)
 333                 return -EINVAL;
 334
 335         if (op->addr.nbytes) {
 336                 trans->offset = op->addr.val;
 337                 with_address = 1;
 338         }
 339
 340         if (ctlr->speed && ctlr->max_speed >= 33000000) {
 341                 int byte;
 342
 343                 byte = ich_readb(ctlr, ctlr->speed);
 344                 if (ctlr->cur_speed >= 33000000)
 345                         byte |= SSFC_SCF_33MHZ;
 346                 else
 347                         byte &= ~SSFC_SCF_33MHZ;
 348                 ich_writeb(ctlr, byte, ctlr->speed);
 349         }
 350
 351         /* Preset control fields */
 352         control = SPIC_SCGO | ((opcode_index & 0x07) << 4);
 353
 354         /* Issue atomic preop cycle if needed */
 355         if (ich_readw(ctlr, ctlr->preop))
 356                 control |= SPIC_ACS;
 357
 358         if (!trans->bytesout && !trans->bytesin) {
 359                 /* SPI addresses are 24 bit only */
 360                 if (with_address) {
 361                         ich_writel(ctlr, trans->offset & 0x00FFFFFF,
 362                                    ctlr->addr);
 363                 }
 364                 /*
 365                  * This is a 'no data' command (like Write Enable), its
 366                  * bitesout size was 1, decremented to zero while executing
 367                  * spi_setup_opcode() above. Tell the chip to send the
 368                  * command.
 369                  */
 370                 ich_writew(ctlr, control, ctlr->control);
 371
 372                 /* wait for the result */
 373                 status = ich_status_poll(ctlr, SPIS_CDS | SPIS_FCERR, 1);
 374                 if (status < 0)
 375                         return status;
 376
 377                 if (status & SPIS_FCERR) {
 378                         debug("ICH SPI: Command transaction error\n");
 379                         return -EIO;
 380                 }
 381
 382                 return 0;
 383         }
 384
 385         while (trans->bytesout || trans->bytesin) {
 386                 uint32_t data_length;
 387
 388                 /* SPI addresses are 24 bit only */
 389                 ich_writel(ctlr, trans->offset & 0x00FFFFFF, ctlr->addr);
 390
 391                 if (trans->bytesout)
 392                         data_length = min(trans->bytesout, ctlr->databytes);
 393                 else
 394                         data_length = min(trans->bytesin, ctlr->databytes);
 395
 396                 /* Program data into FDATA0 to N */
 397                 if (trans->bytesout) {
 398                         write_reg(ctlr, trans->out, ctlr->data, data_length);
 399                         trans->bytesout -= data_length;
 400                 }
 401
 402                 /* Add proper control fields' values */
 403                 control &= ~((ctlr->databytes - 1) << 8);
 404                 control |= SPIC_DS;
 405                 control |= (data_length - 1) << 8;
 406
 407                 /* write it */
 408                 ich_writew(ctlr, control, ctlr->control);
 409
 410                 /* Wait for Cycle Done Status or Flash Cycle Error */
 411                 status = ich_status_poll(ctlr, SPIS_CDS | SPIS_FCERR, 1);
 412                 if (status < 0)
 413                         return status;
 414
 415                 if (status & SPIS_FCERR) {
 416                         debug("ICH SPI: Data transaction error %x\n", status);
 417                         return -EIO;
 418                 }
 419
 420                 if (trans->bytesin) {
 421                         read_reg(ctlr, ctlr->data, trans->in, data_length);
 422                         trans->bytesin -= data_length;
 423                 }
 424         }
 425
 426         /* Clear atomic preop now that xfer is done */
 427         if (!lock)
 428                 ich_writew(ctlr, 0, ctlr->preop);
 429
 430         return 0;
 431 }
 432
 433 /*
 434  * Ensure read/write xfer len is not greater than SPIBAR_FDATA_FIFO_SIZE and
 435  * that the operation does not cross page boundary.
 436  */
 437 static uint get_xfer_len(u32 offset, int len, int page_size)
 438 {
 439         uint xfer_len = min(len, SPIBAR_FDATA_FIFO_SIZE);
 440         uint bytes_left = ALIGN(offset, page_size) - offset;
 441
 442         if (bytes_left)
 443                 xfer_len = min(xfer_len, bytes_left);
 444
 445         return xfer_len;
 446 }
 447
 448 /* Fill FDATAn FIFO in preparation for a write transaction */
 449 static void fill_xfer_fifo(struct fast_spi_regs *regs, const void *data,
 450                            uint len)
 451 {
 452         memcpy(regs->fdata, data, len);
 453 }
 454
 455 /* Drain FDATAn FIFO after a read transaction populates data */
 456 static void drain_xfer_fifo(struct fast_spi_regs *regs, void *dest, uint len)
 457 {
 458         memcpy(dest, regs->fdata, len);
 459 }
 460
 461 /* Fire up a transfer using the hardware sequencer */
 462 static void start_hwseq_xfer(struct fast_spi_regs *regs, uint hsfsts_cycle,
 463                              uint offset, uint len)
 464 {
 465         /* Make sure all W1C status bits get cleared */
 466         u32 hsfsts;
 467
 468         hsfsts = readl(&regs->hsfsts_ctl);
 469         hsfsts &= ~(HSFSTS_FCYCLE_MASK | HSFSTS_FDBC_MASK);
 470         hsfsts |= HSFSTS_AEL | HSFSTS_FCERR | HSFSTS_FDONE;
 471
 472         /* Set up transaction parameters */
 473         hsfsts |= hsfsts_cycle << HSFSTS_FCYCLE_SHIFT;
 474         hsfsts |= ((len - 1) << HSFSTS_FDBC_SHIFT) & HSFSTS_FDBC_MASK;
 475         hsfsts |= HSFSTS_FGO;
 476
 477         writel(offset, &regs->faddr);
 478         writel(hsfsts, &regs->hsfsts_ctl);
 479 }
 480
 481 static int wait_for_hwseq_xfer(struct fast_spi_regs *regs, uint offset)
 482 {
 483         ulong start;
 484         u32 hsfsts;
 485
 486         start = get_timer(0);
 487         do {
 488                 hsfsts = readl(&regs->hsfsts_ctl);
 489                 if (hsfsts & HSFSTS_FCERR) {
 490                         debug("SPI transaction error at offset %x HSFSTS = %08x\n",
 491                               offset, hsfsts);
 492                         return -EIO;
 493                 }
 494                 if (hsfsts & HSFSTS_AEL)
 495                         return -EPERM;
 496
 497                 if (hsfsts & HSFSTS_FDONE)
 498                         return 0;
 499         } while (get_timer(start) < SPIBAR_HWSEQ_XFER_TIMEOUT_MS);
 500
 501         debug("SPI transaction timeout at offset %x HSFSTS = %08x, timer %d\n",
 502               offset, hsfsts, (uint)get_timer(start));
 503
 504         return -ETIMEDOUT;
 505 }
 506
 507 /**
 508  * exec_sync_hwseq_xfer() - Execute flash transfer by hardware sequencing
 509  *
 510  * This waits until complete or timeout
 511  *
 512  * @regs: SPI registers
 513  * @hsfsts_cycle: Cycle type (enum hsfsts_cycle_t)
 514  * @offset: Offset to access
 515  * @len: Number of bytes to transfer (can be 0)
 516  * @return 0 if OK, -EIO on flash-cycle error (FCERR), -EPERM on access error
 517  *      (AEL), -ETIMEDOUT on timeout
 518  */
 519 static int exec_sync_hwseq_xfer(struct fast_spi_regs *regs, uint hsfsts_cycle,
 520                                 uint offset, uint len)
 521 {
 522         start_hwseq_xfer(regs, hsfsts_cycle, offset, len);
 523
 524         return wait_for_hwseq_xfer(regs, offset);
 525 }
 526
 527 static int ich_spi_exec_op_hwseq(struct spi_slave *slave,
 528                                  const struct spi_mem_op *op)
 529 {
 530         struct spi_flash *flash = dev_get_uclass_priv(slave->dev);
 531         struct udevice *bus = dev_get_parent(slave->dev);
 532         struct ich_spi_priv *priv = dev_get_priv(bus);
 533         struct fast_spi_regs *regs = priv->base;
 534         uint page_size;
 535         uint offset;
 536         int cycle;
 537         uint len;
 538         bool out;
 539         int ret;
 540         u8 *buf;
 541
 542         offset = op->addr.val;
 543         len = op->data.nbytes;
 544
 545         switch (op->cmd.opcode) {
 546         case SPINOR_OP_RDID:
 547                 cycle = HSFSTS_CYCLE_RDID;
 548                 break;
 549         case SPINOR_OP_READ_FAST:
 550                 cycle = HSFSTS_CYCLE_READ;
 551                 break;
 552         case SPINOR_OP_PP:
 553                 cycle = HSFSTS_CYCLE_WRITE;
 554                 break;
 555         case SPINOR_OP_WREN:
 556                 /* Nothing needs to be done */
 557                 return 0;
 558         case SPINOR_OP_WRSR:
 559                 cycle = HSFSTS_CYCLE_WR_STATUS;
 560                 break;
 561         case SPINOR_OP_RDSR:
 562                 cycle = HSFSTS_CYCLE_RD_STATUS;
 563                 break;
 564         case SPINOR_OP_WRDI:
 565                 return 0;  /* ignore */
 566         case SPINOR_OP_BE_4K:
 567                 cycle = HSFSTS_CYCLE_4K_ERASE;
 568                 ret = exec_sync_hwseq_xfer(regs, cycle, offset, 0);
 569                 return ret;
 570         default:
 571                 debug("Unknown cycle %x\n", op->cmd.opcode);
 572                 return -EINVAL;
 573         };
 574
 575         out = op->data.dir == SPI_MEM_DATA_OUT;
 576         buf = out ? (u8 *)op->data.buf.out : op->data.buf.in;
 577         page_size = flash->page_size ? : 256;
 578
 579         while (len) {
 580                 uint xfer_len = get_xfer_len(offset, len, page_size);
 581
 582                 if (out)
 583                         fill_xfer_fifo(regs, buf, xfer_len);
 584
 585                 ret = exec_sync_hwseq_xfer(regs, cycle, offset, xfer_len);
 586                 if (ret)
 587                         return ret;
 588
 589                 if (!out)
 590                         drain_xfer_fifo(regs, buf, xfer_len);
 591
 592                 offset += xfer_len;
 593                 buf += xfer_len;
 594                 len -= xfer_len;
 595         }
 596
 597         return 0;
 598 }
 599
 600 static int ich_spi_exec_op(struct spi_slave *slave, const struct spi_mem_op *op)
 601 {
 602         struct udevice *bus = dev_get_parent(slave->dev);
 603         struct ich_spi_platdata *plat = dev_get_platdata(bus);
 604         int ret;
 605
 606         bootstage_start(BOOTSTAGE_ID_ACCUM_SPI, "fast_spi");
 607         if (plat->hwseq)
 608                 ret = ich_spi_exec_op_hwseq(slave, op);
 609         else
 610                 ret = ich_spi_exec_op_swseq(slave, op);
 611         bootstage_accum(BOOTSTAGE_ID_ACCUM_SPI);
 612
 613         return ret;
 614 }
 615
 616 static int ich_get_mmap_bus(struct udevice *bus, ulong *map_basep,
 617                             uint *map_sizep, uint *offsetp)
 618 {
 619         pci_dev_t spi_bdf;
 620
 621 #if !CONFIG_IS_ENABLED(OF_PLATDATA)
 622         struct pci_child_platdata *pplat = dev_get_parent_platdata(bus);
 623
 624         spi_bdf = pplat->devfn;
 625 #else
 626         struct ich_spi_platdata *plat = dev_get_platdata(bus);
 627
 628         /*
 629          * We cannot rely on plat->bdf being set up yet since this method can
 630          * be called before the device is probed. Use the of-platdata directly
 631          * instead.
 632          */
 633         spi_bdf = pci_ofplat_get_devfn(plat->dtplat.reg[0]);
 634 #endif
 635
 636         return fast_spi_get_bios_mmap(spi_bdf, map_basep, map_sizep, offsetp);
 637 }
 638
 639 static int ich_get_mmap(struct udevice *dev, ulong *map_basep, uint *map_sizep,
 640                         uint *offsetp)
 641 {
 642         struct udevice *bus = dev_get_parent(dev);
 643
 644         return ich_get_mmap_bus(bus, map_basep, map_sizep, offsetp);
 645 }
 646
 647 static int ich_spi_adjust_size(struct spi_slave *slave, struct spi_mem_op *op)
 648 {
 649         unsigned int page_offset;
 650         int addr = op->addr.val;
 651         unsigned int byte_count = op->data.nbytes;
 652
 653         if (hweight32(ICH_BOUNDARY) == 1) {
 654                 page_offset = addr & (ICH_BOUNDARY - 1);
 655         } else {
 656                 u64 aux = addr;
 657
 658                 page_offset = do_div(aux, ICH_BOUNDARY);
 659         }
 660
 661         if (op->data.dir == SPI_MEM_DATA_IN) {
 662                 if (slave->max_read_size) {
 663                         op->data.nbytes = min(ICH_BOUNDARY - page_offset,
 664                                               slave->max_read_size);
 665                 }
 666         } else if (slave->max_write_size) {
 667                 op->data.nbytes = min(ICH_BOUNDARY - page_offset,
 668                                       slave->max_write_size);
 669         }
 670
 671         op->data.nbytes = min(op->data.nbytes, byte_count);
 672
 673         return 0;
 674 }
 675
 676 static int ich_protect_lockdown(struct udevice *dev)
 677 {
 678         struct ich_spi_platdata *plat = dev_get_platdata(dev);
 679         struct ich_spi_priv *priv = dev_get_priv(dev);
 680         int ret = -ENOSYS;
 681
 682         /* Disable the BIOS write protect so write commands are allowed */
 683         if (priv->pch)
 684                 ret = pch_set_spi_protect(priv->pch, false);
 685         if (ret == -ENOSYS) {
 686                 u8 bios_cntl;
 687
 688                 bios_cntl = ich_readb(priv, priv->bcr);
 689                 bios_cntl &= ~BIT(5);   /* clear Enable InSMM_STS (EISS) */
 690                 bios_cntl |= 1;         /* Write Protect Disable (WPD) */
 691                 ich_writeb(priv, bios_cntl, priv->bcr);
 692         } else if (ret) {
 693                 debug("%s: Failed to disable write-protect: err=%d\n",
 694                       __func__, ret);
 695                 return ret;
 696         }
 697
 698         /* Lock down SPI controller settings if required */
 699         if (plat->lockdown) {
 700                 ich_spi_config_opcode(dev);
 701                 spi_lock_down(plat, priv->base);
 702         }
 703
 704         return 0;
 705 }
 706
 707 static int ich_init_controller(struct udevice *dev,
 708                                struct ich_spi_platdata *plat,
 709                                struct ich_spi_priv *ctlr)
 710 {
 711         if (spl_phase() == PHASE_TPL) {
 712                 struct ich_spi_platdata *plat = dev_get_platdata(dev);
 713                 int ret;
 714
 715                 ret = fast_spi_early_init(plat->bdf, plat->mmio_base);
 716                 if (ret)
 717                         return ret;
 718         }
 719
 720         ctlr->base = (void *)plat->mmio_base;
 721         if (plat->ich_version == ICHV_7) {
 722                 struct ich7_spi_regs *ich7_spi = ctlr->base;
 723
 724                 ctlr->opmenu = offsetof(struct ich7_spi_regs, opmenu);
 725                 ctlr->menubytes = sizeof(ich7_spi->opmenu);
 726                 ctlr->optype = offsetof(struct ich7_spi_regs, optype);
 727                 ctlr->addr = offsetof(struct ich7_spi_regs, spia);
 728                 ctlr->data = offsetof(struct ich7_spi_regs, spid);
 729                 ctlr->databytes = sizeof(ich7_spi->spid);
 730                 ctlr->status = offsetof(struct ich7_spi_regs, spis);
 731                 ctlr->control = offsetof(struct ich7_spi_regs, spic);
 732                 ctlr->bbar = offsetof(struct ich7_spi_regs, bbar);
 733                 ctlr->preop = offsetof(struct ich7_spi_regs, preop);
 734         } else if (plat->ich_version == ICHV_9) {
 735                 struct ich9_spi_regs *ich9_spi = ctlr->base;
 736
 737                 ctlr->opmenu = offsetof(struct ich9_spi_regs, opmenu);
 738                 ctlr->menubytes = sizeof(ich9_spi->opmenu);
 739                 ctlr->optype = offsetof(struct ich9_spi_regs, optype);
 740                 ctlr->addr = offsetof(struct ich9_spi_regs, faddr);
 741                 ctlr->data = offsetof(struct ich9_spi_regs, fdata);
 742                 ctlr->databytes = sizeof(ich9_spi->fdata);
 743                 ctlr->status = offsetof(struct ich9_spi_regs, ssfs);
 744                 ctlr->control = offsetof(struct ich9_spi_regs, ssfc);
 745                 ctlr->speed = ctlr->control + 2;
 746                 ctlr->bbar = offsetof(struct ich9_spi_regs, bbar);
 747                 ctlr->preop = offsetof(struct ich9_spi_regs, preop);
 748                 ctlr->bcr = offsetof(struct ich9_spi_regs, bcr);
 749                 ctlr->pr = &ich9_spi->pr[0];
 750         } else if (plat->ich_version == ICHV_APL) {
 751         } else {
 752                 debug("ICH SPI: Unrecognised ICH version %d\n",
 753                       plat->ich_version);
 754                 return -EINVAL;
 755         }
 756
 757         /* Work out the maximum speed we can support */
 758         ctlr->max_speed = 20000000;
 759         if (plat->ich_version == ICHV_9 && ich9_can_do_33mhz(dev))
 760                 ctlr->max_speed = 33000000;
 761         debug("ICH SPI: Version ID %d detected at %lx, speed %ld\n",
 762               plat->ich_version, plat->mmio_base, ctlr->max_speed);
 763
 764         ich_set_bbar(ctlr, 0);
 765
 766         return 0;
 767 }
 768
 769 static int ich_cache_bios_region(struct udevice *dev)
 770 {
 771         ulong map_base;
 772         uint map_size;
 773         uint offset;
 774         ulong base;
 775         int ret;
 776
 777         ret = ich_get_mmap_bus(dev, &map_base, &map_size, &offset);
 778         if (ret)
 779                 return ret;
 780
 781         /* Don't use WRBACK since we are not supposed to write to SPI flash */
 782         base = SZ_4G - map_size;
 783         mtrr_set_next_var(MTRR_TYPE_WRPROT, base, map_size);
 784         log_debug("BIOS cache base=%lx, size=%x\n", base, (uint)map_size);
 785
 786         return 0;
 787 }
 788
 789 static int ich_spi_probe(struct udevice *dev)
 790 {
 791         struct ich_spi_platdata *plat = dev_get_platdata(dev);
 792         struct ich_spi_priv *priv = dev_get_priv(dev);
 793         int ret;
 794
 795         ret = ich_init_controller(dev, plat, priv);
 796         if (ret)
 797                 return ret;
 798
 799         if (spl_phase() == PHASE_TPL) {
 800                 /* Cache the BIOS to speed things up */
 801                 ret = ich_cache_bios_region(dev);
 802                 if (ret)
 803                         return ret;
 804         } else {
 805                 ret = ich_protect_lockdown(dev);
 806                 if (ret)
 807                         return ret;
 808         }
 809         priv->cur_speed = priv->max_speed;
 810
 811         return 0;
 812 }
 813
 814 static int ich_spi_remove(struct udevice *bus)
 815 {
 816         /*
 817          * Configure SPI controller so that the Linux MTD driver can fully
 818          * access the SPI NOR chip
 819          */
 820         ich_spi_config_opcode(bus);
 821
 822         return 0;
 823 }
 824
 825 static int ich_spi_set_speed(struct udevice *bus, uint speed)
 826 {
 827         struct ich_spi_priv *priv = dev_get_priv(bus);
 828
 829         priv->cur_speed = speed;
 830
 831         return 0;
 832 }
 833
 834 static int ich_spi_set_mode(struct udevice *bus, uint mode)
 835 {
 836         debug("%s: mode=%d\n", __func__, mode);
 837
 838         return 0;
 839 }
 840
 841 static int ich_spi_child_pre_probe(struct udevice *dev)
 842 {
 843         struct udevice *bus = dev_get_parent(dev);
 844         struct ich_spi_platdata *plat = dev_get_platdata(bus);
 845         struct ich_spi_priv *priv = dev_get_priv(bus);
 846         struct spi_slave *slave = dev_get_parent_priv(dev);
 847
 848         /*
 849          * Yes this controller can only write a small number of bytes at
 850          * once! The limit is typically 64 bytes. For hardware sequencing a
 851          * a loop is used to get around this.
 852          */
 853         if (!plat->hwseq)
 854                 slave->max_write_size = priv->databytes;
 855         /*
 856          * ICH 7 SPI controller only supports array read command
 857          * and byte program command for SST flash
 858          */
 859         if (plat->ich_version == ICHV_7)
 860                 slave->mode = SPI_RX_SLOW | SPI_TX_BYTE;
 861
 862         return 0;
 863 }
 864
 865 static int ich_spi_ofdata_to_platdata(struct udevice *dev)
 866 {
 867         struct ich_spi_platdata *plat = dev_get_platdata(dev);
 868
 869 #if !CONFIG_IS_ENABLED(OF_PLATDATA)
 870         struct ich_spi_priv *priv = dev_get_priv(dev);
 871
 872         /* Find a PCH if there is one */
 873         uclass_first_device(UCLASS_PCH, &priv->pch);
 874         if (!priv->pch)
 875                 priv->pch = dev_get_parent(dev);
 876
 877         plat->ich_version = dev_get_driver_data(dev);
 878         plat->lockdown = dev_read_bool(dev, "intel,spi-lock-down");
 879         if (plat->ich_version == ICHV_APL) {
 880                 plat->mmio_base = dm_pci_read_bar32(dev, 0);
 881         } else  {
 882                 /* SBASE is similar */
 883                 pch_get_spi_base(priv->pch, &plat->mmio_base);
 884         }
 885         /*
 886          * Use an int so that the property is present in of-platdata even
 887          * when false.
 888          */
 889         plat->hwseq = dev_read_u32_default(dev, "intel,hardware-seq", 0);
 890 #else
 891         plat->ich_version = ICHV_APL;
 892         plat->mmio_base = plat->dtplat.early_regs[0];
 893         plat->bdf = pci_ofplat_get_devfn(plat->dtplat.reg[0]);
 894         plat->hwseq = plat->dtplat.intel_hardware_seq;
 895 #endif
 896         debug("%s: mmio_base=%lx\n", __func__, plat->mmio_base);
 897
 898         return 0;
 899 }
 900
 901 static const struct spi_controller_mem_ops ich_controller_mem_ops = {
 902         .adjust_op_size = ich_spi_adjust_size,
 903         .supports_op    = NULL,
 904         .exec_op        = ich_spi_exec_op,
 905 };
 906
 907 static const struct dm_spi_ops ich_spi_ops = {
 908         /* xfer is not supported */
 909         .set_speed      = ich_spi_set_speed,
 910         .set_mode       = ich_spi_set_mode,
 911         .mem_ops        = &ich_controller_mem_ops,
 912         .get_mmap       = ich_get_mmap,
 913         /*
 914          * cs_info is not needed, since we require all chip selects to be
 915          * in the device tree explicitly
 916          */
 917 };
 918
 919 static const struct udevice_id ich_spi_ids[] = {
 920         { .compatible = "intel,ich7-spi", ICHV_7 },
 921         { .compatible = "intel,ich9-spi", ICHV_9 },
 922         { .compatible = "intel,fast-spi", ICHV_APL },
 923         { }
 924 };
 925
 926 U_BOOT_DRIVER(intel_fast_spi) = {
 927         .name   = "intel_fast_spi",
 928         .id     = UCLASS_SPI,
 929         .of_match = ich_spi_ids,
 930         .ops    = &ich_spi_ops,
 931         .ofdata_to_platdata = ich_spi_ofdata_to_platdata,
 932         .platdata_auto_alloc_size = sizeof(struct ich_spi_platdata),
 933         .priv_auto_alloc_size = sizeof(struct ich_spi_priv),
 934         .child_pre_probe = ich_spi_child_pre_probe,
 935         .probe  = ich_spi_probe,
 936         .remove = ich_spi_remove,
 937         .flags  = DM_FLAG_OS_PREPARE,
 938 };