arch/arm/cpu/armv7/omap4/emif.c

   1 /*
   2  * EMIF programming
   3  *
   4  * (C) Copyright 2010
   5  * Texas Instruments, <www.ti.com>
   6  *
   7  * Aneesh V <aneesh@ti.com>
   8  *
   9  * See file CREDITS for list of people who contributed to this
  10  * project.
  11  *
  12  * This program is free software; you can redistribute it and/or
  13  * modify it under the terms of the GNU General Public License as
  14  * published by the Free Software Foundation; either version 2 of
  15  * the License, or (at your option) any later version.
  16  *
  17  * This program is distributed in the hope that it will be useful,
  18  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  19  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  20  * GNU General Public License for more details.
  21  *
  22  * You should have received a copy of the GNU General Public License
  23  * along with this program; if not, write to the Free Software
  24  * Foundation, Inc., 59 Temple Place, Suite 330, Boston,
  25  * MA 02111-1307 USA
  26  */
  27
  28 #include <common.h>
  29 #include <asm/arch/emif.h>
  30 #include <asm/arch/clocks.h>
  31 #include <asm/arch/sys_proto.h>
  32 #include <asm/omap_common.h>
  33 #include <asm/utils.h>
  34
  35 static inline u32 emif_num(u32 base)
  36 {
  37         if (base == OMAP44XX_EMIF1)
  38                 return 1;
  39         else if (base == OMAP44XX_EMIF2)
  40                 return 2;
  41         else
  42                 return 0;
  43 }
  44
  45 static inline u32 get_mr(u32 base, u32 cs, u32 mr_addr)
  46 {
  47         u32 mr;
  48         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
  49
  50         mr_addr |= cs << OMAP44XX_REG_CS_SHIFT;
  51         writel(mr_addr, &emif->emif_lpddr2_mode_reg_cfg);
  52         if (omap_revision() == OMAP4430_ES2_0)
  53                 mr = readl(&emif->emif_lpddr2_mode_reg_data_es2);
  54         else
  55                 mr = readl(&emif->emif_lpddr2_mode_reg_data);
  56         debug("get_mr: EMIF%d cs %d mr %08x val 0x%x\n", emif_num(base),
  57               cs, mr_addr, mr);
  58         return mr;
  59 }
  60
  61 static inline void set_mr(u32 base, u32 cs, u32 mr_addr, u32 mr_val)
  62 {
  63         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
  64
  65         mr_addr |= cs << OMAP44XX_REG_CS_SHIFT;
  66         writel(mr_addr, &emif->emif_lpddr2_mode_reg_cfg);
  67         writel(mr_val, &emif->emif_lpddr2_mode_reg_data);
  68 }
  69
  70 void emif_reset_phy(u32 base)
  71 {
  72         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
  73         u32 iodft;
  74
  75         iodft = readl(&emif->emif_iodft_tlgc);
  76         iodft |= OMAP44XX_REG_RESET_PHY_MASK;
  77         writel(iodft, &emif->emif_iodft_tlgc);
  78 }
  79
  80 static void do_lpddr2_init(u32 base, u32 cs)
  81 {
  82         u32 mr_addr;
  83
  84         /* Wait till device auto initialization is complete */
  85         while (get_mr(base, cs, LPDDR2_MR0) & LPDDR2_MR0_DAI_MASK)
  86                 ;
  87         set_mr(base, cs, LPDDR2_MR10, MR10_ZQ_ZQINIT);
  88         /*
  89          * tZQINIT = 1 us
  90          * Enough loops assuming a maximum of 2GHz
  91          */
  92         sdelay(2000);
  93         set_mr(base, cs, LPDDR2_MR1, MR1_BL_8_BT_SEQ_WRAP_EN_NWR_3);
  94         set_mr(base, cs, LPDDR2_MR16, MR16_REF_FULL_ARRAY);
  95         /*
  96          * Enable refresh along with writing MR2
  97          * Encoding of RL in MR2 is (RL - 2)
  98          */
  99         mr_addr = LPDDR2_MR2 | OMAP44XX_REG_REFRESH_EN_MASK;
 100         set_mr(base, cs, mr_addr, RL_FINAL - 2);
 101 }
 102
 103 static void lpddr2_init(u32 base, const struct emif_regs *regs)
 104 {
 105         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
 106
 107         /* Not NVM */
 108         clrbits_le32(&emif->emif_lpddr2_nvm_config, OMAP44XX_REG_CS1NVMEN_MASK);
 109
 110         /*
 111          * Keep REG_INITREF_DIS = 1 to prevent re-initialization of SDRAM
 112          * when EMIF_SDRAM_CONFIG register is written
 113          */
 114         setbits_le32(&emif->emif_sdram_ref_ctrl, OMAP44XX_REG_INITREF_DIS_MASK);
 115
 116         /*
 117          * Set the SDRAM_CONFIG and PHY_CTRL for the
 118          * un-locked frequency & default RL
 119          */
 120         writel(regs->sdram_config_init, &emif->emif_sdram_config);
 121         writel(regs->emif_ddr_phy_ctlr_1_init, &emif->emif_ddr_phy_ctrl_1);
 122
 123         do_lpddr2_init(base, CS0);
 124         if (regs->sdram_config & OMAP44XX_REG_EBANK_MASK)
 125                 do_lpddr2_init(base, CS1);
 126
 127         writel(regs->sdram_config, &emif->emif_sdram_config);
 128         writel(regs->emif_ddr_phy_ctlr_1, &emif->emif_ddr_phy_ctrl_1);
 129
 130         /* Enable refresh now */
 131         clrbits_le32(&emif->emif_sdram_ref_ctrl, OMAP44XX_REG_INITREF_DIS_MASK);
 132
 133 }
 134
 135 static void emif_update_timings(u32 base, const struct emif_regs *regs)
 136 {
 137         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
 138
 139         writel(regs->ref_ctrl, &emif->emif_sdram_ref_ctrl_shdw);
 140         writel(regs->sdram_tim1, &emif->emif_sdram_tim_1_shdw);
 141         writel(regs->sdram_tim2, &emif->emif_sdram_tim_2_shdw);
 142         writel(regs->sdram_tim3, &emif->emif_sdram_tim_3_shdw);
 143         if (omap_revision() == OMAP4430_ES1_0) {
 144                 /* ES1 bug EMIF should be in force idle during freq_update */
 145                 writel(0, &emif->emif_pwr_mgmt_ctrl);
 146         } else {
 147                 writel(EMIF_PWR_MGMT_CTRL, &emif->emif_pwr_mgmt_ctrl);
 148                 writel(EMIF_PWR_MGMT_CTRL_SHDW, &emif->emif_pwr_mgmt_ctrl_shdw);
 149         }
 150         writel(regs->read_idle_ctrl, &emif->emif_read_idlectrl_shdw);
 151         writel(regs->zq_config, &emif->emif_zq_config);
 152         writel(regs->temp_alert_config, &emif->emif_temp_alert_config);
 153         writel(regs->emif_ddr_phy_ctlr_1, &emif->emif_ddr_phy_ctrl_1_shdw);
 154         /*
 155          * Workaround:
 156          * In a specific situation, the OCP interface between the DMM and
 157          * EMIF may hang.
 158          * 1. A TILER port is used to perform 2D burst writes of
 159          *       width 1 and height 8
 160          * 2. ELLAn port is used to perform reads
 161          * 3. All accesses are routed to the same EMIF controller
 162          *
 163          * Work around to avoid this issue REG_SYS_THRESH_MAX value should
 164          * be kept higher than default 0x7. As per recommondation 0x0A will
 165          * be used for better performance with REG_LL_THRESH_MAX = 0x00
 166          */
 167         if (omap_revision() == OMAP4430_ES1_0) {
 168                 writel(EMIF_L3_CONFIG_VAL_SYS_THRESH_0A_LL_THRESH_00,
 169                        &emif->emif_l3_config);
 170         }
 171 }
 172
 173 #ifndef CONFIG_SYS_EMIF_PRECALCULATED_TIMING_REGS
 174 #define print_timing_reg(reg) debug(#reg" - 0x%08x\n", (reg))
 175
 176 static u32 *const T_num = (u32 *)OMAP4_SRAM_SCRATCH_EMIF_T_NUM;
 177 static u32 *const T_den = (u32 *)OMAP4_SRAM_SCRATCH_EMIF_T_DEN;
 178 static u32 *const emif_sizes = (u32 *)OMAP4_SRAM_SCRATCH_EMIF_SIZE;
 179
 180 /*
 181  * Organization and refresh requirements for LPDDR2 devices of different
 182  * types and densities. Derived from JESD209-2 section 2.4
 183  */
 184 const struct lpddr2_addressing addressing_table[] = {
 185         /* Banks tREFIx10     rowx32,rowx16      colx32,colx16  density */
 186         {BANKS4, T_REFI_15_6, {ROW_12, ROW_12}, {COL_7, COL_8} },/*64M */
 187         {BANKS4, T_REFI_15_6, {ROW_12, ROW_12}, {COL_8, COL_9} },/*128M */
 188         {BANKS4, T_REFI_7_8, {ROW_13, ROW_13}, {COL_8, COL_9} },/*256M */
 189         {BANKS4, T_REFI_7_8, {ROW_13, ROW_13}, {COL_9, COL_10} },/*512M */
 190         {BANKS8, T_REFI_7_8, {ROW_13, ROW_13}, {COL_9, COL_10} },/*1GS4 */
 191         {BANKS8, T_REFI_3_9, {ROW_14, ROW_14}, {COL_9, COL_10} },/*2GS4 */
 192         {BANKS8, T_REFI_3_9, {ROW_14, ROW_14}, {COL_10, COL_11} },/*4G */
 193         {BANKS8, T_REFI_3_9, {ROW_15, ROW_15}, {COL_10, COL_11} },/*8G */
 194         {BANKS4, T_REFI_7_8, {ROW_14, ROW_14}, {COL_9, COL_10} },/*1GS2 */
 195         {BANKS4, T_REFI_3_9, {ROW_15, ROW_15}, {COL_9, COL_10} },/*2GS2 */
 196 };
 197
 198 static const u32 lpddr2_density_2_size_in_mbytes[] = {
 199         8,                      /* 64Mb */
 200         16,                     /* 128Mb */
 201         32,                     /* 256Mb */
 202         64,                     /* 512Mb */
 203         128,                    /* 1Gb   */
 204         256,                    /* 2Gb   */
 205         512,                    /* 4Gb   */
 206         1024,                   /* 8Gb   */
 207         2048,                   /* 16Gb  */
 208         4096                    /* 32Gb  */
 209 };
 210
 211 /*
 212  * Calculate the period of DDR clock from frequency value and set the
 213  * denominator and numerator in global variables for easy access later
 214  */
 215 static void set_ddr_clk_period(u32 freq)
 216 {
 217         /*
 218          * period = 1/freq
 219          * period_in_ns = 10^9/freq
 220          */
 221         *T_num = 1000000000;
 222         *T_den = freq;
 223         cancel_out(T_num, T_den, 200);
 224
 225 }
 226
 227 /*
 228  * Convert time in nano seconds to number of cycles of DDR clock
 229  */
 230 static inline u32 ns_2_cycles(u32 ns)
 231 {
 232         return ((ns * (*T_den)) + (*T_num) - 1) / (*T_num);
 233 }
 234
 235 /*
 236  * ns_2_cycles with the difference that the time passed is 2 times the actual
 237  * value(to avoid fractions). The cycles returned is for the original value of
 238  * the timing parameter
 239  */
 240 static inline u32 ns_x2_2_cycles(u32 ns)
 241 {
 242         return ((ns * (*T_den)) + (*T_num) * 2 - 1) / ((*T_num) * 2);
 243 }
 244
 245 /*
 246  * Find addressing table index based on the device's type(S2 or S4) and
 247  * density
 248  */
 249 s8 addressing_table_index(u8 type, u8 density, u8 width)
 250 {
 251         u8 index;
 252         if ((density > LPDDR2_DENSITY_8Gb) || (width == LPDDR2_IO_WIDTH_8))
 253                 return -1;
 254
 255         /*
 256          * Look at the way ADDR_TABLE_INDEX* values have been defined
 257          * in emif.h compared to LPDDR2_DENSITY_* values
 258          * The table is layed out in the increasing order of density
 259          * (ignoring type). The exceptions 1GS2 and 2GS2 have been placed
 260          * at the end
 261          */
 262         if ((type == LPDDR2_TYPE_S2) && (density == LPDDR2_DENSITY_1Gb))
 263                 index = ADDR_TABLE_INDEX1GS2;
 264         else if ((type == LPDDR2_TYPE_S2) && (density == LPDDR2_DENSITY_2Gb))
 265                 index = ADDR_TABLE_INDEX2GS2;
 266         else
 267                 index = density;
 268
 269         debug("emif: addressing table index %d\n", index);
 270
 271         return index;
 272 }
 273
 274 /*
 275  * Find the the right timing table from the array of timing
 276  * tables of the device using DDR clock frequency
 277  */
 278 static const struct lpddr2_ac_timings *get_timings_table(const struct
 279                         lpddr2_ac_timings const *const *device_timings,
 280                         u32 freq)
 281 {
 282         u32 i, temp, freq_nearest;
 283         const struct lpddr2_ac_timings *timings = 0;
 284
 285         emif_assert(freq <= MAX_LPDDR2_FREQ);
 286         emif_assert(device_timings);
 287
 288         /*
 289          * Start with the maximum allowed frequency - that is always safe
 290          */
 291         freq_nearest = MAX_LPDDR2_FREQ;
 292         /*
 293          * Find the timings table that has the max frequency value:
 294          *   i.  Above or equal to the DDR frequency - safe
 295          *   ii. The lowest that satisfies condition (i) - optimal
 296          */
 297         for (i = 0; (i < MAX_NUM_SPEEDBINS) && device_timings[i]; i++) {
 298                 temp = device_timings[i]->max_freq;
 299                 if ((temp >= freq) && (temp <= freq_nearest)) {
 300                         freq_nearest = temp;
 301                         timings = device_timings[i];
 302                 }
 303         }
 304         debug("emif: timings table: %d\n", freq_nearest);
 305         return timings;
 306 }
 307
 308 /*
 309  * Finds the value of emif_sdram_config_reg
 310  * All parameters are programmed based on the device on CS0.
 311  * If there is a device on CS1, it will be same as that on CS0 or
 312  * it will be NVM. We don't support NVM yet.
 313  * If cs1_device pointer is NULL it is assumed that there is no device
 314  * on CS1
 315  */
 316 static u32 get_sdram_config_reg(const struct lpddr2_device_details *cs0_device,
 317                                 const struct lpddr2_device_details *cs1_device,
 318                                 const struct lpddr2_addressing *addressing,
 319                                 u8 RL)
 320 {
 321         u32 config_reg = 0;
 322
 323         config_reg |=  (cs0_device->type + 4) << OMAP44XX_REG_SDRAM_TYPE_SHIFT;
 324         config_reg |=  EMIF_INTERLEAVING_POLICY_MAX_INTERLEAVING <<
 325                         OMAP44XX_REG_IBANK_POS_SHIFT;
 326
 327         config_reg |= cs0_device->io_width << OMAP44XX_REG_NARROW_MODE_SHIFT;
 328
 329         config_reg |= RL << OMAP44XX_REG_CL_SHIFT;
 330
 331         config_reg |= addressing->row_sz[cs0_device->io_width] <<
 332                         OMAP44XX_REG_ROWSIZE_SHIFT;
 333
 334         config_reg |= addressing->num_banks << OMAP44XX_REG_IBANK_SHIFT;
 335
 336         config_reg |= (cs1_device ? EBANK_CS1_EN : EBANK_CS1_DIS) <<
 337                         OMAP44XX_REG_EBANK_SHIFT;
 338
 339         config_reg |= addressing->col_sz[cs0_device->io_width] <<
 340                         OMAP44XX_REG_PAGESIZE_SHIFT;
 341
 342         return config_reg;
 343 }
 344
 345 static u32 get_sdram_ref_ctrl(u32 freq,
 346                               const struct lpddr2_addressing *addressing)
 347 {
 348         u32 ref_ctrl = 0, val = 0, freq_khz;
 349         freq_khz = freq / 1000;
 350         /*
 351          * refresh rate to be set is 'tREFI * freq in MHz
 352          * division by 10000 to account for khz and x10 in t_REFI_us_x10
 353          */
 354         val = addressing->t_REFI_us_x10 * freq_khz / 10000;
 355         ref_ctrl |= val << OMAP44XX_REG_REFRESH_RATE_SHIFT;
 356
 357         return ref_ctrl;
 358 }
 359
 360 static u32 get_sdram_tim_1_reg(const struct lpddr2_ac_timings *timings,
 361                                const struct lpddr2_min_tck *min_tck,
 362                                const struct lpddr2_addressing *addressing)
 363 {
 364         u32 tim1 = 0, val = 0;
 365         val = max(min_tck->tWTR, ns_x2_2_cycles(timings->tWTRx2)) - 1;
 366         tim1 |= val << OMAP44XX_REG_T_WTR_SHIFT;
 367
 368         if (addressing->num_banks == BANKS8)
 369                 val = (timings->tFAW * (*T_den) + 4 * (*T_num) - 1) /
 370                                                         (4 * (*T_num)) - 1;
 371         else
 372                 val = max(min_tck->tRRD, ns_2_cycles(timings->tRRD)) - 1;
 373
 374         tim1 |= val << OMAP44XX_REG_T_RRD_SHIFT;
 375
 376         val = ns_2_cycles(timings->tRASmin + timings->tRPab) - 1;
 377         tim1 |= val << OMAP44XX_REG_T_RC_SHIFT;
 378
 379         val = max(min_tck->tRAS_MIN, ns_2_cycles(timings->tRASmin)) - 1;
 380         tim1 |= val << OMAP44XX_REG_T_RAS_SHIFT;
 381
 382         val = max(min_tck->tWR, ns_2_cycles(timings->tWR)) - 1;
 383         tim1 |= val << OMAP44XX_REG_T_WR_SHIFT;
 384
 385         val = max(min_tck->tRCD, ns_2_cycles(timings->tRCD)) - 1;
 386         tim1 |= val << OMAP44XX_REG_T_RCD_SHIFT;
 387
 388         val = max(min_tck->tRP_AB, ns_2_cycles(timings->tRPab)) - 1;
 389         tim1 |= val << OMAP44XX_REG_T_RP_SHIFT;
 390
 391         return tim1;
 392 }
 393
 394 static u32 get_sdram_tim_2_reg(const struct lpddr2_ac_timings *timings,
 395                                const struct lpddr2_min_tck *min_tck)
 396 {
 397         u32 tim2 = 0, val = 0;
 398         val = max(min_tck->tCKE, timings->tCKE) - 1;
 399         tim2 |= val << OMAP44XX_REG_T_CKE_SHIFT;
 400
 401         val = max(min_tck->tRTP, ns_x2_2_cycles(timings->tRTPx2)) - 1;
 402         tim2 |= val << OMAP44XX_REG_T_RTP_SHIFT;
 403
 404         /*
 405          * tXSRD = tRFCab + 10 ns. XSRD and XSNR should have the
 406          * same value
 407          */
 408         val = ns_2_cycles(timings->tXSR) - 1;
 409         tim2 |= val << OMAP44XX_REG_T_XSRD_SHIFT;
 410         tim2 |= val << OMAP44XX_REG_T_XSNR_SHIFT;
 411
 412         val = max(min_tck->tXP, ns_x2_2_cycles(timings->tXPx2)) - 1;
 413         tim2 |= val << OMAP44XX_REG_T_XP_SHIFT;
 414
 415         return tim2;
 416 }
 417
 418 static u32 get_sdram_tim_3_reg(const struct lpddr2_ac_timings *timings,
 419                                const struct lpddr2_min_tck *min_tck,
 420                                const struct lpddr2_addressing *addressing)
 421 {
 422         u32 tim3 = 0, val = 0;
 423         val = min(timings->tRASmax * 10 / addressing->t_REFI_us_x10 - 1, 0xF);
 424         tim3 |= val << OMAP44XX_REG_T_RAS_MAX_SHIFT;
 425
 426         val = ns_2_cycles(timings->tRFCab) - 1;
 427         tim3 |= val << OMAP44XX_REG_T_RFC_SHIFT;
 428
 429         val = ns_x2_2_cycles(timings->tDQSCKMAXx2) - 1;
 430         tim3 |= val << OMAP44XX_REG_T_TDQSCKMAX_SHIFT;
 431
 432         val = ns_2_cycles(timings->tZQCS) - 1;
 433         tim3 |= val << OMAP44XX_REG_ZQ_ZQCS_SHIFT;
 434
 435         val = max(min_tck->tCKESR, ns_2_cycles(timings->tCKESR)) - 1;
 436         tim3 |= val << OMAP44XX_REG_T_CKESR_SHIFT;
 437
 438         return tim3;
 439 }
 440
 441 static u32 get_zq_config_reg(const struct lpddr2_device_details *cs1_device,
 442                              const struct lpddr2_addressing *addressing,
 443                              u8 volt_ramp)
 444 {
 445         u32 zq = 0, val = 0;
 446         if (volt_ramp)
 447                 val =
 448                     EMIF_ZQCS_INTERVAL_DVFS_IN_US * 10 /
 449                     addressing->t_REFI_us_x10;
 450         else
 451                 val =
 452                     EMIF_ZQCS_INTERVAL_NORMAL_IN_US * 10 /
 453                     addressing->t_REFI_us_x10;
 454         zq |= val << OMAP44XX_REG_ZQ_REFINTERVAL_SHIFT;
 455
 456         zq |= (REG_ZQ_ZQCL_MULT - 1) << OMAP44XX_REG_ZQ_ZQCL_MULT_SHIFT;
 457
 458         zq |= (REG_ZQ_ZQINIT_MULT - 1) << OMAP44XX_REG_ZQ_ZQINIT_MULT_SHIFT;
 459
 460         zq |= REG_ZQ_SFEXITEN_ENABLE << OMAP44XX_REG_ZQ_SFEXITEN_SHIFT;
 461
 462         /*
 463          * Assuming that two chipselects have a single calibration resistor
 464          * If there are indeed two calibration resistors, then this flag should
 465          * be enabled to take advantage of dual calibration feature.
 466          * This data should ideally come from board files. But considering
 467          * that none of the boards today have calibration resistors per CS,
 468          * it would be an unnecessary overhead.
 469          */
 470         zq |= REG_ZQ_DUALCALEN_DISABLE << OMAP44XX_REG_ZQ_DUALCALEN_SHIFT;
 471
 472         zq |= REG_ZQ_CS0EN_ENABLE << OMAP44XX_REG_ZQ_CS0EN_SHIFT;
 473
 474         zq |= (cs1_device ? 1 : 0) << OMAP44XX_REG_ZQ_CS1EN_SHIFT;
 475
 476         return zq;
 477 }
 478
 479 static u32 get_temp_alert_config(const struct lpddr2_device_details *cs1_device,
 480                                  const struct lpddr2_addressing *addressing,
 481                                  u8 is_derated)
 482 {
 483         u32 alert = 0, interval;
 484         interval =
 485             TEMP_ALERT_POLL_INTERVAL_MS * 10000 / addressing->t_REFI_us_x10;
 486         if (is_derated)
 487                 interval *= 4;
 488         alert |= interval << OMAP44XX_REG_TA_REFINTERVAL_SHIFT;
 489
 490         alert |= TEMP_ALERT_CONFIG_DEVCT_1 << OMAP44XX_REG_TA_DEVCNT_SHIFT;
 491
 492         alert |= TEMP_ALERT_CONFIG_DEVWDT_32 << OMAP44XX_REG_TA_DEVWDT_SHIFT;
 493
 494         alert |= 1 << OMAP44XX_REG_TA_SFEXITEN_SHIFT;
 495
 496         alert |= 1 << OMAP44XX_REG_TA_CS0EN_SHIFT;
 497
 498         alert |= (cs1_device ? 1 : 0) << OMAP44XX_REG_TA_CS1EN_SHIFT;
 499
 500         return alert;
 501 }
 502
 503 static u32 get_read_idle_ctrl_reg(u8 volt_ramp)
 504 {
 505         u32 idle = 0, val = 0;
 506         if (volt_ramp)
 507                 val = ns_2_cycles(READ_IDLE_INTERVAL_DVFS) / 64 + 1;
 508         else
 509                 /*Maximum value in normal conditions - suggested by hw team */
 510                 val = 0x1FF;
 511         idle |= val << OMAP44XX_REG_READ_IDLE_INTERVAL_SHIFT;
 512
 513         idle |= EMIF_REG_READ_IDLE_LEN_VAL << OMAP44XX_REG_READ_IDLE_LEN_SHIFT;
 514
 515         return idle;
 516 }
 517
 518 static u32 get_ddr_phy_ctrl_1(u32 freq, u8 RL)
 519 {
 520         u32 phy = 0, val = 0;
 521
 522         phy |= (RL + 2) << OMAP44XX_REG_READ_LATENCY_SHIFT;
 523
 524         if (freq <= 100000000)
 525                 val = EMIF_DLL_SLAVE_DLY_CTRL_100_MHZ_AND_LESS;
 526         else if (freq <= 200000000)
 527                 val = EMIF_DLL_SLAVE_DLY_CTRL_200_MHZ;
 528         else
 529                 val = EMIF_DLL_SLAVE_DLY_CTRL_400_MHZ;
 530         phy |= val << OMAP44XX_REG_DLL_SLAVE_DLY_CTRL_SHIFT;
 531
 532         /* Other fields are constant magic values. Hardcode them together */
 533         phy |= EMIF_DDR_PHY_CTRL_1_BASE_VAL <<
 534                 OMAP44XX_EMIF_DDR_PHY_CTRL_1_BASE_VAL_SHIFT;
 535
 536         return phy;
 537 }
 538
 539 static u32 get_emif_mem_size(struct emif_device_details *devices)
 540 {
 541         u32 size_mbytes = 0, temp;
 542
 543         if (!devices)
 544                 return 0;
 545
 546         if (devices->cs0_device_details) {
 547                 temp = devices->cs0_device_details->density;
 548                 size_mbytes += lpddr2_density_2_size_in_mbytes[temp];
 549         }
 550
 551         if (devices->cs1_device_details) {
 552                 temp = devices->cs1_device_details->density;
 553                 size_mbytes += lpddr2_density_2_size_in_mbytes[temp];
 554         }
 555         /* convert to bytes */
 556         return size_mbytes << 20;
 557 }
 558
 559 /* Gets the encoding corresponding to a given DMM section size */
 560 u32 get_dmm_section_size_map(u32 section_size)
 561 {
 562         /*
 563          * Section size mapping:
 564          * 0x0: 16-MiB section
 565          * 0x1: 32-MiB section
 566          * 0x2: 64-MiB section
 567          * 0x3: 128-MiB section
 568          * 0x4: 256-MiB section
 569          * 0x5: 512-MiB section
 570          * 0x6: 1-GiB section
 571          * 0x7: 2-GiB section
 572          */
 573         section_size >>= 24; /* divide by 16 MB */
 574         return log_2_n_round_down(section_size);
 575 }
 576
 577 static void emif_calculate_regs(
 578                 const struct emif_device_details *emif_dev_details,
 579                 u32 freq, struct emif_regs *regs)
 580 {
 581         u32 temp, sys_freq;
 582         const struct lpddr2_addressing *addressing;
 583         const struct lpddr2_ac_timings *timings;
 584         const struct lpddr2_min_tck *min_tck;
 585         const struct lpddr2_device_details *cs0_dev_details =
 586                                         emif_dev_details->cs0_device_details;
 587         const struct lpddr2_device_details *cs1_dev_details =
 588                                         emif_dev_details->cs1_device_details;
 589         const struct lpddr2_device_timings *cs0_dev_timings =
 590                                         emif_dev_details->cs0_device_timings;
 591
 592         emif_assert(emif_dev_details);
 593         emif_assert(regs);
 594         /*
 595          * You can not have a device on CS1 without one on CS0
 596          * So configuring EMIF without a device on CS0 doesn't
 597          * make sense
 598          */
 599         emif_assert(cs0_dev_details);
 600         emif_assert(cs0_dev_details->type != LPDDR2_TYPE_NVM);
 601         /*
 602          * If there is a device on CS1 it should be same type as CS0
 603          * (or NVM. But NVM is not supported in this driver yet)
 604          */
 605         emif_assert((cs1_dev_details == NULL) ||
 606                     (cs1_dev_details->type == LPDDR2_TYPE_NVM) ||
 607                     (cs0_dev_details->type == cs1_dev_details->type));
 608         emif_assert(freq <= MAX_LPDDR2_FREQ);
 609
 610         set_ddr_clk_period(freq);
 611
 612         /*
 613          * The device on CS0 is used for all timing calculations
 614          * There is only one set of registers for timings per EMIF. So, if the
 615          * second CS(CS1) has a device, it should have the same timings as the
 616          * device on CS0
 617          */
 618         timings = get_timings_table(cs0_dev_timings->ac_timings, freq);
 619         emif_assert(timings);
 620         min_tck = cs0_dev_timings->min_tck;
 621
 622         temp = addressing_table_index(cs0_dev_details->type,
 623                                       cs0_dev_details->density,
 624                                       cs0_dev_details->io_width);
 625
 626         emif_assert((temp >= 0));
 627         addressing = &(addressing_table[temp]);
 628         emif_assert(addressing);
 629
 630         sys_freq = get_sys_clk_freq();
 631
 632         regs->sdram_config_init = get_sdram_config_reg(cs0_dev_details,
 633                                                         cs1_dev_details,
 634                                                         addressing, RL_BOOT);
 635
 636         regs->sdram_config = get_sdram_config_reg(cs0_dev_details,
 637                                                 cs1_dev_details,
 638                                                 addressing, RL_FINAL);
 639
 640         regs->ref_ctrl = get_sdram_ref_ctrl(freq, addressing);
 641
 642         regs->sdram_tim1 = get_sdram_tim_1_reg(timings, min_tck, addressing);
 643
 644         regs->sdram_tim2 = get_sdram_tim_2_reg(timings, min_tck);
 645
 646         regs->sdram_tim3 = get_sdram_tim_3_reg(timings, min_tck, addressing);
 647
 648         regs->read_idle_ctrl = get_read_idle_ctrl_reg(LPDDR2_VOLTAGE_STABLE);
 649
 650         regs->temp_alert_config =
 651             get_temp_alert_config(cs1_dev_details, addressing, 0);
 652
 653         regs->zq_config = get_zq_config_reg(cs1_dev_details, addressing,
 654                                             LPDDR2_VOLTAGE_STABLE);
 655
 656         regs->emif_ddr_phy_ctlr_1_init =
 657                         get_ddr_phy_ctrl_1(sys_freq / 2, RL_BOOT);
 658
 659         regs->emif_ddr_phy_ctlr_1 =
 660                         get_ddr_phy_ctrl_1(freq, RL_FINAL);
 661
 662         regs->freq = freq;
 663
 664         print_timing_reg(regs->sdram_config_init);
 665         print_timing_reg(regs->sdram_config);
 666         print_timing_reg(regs->ref_ctrl);
 667         print_timing_reg(regs->sdram_tim1);
 668         print_timing_reg(regs->sdram_tim2);
 669         print_timing_reg(regs->sdram_tim3);
 670         print_timing_reg(regs->read_idle_ctrl);
 671         print_timing_reg(regs->temp_alert_config);
 672         print_timing_reg(regs->zq_config);
 673         print_timing_reg(regs->emif_ddr_phy_ctlr_1);
 674         print_timing_reg(regs->emif_ddr_phy_ctlr_1_init);
 675 }
 676 #endif /* CONFIG_SYS_EMIF_PRECALCULATED_TIMING_REGS */
 677
 678 #ifdef CONFIG_SYS_DEFAULT_LPDDR2_TIMINGS
 679 /* Base AC Timing values specified by JESD209-2 for 400MHz operation */
 680 static const struct lpddr2_ac_timings timings_jedec_400_mhz = {
 681         .max_freq = 400000000,
 682         .RL = 6,
 683         .tRPab = 21,
 684         .tRCD = 18,
 685         .tWR = 15,
 686         .tRASmin = 42,
 687         .tRRD = 10,
 688         .tWTRx2 = 15,
 689         .tXSR = 140,
 690         .tXPx2 = 15,
 691         .tRFCab = 130,
 692         .tRTPx2 = 15,
 693         .tCKE = 3,
 694         .tCKESR = 15,
 695         .tZQCS = 90,
 696         .tZQCL = 360,
 697         .tZQINIT = 1000,
 698         .tDQSCKMAXx2 = 11,
 699         .tRASmax = 70,
 700         .tFAW = 50
 701 };
 702
 703 /* Base AC Timing values specified by JESD209-2 for 333 MHz operation */
 704 static const struct lpddr2_ac_timings timings_jedec_333_mhz = {
 705         .max_freq = 333000000,
 706         .RL = 5,
 707         .tRPab = 21,
 708         .tRCD = 18,
 709         .tWR = 15,
 710         .tRASmin = 42,
 711         .tRRD = 10,
 712         .tWTRx2 = 15,
 713         .tXSR = 140,
 714         .tXPx2 = 15,
 715         .tRFCab = 130,
 716         .tRTPx2 = 15,
 717         .tCKE = 3,
 718         .tCKESR = 15,
 719         .tZQCS = 90,
 720         .tZQCL = 360,
 721         .tZQINIT = 1000,
 722         .tDQSCKMAXx2 = 11,
 723         .tRASmax = 70,
 724         .tFAW = 50
 725 };
 726
 727 /* Base AC Timing values specified by JESD209-2 for 200 MHz operation */
 728 static const struct lpddr2_ac_timings timings_jedec_200_mhz = {
 729         .max_freq = 200000000,
 730         .RL = 3,
 731         .tRPab = 21,
 732         .tRCD = 18,
 733         .tWR = 15,
 734         .tRASmin = 42,
 735         .tRRD = 10,
 736         .tWTRx2 = 20,
 737         .tXSR = 140,
 738         .tXPx2 = 15,
 739         .tRFCab = 130,
 740         .tRTPx2 = 15,
 741         .tCKE = 3,
 742         .tCKESR = 15,
 743         .tZQCS = 90,
 744         .tZQCL = 360,
 745         .tZQINIT = 1000,
 746         .tDQSCKMAXx2 = 11,
 747         .tRASmax = 70,
 748         .tFAW = 50
 749 };
 750
 751 /*
 752  * Min tCK values specified by JESD209-2
 753  * Min tCK specifies the minimum duration of some AC timing parameters in terms
 754  * of the number of cycles. If the calculated number of cycles based on the
 755  * absolute time value is less than the min tCK value, min tCK value should
 756  * be used instead. This typically happens at low frequencies.
 757  */
 758 static const struct lpddr2_min_tck min_tck_jedec = {
 759         .tRL = 3,
 760         .tRP_AB = 3,
 761         .tRCD = 3,
 762         .tWR = 3,
 763         .tRAS_MIN = 3,
 764         .tRRD = 2,
 765         .tWTR = 2,
 766         .tXP = 2,
 767         .tRTP = 2,
 768         .tCKE = 3,
 769         .tCKESR = 3,
 770         .tFAW = 8
 771 };
 772
 773 static const struct lpddr2_ac_timings const*
 774                         jedec_ac_timings[MAX_NUM_SPEEDBINS] = {
 775         &timings_jedec_200_mhz,
 776         &timings_jedec_333_mhz,
 777         &timings_jedec_400_mhz
 778 };
 779
 780 static const struct lpddr2_device_timings jedec_default_timings = {
 781         .ac_timings = jedec_ac_timings,
 782         .min_tck = &min_tck_jedec
 783 };
 784
 785 void emif_get_device_timings(u32 emif_nr,
 786                 const struct lpddr2_device_timings **cs0_device_timings,
 787                 const struct lpddr2_device_timings **cs1_device_timings)
 788 {
 789         /* Assume Identical devices on EMIF1 & EMIF2 */
 790         *cs0_device_timings = &jedec_default_timings;
 791         *cs1_device_timings = &jedec_default_timings;
 792 }
 793 #endif /* CONFIG_SYS_DEFAULT_LPDDR2_TIMINGS */
 794
 795 static void do_sdram_init(u32 base)
 796 {
 797         const struct emif_regs *regs;
 798         u32 in_sdram, emif_nr;
 799
 800         debug(">>do_sdram_init() %x\n", base);
 801
 802         in_sdram = running_from_sdram();
 803         emif_nr = (base == OMAP44XX_EMIF1) ? 1 : 2;
 804
 805 #ifdef CONFIG_SYS_EMIF_PRECALCULATED_TIMING_REGS
 806         emif_get_reg_dump(emif_nr, &regs);
 807         if (!regs) {
 808                 debug("EMIF: reg dump not provided\n");
 809                 return;
 810         }
 811 #else
 812         /*
 813          * The user has not provided the register values. We need to
 814          * calculate it based on the timings and the DDR frequency
 815          */
 816         struct emif_device_details dev_details;
 817         struct emif_regs calculated_regs;
 818
 819         /*
 820          * Get device details:
 821          * - Discovered if CONFIG_SYS_AUTOMATIC_SDRAM_DETECTION is set
 822          * - Obtained from user otherwise
 823          */
 824         struct lpddr2_device_details cs0_dev_details, cs1_dev_details;
 825         emif_get_device_details(emif_nr, &cs0_dev_details,
 826                                 &cs1_dev_details);
 827         dev_details.cs0_device_details = &cs0_dev_details;
 828         dev_details.cs1_device_details = &cs1_dev_details;
 829
 830         /* Return if no devices on this EMIF */
 831         if (!dev_details.cs0_device_details &&
 832             !dev_details.cs1_device_details) {
 833                 emif_sizes[emif_nr - 1] = 0;
 834                 return;
 835         }
 836
 837         if (!in_sdram)
 838                 emif_sizes[emif_nr - 1] = get_emif_mem_size(&dev_details);
 839
 840         /*
 841          * Get device timings:
 842          * - Default timings specified by JESD209-2 if
 843          *   CONFIG_SYS_DEFAULT_LPDDR2_TIMINGS is set
 844          * - Obtained from user otherwise
 845          */
 846         emif_get_device_timings(emif_nr, &dev_details.cs0_device_timings,
 847                                 &dev_details.cs1_device_timings);
 848
 849         /* Calculate the register values */
 850         emif_calculate_regs(&dev_details, omap4_ddr_clk(), &calculated_regs);
 851         regs = &calculated_regs;
 852 #endif /* CONFIG_SYS_EMIF_PRECALCULATED_TIMING_REGS */
 853
 854         /*
 855          * Initializing the LPDDR2 device can not happen from SDRAM.
 856          * Changing the timing registers in EMIF can happen(going from one
 857          * OPP to another)
 858          */
 859         if (!in_sdram)
 860                 lpddr2_init(base, regs);
 861
 862         /* Write to the shadow registers */
 863         emif_update_timings(base, regs);
 864
 865         debug("<<do_sdram_init() %x\n", base);
 866 }
 867
 868 void sdram_init_pads(void)
 869 {
 870         u32 lpddr2io;
 871         struct control_lpddr2io_regs *lpddr2io_regs =
 872                 (struct control_lpddr2io_regs *)LPDDR2_IO_REGS_BASE;
 873         u32 omap4_rev = omap_revision();
 874
 875         if (omap4_rev == OMAP4430_ES1_0)
 876                 lpddr2io = CONTROL_LPDDR2IO_SLEW_125PS_DRV8_PULL_DOWN;
 877         else if (omap4_rev == OMAP4430_ES2_0)
 878                 lpddr2io = CONTROL_LPDDR2IO_SLEW_325PS_DRV8_GATE_KEEPER;
 879         else
 880                 return;         /* Post ES2.1 reset values will work */
 881
 882         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io1_0);
 883         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io1_1);
 884         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io1_2);
 885         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io2_0);
 886         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io2_1);
 887         writel(lpddr2io, &lpddr2io_regs->control_lpddr2io2_2);
 888
 889         writel(CONTROL_EFUSE_2_NMOS_PMOS_PTV_CODE_1, CONTROL_EFUSE_2);
 890 }
 891
 892 static void emif_post_init_config(u32 base)
 893 {
 894         struct emif_reg_struct *emif = (struct emif_reg_struct *)base;
 895         u32 omap4_rev = omap_revision();
 896
 897         /* reset phy on ES2.0 */
 898         if (omap4_rev == OMAP4430_ES2_0)
 899                 emif_reset_phy(base);
 900
 901         /* Put EMIF back in smart idle on ES1.0 */
 902         if (omap4_rev == OMAP4430_ES1_0)
 903                 writel(0x80000000, &emif->emif_pwr_mgmt_ctrl);
 904 }
 905
 906 static void dmm_init(u32 base)
 907 {
 908         const struct dmm_lisa_map_regs *lisa_map_regs;
 909
 910 #ifdef CONFIG_SYS_EMIF_PRECALCULATED_TIMING_REGS
 911         emif_get_dmm_regs(&lisa_map_regs);
 912 #else
 913         u32 emif1_size, emif2_size, mapped_size, section_map = 0;
 914         u32 section_cnt, sys_addr;
 915         struct dmm_lisa_map_regs lis_map_regs_calculated = {0};
 916
 917         mapped_size = 0;
 918         section_cnt = 3;
 919         sys_addr = CONFIG_SYS_SDRAM_BASE;
 920         emif1_size = emif_sizes[0];
 921         emif2_size = emif_sizes[1];
 922         debug("emif1_size 0x%x emif2_size 0x%x\n", emif1_size, emif2_size);
 923
 924         if (!emif1_size && !emif2_size)
 925                 return;
 926
 927         /* symmetric interleaved section */
 928         if (emif1_size && emif2_size) {
 929                 mapped_size = min(emif1_size, emif2_size);
 930                 section_map = DMM_LISA_MAP_INTERLEAVED_BASE_VAL;
 931                 section_map |= 0 << OMAP44XX_SDRC_ADDR_SHIFT;
 932                 /* only MSB */
 933                 section_map |= (sys_addr >> 24) <<
 934                                 OMAP44XX_SYS_ADDR_SHIFT;
 935                 section_map |= get_dmm_section_size_map(mapped_size * 2)
 936                                 << OMAP44XX_SYS_SIZE_SHIFT;
 937                 lis_map_regs_calculated.dmm_lisa_map_3 = section_map;
 938                 emif1_size -= mapped_size;
 939                 emif2_size -= mapped_size;
 940                 sys_addr += (mapped_size * 2);
 941                 section_cnt--;
 942         }
 943
 944         /*
 945          * Single EMIF section(we can have a maximum of 1 single EMIF
 946          * section- either EMIF1 or EMIF2 or none, but not both)
 947          */
 948         if (emif1_size) {
 949                 section_map = DMM_LISA_MAP_EMIF1_ONLY_BASE_VAL;
 950                 section_map |= get_dmm_section_size_map(emif1_size)
 951                                 << OMAP44XX_SYS_SIZE_SHIFT;
 952                 /* only MSB */
 953                 section_map |= (mapped_size >> 24) <<
 954                                 OMAP44XX_SDRC_ADDR_SHIFT;
 955                 /* only MSB */
 956                 section_map |= (sys_addr >> 24) << OMAP44XX_SYS_ADDR_SHIFT;
 957                 section_cnt--;
 958         }
 959         if (emif2_size) {
 960                 section_map = DMM_LISA_MAP_EMIF2_ONLY_BASE_VAL;
 961                 section_map |= get_dmm_section_size_map(emif2_size) <<
 962                                 OMAP44XX_SYS_SIZE_SHIFT;
 963                 /* only MSB */
 964                 section_map |= mapped_size >> 24 << OMAP44XX_SDRC_ADDR_SHIFT;
 965                 /* only MSB */
 966                 section_map |= sys_addr >> 24 << OMAP44XX_SYS_ADDR_SHIFT;
 967                 section_cnt--;
 968         }
 969
 970         if (section_cnt == 2) {
 971                 /* Only 1 section - either symmetric or single EMIF */
 972                 lis_map_regs_calculated.dmm_lisa_map_3 = section_map;
 973                 lis_map_regs_calculated.dmm_lisa_map_2 = 0;
 974                 lis_map_regs_calculated.dmm_lisa_map_1 = 0;
 975         } else {
 976                 /* 2 sections - 1 symmetric, 1 single EMIF */
 977                 lis_map_regs_calculated.dmm_lisa_map_2 = section_map;
 978                 lis_map_regs_calculated.dmm_lisa_map_1 = 0;
 979         }
 980
 981         /* TRAP for invalid TILER mappings in section 0 */
 982         lis_map_regs_calculated.dmm_lisa_map_0 = DMM_LISA_MAP_0_INVAL_ADDR_TRAP;
 983
 984         lisa_map_regs = &lis_map_regs_calculated;
 985 #endif
 986         struct dmm_lisa_map_regs *hw_lisa_map_regs =
 987             (struct dmm_lisa_map_regs *)base;
 988
 989         writel(0, &hw_lisa_map_regs->dmm_lisa_map_3);
 990         writel(0, &hw_lisa_map_regs->dmm_lisa_map_2);
 991         writel(0, &hw_lisa_map_regs->dmm_lisa_map_1);
 992         writel(0, &hw_lisa_map_regs->dmm_lisa_map_0);
 993
 994         writel(lisa_map_regs->dmm_lisa_map_3,
 995                 &hw_lisa_map_regs->dmm_lisa_map_3);
 996         writel(lisa_map_regs->dmm_lisa_map_2,
 997                 &hw_lisa_map_regs->dmm_lisa_map_2);
 998         writel(lisa_map_regs->dmm_lisa_map_1,
 999                 &hw_lisa_map_regs->dmm_lisa_map_1);
1000         writel(lisa_map_regs->dmm_lisa_map_0,
1001                 &hw_lisa_map_regs->dmm_lisa_map_0);
1002 }
1003
1004 /*
1005  * SDRAM initialization:
1006  * SDRAM initialization has two parts:
1007  * 1. Configuring the SDRAM device
1008  * 2. Update the AC timings related parameters in the EMIF module
1009  * (1) should be done only once and should not be done while we are
1010  * running from SDRAM.
1011  * (2) can and should be done more than once if OPP changes.
1012  * Particularly, this may be needed when we boot without SPL and
1013  * and using Configuration Header(CH). ROM code supports only at 50% OPP
1014  * at boot (low power boot). So u-boot has to switch to OPP100 and update
1015  * the frequency. So,
1016  * Doing (1) and (2) makes sense - first time initialization
1017  * Doing (2) and not (1) makes sense - OPP change (when using CH)
1018  * Doing (1) and not (2) doen't make sense
1019  * See do_sdram_init() for the details
1020  */
1021 void sdram_init(void)
1022 {
1023         u32 in_sdram, size_prog, size_detect;
1024
1025         debug(">>sdram_init()\n");
1026
1027         if (omap4_hw_init_context() == OMAP_INIT_CONTEXT_UBOOT_AFTER_SPL)
1028                 return;
1029
1030         in_sdram = running_from_sdram();
1031         debug("in_sdram = %d\n", in_sdram);
1032
1033         if (!in_sdram) {
1034                 sdram_init_pads();
1035                 bypass_dpll(&prcm->cm_clkmode_dpll_core);
1036         }
1037
1038         do_sdram_init(OMAP44XX_EMIF1);
1039         do_sdram_init(OMAP44XX_EMIF2);
1040
1041         if (!in_sdram) {
1042                 dmm_init(OMAP44XX_DMM_LISA_MAP_BASE);
1043                 emif_post_init_config(OMAP44XX_EMIF1);
1044                 emif_post_init_config(OMAP44XX_EMIF2);
1045
1046         }
1047
1048         /* for the shadow registers to take effect */
1049         freq_update_core();
1050
1051         /* Do some testing after the init */
1052         if (!in_sdram) {
1053                 size_prog = omap4_sdram_size();
1054                 size_detect = get_ram_size((long *)CONFIG_SYS_SDRAM_BASE,
1055                                                 size_prog);
1056                 /* Compare with the size programmed */
1057                 if (size_detect != size_prog) {
1058                         printf("SDRAM: identified size not same as expected"
1059                                 " size identified: %x expected: %x\n",
1060                                 size_detect,
1061                                 size_prog);
1062                 } else
1063                         debug("get_ram_size() successful");
1064         }
1065
1066         debug("<<sdram_init()\n");
1067 }