arch/powerpc/kernel/idle_power7.S

   1 /*
   2  *  This file contains the power_save function for Power7 CPUs.
   3  *
   4  *  This program is free software; you can redistribute it and/or
   5  *  modify it under the terms of the GNU General Public License
   6  *  as published by the Free Software Foundation; either version
   7  *  2 of the License, or (at your option) any later version.
   8  */
   9
  10 #include <linux/threads.h>
  11 #include <asm/processor.h>
  12 #include <asm/page.h>
  13 #include <asm/cputable.h>
  14 #include <asm/thread_info.h>
  15 #include <asm/ppc_asm.h>
  16 #include <asm/asm-offsets.h>
  17 #include <asm/ppc-opcode.h>
  18 #include <asm/hw_irq.h>
  19 #include <asm/kvm_book3s_asm.h>
  20 #include <asm/opal.h>
  21
  22 #undef DEBUG
  23
  24 /* Idle state entry routines */
  25
  26 #define IDLE_STATE_ENTER_SEQ(IDLE_INST)                         \
  27         /* Magic NAP/SLEEP/WINKLE mode enter sequence */        \
  28         std     r0,0(r1);                                       \
  29         ptesync;                                                \
  30         ld      r0,0(r1);                                       \
  31 1:      cmpd    cr0,r0,r0;                                      \
  32         bne     1b;                                             \
  33         IDLE_INST;                                              \
  34         b       .
  35
  36         .text
  37
  38 /*
  39  * Pass requested state in r3:
  40  *      0 - nap
  41  *      1 - sleep
  42  *
  43  * To check IRQ_HAPPENED in r4
  44  *      0 - don't check
  45  *      1 - check
  46  */
  47 _GLOBAL(power7_powersave_common)
  48         /* Use r3 to pass state nap/sleep/winkle */
  49         /* NAP is a state loss, we create a regs frame on the
  50          * stack, fill it up with the state we care about and
  51          * stick a pointer to it in PACAR1. We really only
  52          * need to save PC, some CR bits and the NV GPRs,
  53          * but for now an interrupt frame will do.
  54          */
  55         mflr    r0
  56         std     r0,16(r1)
  57         stdu    r1,-INT_FRAME_SIZE(r1)
  58         std     r0,_LINK(r1)
  59         std     r0,_NIP(r1)
  60
  61 #ifndef CONFIG_SMP
  62         /* Make sure FPU, VSX etc... are flushed as we may lose
  63          * state when going to nap mode
  64          */
  65         bl      discard_lazy_cpu_state
  66 #endif /* CONFIG_SMP */
  67
  68         /* Hard disable interrupts */
  69         mfmsr   r9
  70         rldicl  r9,r9,48,1
  71         rotldi  r9,r9,16
  72         mtmsrd  r9,1                    /* hard-disable interrupts */
  73
  74         /* Check if something happened while soft-disabled */
  75         lbz     r0,PACAIRQHAPPENED(r13)
  76         cmpwi   cr0,r0,0
  77         beq     1f
  78         cmpwi   cr0,r4,0
  79         beq     1f
  80         addi    r1,r1,INT_FRAME_SIZE
  81         ld      r0,16(r1)
  82         mtlr    r0
  83         blr
  84
  85 1:      /* We mark irqs hard disabled as this is the state we'll
  86          * be in when returning and we need to tell arch_local_irq_restore()
  87          * about it
  88          */
  89         li      r0,PACA_IRQ_HARD_DIS
  90         stb     r0,PACAIRQHAPPENED(r13)
  91
  92         /* We haven't lost state ... yet */
  93         li      r0,0
  94         stb     r0,PACA_NAPSTATELOST(r13)
  95
  96         /* Continue saving state */
  97         SAVE_GPR(2, r1)
  98         SAVE_NVGPRS(r1)
  99         mfcr    r4
 100         std     r4,_CCR(r1)
 101         std     r9,_MSR(r1)
 102         std     r1,PACAR1(r13)
 103
 104         /*
 105          * Go to real mode to do the nap, as required by the architecture.
 106          * Also, we need to be in real mode before setting hwthread_state,
 107          * because as soon as we do that, another thread can switch
 108          * the MMU context to the guest.
 109          */
 110         LOAD_REG_IMMEDIATE(r5, MSR_IDLE)
 111         li      r6, MSR_RI
 112         andc    r6, r9, r6
 113         LOAD_REG_ADDR(r7, power7_enter_nap_mode)
 114         mtmsrd  r6, 1           /* clear RI before setting SRR0/1 */
 115         mtspr   SPRN_SRR0, r7
 116         mtspr   SPRN_SRR1, r5
 117         rfid
 118
 119         .globl  power7_enter_nap_mode
 120 power7_enter_nap_mode:
 121 #ifdef CONFIG_KVM_BOOK3S_HV_POSSIBLE
 122         /* Tell KVM we're napping */
 123         li      r4,KVM_HWTHREAD_IN_NAP
 124         stb     r4,HSTATE_HWTHREAD_STATE(r13)
 125 #endif
 126         cmpwi   cr0,r3,1
 127         beq     2f
 128         IDLE_STATE_ENTER_SEQ(PPC_NAP)
 129         /* No return */
 130 2:      IDLE_STATE_ENTER_SEQ(PPC_SLEEP)
 131         /* No return */
 132
 133 _GLOBAL(power7_idle)
 134         /* Now check if user or arch enabled NAP mode */
 135         LOAD_REG_ADDRBASE(r3,powersave_nap)
 136         lwz     r4,ADDROFF(powersave_nap)(r3)
 137         cmpwi   0,r4,0
 138         beqlr
 139         li      r3, 1
 140         /* fall through */
 141
 142 _GLOBAL(power7_nap)
 143         mr      r4,r3
 144         li      r3,0
 145         b       power7_powersave_common
 146         /* No return */
 147
 148 _GLOBAL(power7_sleep)
 149         li      r3,1
 150         li      r4,1
 151         b       power7_powersave_common
 152         /* No return */
 153
 154 _GLOBAL(power7_wakeup_tb_loss)
 155         ld      r2,PACATOC(r13);
 156         ld      r1,PACAR1(r13)
 157
 158         /* Time base re-sync */
 159         li      r0,OPAL_RESYNC_TIMEBASE
 160         LOAD_REG_ADDR(r11,opal);
 161         ld      r12,8(r11);
 162         ld      r2,0(r11);
 163         mtctr   r12
 164         bctrl
 165
 166         /* TODO: Check r3 for failure */
 167
 168         REST_NVGPRS(r1)
 169         REST_GPR(2, r1)
 170         ld      r3,_CCR(r1)
 171         ld      r4,_MSR(r1)
 172         ld      r5,_NIP(r1)
 173         addi    r1,r1,INT_FRAME_SIZE
 174         mtcr    r3
 175         mfspr   r3,SPRN_SRR1            /* Return SRR1 */
 176         mtspr   SPRN_SRR1,r4
 177         mtspr   SPRN_SRR0,r5
 178         rfid
 179
 180 _GLOBAL(power7_wakeup_loss)
 181         ld      r1,PACAR1(r13)
 182         REST_NVGPRS(r1)
 183         REST_GPR(2, r1)
 184         ld      r3,_CCR(r1)
 185         ld      r4,_MSR(r1)
 186         ld      r5,_NIP(r1)
 187         addi    r1,r1,INT_FRAME_SIZE
 188         mtcr    r3
 189         mtspr   SPRN_SRR1,r4
 190         mtspr   SPRN_SRR0,r5
 191         rfid
 192
 193 _GLOBAL(power7_wakeup_noloss)
 194         lbz     r0,PACA_NAPSTATELOST(r13)
 195         cmpwi   r0,0
 196         bne     power7_wakeup_loss
 197         ld      r1,PACAR1(r13)
 198         ld      r4,_MSR(r1)
 199         ld      r5,_NIP(r1)
 200         addi    r1,r1,INT_FRAME_SIZE
 201         mtspr   SPRN_SRR1,r4
 202         mtspr   SPRN_SRR0,r5
 203         rfid