arch/x86/kernel/crash.c

   1 /*
   2  * Architecture specific (i386/x86_64) functions for kexec based crash dumps.
   3  *
   4  * Created by: Hariprasad Nellitheertha (hari@in.ibm.com)
   5  *
   6  * Copyright (C) IBM Corporation, 2004. All rights reserved.
   7  *
   8  */
   9
  10 #include <linux/init.h>
  11 #include <linux/types.h>
  12 #include <linux/kernel.h>
  13 #include <linux/smp.h>
  14 #include <linux/reboot.h>
  15 #include <linux/kexec.h>
  16 #include <linux/delay.h>
  17 #include <linux/elf.h>
  18 #include <linux/elfcore.h>
  19 #include <linux/module.h>
  20
  21 #include <asm/processor.h>
  22 #include <asm/hardirq.h>
  23 #include <asm/nmi.h>
  24 #include <asm/hw_irq.h>
  25 #include <asm/apic.h>
  26 #include <asm/hpet.h>
  27 #include <linux/kdebug.h>
  28 #include <asm/cpu.h>
  29 #include <asm/reboot.h>
  30 #include <asm/virtext.h>
  31
  32 int in_crash_kexec;
  33
  34 /*
  35  * This is used to VMCLEAR all VMCSs loaded on the
  36  * processor. And when loading kvm_intel module, the
  37  * callback function pointer will be assigned.
  38  *
  39  * protected by rcu.
  40  */
  41 crash_vmclear_fn __rcu *crash_vmclear_loaded_vmcss = NULL;
  42 EXPORT_SYMBOL_GPL(crash_vmclear_loaded_vmcss);
  43
  44 static inline void cpu_crash_vmclear_loaded_vmcss(void)
  45 {
  46         crash_vmclear_fn *do_vmclear_operation = NULL;
  47
  48         rcu_read_lock();
  49         do_vmclear_operation = rcu_dereference(crash_vmclear_loaded_vmcss);
  50         if (do_vmclear_operation)
  51                 do_vmclear_operation();
  52         rcu_read_unlock();
  53 }
  54
  55 #if defined(CONFIG_SMP) && defined(CONFIG_X86_LOCAL_APIC)
  56
  57 static void kdump_nmi_callback(int cpu, struct pt_regs *regs)
  58 {
  59 #ifdef CONFIG_X86_32
  60         struct pt_regs fixed_regs;
  61 #endif
  62
  63 #ifdef CONFIG_X86_32
  64         if (!user_mode_vm(regs)) {
  65                 crash_fixup_ss_esp(&fixed_regs, regs);
  66                 regs = &fixed_regs;
  67         }
  68 #endif
  69         crash_save_cpu(regs, cpu);
  70
  71         /*
  72          * VMCLEAR VMCSs loaded on all cpus if needed.
  73          */
  74         cpu_crash_vmclear_loaded_vmcss();
  75
  76         /* Disable VMX or SVM if needed.
  77          *
  78          * We need to disable virtualization on all CPUs.
  79          * Having VMX or SVM enabled on any CPU may break rebooting
  80          * after the kdump kernel has finished its task.
  81          */
  82         cpu_emergency_vmxoff();
  83         cpu_emergency_svm_disable();
  84
  85         disable_local_APIC();
  86 }
  87
  88 static void kdump_nmi_shootdown_cpus(void)
  89 {
  90         in_crash_kexec = 1;
  91         nmi_shootdown_cpus(kdump_nmi_callback);
  92
  93         disable_local_APIC();
  94 }
  95
  96 #else
  97 static void kdump_nmi_shootdown_cpus(void)
  98 {
  99         /* There are no cpus to shootdown */
 100 }
 101 #endif
 102
 103 void native_machine_crash_shutdown(struct pt_regs *regs)
 104 {
 105         /* This function is only called after the system
 106          * has panicked or is otherwise in a critical state.
 107          * The minimum amount of code to allow a kexec'd kernel
 108          * to run successfully needs to happen here.
 109          *
 110          * In practice this means shooting down the other cpus in
 111          * an SMP system.
 112          */
 113         /* The kernel is broken so disable interrupts */
 114         local_irq_disable();
 115
 116         kdump_nmi_shootdown_cpus();
 117
 118         /*
 119          * VMCLEAR VMCSs loaded on this cpu if needed.
 120          */
 121         cpu_crash_vmclear_loaded_vmcss();
 122
 123         /* Booting kdump kernel with VMX or SVM enabled won't work,
 124          * because (among other limitations) we can't disable paging
 125          * with the virt flags.
 126          */
 127         cpu_emergency_vmxoff();
 128         cpu_emergency_svm_disable();
 129
 130         lapic_shutdown();
 131 #ifdef CONFIG_X86_IO_APIC
 132         /* Prevent crash_kexec() from deadlocking on ioapic_lock. */
 133         ioapic_zap_locks();
 134         disable_IO_APIC();
 135 #endif
 136 #ifdef CONFIG_HPET_TIMER
 137         hpet_disable();
 138 #endif
 139         crash_save_cpu(regs, safe_smp_processor_id());
 140 }