Merge tag 'u-boot-amlogic-20190910' of https://gitlab.denx.de/u-boot/custodians/u...
[oweals/u-boot.git] / arch / x86 / cpu / i386 / interrupt.c
1 // SPDX-License-Identifier: GPL-2.0+
2 /*
3  * (C) Copyright 2008-2011
4  * Graeme Russ, <graeme.russ@gmail.com>
5  *
6  * (C) Copyright 2002
7  * Daniel Engström, Omicron Ceti AB, <daniel@omicron.se>
8  *
9  * Portions of this file are derived from the Linux kernel source
10  *  Copyright (C) 1991, 1992  Linus Torvalds
11  */
12
13 #include <common.h>
14 #include <dm.h>
15 #include <asm/control_regs.h>
16 #include <asm/i8259.h>
17 #include <asm/interrupt.h>
18 #include <asm/io.h>
19 #include <asm/lapic.h>
20 #include <asm/processor-flags.h>
21
22 DECLARE_GLOBAL_DATA_PTR;
23
24 #define DECLARE_INTERRUPT(x) \
25         ".globl irq_"#x"\n" \
26         ".hidden irq_"#x"\n" \
27         ".type irq_"#x", @function\n" \
28         "irq_"#x":\n" \
29         "pushl $"#x"\n" \
30         "jmp.d32 irq_common_entry\n"
31
32 static char *exceptions[] = {
33         "Divide Error",
34         "Debug",
35         "NMI Interrupt",
36         "Breakpoint",
37         "Overflow",
38         "BOUND Range Exceeded",
39         "Invalid Opcode (Undefined Opcode)",
40         "Device Not Available (No Math Coprocessor)",
41         "Double Fault",
42         "Coprocessor Segment Overrun",
43         "Invalid TSS",
44         "Segment Not Present",
45         "Stack Segment Fault",
46         "General Protection",
47         "Page Fault",
48         "Reserved",
49         "x87 FPU Floating-Point Error",
50         "Alignment Check",
51         "Machine Check",
52         "SIMD Floating-Point Exception",
53         "Virtualization Exception",
54         "Reserved",
55         "Reserved",
56         "Reserved",
57         "Reserved",
58         "Reserved",
59         "Reserved",
60         "Reserved",
61         "Reserved",
62         "Reserved",
63         "Reserved",
64         "Reserved"
65 };
66
67 static void dump_regs(struct irq_regs *regs)
68 {
69         unsigned long cs, eip, eflags;
70         unsigned long cr0 = 0L, cr2 = 0L, cr3 = 0L, cr4 = 0L;
71         unsigned long d0, d1, d2, d3, d6, d7;
72         unsigned long sp;
73
74         /*
75          * Some exceptions cause an error code to be saved on the current stack
76          * after the EIP value. We should extract CS/EIP/EFLAGS from different
77          * position on the stack based on the exception number.
78          */
79         switch (regs->irq_id) {
80         case EXC_DF:
81         case EXC_TS:
82         case EXC_NP:
83         case EXC_SS:
84         case EXC_GP:
85         case EXC_PF:
86         case EXC_AC:
87                 cs = regs->context.ctx2.xcs;
88                 eip = regs->context.ctx2.eip;
89                 eflags = regs->context.ctx2.eflags;
90                 /* We should fix up the ESP due to error code */
91                 regs->esp += 4;
92                 break;
93         default:
94                 cs = regs->context.ctx1.xcs;
95                 eip = regs->context.ctx1.eip;
96                 eflags = regs->context.ctx1.eflags;
97                 break;
98         }
99
100         printf("EIP: %04x:[<%08lx>] EFLAGS: %08lx\n",
101                         (u16)cs, eip, eflags);
102         if (gd->flags & GD_FLG_RELOC)
103                 printf("Original EIP :[<%08lx>]\n", eip - gd->reloc_off);
104
105         printf("EAX: %08lx EBX: %08lx ECX: %08lx EDX: %08lx\n",
106                 regs->eax, regs->ebx, regs->ecx, regs->edx);
107         printf("ESI: %08lx EDI: %08lx EBP: %08lx ESP: %08lx\n",
108                 regs->esi, regs->edi, regs->ebp, regs->esp);
109         printf(" DS: %04x ES: %04x FS: %04x GS: %04x SS: %04x\n",
110                (u16)regs->xds, (u16)regs->xes, (u16)regs->xfs,
111                (u16)regs->xgs, (u16)regs->xss);
112
113         cr0 = read_cr0();
114         cr2 = read_cr2();
115         cr3 = read_cr3();
116         cr4 = read_cr4();
117
118         printf("CR0: %08lx CR2: %08lx CR3: %08lx CR4: %08lx\n",
119                         cr0, cr2, cr3, cr4);
120
121         d0 = get_debugreg(0);
122         d1 = get_debugreg(1);
123         d2 = get_debugreg(2);
124         d3 = get_debugreg(3);
125
126         printf("DR0: %08lx DR1: %08lx DR2: %08lx DR3: %08lx\n",
127                         d0, d1, d2, d3);
128
129         d6 = get_debugreg(6);
130         d7 = get_debugreg(7);
131         printf("DR6: %08lx DR7: %08lx\n",
132                         d6, d7);
133
134         printf("Stack:\n");
135         sp = regs->esp;
136
137         sp += 64;
138
139         while (sp > (regs->esp - 16)) {
140                 if (sp == regs->esp)
141                         printf("--->");
142                 else
143                         printf("    ");
144                 printf("0x%8.8lx : 0x%8.8lx\n", sp, (ulong)readl(sp));
145                 sp -= 4;
146         }
147 }
148
149 static void do_exception(struct irq_regs *regs)
150 {
151         printf("%s\n", exceptions[regs->irq_id]);
152         dump_regs(regs);
153         hang();
154 }
155
156 struct idt_entry {
157         u16     base_low;
158         u16     selector;
159         u8      res;
160         u8      access;
161         u16     base_high;
162 } __packed;
163
164 struct desc_ptr {
165         unsigned short size;
166         unsigned long address;
167 } __packed;
168
169 struct idt_entry idt[256] __aligned(16);
170
171 struct desc_ptr idt_ptr;
172
173 static inline void load_idt(const struct desc_ptr *dtr)
174 {
175         asm volatile("cs lidt %0" : : "m" (*dtr));
176 }
177
178 void set_vector(u8 intnum, void *routine)
179 {
180         idt[intnum].base_high = (u16)((ulong)(routine) >> 16);
181         idt[intnum].base_low = (u16)((ulong)(routine) & 0xffff);
182 }
183
184 /*
185  * Ideally these would be defined static to avoid a checkpatch warning, but
186  * the compiler cannot see them in the inline asm and complains that they
187  * aren't defined
188  */
189 void irq_0(void);
190 void irq_1(void);
191
192 int cpu_init_interrupts(void)
193 {
194         int i;
195
196         int irq_entry_size = irq_1 - irq_0;
197         void *irq_entry = (void *)irq_0;
198
199         /* Setup the IDT */
200         for (i = 0; i < 256; i++) {
201                 idt[i].access = 0x8e;
202                 idt[i].res = 0;
203                 idt[i].selector = X86_GDT_ENTRY_32BIT_CS * X86_GDT_ENTRY_SIZE;
204                 set_vector(i, irq_entry);
205                 irq_entry += irq_entry_size;
206         }
207
208         idt_ptr.size = 256 * 8 - 1;
209         idt_ptr.address = (unsigned long) idt;
210
211         load_idt(&idt_ptr);
212
213         return 0;
214 }
215
216 void *x86_get_idt(void)
217 {
218         return &idt_ptr;
219 }
220
221 void __do_irq(int irq)
222 {
223         printf("Unhandled IRQ : %d\n", irq);
224 }
225 void do_irq(int irq) __attribute__((weak, alias("__do_irq")));
226
227 void enable_interrupts(void)
228 {
229         asm("sti\n");
230 }
231
232 int disable_interrupts(void)
233 {
234         long flags;
235
236 #if CONFIG_IS_ENABLED(X86_64)
237         asm volatile ("pushfq ; popq %0 ; cli\n" : "=g" (flags) : );
238 #else
239         asm volatile ("pushfl ; popl %0 ; cli\n" : "=g" (flags) : );
240 #endif
241         return flags & X86_EFLAGS_IF;
242 }
243
244 int interrupt_init(void)
245 {
246         struct udevice *dev;
247         int ret;
248
249         /* Try to set up the interrupt router, but don't require one */
250         ret = uclass_first_device_err(UCLASS_IRQ, &dev);
251         if (ret && ret != -ENODEV)
252                 return ret;
253
254         /*
255          * When running as an EFI application we are not in control of
256          * interrupts and should leave them alone.
257          */
258 #ifndef CONFIG_EFI_APP
259         /* Just in case... */
260         disable_interrupts();
261
262 #ifdef CONFIG_I8259_PIC
263         /* Initialize the master/slave i8259 pic */
264         i8259_init();
265 #endif
266
267 #ifdef CONFIG_APIC
268         lapic_setup();
269 #endif
270
271         /* Initialize core interrupt and exception functionality of CPU */
272         cpu_init_interrupts();
273
274         /*
275          * It is now safe to enable interrupts.
276          *
277          * TODO(sjg@chromium.org): But we don't handle these correctly when
278          * booted from EFI.
279          */
280         if (ll_boot_init())
281                 enable_interrupts();
282 #endif
283
284         return 0;
285 }
286
287 /* IRQ Low-Level Service Routine */
288 void irq_llsr(struct irq_regs *regs)
289 {
290         /*
291          * For detailed description of each exception, refer to:
292          * Intel® 64 and IA-32 Architectures Software Developer's Manual
293          * Volume 1: Basic Architecture
294          * Order Number: 253665-029US, November 2008
295          * Table 6-1. Exceptions and Interrupts
296          */
297         if (regs->irq_id < 32) {
298                 /* Architecture defined exception */
299                 do_exception(regs);
300         } else {
301                 /* Hardware or User IRQ */
302                 do_irq(regs->irq_id);
303         }
304 }
305
306 /*
307  * OK - This looks really horrible, but it serves a purpose - It helps create
308  * fully relocatable code.
309  *  - The call to irq_llsr will be a relative jump
310  *  - The IRQ entries will be guaranteed to be in order
311  *  Interrupt entries are now very small (a push and a jump) but they are
312  *  now slower (all registers pushed on stack which provides complete
313  *  crash dumps in the low level handlers
314  *
315  * Interrupt Entry Point:
316  *  - Interrupt has caused eflags, CS and EIP to be pushed
317  *  - Interrupt Vector Handler has pushed orig_eax
318  *  - pt_regs.esp needs to be adjusted by 40 bytes:
319  *      12 bytes pushed by CPU (EFLAGSF, CS, EIP)
320  *      4 bytes pushed by vector handler (irq_id)
321  *      24 bytes pushed before SP (SS, GS, FS, ES, DS, EAX)
322  *      NOTE: Only longs are pushed on/popped off the stack!
323  */
324 asm(".globl irq_common_entry\n" \
325         ".hidden irq_common_entry\n" \
326         ".type irq_common_entry, @function\n" \
327         "irq_common_entry:\n" \
328         "cld\n" \
329         "pushl %ss\n" \
330         "pushl %gs\n" \
331         "pushl %fs\n" \
332         "pushl %es\n" \
333         "pushl %ds\n" \
334         "pushl %eax\n" \
335         "movl  %esp, %eax\n" \
336         "addl  $40, %eax\n" \
337         "pushl %eax\n" \
338         "pushl %ebp\n" \
339         "pushl %edi\n" \
340         "pushl %esi\n" \
341         "pushl %edx\n" \
342         "pushl %ecx\n" \
343         "pushl %ebx\n" \
344         "mov   %esp, %eax\n" \
345         "call irq_llsr\n" \
346         "popl %ebx\n" \
347         "popl %ecx\n" \
348         "popl %edx\n" \
349         "popl %esi\n" \
350         "popl %edi\n" \
351         "popl %ebp\n" \
352         "popl %eax\n" \
353         "popl %eax\n" \
354         "popl %ds\n" \
355         "popl %es\n" \
356         "popl %fs\n" \
357         "popl %gs\n" \
358         "popl %ss\n" \
359         "add  $4, %esp\n" \
360         "iret\n" \
361         DECLARE_INTERRUPT(0) \
362         DECLARE_INTERRUPT(1) \
363         DECLARE_INTERRUPT(2) \
364         DECLARE_INTERRUPT(3) \
365         DECLARE_INTERRUPT(4) \
366         DECLARE_INTERRUPT(5) \
367         DECLARE_INTERRUPT(6) \
368         DECLARE_INTERRUPT(7) \
369         DECLARE_INTERRUPT(8) \
370         DECLARE_INTERRUPT(9) \
371         DECLARE_INTERRUPT(10) \
372         DECLARE_INTERRUPT(11) \
373         DECLARE_INTERRUPT(12) \
374         DECLARE_INTERRUPT(13) \
375         DECLARE_INTERRUPT(14) \
376         DECLARE_INTERRUPT(15) \
377         DECLARE_INTERRUPT(16) \
378         DECLARE_INTERRUPT(17) \
379         DECLARE_INTERRUPT(18) \
380         DECLARE_INTERRUPT(19) \
381         DECLARE_INTERRUPT(20) \
382         DECLARE_INTERRUPT(21) \
383         DECLARE_INTERRUPT(22) \
384         DECLARE_INTERRUPT(23) \
385         DECLARE_INTERRUPT(24) \
386         DECLARE_INTERRUPT(25) \
387         DECLARE_INTERRUPT(26) \
388         DECLARE_INTERRUPT(27) \
389         DECLARE_INTERRUPT(28) \
390         DECLARE_INTERRUPT(29) \
391         DECLARE_INTERRUPT(30) \
392         DECLARE_INTERRUPT(31) \
393         DECLARE_INTERRUPT(32) \
394         DECLARE_INTERRUPT(33) \
395         DECLARE_INTERRUPT(34) \
396         DECLARE_INTERRUPT(35) \
397         DECLARE_INTERRUPT(36) \
398         DECLARE_INTERRUPT(37) \
399         DECLARE_INTERRUPT(38) \
400         DECLARE_INTERRUPT(39) \
401         DECLARE_INTERRUPT(40) \
402         DECLARE_INTERRUPT(41) \
403         DECLARE_INTERRUPT(42) \
404         DECLARE_INTERRUPT(43) \
405         DECLARE_INTERRUPT(44) \
406         DECLARE_INTERRUPT(45) \
407         DECLARE_INTERRUPT(46) \
408         DECLARE_INTERRUPT(47) \
409         DECLARE_INTERRUPT(48) \
410         DECLARE_INTERRUPT(49) \
411         DECLARE_INTERRUPT(50) \
412         DECLARE_INTERRUPT(51) \
413         DECLARE_INTERRUPT(52) \
414         DECLARE_INTERRUPT(53) \
415         DECLARE_INTERRUPT(54) \
416         DECLARE_INTERRUPT(55) \
417         DECLARE_INTERRUPT(56) \
418         DECLARE_INTERRUPT(57) \
419         DECLARE_INTERRUPT(58) \
420         DECLARE_INTERRUPT(59) \
421         DECLARE_INTERRUPT(60) \
422         DECLARE_INTERRUPT(61) \
423         DECLARE_INTERRUPT(62) \
424         DECLARE_INTERRUPT(63) \
425         DECLARE_INTERRUPT(64) \
426         DECLARE_INTERRUPT(65) \
427         DECLARE_INTERRUPT(66) \
428         DECLARE_INTERRUPT(67) \
429         DECLARE_INTERRUPT(68) \
430         DECLARE_INTERRUPT(69) \
431         DECLARE_INTERRUPT(70) \
432         DECLARE_INTERRUPT(71) \
433         DECLARE_INTERRUPT(72) \
434         DECLARE_INTERRUPT(73) \
435         DECLARE_INTERRUPT(74) \
436         DECLARE_INTERRUPT(75) \
437         DECLARE_INTERRUPT(76) \
438         DECLARE_INTERRUPT(77) \
439         DECLARE_INTERRUPT(78) \
440         DECLARE_INTERRUPT(79) \
441         DECLARE_INTERRUPT(80) \
442         DECLARE_INTERRUPT(81) \
443         DECLARE_INTERRUPT(82) \
444         DECLARE_INTERRUPT(83) \
445         DECLARE_INTERRUPT(84) \
446         DECLARE_INTERRUPT(85) \
447         DECLARE_INTERRUPT(86) \
448         DECLARE_INTERRUPT(87) \
449         DECLARE_INTERRUPT(88) \
450         DECLARE_INTERRUPT(89) \
451         DECLARE_INTERRUPT(90) \
452         DECLARE_INTERRUPT(91) \
453         DECLARE_INTERRUPT(92) \
454         DECLARE_INTERRUPT(93) \
455         DECLARE_INTERRUPT(94) \
456         DECLARE_INTERRUPT(95) \
457         DECLARE_INTERRUPT(97) \
458         DECLARE_INTERRUPT(96) \
459         DECLARE_INTERRUPT(98) \
460         DECLARE_INTERRUPT(99) \
461         DECLARE_INTERRUPT(100) \
462         DECLARE_INTERRUPT(101) \
463         DECLARE_INTERRUPT(102) \
464         DECLARE_INTERRUPT(103) \
465         DECLARE_INTERRUPT(104) \
466         DECLARE_INTERRUPT(105) \
467         DECLARE_INTERRUPT(106) \
468         DECLARE_INTERRUPT(107) \
469         DECLARE_INTERRUPT(108) \
470         DECLARE_INTERRUPT(109) \
471         DECLARE_INTERRUPT(110) \
472         DECLARE_INTERRUPT(111) \
473         DECLARE_INTERRUPT(112) \
474         DECLARE_INTERRUPT(113) \
475         DECLARE_INTERRUPT(114) \
476         DECLARE_INTERRUPT(115) \
477         DECLARE_INTERRUPT(116) \
478         DECLARE_INTERRUPT(117) \
479         DECLARE_INTERRUPT(118) \
480         DECLARE_INTERRUPT(119) \
481         DECLARE_INTERRUPT(120) \
482         DECLARE_INTERRUPT(121) \
483         DECLARE_INTERRUPT(122) \
484         DECLARE_INTERRUPT(123) \
485         DECLARE_INTERRUPT(124) \
486         DECLARE_INTERRUPT(125) \
487         DECLARE_INTERRUPT(126) \
488         DECLARE_INTERRUPT(127) \
489         DECLARE_INTERRUPT(128) \
490         DECLARE_INTERRUPT(129) \
491         DECLARE_INTERRUPT(130) \
492         DECLARE_INTERRUPT(131) \
493         DECLARE_INTERRUPT(132) \
494         DECLARE_INTERRUPT(133) \
495         DECLARE_INTERRUPT(134) \
496         DECLARE_INTERRUPT(135) \
497         DECLARE_INTERRUPT(136) \
498         DECLARE_INTERRUPT(137) \
499         DECLARE_INTERRUPT(138) \
500         DECLARE_INTERRUPT(139) \
501         DECLARE_INTERRUPT(140) \
502         DECLARE_INTERRUPT(141) \
503         DECLARE_INTERRUPT(142) \
504         DECLARE_INTERRUPT(143) \
505         DECLARE_INTERRUPT(144) \
506         DECLARE_INTERRUPT(145) \
507         DECLARE_INTERRUPT(146) \
508         DECLARE_INTERRUPT(147) \
509         DECLARE_INTERRUPT(148) \
510         DECLARE_INTERRUPT(149) \
511         DECLARE_INTERRUPT(150) \
512         DECLARE_INTERRUPT(151) \
513         DECLARE_INTERRUPT(152) \
514         DECLARE_INTERRUPT(153) \
515         DECLARE_INTERRUPT(154) \
516         DECLARE_INTERRUPT(155) \
517         DECLARE_INTERRUPT(156) \
518         DECLARE_INTERRUPT(157) \
519         DECLARE_INTERRUPT(158) \
520         DECLARE_INTERRUPT(159) \
521         DECLARE_INTERRUPT(160) \
522         DECLARE_INTERRUPT(161) \
523         DECLARE_INTERRUPT(162) \
524         DECLARE_INTERRUPT(163) \
525         DECLARE_INTERRUPT(164) \
526         DECLARE_INTERRUPT(165) \
527         DECLARE_INTERRUPT(166) \
528         DECLARE_INTERRUPT(167) \
529         DECLARE_INTERRUPT(168) \
530         DECLARE_INTERRUPT(169) \
531         DECLARE_INTERRUPT(170) \
532         DECLARE_INTERRUPT(171) \
533         DECLARE_INTERRUPT(172) \
534         DECLARE_INTERRUPT(173) \
535         DECLARE_INTERRUPT(174) \
536         DECLARE_INTERRUPT(175) \
537         DECLARE_INTERRUPT(176) \
538         DECLARE_INTERRUPT(177) \
539         DECLARE_INTERRUPT(178) \
540         DECLARE_INTERRUPT(179) \
541         DECLARE_INTERRUPT(180) \
542         DECLARE_INTERRUPT(181) \
543         DECLARE_INTERRUPT(182) \
544         DECLARE_INTERRUPT(183) \
545         DECLARE_INTERRUPT(184) \
546         DECLARE_INTERRUPT(185) \
547         DECLARE_INTERRUPT(186) \
548         DECLARE_INTERRUPT(187) \
549         DECLARE_INTERRUPT(188) \
550         DECLARE_INTERRUPT(189) \
551         DECLARE_INTERRUPT(190) \
552         DECLARE_INTERRUPT(191) \
553         DECLARE_INTERRUPT(192) \
554         DECLARE_INTERRUPT(193) \
555         DECLARE_INTERRUPT(194) \
556         DECLARE_INTERRUPT(195) \
557         DECLARE_INTERRUPT(196) \
558         DECLARE_INTERRUPT(197) \
559         DECLARE_INTERRUPT(198) \
560         DECLARE_INTERRUPT(199) \
561         DECLARE_INTERRUPT(200) \
562         DECLARE_INTERRUPT(201) \
563         DECLARE_INTERRUPT(202) \
564         DECLARE_INTERRUPT(203) \
565         DECLARE_INTERRUPT(204) \
566         DECLARE_INTERRUPT(205) \
567         DECLARE_INTERRUPT(206) \
568         DECLARE_INTERRUPT(207) \
569         DECLARE_INTERRUPT(208) \
570         DECLARE_INTERRUPT(209) \
571         DECLARE_INTERRUPT(210) \
572         DECLARE_INTERRUPT(211) \
573         DECLARE_INTERRUPT(212) \
574         DECLARE_INTERRUPT(213) \
575         DECLARE_INTERRUPT(214) \
576         DECLARE_INTERRUPT(215) \
577         DECLARE_INTERRUPT(216) \
578         DECLARE_INTERRUPT(217) \
579         DECLARE_INTERRUPT(218) \
580         DECLARE_INTERRUPT(219) \
581         DECLARE_INTERRUPT(220) \
582         DECLARE_INTERRUPT(221) \
583         DECLARE_INTERRUPT(222) \
584         DECLARE_INTERRUPT(223) \
585         DECLARE_INTERRUPT(224) \
586         DECLARE_INTERRUPT(225) \
587         DECLARE_INTERRUPT(226) \
588         DECLARE_INTERRUPT(227) \
589         DECLARE_INTERRUPT(228) \
590         DECLARE_INTERRUPT(229) \
591         DECLARE_INTERRUPT(230) \
592         DECLARE_INTERRUPT(231) \
593         DECLARE_INTERRUPT(232) \
594         DECLARE_INTERRUPT(233) \
595         DECLARE_INTERRUPT(234) \
596         DECLARE_INTERRUPT(235) \
597         DECLARE_INTERRUPT(236) \
598         DECLARE_INTERRUPT(237) \
599         DECLARE_INTERRUPT(238) \
600         DECLARE_INTERRUPT(239) \
601         DECLARE_INTERRUPT(240) \
602         DECLARE_INTERRUPT(241) \
603         DECLARE_INTERRUPT(242) \
604         DECLARE_INTERRUPT(243) \
605         DECLARE_INTERRUPT(244) \
606         DECLARE_INTERRUPT(245) \
607         DECLARE_INTERRUPT(246) \
608         DECLARE_INTERRUPT(247) \
609         DECLARE_INTERRUPT(248) \
610         DECLARE_INTERRUPT(249) \
611         DECLARE_INTERRUPT(250) \
612         DECLARE_INTERRUPT(251) \
613         DECLARE_INTERRUPT(252) \
614         DECLARE_INTERRUPT(253) \
615         DECLARE_INTERRUPT(254) \
616         DECLARE_INTERRUPT(255));