Linux-libre 4.19.123-gnu
[librecmc/linux-libre.git] / drivers / gpu / drm / amd / amdgpu / psp_v3_1.c
1 /*
2  * Copyright 2016 Advanced Micro Devices, Inc.
3  *
4  * Permission is hereby granted, free of charge, to any person obtaining a
5  * copy of this software and associated documentation files (the "Software"),
6  * to deal in the Software without restriction, including without limitation
7  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
8  * and/or sell copies of the Software, and to permit persons to whom the
9  * Software is furnished to do so, subject to the following conditions:
10  *
11  * The above copyright notice and this permission notice shall be included in
12  * all copies or substantial portions of the Software.
13  *
14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
17  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
18  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
19  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
20  * OTHER DEALINGS IN THE SOFTWARE.
21  *
22  * Author: Huang Rui
23  *
24  */
25
26 #include <linux/firmware.h>
27 #include <drm/drmP.h>
28 #include "amdgpu.h"
29 #include "amdgpu_psp.h"
30 #include "amdgpu_ucode.h"
31 #include "soc15_common.h"
32 #include "psp_v3_1.h"
33
34 #include "mp/mp_9_0_offset.h"
35 #include "mp/mp_9_0_sh_mask.h"
36 #include "gc/gc_9_0_offset.h"
37 #include "sdma0/sdma0_4_0_offset.h"
38 #include "nbio/nbio_6_1_offset.h"
39
40 /*(DEBLOBBED)*/
41
42
43 #define smnMP1_FIRMWARE_FLAGS 0x3010028
44
45 static uint32_t sos_old_versions[] = {1517616, 1510592, 1448594, 1446554};
46
47 static int
48 psp_v3_1_get_fw_type(struct amdgpu_firmware_info *ucode, enum psp_gfx_fw_type *type)
49 {
50         switch(ucode->ucode_id) {
51         case AMDGPU_UCODE_ID_SDMA0:
52                 *type = GFX_FW_TYPE_SDMA0;
53                 break;
54         case AMDGPU_UCODE_ID_SDMA1:
55                 *type = GFX_FW_TYPE_SDMA1;
56                 break;
57         case AMDGPU_UCODE_ID_CP_CE:
58                 *type = GFX_FW_TYPE_CP_CE;
59                 break;
60         case AMDGPU_UCODE_ID_CP_PFP:
61                 *type = GFX_FW_TYPE_CP_PFP;
62                 break;
63         case AMDGPU_UCODE_ID_CP_ME:
64                 *type = GFX_FW_TYPE_CP_ME;
65                 break;
66         case AMDGPU_UCODE_ID_CP_MEC1:
67                 *type = GFX_FW_TYPE_CP_MEC;
68                 break;
69         case AMDGPU_UCODE_ID_CP_MEC1_JT:
70                 *type = GFX_FW_TYPE_CP_MEC_ME1;
71                 break;
72         case AMDGPU_UCODE_ID_CP_MEC2:
73                 *type = GFX_FW_TYPE_CP_MEC;
74                 break;
75         case AMDGPU_UCODE_ID_CP_MEC2_JT:
76                 *type = GFX_FW_TYPE_CP_MEC_ME2;
77                 break;
78         case AMDGPU_UCODE_ID_RLC_G:
79                 *type = GFX_FW_TYPE_RLC_G;
80                 break;
81         case AMDGPU_UCODE_ID_SMC:
82                 *type = GFX_FW_TYPE_SMU;
83                 break;
84         case AMDGPU_UCODE_ID_UVD:
85                 *type = GFX_FW_TYPE_UVD;
86                 break;
87         case AMDGPU_UCODE_ID_VCE:
88                 *type = GFX_FW_TYPE_VCE;
89                 break;
90         case AMDGPU_UCODE_ID_MAXIMUM:
91         default:
92                 return -EINVAL;
93         }
94
95         return 0;
96 }
97
98 static int psp_v3_1_init_microcode(struct psp_context *psp)
99 {
100         struct amdgpu_device *adev = psp->adev;
101         const char *chip_name;
102         char fw_name[30];
103         int err = 0;
104         const struct psp_firmware_header_v1_0 *hdr;
105
106         DRM_DEBUG("\n");
107
108         switch (adev->asic_type) {
109         case CHIP_VEGA10:
110                 chip_name = "vega10";
111                 break;
112         case CHIP_VEGA12:
113                 chip_name = "vega12";
114                 break;
115         default: BUG();
116         }
117
118         snprintf(fw_name, sizeof(fw_name), "/*(DEBLOBBED)*/", chip_name);
119         err = reject_firmware(&adev->psp.sos_fw, fw_name, adev->dev);
120         if (err)
121                 goto out;
122
123         err = amdgpu_ucode_validate(adev->psp.sos_fw);
124         if (err)
125                 goto out;
126
127         hdr = (const struct psp_firmware_header_v1_0 *)adev->psp.sos_fw->data;
128         adev->psp.sos_fw_version = le32_to_cpu(hdr->header.ucode_version);
129         adev->psp.sos_feature_version = le32_to_cpu(hdr->ucode_feature_version);
130         adev->psp.sos_bin_size = le32_to_cpu(hdr->sos_size_bytes);
131         adev->psp.sys_bin_size = le32_to_cpu(hdr->header.ucode_size_bytes) -
132                                         le32_to_cpu(hdr->sos_size_bytes);
133         adev->psp.sys_start_addr = (uint8_t *)hdr +
134                                 le32_to_cpu(hdr->header.ucode_array_offset_bytes);
135         adev->psp.sos_start_addr = (uint8_t *)adev->psp.sys_start_addr +
136                                 le32_to_cpu(hdr->sos_offset_bytes);
137
138         snprintf(fw_name, sizeof(fw_name), "/*(DEBLOBBED)*/", chip_name);
139         err = reject_firmware(&adev->psp.asd_fw, fw_name, adev->dev);
140         if (err)
141                 goto out;
142
143         err = amdgpu_ucode_validate(adev->psp.asd_fw);
144         if (err)
145                 goto out;
146
147         hdr = (const struct psp_firmware_header_v1_0 *)adev->psp.asd_fw->data;
148         adev->psp.asd_fw_version = le32_to_cpu(hdr->header.ucode_version);
149         adev->psp.asd_feature_version = le32_to_cpu(hdr->ucode_feature_version);
150         adev->psp.asd_ucode_size = le32_to_cpu(hdr->header.ucode_size_bytes);
151         adev->psp.asd_start_addr = (uint8_t *)hdr +
152                                 le32_to_cpu(hdr->header.ucode_array_offset_bytes);
153
154         return 0;
155 out:
156         if (err) {
157                 dev_err(adev->dev,
158                         "psp v3.1: Failed to load firmware \"%s\"\n",
159                         fw_name);
160                 release_firmware(adev->psp.sos_fw);
161                 adev->psp.sos_fw = NULL;
162                 release_firmware(adev->psp.asd_fw);
163                 adev->psp.asd_fw = NULL;
164         }
165
166         return err;
167 }
168
169 static int psp_v3_1_bootloader_load_sysdrv(struct psp_context *psp)
170 {
171         int ret;
172         uint32_t psp_gfxdrv_command_reg = 0;
173         struct amdgpu_device *adev = psp->adev;
174         uint32_t sol_reg;
175
176         /* Check sOS sign of life register to confirm sys driver and sOS
177          * are already been loaded.
178          */
179         sol_reg = RREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_81);
180         if (sol_reg)
181                 return 0;
182
183         /* Wait for bootloader to signify that is ready having bit 31 of C2PMSG_35 set to 1 */
184         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_35),
185                            0x80000000, 0x80000000, false);
186         if (ret)
187                 return ret;
188
189         memset(psp->fw_pri_buf, 0, PSP_1_MEG);
190
191         /* Copy PSP System Driver binary to memory */
192         memcpy(psp->fw_pri_buf, psp->sys_start_addr, psp->sys_bin_size);
193
194         /* Provide the sys driver to bootrom */
195         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_36,
196                (uint32_t)(psp->fw_pri_mc_addr >> 20));
197         psp_gfxdrv_command_reg = 1 << 16;
198         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_35,
199                psp_gfxdrv_command_reg);
200
201         /* there might be handshake issue with hardware which needs delay */
202         mdelay(20);
203
204         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_35),
205                            0x80000000, 0x80000000, false);
206
207         return ret;
208 }
209
210 static bool psp_v3_1_match_version(struct amdgpu_device *adev, uint32_t ver)
211 {
212         int i;
213
214         if (ver == adev->psp.sos_fw_version)
215                 return true;
216
217         /*
218          * Double check if the latest four legacy versions.
219          * If yes, it is still the right version.
220          */
221         for (i = 0; i < sizeof(sos_old_versions) / sizeof(uint32_t); i++) {
222                 if (sos_old_versions[i] == adev->psp.sos_fw_version)
223                         return true;
224         }
225
226         return false;
227 }
228
229 static int psp_v3_1_bootloader_load_sos(struct psp_context *psp)
230 {
231         int ret;
232         unsigned int psp_gfxdrv_command_reg = 0;
233         struct amdgpu_device *adev = psp->adev;
234         uint32_t sol_reg, ver;
235
236         /* Check sOS sign of life register to confirm sys driver and sOS
237          * are already been loaded.
238          */
239         sol_reg = RREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_81);
240         if (sol_reg)
241                 return 0;
242
243         /* Wait for bootloader to signify that is ready having bit 31 of C2PMSG_35 set to 1 */
244         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_35),
245                            0x80000000, 0x80000000, false);
246         if (ret)
247                 return ret;
248
249         memset(psp->fw_pri_buf, 0, PSP_1_MEG);
250
251         /* Copy Secure OS binary to PSP memory */
252         memcpy(psp->fw_pri_buf, psp->sos_start_addr, psp->sos_bin_size);
253
254         /* Provide the PSP secure OS to bootrom */
255         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_36,
256                (uint32_t)(psp->fw_pri_mc_addr >> 20));
257         psp_gfxdrv_command_reg = 2 << 16;
258         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_35,
259                psp_gfxdrv_command_reg);
260
261         /* there might be handshake issue with hardware which needs delay */
262         mdelay(20);
263         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_81),
264                            RREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_81),
265                            0, true);
266
267         ver = RREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_58);
268         if (!psp_v3_1_match_version(adev, ver))
269                 DRM_WARN("SOS version doesn't match\n");
270
271         return ret;
272 }
273
274 static int psp_v3_1_prep_cmd_buf(struct amdgpu_firmware_info *ucode,
275                                  struct psp_gfx_cmd_resp *cmd)
276 {
277         int ret;
278         uint64_t fw_mem_mc_addr = ucode->mc_addr;
279
280         memset(cmd, 0, sizeof(struct psp_gfx_cmd_resp));
281
282         cmd->cmd_id = GFX_CMD_ID_LOAD_IP_FW;
283         cmd->cmd.cmd_load_ip_fw.fw_phy_addr_lo = lower_32_bits(fw_mem_mc_addr);
284         cmd->cmd.cmd_load_ip_fw.fw_phy_addr_hi = upper_32_bits(fw_mem_mc_addr);
285         cmd->cmd.cmd_load_ip_fw.fw_size = ucode->ucode_size;
286
287         ret = psp_v3_1_get_fw_type(ucode, &cmd->cmd.cmd_load_ip_fw.fw_type);
288         if (ret)
289                 DRM_ERROR("Unknown firmware type\n");
290
291         return ret;
292 }
293
294 static int psp_v3_1_ring_init(struct psp_context *psp,
295                               enum psp_ring_type ring_type)
296 {
297         int ret = 0;
298         struct psp_ring *ring;
299         struct amdgpu_device *adev = psp->adev;
300
301         ring = &psp->km_ring;
302
303         ring->ring_type = ring_type;
304
305         /* allocate 4k Page of Local Frame Buffer memory for ring */
306         ring->ring_size = 0x1000;
307         ret = amdgpu_bo_create_kernel(adev, ring->ring_size, PAGE_SIZE,
308                                       AMDGPU_GEM_DOMAIN_VRAM,
309                                       &adev->firmware.rbuf,
310                                       &ring->ring_mem_mc_addr,
311                                       (void **)&ring->ring_mem);
312         if (ret) {
313                 ring->ring_size = 0;
314                 return ret;
315         }
316
317         return 0;
318 }
319
320 static int psp_v3_1_ring_create(struct psp_context *psp,
321                                 enum psp_ring_type ring_type)
322 {
323         int ret = 0;
324         unsigned int psp_ring_reg = 0;
325         struct psp_ring *ring = &psp->km_ring;
326         struct amdgpu_device *adev = psp->adev;
327
328         /* Write low address of the ring to C2PMSG_69 */
329         psp_ring_reg = lower_32_bits(ring->ring_mem_mc_addr);
330         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_69, psp_ring_reg);
331         /* Write high address of the ring to C2PMSG_70 */
332         psp_ring_reg = upper_32_bits(ring->ring_mem_mc_addr);
333         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_70, psp_ring_reg);
334         /* Write size of ring to C2PMSG_71 */
335         psp_ring_reg = ring->ring_size;
336         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_71, psp_ring_reg);
337         /* Write the ring initialization command to C2PMSG_64 */
338         psp_ring_reg = ring_type;
339         psp_ring_reg = psp_ring_reg << 16;
340         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_64, psp_ring_reg);
341
342         /* there might be handshake issue with hardware which needs delay */
343         mdelay(20);
344
345         /* Wait for response flag (bit 31) in C2PMSG_64 */
346         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_64),
347                            0x80000000, 0x8000FFFF, false);
348
349         return ret;
350 }
351
352 static int psp_v3_1_ring_stop(struct psp_context *psp,
353                               enum psp_ring_type ring_type)
354 {
355         int ret = 0;
356         struct psp_ring *ring;
357         unsigned int psp_ring_reg = 0;
358         struct amdgpu_device *adev = psp->adev;
359
360         ring = &psp->km_ring;
361
362         /* Write the ring destroy command to C2PMSG_64 */
363         psp_ring_reg = 3 << 16;
364         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_64, psp_ring_reg);
365
366         /* there might be handshake issue with hardware which needs delay */
367         mdelay(20);
368
369         /* Wait for response flag (bit 31) in C2PMSG_64 */
370         ret = psp_wait_for(psp, SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_64),
371                            0x80000000, 0x80000000, false);
372
373         return ret;
374 }
375
376 static int psp_v3_1_ring_destroy(struct psp_context *psp,
377                                  enum psp_ring_type ring_type)
378 {
379         int ret = 0;
380         struct psp_ring *ring = &psp->km_ring;
381         struct amdgpu_device *adev = psp->adev;
382
383         ret = psp_v3_1_ring_stop(psp, ring_type);
384         if (ret)
385                 DRM_ERROR("Fail to stop psp ring\n");
386
387         amdgpu_bo_free_kernel(&adev->firmware.rbuf,
388                               &ring->ring_mem_mc_addr,
389                               (void **)&ring->ring_mem);
390
391         return ret;
392 }
393
394 static int psp_v3_1_cmd_submit(struct psp_context *psp,
395                                struct amdgpu_firmware_info *ucode,
396                                uint64_t cmd_buf_mc_addr, uint64_t fence_mc_addr,
397                                int index)
398 {
399         unsigned int psp_write_ptr_reg = 0;
400         struct psp_gfx_rb_frame * write_frame = psp->km_ring.ring_mem;
401         struct psp_ring *ring = &psp->km_ring;
402         struct psp_gfx_rb_frame *ring_buffer_start = ring->ring_mem;
403         struct psp_gfx_rb_frame *ring_buffer_end = ring_buffer_start +
404                 ring->ring_size / sizeof(struct psp_gfx_rb_frame) - 1;
405         struct amdgpu_device *adev = psp->adev;
406         uint32_t ring_size_dw = ring->ring_size / 4;
407         uint32_t rb_frame_size_dw = sizeof(struct psp_gfx_rb_frame) / 4;
408
409         /* KM (GPCOM) prepare write pointer */
410         psp_write_ptr_reg = RREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_67);
411
412         /* Update KM RB frame pointer to new frame */
413         /* write_frame ptr increments by size of rb_frame in bytes */
414         /* psp_write_ptr_reg increments by size of rb_frame in DWORDs */
415         if ((psp_write_ptr_reg % ring_size_dw) == 0)
416                 write_frame = ring_buffer_start;
417         else
418                 write_frame = ring_buffer_start + (psp_write_ptr_reg / rb_frame_size_dw);
419         /* Check invalid write_frame ptr address */
420         if ((write_frame < ring_buffer_start) || (ring_buffer_end < write_frame)) {
421                 DRM_ERROR("ring_buffer_start = %p; ring_buffer_end = %p; write_frame = %p\n",
422                           ring_buffer_start, ring_buffer_end, write_frame);
423                 DRM_ERROR("write_frame is pointing to address out of bounds\n");
424                 return -EINVAL;
425         }
426
427         /* Initialize KM RB frame */
428         memset(write_frame, 0, sizeof(struct psp_gfx_rb_frame));
429
430         /* Update KM RB frame */
431         write_frame->cmd_buf_addr_hi = upper_32_bits(cmd_buf_mc_addr);
432         write_frame->cmd_buf_addr_lo = lower_32_bits(cmd_buf_mc_addr);
433         write_frame->fence_addr_hi = upper_32_bits(fence_mc_addr);
434         write_frame->fence_addr_lo = lower_32_bits(fence_mc_addr);
435         write_frame->fence_value = index;
436
437         /* Update the write Pointer in DWORDs */
438         psp_write_ptr_reg = (psp_write_ptr_reg + rb_frame_size_dw) % ring_size_dw;
439         WREG32_SOC15(MP0, 0, mmMP0_SMN_C2PMSG_67, psp_write_ptr_reg);
440
441         return 0;
442 }
443
444 static int
445 psp_v3_1_sram_map(struct amdgpu_device *adev,
446                   unsigned int *sram_offset, unsigned int *sram_addr_reg_offset,
447                   unsigned int *sram_data_reg_offset,
448                   enum AMDGPU_UCODE_ID ucode_id)
449 {
450         int ret = 0;
451
452         switch(ucode_id) {
453 /* TODO: needs to confirm */
454 #if 0
455         case AMDGPU_UCODE_ID_SMC:
456                 *sram_offset = 0;
457                 *sram_addr_reg_offset = 0;
458                 *sram_data_reg_offset = 0;
459                 break;
460 #endif
461
462         case AMDGPU_UCODE_ID_CP_CE:
463                 *sram_offset = 0x0;
464                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_CE_UCODE_ADDR);
465                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_CE_UCODE_DATA);
466                 break;
467
468         case AMDGPU_UCODE_ID_CP_PFP:
469                 *sram_offset = 0x0;
470                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_PFP_UCODE_ADDR);
471                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_PFP_UCODE_DATA);
472                 break;
473
474         case AMDGPU_UCODE_ID_CP_ME:
475                 *sram_offset = 0x0;
476                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_HYP_ME_UCODE_ADDR);
477                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_HYP_ME_UCODE_DATA);
478                 break;
479
480         case AMDGPU_UCODE_ID_CP_MEC1:
481                 *sram_offset = 0x10000;
482                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_MEC_ME1_UCODE_ADDR);
483                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_MEC_ME1_UCODE_DATA);
484                 break;
485
486         case AMDGPU_UCODE_ID_CP_MEC2:
487                 *sram_offset = 0x10000;
488                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_HYP_MEC2_UCODE_ADDR);
489                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmCP_HYP_MEC2_UCODE_DATA);
490                 break;
491
492         case AMDGPU_UCODE_ID_RLC_G:
493                 *sram_offset = 0x2000;
494                 *sram_addr_reg_offset = SOC15_REG_OFFSET(GC, 0, mmRLC_GPM_UCODE_ADDR);
495                 *sram_data_reg_offset = SOC15_REG_OFFSET(GC, 0, mmRLC_GPM_UCODE_DATA);
496                 break;
497
498         case AMDGPU_UCODE_ID_SDMA0:
499                 *sram_offset = 0x0;
500                 *sram_addr_reg_offset = SOC15_REG_OFFSET(SDMA0, 0, mmSDMA0_UCODE_ADDR);
501                 *sram_data_reg_offset = SOC15_REG_OFFSET(SDMA0, 0, mmSDMA0_UCODE_DATA);
502                 break;
503
504 /* TODO: needs to confirm */
505 #if 0
506         case AMDGPU_UCODE_ID_SDMA1:
507                 *sram_offset = ;
508                 *sram_addr_reg_offset = ;
509                 break;
510
511         case AMDGPU_UCODE_ID_UVD:
512                 *sram_offset = ;
513                 *sram_addr_reg_offset = ;
514                 break;
515
516         case AMDGPU_UCODE_ID_VCE:
517                 *sram_offset = ;
518                 *sram_addr_reg_offset = ;
519                 break;
520 #endif
521
522         case AMDGPU_UCODE_ID_MAXIMUM:
523         default:
524                 ret = -EINVAL;
525                 break;
526         }
527
528         return ret;
529 }
530
531 static bool psp_v3_1_compare_sram_data(struct psp_context *psp,
532                                        struct amdgpu_firmware_info *ucode,
533                                        enum AMDGPU_UCODE_ID ucode_type)
534 {
535         int err = 0;
536         unsigned int fw_sram_reg_val = 0;
537         unsigned int fw_sram_addr_reg_offset = 0;
538         unsigned int fw_sram_data_reg_offset = 0;
539         unsigned int ucode_size;
540         uint32_t *ucode_mem = NULL;
541         struct amdgpu_device *adev = psp->adev;
542
543         err = psp_v3_1_sram_map(adev, &fw_sram_reg_val, &fw_sram_addr_reg_offset,
544                                 &fw_sram_data_reg_offset, ucode_type);
545         if (err)
546                 return false;
547
548         WREG32(fw_sram_addr_reg_offset, fw_sram_reg_val);
549
550         ucode_size = ucode->ucode_size;
551         ucode_mem = (uint32_t *)ucode->kaddr;
552         while (ucode_size) {
553                 fw_sram_reg_val = RREG32(fw_sram_data_reg_offset);
554
555                 if (*ucode_mem != fw_sram_reg_val)
556                         return false;
557
558                 ucode_mem++;
559                 /* 4 bytes */
560                 ucode_size -= 4;
561         }
562
563         return true;
564 }
565
566 static bool psp_v3_1_smu_reload_quirk(struct psp_context *psp)
567 {
568         struct amdgpu_device *adev = psp->adev;
569         uint32_t reg;
570
571         reg = smnMP1_FIRMWARE_FLAGS | 0x03b00000;
572         WREG32_SOC15(NBIO, 0, mmPCIE_INDEX2, reg);
573         reg = RREG32_SOC15(NBIO, 0, mmPCIE_DATA2);
574         return (reg & MP1_FIRMWARE_FLAGS__INTERRUPTS_ENABLED_MASK) ? true : false;
575 }
576
577 static int psp_v3_1_mode1_reset(struct psp_context *psp)
578 {
579         int ret;
580         uint32_t offset;
581         struct amdgpu_device *adev = psp->adev;
582
583         offset = SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_64);
584
585         ret = psp_wait_for(psp, offset, 0x80000000, 0x8000FFFF, false);
586
587         if (ret) {
588                 DRM_INFO("psp is not working correctly before mode1 reset!\n");
589                 return -EINVAL;
590         }
591
592         /*send the mode 1 reset command*/
593         WREG32(offset, 0x70000);
594
595         mdelay(1000);
596
597         offset = SOC15_REG_OFFSET(MP0, 0, mmMP0_SMN_C2PMSG_33);
598
599         ret = psp_wait_for(psp, offset, 0x80000000, 0x80000000, false);
600
601         if (ret) {
602                 DRM_INFO("psp mode 1 reset failed!\n");
603                 return -EINVAL;
604         }
605
606         DRM_INFO("psp mode1 reset succeed \n");
607
608         return 0;
609 }
610
611 static const struct psp_funcs psp_v3_1_funcs = {
612         .init_microcode = psp_v3_1_init_microcode,
613         .bootloader_load_sysdrv = psp_v3_1_bootloader_load_sysdrv,
614         .bootloader_load_sos = psp_v3_1_bootloader_load_sos,
615         .prep_cmd_buf = psp_v3_1_prep_cmd_buf,
616         .ring_init = psp_v3_1_ring_init,
617         .ring_create = psp_v3_1_ring_create,
618         .ring_stop = psp_v3_1_ring_stop,
619         .ring_destroy = psp_v3_1_ring_destroy,
620         .cmd_submit = psp_v3_1_cmd_submit,
621         .compare_sram_data = psp_v3_1_compare_sram_data,
622         .smu_reload_quirk = psp_v3_1_smu_reload_quirk,
623         .mode1_reset = psp_v3_1_mode1_reset,
624 };
625
626 void psp_v3_1_set_psp_funcs(struct psp_context *psp)
627 {
628         psp->funcs = &psp_v3_1_funcs;
629 }