drivers/gpu/drm/nouveau/core/engine/graph/fuc/hub.fuc

   1 /* fuc microcode for nvc0 PGRAPH/HUB
   2  *
   3  * Copyright 2011 Red Hat Inc.
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  18  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
  19  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
  20  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
  21  * OTHER DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors: Ben Skeggs
  24  */
  25
  26 #ifdef INCLUDE_DATA
  27 hub_mmio_list_head:     .b32 #hub_mmio_list_base
  28 hub_mmio_list_tail:     .b32 #hub_mmio_list_next
  29
  30 gpc_count:              .b32 0
  31 rop_count:              .b32 0
  32 cmd_queue:              queue_init
  33
  34 ctx_current:            .b32 0
  35
  36 .align 256
  37 chan_data:
  38 chan_mmio_count:        .b32 0
  39 chan_mmio_address:      .b32 0
  40
  41 .align 256
  42 xfer_data:              .skip 256
  43
  44 hub_mmio_list_base:
  45 .b32 0x0417e91c // 0x17e91c, 2
  46 hub_mmio_list_next:
  47 #endif
  48
  49 #ifdef INCLUDE_CODE
  50 // reports an exception to the host
  51 //
  52 // In: $r15 error code (see nvc0.fuc)
  53 //
  54 error:
  55         nv_iowr(NV_PGRAPH_FECS_CC_SCRATCH_VAL(5), 0, $r15)
  56         mov $r15 1
  57         nv_iowr(NV_PGRAPH_FECS_INTR_UP_SET, 0, $r15)
  58         ret
  59
  60 // HUB fuc initialisation, executed by triggering ucode start, will
  61 // fall through to main loop after completion.
  62 //
  63 // Output:
  64 //   CC_SCRATCH[0]:
  65 //           31:31: set to signal completion
  66 //   CC_SCRATCH[1]:
  67 //            31:0: total PGRAPH context size
  68 //
  69 init:
  70         clear b32 $r0
  71         mov $sp $r0
  72         mov $xdbase $r0
  73
  74         // enable fifo access
  75         mov $r1 0x1200
  76         mov $r2 2
  77         iowr I[$r1 + 0x000] $r2 // FIFO_ENABLE
  78
  79         // setup i0 handler, and route all interrupts to it
  80         mov $r1 #ih
  81         mov $iv0 $r1
  82         mov $r1 0x400
  83         iowr I[$r1 + 0x300] $r0 // INTR_DISPATCH
  84
  85         // route HUB_CHANNEL_SWITCH to fuc interrupt 8
  86         mov $r3 0x404
  87         shl b32 $r3 6
  88         mov $r2 0x2003          // { HUB_CHANNEL_SWITCH, ZERO } -> intr 8
  89         iowr I[$r3 + 0x000] $r2
  90
  91         // not sure what these are, route them because NVIDIA does, and
  92         // the IRQ handler will signal the host if we ever get one.. we
  93         // may find out if/why we need to handle these if so..
  94         //
  95         mov $r2 0x2004
  96         iowr I[$r3 + 0x004] $r2 // { 0x04, ZERO } -> intr 9
  97         mov $r2 0x200b
  98         iowr I[$r3 + 0x008] $r2 // { 0x0b, ZERO } -> intr 10
  99         mov $r2 0x200c
 100         iowr I[$r3 + 0x01c] $r2 // { 0x0c, ZERO } -> intr 15
 101
 102         // enable all INTR_UP interrupts
 103         mov $r2 0xc24
 104         shl b32 $r2 6
 105         not b32 $r3 $r0
 106         iowr I[$r2] $r3
 107
 108         // enable fifo, ctxsw, 9, 10, 15 interrupts
 109         mov $r2 -0x78fc         // 0x8704
 110         sethi $r2 0
 111         iowr I[$r1 + 0x000] $r2 // INTR_EN_SET
 112
 113         // fifo level triggered, rest edge
 114         sub b32 $r1 0x100
 115         mov $r2 4
 116         iowr I[$r1] $r2
 117
 118         // enable interrupts
 119         bset $flags ie0
 120
 121         // fetch enabled GPC/ROP counts
 122         mov $r14 -0x69fc        // 0x409604
 123         sethi $r14 0x400000
 124         call #nv_rd32
 125         extr $r1 $r15 16:20
 126         st b32 D[$r0 + #rop_count] $r1
 127         and $r15 0x1f
 128         st b32 D[$r0 + #gpc_count] $r15
 129
 130         // set BAR_REQMASK to GPC mask
 131         mov $r1 1
 132         shl b32 $r1 $r15
 133         sub b32 $r1 1
 134         mov $r2 0x40c
 135         shl b32 $r2 6
 136         iowr I[$r2 + 0x000] $r1
 137         iowr I[$r2 + 0x100] $r1
 138
 139         // context size calculation, reserve first 256 bytes for use by fuc
 140         mov $r1 256
 141
 142         // calculate size of mmio context data
 143         ld b32 $r14 D[$r0 + #hub_mmio_list_head]
 144         ld b32 $r15 D[$r0 + #hub_mmio_list_tail]
 145         call #mmctx_size
 146
 147         // set mmctx base addresses now so we don't have to do it later,
 148         // they don't (currently) ever change
 149         mov $r3 0x700
 150         shl b32 $r3 6
 151         shr b32 $r4 $r1 8
 152         iowr I[$r3 + 0x000] $r4         // MMCTX_SAVE_SWBASE
 153         iowr I[$r3 + 0x100] $r4         // MMCTX_LOAD_SWBASE
 154         add b32 $r3 0x1300
 155         add b32 $r1 $r15
 156         shr b32 $r15 2
 157         iowr I[$r3 + 0x000] $r15        // MMCTX_LOAD_COUNT, wtf for?!?
 158
 159         // strands, base offset needs to be aligned to 256 bytes
 160         shr b32 $r1 8
 161         add b32 $r1 1
 162         shl b32 $r1 8
 163         mov b32 $r15 $r1
 164         call #strand_ctx_init
 165         add b32 $r1 $r15
 166
 167         // initialise each GPC in sequence by passing in the offset of its
 168         // context data in GPCn_CC_SCRATCH[1], and starting its FUC (which
 169         // has previously been uploaded by the host) running.
 170         //
 171         // the GPC fuc init sequence will set GPCn_CC_SCRATCH[0] bit 31
 172         // when it has completed, and return the size of its context data
 173         // in GPCn_CC_SCRATCH[1]
 174         //
 175         ld b32 $r3 D[$r0 + #gpc_count]
 176         mov $r4 0x2000
 177         sethi $r4 0x500000
 178         init_gpc:
 179                 // setup, and start GPC ucode running
 180                 add b32 $r14 $r4 0x804
 181                 mov b32 $r15 $r1
 182                 call #nv_wr32                   // CC_SCRATCH[1] = ctx offset
 183                 add b32 $r14 $r4 0x10c
 184                 clear b32 $r15
 185                 call #nv_wr32
 186                 add b32 $r14 $r4 0x104
 187                 call #nv_wr32                   // ENTRY
 188                 add b32 $r14 $r4 0x100
 189                 mov $r15 2                      // CTRL_START_TRIGGER
 190                 call #nv_wr32                   // CTRL
 191
 192                 // wait for it to complete, and adjust context size
 193                 add b32 $r14 $r4 0x800
 194                 init_gpc_wait:
 195                         call #nv_rd32
 196                         xbit $r15 $r15 31
 197                         bra e #init_gpc_wait
 198                 add b32 $r14 $r4 0x804
 199                 call #nv_rd32
 200                 add b32 $r1 $r15
 201
 202                 // next!
 203                 add b32 $r4 0x8000
 204                 sub b32 $r3 1
 205                 bra ne #init_gpc
 206
 207         // save context size, and tell host we're ready
 208         nv_iowr(NV_PGRAPH_FECS_CC_SCRATCH_VAL(1), 0, $r1)
 209         clear b32 $r1
 210         bset $r1 31
 211         nv_iowr(NV_PGRAPH_FECS_CC_SCRATCH_SET(0), 0, $r1)
 212
 213 // Main program loop, very simple, sleeps until woken up by the interrupt
 214 // handler, pulls a command from the queue and executes its handler
 215 //
 216 main:
 217         // sleep until we have something to do
 218         bset $flags $p0
 219         sleep $p0
 220         mov $r13 #cmd_queue
 221         call #queue_get
 222         bra $p1 #main
 223
 224         // context switch, requested by GPU?
 225         cmpu b32 $r14 0x4001
 226         bra ne #main_not_ctx_switch
 227                 trace_set(T_AUTO)
 228                 mov $r1 0xb00
 229                 shl b32 $r1 6
 230                 iord $r2 I[$r1 + 0x100]         // CHAN_NEXT
 231                 iord $r1 I[$r1 + 0x000]         // CHAN_CUR
 232
 233                 xbit $r3 $r1 31
 234                 bra e #chsw_no_prev
 235                         xbit $r3 $r2 31
 236                         bra e #chsw_prev_no_next
 237                                 push $r2
 238                                 mov b32 $r2 $r1
 239                                 trace_set(T_SAVE)
 240                                 bclr $flags $p1
 241                                 bset $flags $p2
 242                                 call #ctx_xfer
 243                                 trace_clr(T_SAVE);
 244                                 pop $r2
 245                                 trace_set(T_LOAD);
 246                                 bset $flags $p1
 247                                 call #ctx_xfer
 248                                 trace_clr(T_LOAD);
 249                                 bra #chsw_done
 250                         chsw_prev_no_next:
 251                                 push $r2
 252                                 mov b32 $r2 $r1
 253                                 bclr $flags $p1
 254                                 bclr $flags $p2
 255                                 call #ctx_xfer
 256                                 pop $r2
 257                                 mov $r1 0xb00
 258                                 shl b32 $r1 6
 259                                 iowr I[$r1] $r2
 260                                 bra #chsw_done
 261                 chsw_no_prev:
 262                         xbit $r3 $r2 31
 263                         bra e #chsw_done
 264                                 bset $flags $p1
 265                                 bclr $flags $p2
 266                                 call #ctx_xfer
 267
 268                 // ack the context switch request
 269                 chsw_done:
 270                 mov $r1 0xb0c
 271                 shl b32 $r1 6
 272                 mov $r2 1
 273                 iowr I[$r1 + 0x000] $r2         // 0x409b0c
 274                 trace_clr(T_AUTO)
 275                 bra #main
 276
 277         // request to set current channel? (*not* a context switch)
 278         main_not_ctx_switch:
 279         cmpu b32 $r14 0x0001
 280         bra ne #main_not_ctx_chan
 281                 mov b32 $r2 $r15
 282                 call #ctx_chan
 283                 bra #main_done
 284
 285         // request to store current channel context?
 286         main_not_ctx_chan:
 287         cmpu b32 $r14 0x0002
 288         bra ne #main_not_ctx_save
 289                 trace_set(T_SAVE)
 290                 bclr $flags $p1
 291                 bclr $flags $p2
 292                 call #ctx_xfer
 293                 trace_clr(T_SAVE)
 294                 bra #main_done
 295
 296         main_not_ctx_save:
 297                 shl b32 $r15 $r14 16
 298                 or $r15 E_BAD_COMMAND
 299                 call #error
 300                 bra #main
 301
 302         main_done:
 303         clear b32 $r2
 304         bset $r2 31
 305         nv_iowr(NV_PGRAPH_FECS_CC_SCRATCH_SET(0), 0, $r2)
 306         bra #main
 307
 308 // interrupt handler
 309 ih:
 310         push $r8
 311         mov $r8 $flags
 312         push $r8
 313         push $r9
 314         push $r10
 315         push $r11
 316         push $r13
 317         push $r14
 318         push $r15
 319         clear b32 $r0
 320
 321         // incoming fifo command?
 322         iord $r10 I[$r0 + 0x200]        // INTR
 323         and $r11 $r10 0x00000004
 324         bra e #ih_no_fifo
 325                 // queue incoming fifo command for later processing
 326                 mov $r11 0x1900
 327                 mov $r13 #cmd_queue
 328                 iord $r14 I[$r11 + 0x100]       // FIFO_CMD
 329                 iord $r15 I[$r11 + 0x000]       // FIFO_DATA
 330                 call #queue_put
 331                 add b32 $r11 0x400
 332                 mov $r14 1
 333                 iowr I[$r11 + 0x000] $r14       // FIFO_ACK
 334
 335         // context switch request?
 336         ih_no_fifo:
 337         and $r11 $r10 0x00000100
 338         bra e #ih_no_ctxsw
 339                 // enqueue a context switch for later processing
 340                 mov $r13 #cmd_queue
 341                 mov $r14 0x4001
 342                 call #queue_put
 343
 344         // anything we didn't handle, bring it to the host's attention
 345         ih_no_ctxsw:
 346         mov $r11 0x104
 347         not b32 $r11
 348         and $r11 $r10 $r11
 349         bra e #ih_no_other
 350                 mov $r10 0xc1c
 351                 shl b32 $r10 6
 352                 iowr I[$r10] $r11       // INTR_UP_SET
 353
 354         // ack, and wake up main()
 355         ih_no_other:
 356         iowr I[$r0 + 0x100] $r10        // INTR_ACK
 357
 358         pop $r15
 359         pop $r14
 360         pop $r13
 361         pop $r11
 362         pop $r10
 363         pop $r9
 364         pop $r8
 365         mov $flags $r8
 366         pop $r8
 367         bclr $flags $p0
 368         iret
 369
 370 #if CHIPSET < GK100
 371 // Not real sure, but, MEM_CMD 7 will hang forever if this isn't done
 372 ctx_4160s:
 373         mov $r14 0x4160
 374         sethi $r14 0x400000
 375         mov $r15 1
 376         call #nv_wr32
 377         ctx_4160s_wait:
 378                 call #nv_rd32
 379                 xbit $r15 $r15 4
 380                 bra e #ctx_4160s_wait
 381         ret
 382
 383 // Without clearing again at end of xfer, some things cause PGRAPH
 384 // to hang with STATUS=0x00000007 until it's cleared.. fbcon can
 385 // still function with it set however...
 386 ctx_4160c:
 387         mov $r14 0x4160
 388         sethi $r14 0x400000
 389         clear b32 $r15
 390         call #nv_wr32
 391         ret
 392 #endif
 393
 394 // Again, not real sure
 395 //
 396 // In: $r15 value to set 0x404170 to
 397 //
 398 ctx_4170s:
 399         mov $r14 0x4170
 400         sethi $r14 0x400000
 401         or $r15 0x10
 402         call #nv_wr32
 403         ret
 404
 405 // Waits for a ctx_4170s() call to complete
 406 //
 407 ctx_4170w:
 408         mov $r14 0x4170
 409         sethi $r14 0x400000
 410         call #nv_rd32
 411         and $r15 0x10
 412         bra ne #ctx_4170w
 413         ret
 414
 415 // Disables various things, waits a bit, and re-enables them..
 416 //
 417 // Not sure how exactly this helps, perhaps "ENABLE" is not such a
 418 // good description for the bits we turn off?  Anyways, without this,
 419 // funny things happen.
 420 //
 421 ctx_redswitch:
 422         mov $r14 0x614
 423         shl b32 $r14 6
 424         mov $r15 0x270
 425         iowr I[$r14] $r15       // HUB_RED_SWITCH = ENABLE_GPC, POWER_ALL
 426         mov $r15 8
 427         ctx_redswitch_delay:
 428                 sub b32 $r15 1
 429                 bra ne #ctx_redswitch_delay
 430         mov $r15 0x770
 431         iowr I[$r14] $r15       // HUB_RED_SWITCH = ENABLE_ALL, POWER_ALL
 432         ret
 433
 434 // Not a clue what this is for, except that unless the value is 0x10, the
 435 // strand context is saved (and presumably restored) incorrectly..
 436 //
 437 // In: $r15 value to set to (0x00/0x10 are used)
 438 //
 439 ctx_86c:
 440         mov $r14 0x86c
 441         shl b32 $r14 6
 442         iowr I[$r14] $r15       // HUB(0x86c) = val
 443         mov $r14 -0x75ec
 444         sethi $r14 0x400000
 445         call #nv_wr32           // ROP(0xa14) = val
 446         mov $r14 -0x5794
 447         sethi $r14 0x410000
 448         call #nv_wr32           // GPC(0x86c) = val
 449         ret
 450
 451 // ctx_load - load's a channel's ctxctl data, and selects its vm
 452 //
 453 // In: $r2 channel address
 454 //
 455 ctx_load:
 456         trace_set(T_CHAN)
 457
 458         // switch to channel, somewhat magic in parts..
 459         mov $r10 12             // DONE_UNK12
 460         call #wait_donez
 461         mov $r1 0xa24
 462         shl b32 $r1 6
 463         iowr I[$r1 + 0x000] $r0 // 0x409a24
 464         mov $r3 0xb00
 465         shl b32 $r3 6
 466         iowr I[$r3 + 0x100] $r2 // CHAN_NEXT
 467         mov $r1 0xa0c
 468         shl b32 $r1 6
 469         mov $r4 7
 470         iowr I[$r1 + 0x000] $r2 // MEM_CHAN
 471         iowr I[$r1 + 0x100] $r4 // MEM_CMD
 472         ctx_chan_wait_0:
 473                 iord $r4 I[$r1 + 0x100]
 474                 and $r4 0x1f
 475                 bra ne #ctx_chan_wait_0
 476         iowr I[$r3 + 0x000] $r2 // CHAN_CUR
 477
 478         // load channel header, fetch PGRAPH context pointer
 479         mov $xtargets $r0
 480         bclr $r2 31
 481         shl b32 $r2 4
 482         add b32 $r2 2
 483
 484         trace_set(T_LCHAN)
 485         mov $r1 0xa04
 486         shl b32 $r1 6
 487         iowr I[$r1 + 0x000] $r2         // MEM_BASE
 488         mov $r1 0xa20
 489         shl b32 $r1 6
 490         mov $r2 0x0002
 491         sethi $r2 0x80000000
 492         iowr I[$r1 + 0x000] $r2         // MEM_TARGET = vram
 493         mov $r1 0x10                    // chan + 0x0210
 494         mov $r2 #xfer_data
 495         sethi $r2 0x00020000            // 16 bytes
 496         xdld $r1 $r2
 497         xdwait
 498         trace_clr(T_LCHAN)
 499
 500         // update current context
 501         ld b32 $r1 D[$r0 + #xfer_data + 4]
 502         shl b32 $r1 24
 503         ld b32 $r2 D[$r0 + #xfer_data + 0]
 504         shr b32 $r2 8
 505         or $r1 $r2
 506         st b32 D[$r0 + #ctx_current] $r1
 507
 508         // set transfer base to start of context, and fetch context header
 509         trace_set(T_LCTXH)
 510         mov $r2 0xa04
 511         shl b32 $r2 6
 512         iowr I[$r2 + 0x000] $r1         // MEM_BASE
 513         mov $r2 1
 514         mov $r1 0xa20
 515         shl b32 $r1 6
 516         iowr I[$r1 + 0x000] $r2         // MEM_TARGET = vm
 517         mov $r1 #chan_data
 518         sethi $r1 0x00060000            // 256 bytes
 519         xdld $r0 $r1
 520         xdwait
 521         trace_clr(T_LCTXH)
 522
 523         trace_clr(T_CHAN)
 524         ret
 525
 526 // ctx_chan - handler for HUB_SET_CHAN command, will set a channel as
 527 //            the active channel for ctxctl, but not actually transfer
 528 //            any context data.  intended for use only during initial
 529 //            context construction.
 530 //
 531 // In: $r2 channel address
 532 //
 533 ctx_chan:
 534 #if CHIPSET < GK100
 535         call #ctx_4160s
 536 #endif
 537         call #ctx_load
 538         mov $r10 12                     // DONE_UNK12
 539         call #wait_donez
 540         mov $r1 0xa10
 541         shl b32 $r1 6
 542         mov $r2 5
 543         iowr I[$r1 + 0x000] $r2         // MEM_CMD = 5 (???)
 544         ctx_chan_wait:
 545                 iord $r2 I[$r1 + 0x000]
 546                 or $r2 $r2
 547                 bra ne #ctx_chan_wait
 548 #if CHIPSET < GK100
 549         call #ctx_4160c
 550 #endif
 551         ret
 552
 553 // Execute per-context state overrides list
 554 //
 555 // Only executed on the first load of a channel.  Might want to look into
 556 // removing this and having the host directly modify the channel's context
 557 // to change this state...  The nouveau DRM already builds this list as
 558 // it's definitely needed for NVIDIA's, so we may as well use it for now
 559 //
 560 // Input: $r1 mmio list length
 561 //
 562 ctx_mmio_exec:
 563         // set transfer base to be the mmio list
 564         ld b32 $r3 D[$r0 + #chan_mmio_address]
 565         mov $r2 0xa04
 566         shl b32 $r2 6
 567         iowr I[$r2 + 0x000] $r3         // MEM_BASE
 568
 569         clear b32 $r3
 570         ctx_mmio_loop:
 571                 // fetch next 256 bytes of mmio list if necessary
 572                 and $r4 $r3 0xff
 573                 bra ne #ctx_mmio_pull
 574                         mov $r5 #xfer_data
 575                         sethi $r5 0x00060000    // 256 bytes
 576                         xdld $r3 $r5
 577                         xdwait
 578
 579                 // execute a single list entry
 580                 ctx_mmio_pull:
 581                 ld b32 $r14 D[$r4 + #xfer_data + 0x00]
 582                 ld b32 $r15 D[$r4 + #xfer_data + 0x04]
 583                 call #nv_wr32
 584
 585                 // next!
 586                 add b32 $r3 8
 587                 sub b32 $r1 1
 588                 bra ne #ctx_mmio_loop
 589
 590         // set transfer base back to the current context
 591         ctx_mmio_done:
 592         ld b32 $r3 D[$r0 + #ctx_current]
 593         iowr I[$r2 + 0x000] $r3         // MEM_BASE
 594
 595         // disable the mmio list now, we don't need/want to execute it again
 596         st b32 D[$r0 + #chan_mmio_count] $r0
 597         mov $r1 #chan_data
 598         sethi $r1 0x00060000            // 256 bytes
 599         xdst $r0 $r1
 600         xdwait
 601         ret
 602
 603 // Transfer HUB context data between GPU and storage area
 604 //
 605 // In: $r2 channel address
 606 //     $p1 clear on save, set on load
 607 //     $p2 set if opposite direction done/will be done, so:
 608 //              on save it means: "a load will follow this save"
 609 //              on load it means: "a save preceeded this load"
 610 //
 611 ctx_xfer:
 612         // according to mwk, some kind of wait for idle
 613         mov $r15 0xc00
 614         shl b32 $r15 6
 615         mov $r14 4
 616         iowr I[$r15 + 0x200] $r14
 617         ctx_xfer_idle:
 618                 iord $r14 I[$r15 + 0x000]
 619                 and $r14 0x2000
 620                 bra ne #ctx_xfer_idle
 621
 622         bra not $p1 #ctx_xfer_pre
 623         bra $p2 #ctx_xfer_pre_load
 624         ctx_xfer_pre:
 625                 mov $r15 0x10
 626                 call #ctx_86c
 627 #if CHIPSET < GK100
 628                 call #ctx_4160s
 629 #endif
 630                 bra not $p1 #ctx_xfer_exec
 631
 632         ctx_xfer_pre_load:
 633                 mov $r15 2
 634                 call #ctx_4170s
 635                 call #ctx_4170w
 636                 call #ctx_redswitch
 637                 clear b32 $r15
 638                 call #ctx_4170s
 639                 call #ctx_load
 640
 641         // fetch context pointer, and initiate xfer on all GPCs
 642         ctx_xfer_exec:
 643         ld b32 $r1 D[$r0 + #ctx_current]
 644         mov $r2 0x414
 645         shl b32 $r2 6
 646         iowr I[$r2 + 0x000] $r0 // BAR_STATUS = reset
 647         mov $r14 -0x5b00
 648         sethi $r14 0x410000
 649         mov b32 $r15 $r1
 650         call #nv_wr32           // GPC_BCAST_WRCMD_DATA = ctx pointer
 651         add b32 $r14 4
 652         xbit $r15 $flags $p1
 653         xbit $r2 $flags $p2
 654         shl b32 $r2 1
 655         or $r15 $r2
 656         call #nv_wr32           // GPC_BCAST_WRCMD_CMD = GPC_XFER(type)
 657
 658         // strands
 659         mov $r1 0x4afc
 660         sethi $r1 0x20000
 661         mov $r2 0xc
 662         iowr I[$r1] $r2         // STRAND_CMD(0x3f) = 0x0c
 663         call #strand_wait
 664         mov $r2 0x47fc
 665         sethi $r2 0x20000
 666         iowr I[$r2] $r0         // STRAND_FIRST_GENE(0x3f) = 0x00
 667         xbit $r2 $flags $p1
 668         add b32 $r2 3
 669         iowr I[$r1] $r2         // STRAND_CMD(0x3f) = 0x03/0x04 (SAVE/LOAD)
 670
 671         // mmio context
 672         xbit $r10 $flags $p1    // direction
 673         or $r10 6               // first, last
 674         mov $r11 0              // base = 0
 675         ld b32 $r12 D[$r0 + #hub_mmio_list_head]
 676         ld b32 $r13 D[$r0 + #hub_mmio_list_tail]
 677         mov $r14 0              // not multi
 678         call #mmctx_xfer
 679
 680         // wait for GPCs to all complete
 681         mov $r10 8              // DONE_BAR
 682         call #wait_doneo
 683
 684         // wait for strand xfer to complete
 685         call #strand_wait
 686
 687         // post-op
 688         bra $p1 #ctx_xfer_post
 689                 mov $r10 12             // DONE_UNK12
 690                 call #wait_donez
 691                 mov $r1 0xa10
 692                 shl b32 $r1 6
 693                 mov $r2 5
 694                 iowr I[$r1] $r2         // MEM_CMD
 695                 ctx_xfer_post_save_wait:
 696                         iord $r2 I[$r1]
 697                         or $r2 $r2
 698                         bra ne #ctx_xfer_post_save_wait
 699
 700         bra $p2 #ctx_xfer_done
 701         ctx_xfer_post:
 702                 mov $r15 2
 703                 call #ctx_4170s
 704                 clear b32 $r15
 705                 call #ctx_86c
 706                 call #strand_post
 707                 call #ctx_4170w
 708                 clear b32 $r15
 709                 call #ctx_4170s
 710
 711                 bra not $p1 #ctx_xfer_no_post_mmio
 712                 ld b32 $r1 D[$r0 + #chan_mmio_count]
 713                 or $r1 $r1
 714                 bra e #ctx_xfer_no_post_mmio
 715                         call #ctx_mmio_exec
 716
 717                 ctx_xfer_no_post_mmio:
 718 #if CHIPSET < GK100
 719                 call #ctx_4160c
 720 #endif
 721
 722         ctx_xfer_done:
 723         ret
 724 #endif