arch/sparc/kernel/mdesc.c

   1 /* mdesc.c: Sun4V machine description handling.
   2  *
   3  * Copyright (C) 2007, 2008 David S. Miller <davem@davemloft.net>
   4  */
   5 #include <linux/kernel.h>
   6 #include <linux/types.h>
   7 #include <linux/memblock.h>
   8 #include <linux/log2.h>
   9 #include <linux/list.h>
  10 #include <linux/slab.h>
  11 #include <linux/mm.h>
  12 #include <linux/miscdevice.h>
  13 #include <linux/bootmem.h>
  14 #include <linux/export.h>
  15
  16 #include <asm/cpudata.h>
  17 #include <asm/hypervisor.h>
  18 #include <asm/mdesc.h>
  19 #include <asm/prom.h>
  20 #include <asm/uaccess.h>
  21 #include <asm/oplib.h>
  22 #include <asm/smp.h>
  23
  24 /* Unlike the OBP device tree, the machine description is a full-on
  25  * DAG.  An arbitrary number of ARCs are possible from one
  26  * node to other nodes and thus we can't use the OBP device_node
  27  * data structure to represent these nodes inside of the kernel.
  28  *
  29  * Actually, it isn't even a DAG, because there are back pointers
  30  * which create cycles in the graph.
  31  *
  32  * mdesc_hdr and mdesc_elem describe the layout of the data structure
  33  * we get from the Hypervisor.
  34  */
  35 struct mdesc_hdr {
  36         u32     version; /* Transport version */
  37         u32     node_sz; /* node block size */
  38         u32     name_sz; /* name block size */
  39         u32     data_sz; /* data block size */
  40 } __attribute__((aligned(16)));
  41
  42 struct mdesc_elem {
  43         u8      tag;
  44 #define MD_LIST_END     0x00
  45 #define MD_NODE         0x4e
  46 #define MD_NODE_END     0x45
  47 #define MD_NOOP         0x20
  48 #define MD_PROP_ARC     0x61
  49 #define MD_PROP_VAL     0x76
  50 #define MD_PROP_STR     0x73
  51 #define MD_PROP_DATA    0x64
  52         u8      name_len;
  53         u16     resv;
  54         u32     name_offset;
  55         union {
  56                 struct {
  57                         u32     data_len;
  58                         u32     data_offset;
  59                 } data;
  60                 u64     val;
  61         } d;
  62 };
  63
  64 struct mdesc_mem_ops {
  65         struct mdesc_handle *(*alloc)(unsigned int mdesc_size);
  66         void (*free)(struct mdesc_handle *handle);
  67 };
  68
  69 struct mdesc_handle {
  70         struct list_head        list;
  71         struct mdesc_mem_ops    *mops;
  72         void                    *self_base;
  73         atomic_t                refcnt;
  74         unsigned int            handle_size;
  75         struct mdesc_hdr        mdesc;
  76 };
  77
  78 static void mdesc_handle_init(struct mdesc_handle *hp,
  79                               unsigned int handle_size,
  80                               void *base)
  81 {
  82         BUG_ON(((unsigned long)&hp->mdesc) & (16UL - 1));
  83
  84         memset(hp, 0, handle_size);
  85         INIT_LIST_HEAD(&hp->list);
  86         hp->self_base = base;
  87         atomic_set(&hp->refcnt, 1);
  88         hp->handle_size = handle_size;
  89 }
  90
  91 static struct mdesc_handle * __init mdesc_memblock_alloc(unsigned int mdesc_size)
  92 {
  93         unsigned int handle_size, alloc_size;
  94         struct mdesc_handle *hp;
  95         unsigned long paddr;
  96
  97         handle_size = (sizeof(struct mdesc_handle) -
  98                        sizeof(struct mdesc_hdr) +
  99                        mdesc_size);
 100         alloc_size = PAGE_ALIGN(handle_size);
 101
 102         paddr = memblock_alloc(alloc_size, PAGE_SIZE);
 103
 104         hp = NULL;
 105         if (paddr) {
 106                 hp = __va(paddr);
 107                 mdesc_handle_init(hp, handle_size, hp);
 108         }
 109         return hp;
 110 }
 111
 112 static void __init mdesc_memblock_free(struct mdesc_handle *hp)
 113 {
 114         unsigned int alloc_size;
 115         unsigned long start;
 116
 117         BUG_ON(atomic_read(&hp->refcnt) != 0);
 118         BUG_ON(!list_empty(&hp->list));
 119
 120         alloc_size = PAGE_ALIGN(hp->handle_size);
 121         start = __pa(hp);
 122         free_bootmem_late(start, alloc_size);
 123 }
 124
 125 static struct mdesc_mem_ops memblock_mdesc_ops = {
 126         .alloc = mdesc_memblock_alloc,
 127         .free  = mdesc_memblock_free,
 128 };
 129
 130 static struct mdesc_handle *mdesc_kmalloc(unsigned int mdesc_size)
 131 {
 132         unsigned int handle_size;
 133         void *base;
 134
 135         handle_size = (sizeof(struct mdesc_handle) -
 136                        sizeof(struct mdesc_hdr) +
 137                        mdesc_size);
 138
 139         base = kmalloc(handle_size + 15, GFP_KERNEL | __GFP_NOFAIL);
 140         if (base) {
 141                 struct mdesc_handle *hp;
 142                 unsigned long addr;
 143
 144                 addr = (unsigned long)base;
 145                 addr = (addr + 15UL) & ~15UL;
 146                 hp = (struct mdesc_handle *) addr;
 147
 148                 mdesc_handle_init(hp, handle_size, base);
 149                 return hp;
 150         }
 151
 152         return NULL;
 153 }
 154
 155 static void mdesc_kfree(struct mdesc_handle *hp)
 156 {
 157         BUG_ON(atomic_read(&hp->refcnt) != 0);
 158         BUG_ON(!list_empty(&hp->list));
 159
 160         kfree(hp->self_base);
 161 }
 162
 163 static struct mdesc_mem_ops kmalloc_mdesc_memops = {
 164         .alloc = mdesc_kmalloc,
 165         .free  = mdesc_kfree,
 166 };
 167
 168 static struct mdesc_handle *mdesc_alloc(unsigned int mdesc_size,
 169                                         struct mdesc_mem_ops *mops)
 170 {
 171         struct mdesc_handle *hp = mops->alloc(mdesc_size);
 172
 173         if (hp)
 174                 hp->mops = mops;
 175
 176         return hp;
 177 }
 178
 179 static void mdesc_free(struct mdesc_handle *hp)
 180 {
 181         hp->mops->free(hp);
 182 }
 183
 184 static struct mdesc_handle *cur_mdesc;
 185 static LIST_HEAD(mdesc_zombie_list);
 186 static DEFINE_SPINLOCK(mdesc_lock);
 187
 188 struct mdesc_handle *mdesc_grab(void)
 189 {
 190         struct mdesc_handle *hp;
 191         unsigned long flags;
 192
 193         spin_lock_irqsave(&mdesc_lock, flags);
 194         hp = cur_mdesc;
 195         if (hp)
 196                 atomic_inc(&hp->refcnt);
 197         spin_unlock_irqrestore(&mdesc_lock, flags);
 198
 199         return hp;
 200 }
 201 EXPORT_SYMBOL(mdesc_grab);
 202
 203 void mdesc_release(struct mdesc_handle *hp)
 204 {
 205         unsigned long flags;
 206
 207         spin_lock_irqsave(&mdesc_lock, flags);
 208         if (atomic_dec_and_test(&hp->refcnt)) {
 209                 list_del_init(&hp->list);
 210                 hp->mops->free(hp);
 211         }
 212         spin_unlock_irqrestore(&mdesc_lock, flags);
 213 }
 214 EXPORT_SYMBOL(mdesc_release);
 215
 216 static DEFINE_MUTEX(mdesc_mutex);
 217 static struct mdesc_notifier_client *client_list;
 218
 219 void mdesc_register_notifier(struct mdesc_notifier_client *client)
 220 {
 221         u64 node;
 222
 223         mutex_lock(&mdesc_mutex);
 224         client->next = client_list;
 225         client_list = client;
 226
 227         mdesc_for_each_node_by_name(cur_mdesc, node, client->node_name)
 228                 client->add(cur_mdesc, node);
 229
 230         mutex_unlock(&mdesc_mutex);
 231 }
 232
 233 static const u64 *parent_cfg_handle(struct mdesc_handle *hp, u64 node)
 234 {
 235         const u64 *id;
 236         u64 a;
 237
 238         id = NULL;
 239         mdesc_for_each_arc(a, hp, node, MDESC_ARC_TYPE_BACK) {
 240                 u64 target;
 241
 242                 target = mdesc_arc_target(hp, a);
 243                 id = mdesc_get_property(hp, target,
 244                                         "cfg-handle", NULL);
 245                 if (id)
 246                         break;
 247         }
 248
 249         return id;
 250 }
 251
 252 /* Run 'func' on nodes which are in A but not in B.  */
 253 static void invoke_on_missing(const char *name,
 254                               struct mdesc_handle *a,
 255                               struct mdesc_handle *b,
 256                               void (*func)(struct mdesc_handle *, u64))
 257 {
 258         u64 node;
 259
 260         mdesc_for_each_node_by_name(a, node, name) {
 261                 int found = 0, is_vdc_port = 0;
 262                 const char *name_prop;
 263                 const u64 *id;
 264                 u64 fnode;
 265
 266                 name_prop = mdesc_get_property(a, node, "name", NULL);
 267                 if (name_prop && !strcmp(name_prop, "vdc-port")) {
 268                         is_vdc_port = 1;
 269                         id = parent_cfg_handle(a, node);
 270                 } else
 271                         id = mdesc_get_property(a, node, "id", NULL);
 272
 273                 if (!id) {
 274                         printk(KERN_ERR "MD: Cannot find ID for %s node.\n",
 275                                (name_prop ? name_prop : name));
 276                         continue;
 277                 }
 278
 279                 mdesc_for_each_node_by_name(b, fnode, name) {
 280                         const u64 *fid;
 281
 282                         if (is_vdc_port) {
 283                                 name_prop = mdesc_get_property(b, fnode,
 284                                                                "name", NULL);
 285                                 if (!name_prop ||
 286                                     strcmp(name_prop, "vdc-port"))
 287                                         continue;
 288                                 fid = parent_cfg_handle(b, fnode);
 289                                 if (!fid) {
 290                                         printk(KERN_ERR "MD: Cannot find ID "
 291                                                "for vdc-port node.\n");
 292                                         continue;
 293                                 }
 294                         } else
 295                                 fid = mdesc_get_property(b, fnode,
 296                                                          "id", NULL);
 297
 298                         if (*id == *fid) {
 299                                 found = 1;
 300                                 break;
 301                         }
 302                 }
 303                 if (!found)
 304                         func(a, node);
 305         }
 306 }
 307
 308 static void notify_one(struct mdesc_notifier_client *p,
 309                        struct mdesc_handle *old_hp,
 310                        struct mdesc_handle *new_hp)
 311 {
 312         invoke_on_missing(p->node_name, old_hp, new_hp, p->remove);
 313         invoke_on_missing(p->node_name, new_hp, old_hp, p->add);
 314 }
 315
 316 static void mdesc_notify_clients(struct mdesc_handle *old_hp,
 317                                  struct mdesc_handle *new_hp)
 318 {
 319         struct mdesc_notifier_client *p = client_list;
 320
 321         while (p) {
 322                 notify_one(p, old_hp, new_hp);
 323                 p = p->next;
 324         }
 325 }
 326
 327 void mdesc_update(void)
 328 {
 329         unsigned long len, real_len, status;
 330         struct mdesc_handle *hp, *orig_hp;
 331         unsigned long flags;
 332
 333         mutex_lock(&mdesc_mutex);
 334
 335         (void) sun4v_mach_desc(0UL, 0UL, &len);
 336
 337         hp = mdesc_alloc(len, &kmalloc_mdesc_memops);
 338         if (!hp) {
 339                 printk(KERN_ERR "MD: mdesc alloc fails\n");
 340                 goto out;
 341         }
 342
 343         status = sun4v_mach_desc(__pa(&hp->mdesc), len, &real_len);
 344         if (status != HV_EOK || real_len > len) {
 345                 printk(KERN_ERR "MD: mdesc reread fails with %lu\n",
 346                        status);
 347                 atomic_dec(&hp->refcnt);
 348                 mdesc_free(hp);
 349                 goto out;
 350         }
 351
 352         spin_lock_irqsave(&mdesc_lock, flags);
 353         orig_hp = cur_mdesc;
 354         cur_mdesc = hp;
 355         spin_unlock_irqrestore(&mdesc_lock, flags);
 356
 357         mdesc_notify_clients(orig_hp, hp);
 358
 359         spin_lock_irqsave(&mdesc_lock, flags);
 360         if (atomic_dec_and_test(&orig_hp->refcnt))
 361                 mdesc_free(orig_hp);
 362         else
 363                 list_add(&orig_hp->list, &mdesc_zombie_list);
 364         spin_unlock_irqrestore(&mdesc_lock, flags);
 365
 366 out:
 367         mutex_unlock(&mdesc_mutex);
 368 }
 369
 370 static struct mdesc_elem *node_block(struct mdesc_hdr *mdesc)
 371 {
 372         return (struct mdesc_elem *) (mdesc + 1);
 373 }
 374
 375 static void *name_block(struct mdesc_hdr *mdesc)
 376 {
 377         return ((void *) node_block(mdesc)) + mdesc->node_sz;
 378 }
 379
 380 static void *data_block(struct mdesc_hdr *mdesc)
 381 {
 382         return ((void *) name_block(mdesc)) + mdesc->name_sz;
 383 }
 384
 385 u64 mdesc_node_by_name(struct mdesc_handle *hp,
 386                        u64 from_node, const char *name)
 387 {
 388         struct mdesc_elem *ep = node_block(&hp->mdesc);
 389         const char *names = name_block(&hp->mdesc);
 390         u64 last_node = hp->mdesc.node_sz / 16;
 391         u64 ret;
 392
 393         if (from_node == MDESC_NODE_NULL) {
 394                 ret = from_node = 0;
 395         } else if (from_node >= last_node) {
 396                 return MDESC_NODE_NULL;
 397         } else {
 398                 ret = ep[from_node].d.val;
 399         }
 400
 401         while (ret < last_node) {
 402                 if (ep[ret].tag != MD_NODE)
 403                         return MDESC_NODE_NULL;
 404                 if (!strcmp(names + ep[ret].name_offset, name))
 405                         break;
 406                 ret = ep[ret].d.val;
 407         }
 408         if (ret >= last_node)
 409                 ret = MDESC_NODE_NULL;
 410         return ret;
 411 }
 412 EXPORT_SYMBOL(mdesc_node_by_name);
 413
 414 const void *mdesc_get_property(struct mdesc_handle *hp, u64 node,
 415                                const char *name, int *lenp)
 416 {
 417         const char *names = name_block(&hp->mdesc);
 418         u64 last_node = hp->mdesc.node_sz / 16;
 419         void *data = data_block(&hp->mdesc);
 420         struct mdesc_elem *ep;
 421
 422         if (node == MDESC_NODE_NULL || node >= last_node)
 423                 return NULL;
 424
 425         ep = node_block(&hp->mdesc) + node;
 426         ep++;
 427         for (; ep->tag != MD_NODE_END; ep++) {
 428                 void *val = NULL;
 429                 int len = 0;
 430
 431                 switch (ep->tag) {
 432                 case MD_PROP_VAL:
 433                         val = &ep->d.val;
 434                         len = 8;
 435                         break;
 436
 437                 case MD_PROP_STR:
 438                 case MD_PROP_DATA:
 439                         val = data + ep->d.data.data_offset;
 440                         len = ep->d.data.data_len;
 441                         break;
 442
 443                 default:
 444                         break;
 445                 }
 446                 if (!val)
 447                         continue;
 448
 449                 if (!strcmp(names + ep->name_offset, name)) {
 450                         if (lenp)
 451                                 *lenp = len;
 452                         return val;
 453                 }
 454         }
 455
 456         return NULL;
 457 }
 458 EXPORT_SYMBOL(mdesc_get_property);
 459
 460 u64 mdesc_next_arc(struct mdesc_handle *hp, u64 from, const char *arc_type)
 461 {
 462         struct mdesc_elem *ep, *base = node_block(&hp->mdesc);
 463         const char *names = name_block(&hp->mdesc);
 464         u64 last_node = hp->mdesc.node_sz / 16;
 465
 466         if (from == MDESC_NODE_NULL || from >= last_node)
 467                 return MDESC_NODE_NULL;
 468
 469         ep = base + from;
 470
 471         ep++;
 472         for (; ep->tag != MD_NODE_END; ep++) {
 473                 if (ep->tag != MD_PROP_ARC)
 474                         continue;
 475
 476                 if (strcmp(names + ep->name_offset, arc_type))
 477                         continue;
 478
 479                 return ep - base;
 480         }
 481
 482         return MDESC_NODE_NULL;
 483 }
 484 EXPORT_SYMBOL(mdesc_next_arc);
 485
 486 u64 mdesc_arc_target(struct mdesc_handle *hp, u64 arc)
 487 {
 488         struct mdesc_elem *ep, *base = node_block(&hp->mdesc);
 489
 490         ep = base + arc;
 491
 492         return ep->d.val;
 493 }
 494 EXPORT_SYMBOL(mdesc_arc_target);
 495
 496 const char *mdesc_node_name(struct mdesc_handle *hp, u64 node)
 497 {
 498         struct mdesc_elem *ep, *base = node_block(&hp->mdesc);
 499         const char *names = name_block(&hp->mdesc);
 500         u64 last_node = hp->mdesc.node_sz / 16;
 501
 502         if (node == MDESC_NODE_NULL || node >= last_node)
 503                 return NULL;
 504
 505         ep = base + node;
 506         if (ep->tag != MD_NODE)
 507                 return NULL;
 508
 509         return names + ep->name_offset;
 510 }
 511 EXPORT_SYMBOL(mdesc_node_name);
 512
 513 static u64 max_cpus = 64;
 514
 515 static void __init report_platform_properties(void)
 516 {
 517         struct mdesc_handle *hp = mdesc_grab();
 518         u64 pn = mdesc_node_by_name(hp, MDESC_NODE_NULL, "platform");
 519         const char *s;
 520         const u64 *v;
 521
 522         if (pn == MDESC_NODE_NULL) {
 523                 prom_printf("No platform node in machine-description.\n");
 524                 prom_halt();
 525         }
 526
 527         s = mdesc_get_property(hp, pn, "banner-name", NULL);
 528         printk("PLATFORM: banner-name [%s]\n", s);
 529         s = mdesc_get_property(hp, pn, "name", NULL);
 530         printk("PLATFORM: name [%s]\n", s);
 531
 532         v = mdesc_get_property(hp, pn, "hostid", NULL);
 533         if (v)
 534                 printk("PLATFORM: hostid [%08llx]\n", *v);
 535         v = mdesc_get_property(hp, pn, "serial#", NULL);
 536         if (v)
 537                 printk("PLATFORM: serial# [%08llx]\n", *v);
 538         v = mdesc_get_property(hp, pn, "stick-frequency", NULL);
 539         printk("PLATFORM: stick-frequency [%08llx]\n", *v);
 540         v = mdesc_get_property(hp, pn, "mac-address", NULL);
 541         if (v)
 542                 printk("PLATFORM: mac-address [%llx]\n", *v);
 543         v = mdesc_get_property(hp, pn, "watchdog-resolution", NULL);
 544         if (v)
 545                 printk("PLATFORM: watchdog-resolution [%llu ms]\n", *v);
 546         v = mdesc_get_property(hp, pn, "watchdog-max-timeout", NULL);
 547         if (v)
 548                 printk("PLATFORM: watchdog-max-timeout [%llu ms]\n", *v);
 549         v = mdesc_get_property(hp, pn, "max-cpus", NULL);
 550         if (v) {
 551                 max_cpus = *v;
 552                 printk("PLATFORM: max-cpus [%llu]\n", max_cpus);
 553         }
 554
 555 #ifdef CONFIG_SMP
 556         {
 557                 int max_cpu, i;
 558
 559                 if (v) {
 560                         max_cpu = *v;
 561                         if (max_cpu > NR_CPUS)
 562                                 max_cpu = NR_CPUS;
 563                 } else {
 564                         max_cpu = NR_CPUS;
 565                 }
 566                 for (i = 0; i < max_cpu; i++)
 567                         set_cpu_possible(i, true);
 568         }
 569 #endif
 570
 571         mdesc_release(hp);
 572 }
 573
 574 static void fill_in_one_cache(cpuinfo_sparc *c, struct mdesc_handle *hp, u64 mp)
 575 {
 576         const u64 *level = mdesc_get_property(hp, mp, "level", NULL);
 577         const u64 *size = mdesc_get_property(hp, mp, "size", NULL);
 578         const u64 *line_size = mdesc_get_property(hp, mp, "line-size", NULL);
 579         const char *type;
 580         int type_len;
 581
 582         type = mdesc_get_property(hp, mp, "type", &type_len);
 583
 584         switch (*level) {
 585         case 1:
 586                 if (of_find_in_proplist(type, "instn", type_len)) {
 587                         c->icache_size = *size;
 588                         c->icache_line_size = *line_size;
 589                 } else if (of_find_in_proplist(type, "data", type_len)) {
 590                         c->dcache_size = *size;
 591                         c->dcache_line_size = *line_size;
 592                 }
 593                 break;
 594
 595         case 2:
 596                 c->ecache_size = *size;
 597                 c->ecache_line_size = *line_size;
 598                 break;
 599
 600         default:
 601                 break;
 602         }
 603
 604         if (*level == 1) {
 605                 u64 a;
 606
 607                 mdesc_for_each_arc(a, hp, mp, MDESC_ARC_TYPE_FWD) {
 608                         u64 target = mdesc_arc_target(hp, a);
 609                         const char *name = mdesc_node_name(hp, target);
 610
 611                         if (!strcmp(name, "cache"))
 612                                 fill_in_one_cache(c, hp, target);
 613                 }
 614         }
 615 }
 616
 617 static void mark_core_ids(struct mdesc_handle *hp, u64 mp, int core_id)
 618 {
 619         u64 a;
 620
 621         mdesc_for_each_arc(a, hp, mp, MDESC_ARC_TYPE_BACK) {
 622                 u64 t = mdesc_arc_target(hp, a);
 623                 const char *name;
 624                 const u64 *id;
 625
 626                 name = mdesc_node_name(hp, t);
 627                 if (!strcmp(name, "cpu")) {
 628                         id = mdesc_get_property(hp, t, "id", NULL);
 629                         if (*id < NR_CPUS)
 630                                 cpu_data(*id).core_id = core_id;
 631                 } else {
 632                         u64 j;
 633
 634                         mdesc_for_each_arc(j, hp, t, MDESC_ARC_TYPE_BACK) {
 635                                 u64 n = mdesc_arc_target(hp, j);
 636                                 const char *n_name;
 637
 638                                 n_name = mdesc_node_name(hp, n);
 639                                 if (strcmp(n_name, "cpu"))
 640                                         continue;
 641
 642                                 id = mdesc_get_property(hp, n, "id", NULL);
 643                                 if (*id < NR_CPUS)
 644                                         cpu_data(*id).core_id = core_id;
 645                         }
 646                 }
 647         }
 648 }
 649
 650 static void set_core_ids(struct mdesc_handle *hp)
 651 {
 652         int idx;
 653         u64 mp;
 654
 655         idx = 1;
 656         mdesc_for_each_node_by_name(hp, mp, "cache") {
 657                 const u64 *level;
 658                 const char *type;
 659                 int len;
 660
 661                 level = mdesc_get_property(hp, mp, "level", NULL);
 662                 if (*level != 1)
 663                         continue;
 664
 665                 type = mdesc_get_property(hp, mp, "type", &len);
 666                 if (!of_find_in_proplist(type, "instn", len))
 667                         continue;
 668
 669                 mark_core_ids(hp, mp, idx);
 670
 671                 idx++;
 672         }
 673 }
 674
 675 static void mark_proc_ids(struct mdesc_handle *hp, u64 mp, int proc_id)
 676 {
 677         u64 a;
 678
 679         mdesc_for_each_arc(a, hp, mp, MDESC_ARC_TYPE_BACK) {
 680                 u64 t = mdesc_arc_target(hp, a);
 681                 const char *name;
 682                 const u64 *id;
 683
 684                 name = mdesc_node_name(hp, t);
 685                 if (strcmp(name, "cpu"))
 686                         continue;
 687
 688                 id = mdesc_get_property(hp, t, "id", NULL);
 689                 if (*id < NR_CPUS)
 690                         cpu_data(*id).proc_id = proc_id;
 691         }
 692 }
 693
 694 static void __set_proc_ids(struct mdesc_handle *hp, const char *exec_unit_name)
 695 {
 696         int idx;
 697         u64 mp;
 698
 699         idx = 0;
 700         mdesc_for_each_node_by_name(hp, mp, exec_unit_name) {
 701                 const char *type;
 702                 int len;
 703
 704                 type = mdesc_get_property(hp, mp, "type", &len);
 705                 if (!of_find_in_proplist(type, "int", len) &&
 706                     !of_find_in_proplist(type, "integer", len))
 707                         continue;
 708
 709                 mark_proc_ids(hp, mp, idx);
 710
 711                 idx++;
 712         }
 713 }
 714
 715 static void set_proc_ids(struct mdesc_handle *hp)
 716 {
 717         __set_proc_ids(hp, "exec_unit");
 718         __set_proc_ids(hp, "exec-unit");
 719 }
 720
 721 static void get_one_mondo_bits(const u64 *p, unsigned int *mask,
 722                                unsigned long def, unsigned long max)
 723 {
 724         u64 val;
 725
 726         if (!p)
 727                 goto use_default;
 728         val = *p;
 729
 730         if (!val || val >= 64)
 731                 goto use_default;
 732
 733         if (val > max)
 734                 val = max;
 735
 736         *mask = ((1U << val) * 64U) - 1U;
 737         return;
 738
 739 use_default:
 740         *mask = ((1U << def) * 64U) - 1U;
 741 }
 742
 743 static void get_mondo_data(struct mdesc_handle *hp, u64 mp,
 744                            struct trap_per_cpu *tb)
 745 {
 746         static int printed;
 747         const u64 *val;
 748
 749         val = mdesc_get_property(hp, mp, "q-cpu-mondo-#bits", NULL);
 750         get_one_mondo_bits(val, &tb->cpu_mondo_qmask, 7, ilog2(max_cpus * 2));
 751
 752         val = mdesc_get_property(hp, mp, "q-dev-mondo-#bits", NULL);
 753         get_one_mondo_bits(val, &tb->dev_mondo_qmask, 7, 8);
 754
 755         val = mdesc_get_property(hp, mp, "q-resumable-#bits", NULL);
 756         get_one_mondo_bits(val, &tb->resum_qmask, 6, 7);
 757
 758         val = mdesc_get_property(hp, mp, "q-nonresumable-#bits", NULL);
 759         get_one_mondo_bits(val, &tb->nonresum_qmask, 2, 2);
 760         if (!printed++) {
 761                 pr_info("SUN4V: Mondo queue sizes "
 762                         "[cpu(%u) dev(%u) r(%u) nr(%u)]\n",
 763                         tb->cpu_mondo_qmask + 1,
 764                         tb->dev_mondo_qmask + 1,
 765                         tb->resum_qmask + 1,
 766                         tb->nonresum_qmask + 1);
 767         }
 768 }
 769
 770 static void *mdesc_iterate_over_cpus(void *(*func)(struct mdesc_handle *, u64, int, void *), void *arg, cpumask_t *mask)
 771 {
 772         struct mdesc_handle *hp = mdesc_grab();
 773         void *ret = NULL;
 774         u64 mp;
 775
 776         mdesc_for_each_node_by_name(hp, mp, "cpu") {
 777                 const u64 *id = mdesc_get_property(hp, mp, "id", NULL);
 778                 int cpuid = *id;
 779
 780 #ifdef CONFIG_SMP
 781                 if (cpuid >= NR_CPUS) {
 782                         printk(KERN_WARNING "Ignoring CPU %d which is "
 783                                ">= NR_CPUS (%d)\n",
 784                                cpuid, NR_CPUS);
 785                         continue;
 786                 }
 787                 if (!cpumask_test_cpu(cpuid, mask))
 788                         continue;
 789 #endif
 790
 791                 ret = func(hp, mp, cpuid, arg);
 792                 if (ret)
 793                         goto out;
 794         }
 795 out:
 796         mdesc_release(hp);
 797         return ret;
 798 }
 799
 800 static void *record_one_cpu(struct mdesc_handle *hp, u64 mp, int cpuid,
 801                             void *arg)
 802 {
 803         ncpus_probed++;
 804 #ifdef CONFIG_SMP
 805         set_cpu_present(cpuid, true);
 806 #endif
 807         return NULL;
 808 }
 809
 810 void mdesc_populate_present_mask(cpumask_t *mask)
 811 {
 812         if (tlb_type != hypervisor)
 813                 return;
 814
 815         ncpus_probed = 0;
 816         mdesc_iterate_over_cpus(record_one_cpu, NULL, mask);
 817 }
 818
 819 static void * __init check_one_pgsz(struct mdesc_handle *hp, u64 mp, int cpuid, void *arg)
 820 {
 821         const u64 *pgsz_prop = mdesc_get_property(hp, mp, "mmu-page-size-list", NULL);
 822         unsigned long *pgsz_mask = arg;
 823         u64 val;
 824
 825         val = (HV_PGSZ_MASK_8K | HV_PGSZ_MASK_64K |
 826                HV_PGSZ_MASK_512K | HV_PGSZ_MASK_4MB);
 827         if (pgsz_prop)
 828                 val = *pgsz_prop;
 829
 830         if (!*pgsz_mask)
 831                 *pgsz_mask = val;
 832         else
 833                 *pgsz_mask &= val;
 834         return NULL;
 835 }
 836
 837 void __init mdesc_get_page_sizes(cpumask_t *mask, unsigned long *pgsz_mask)
 838 {
 839         *pgsz_mask = 0;
 840         mdesc_iterate_over_cpus(check_one_pgsz, pgsz_mask, mask);
 841 }
 842
 843 static void *fill_in_one_cpu(struct mdesc_handle *hp, u64 mp, int cpuid,
 844                              void *arg)
 845 {
 846         const u64 *cfreq = mdesc_get_property(hp, mp, "clock-frequency", NULL);
 847         struct trap_per_cpu *tb;
 848         cpuinfo_sparc *c;
 849         u64 a;
 850
 851 #ifndef CONFIG_SMP
 852         /* On uniprocessor we only want the values for the
 853          * real physical cpu the kernel booted onto, however
 854          * cpu_data() only has one entry at index 0.
 855          */
 856         if (cpuid != real_hard_smp_processor_id())
 857                 return NULL;
 858         cpuid = 0;
 859 #endif
 860
 861         c = &cpu_data(cpuid);
 862         c->clock_tick = *cfreq;
 863
 864         tb = &trap_block[cpuid];
 865         get_mondo_data(hp, mp, tb);
 866
 867         mdesc_for_each_arc(a, hp, mp, MDESC_ARC_TYPE_FWD) {
 868                 u64 j, t = mdesc_arc_target(hp, a);
 869                 const char *t_name;
 870
 871                 t_name = mdesc_node_name(hp, t);
 872                 if (!strcmp(t_name, "cache")) {
 873                         fill_in_one_cache(c, hp, t);
 874                         continue;
 875                 }
 876
 877                 mdesc_for_each_arc(j, hp, t, MDESC_ARC_TYPE_FWD) {
 878                         u64 n = mdesc_arc_target(hp, j);
 879                         const char *n_name;
 880
 881                         n_name = mdesc_node_name(hp, n);
 882                         if (!strcmp(n_name, "cache"))
 883                                 fill_in_one_cache(c, hp, n);
 884                 }
 885         }
 886
 887         c->core_id = 0;
 888         c->proc_id = -1;
 889
 890         return NULL;
 891 }
 892
 893 void mdesc_fill_in_cpu_data(cpumask_t *mask)
 894 {
 895         struct mdesc_handle *hp;
 896
 897         mdesc_iterate_over_cpus(fill_in_one_cpu, NULL, mask);
 898
 899 #ifdef CONFIG_SMP
 900         sparc64_multi_core = 1;
 901 #endif
 902
 903         hp = mdesc_grab();
 904
 905         set_core_ids(hp);
 906         set_proc_ids(hp);
 907
 908         mdesc_release(hp);
 909
 910         smp_fill_in_sib_core_maps();
 911 }
 912
 913 static ssize_t mdesc_read(struct file *file, char __user *buf,
 914                           size_t len, loff_t *offp)
 915 {
 916         struct mdesc_handle *hp = mdesc_grab();
 917         int err;
 918
 919         if (!hp)
 920                 return -ENODEV;
 921
 922         err = hp->handle_size;
 923         if (len < hp->handle_size)
 924                 err = -EMSGSIZE;
 925         else if (copy_to_user(buf, &hp->mdesc, hp->handle_size))
 926                 err = -EFAULT;
 927         mdesc_release(hp);
 928
 929         return err;
 930 }
 931
 932 static const struct file_operations mdesc_fops = {
 933         .read   = mdesc_read,
 934         .owner  = THIS_MODULE,
 935         .llseek = noop_llseek,
 936 };
 937
 938 static struct miscdevice mdesc_misc = {
 939         .minor  = MISC_DYNAMIC_MINOR,
 940         .name   = "mdesc",
 941         .fops   = &mdesc_fops,
 942 };
 943
 944 static int __init mdesc_misc_init(void)
 945 {
 946         return misc_register(&mdesc_misc);
 947 }
 948
 949 __initcall(mdesc_misc_init);
 950
 951 void __init sun4v_mdesc_init(void)
 952 {
 953         struct mdesc_handle *hp;
 954         unsigned long len, real_len, status;
 955
 956         (void) sun4v_mach_desc(0UL, 0UL, &len);
 957
 958         printk("MDESC: Size is %lu bytes.\n", len);
 959
 960         hp = mdesc_alloc(len, &memblock_mdesc_ops);
 961         if (hp == NULL) {
 962                 prom_printf("MDESC: alloc of %lu bytes failed.\n", len);
 963                 prom_halt();
 964         }
 965
 966         status = sun4v_mach_desc(__pa(&hp->mdesc), len, &real_len);
 967         if (status != HV_EOK || real_len > len) {
 968                 prom_printf("sun4v_mach_desc fails, err(%lu), "
 969                             "len(%lu), real_len(%lu)\n",
 970                             status, len, real_len);
 971                 mdesc_free(hp);
 972                 prom_halt();
 973         }
 974
 975         cur_mdesc = hp;
 976
 977         report_platform_properties();
 978 }