arch/x86/mm/srat_64.c

   1 /*
   2  * ACPI 3.0 based NUMA setup
   3  * Copyright 2004 Andi Kleen, SuSE Labs.
   4  *
   5  * Reads the ACPI SRAT table to figure out what memory belongs to which CPUs.
   6  *
   7  * Called from acpi_numa_init while reading the SRAT and SLIT tables.
   8  * Assumes all memory regions belonging to a single proximity domain
   9  * are in one chunk. Holes between them will be included in the node.
  10  */
  11
  12 #include <linux/kernel.h>
  13 #include <linux/acpi.h>
  14 #include <linux/mmzone.h>
  15 #include <linux/bitmap.h>
  16 #include <linux/module.h>
  17 #include <linux/topology.h>
  18 #include <linux/bootmem.h>
  19 #include <linux/mm.h>
  20 #include <asm/proto.h>
  21 #include <asm/numa.h>
  22 #include <asm/e820.h>
  23 #include <asm/genapic.h>
  24
  25 int acpi_numa __initdata;
  26
  27 static struct acpi_table_slit *acpi_slit;
  28
  29 static nodemask_t nodes_parsed __initdata;
  30 static struct bootnode nodes[MAX_NUMNODES] __initdata;
  31 static struct bootnode nodes_add[MAX_NUMNODES];
  32 static int found_add_area __initdata;
  33 int hotadd_percent __initdata = 0;
  34
  35 static int num_node_memblks __initdata;
  36 static struct bootnode node_memblk_range[NR_NODE_MEMBLKS] __initdata;
  37 static int memblk_nodeid[NR_NODE_MEMBLKS] __initdata;
  38
  39 /* Too small nodes confuse the VM badly. Usually they result
  40    from BIOS bugs. */
  41 #define NODE_MIN_SIZE (4*1024*1024)
  42
  43 static __init int setup_node(int pxm)
  44 {
  45         return acpi_map_pxm_to_node(pxm);
  46 }
  47
  48 static __init int conflicting_memblks(unsigned long start, unsigned long end)
  49 {
  50         int i;
  51         for (i = 0; i < num_node_memblks; i++) {
  52                 struct bootnode *nd = &node_memblk_range[i];
  53                 if (nd->start == nd->end)
  54                         continue;
  55                 if (nd->end > start && nd->start < end)
  56                         return memblk_nodeid[i];
  57                 if (nd->end == end && nd->start == start)
  58                         return memblk_nodeid[i];
  59         }
  60         return -1;
  61 }
  62
  63 static __init void cutoff_node(int i, unsigned long start, unsigned long end)
  64 {
  65         struct bootnode *nd = &nodes[i];
  66
  67         if (found_add_area)
  68                 return;
  69
  70         if (nd->start < start) {
  71                 nd->start = start;
  72                 if (nd->end < nd->start)
  73                         nd->start = nd->end;
  74         }
  75         if (nd->end > end) {
  76                 nd->end = end;
  77                 if (nd->start > nd->end)
  78                         nd->start = nd->end;
  79         }
  80 }
  81
  82 static __init void bad_srat(void)
  83 {
  84         int i;
  85         printk(KERN_ERR "SRAT: SRAT not used.\n");
  86         acpi_numa = -1;
  87         found_add_area = 0;
  88         for (i = 0; i < MAX_LOCAL_APIC; i++)
  89                 apicid_to_node[i] = NUMA_NO_NODE;
  90         for (i = 0; i < MAX_NUMNODES; i++) {
  91                 nodes[i].start = nodes[i].end = 0;
  92                 nodes_add[i].start = nodes_add[i].end = 0;
  93         }
  94         remove_all_active_ranges();
  95 }
  96
  97 static __init inline int srat_disabled(void)
  98 {
  99         return numa_off || acpi_numa < 0;
 100 }
 101
 102 /* Callback for SLIT parsing */
 103 void __init acpi_numa_slit_init(struct acpi_table_slit *slit)
 104 {
 105         unsigned length;
 106         unsigned long phys;
 107
 108         length = slit->header.length;
 109         phys = find_e820_area(0, max_pfn_mapped<<PAGE_SHIFT, length,
 110                  PAGE_SIZE);
 111
 112         if (phys == -1L)
 113                 panic(" Can not save slit!\n");
 114
 115         acpi_slit = __va(phys);
 116         memcpy(acpi_slit, slit, length);
 117         reserve_early(phys, phys + length, "ACPI SLIT");
 118 }
 119
 120 /* Callback for Proximity Domain -> LAPIC mapping */
 121 void __init
 122 acpi_numa_processor_affinity_init(struct acpi_srat_cpu_affinity *pa)
 123 {
 124         int pxm, node;
 125         int apic_id;
 126
 127         if (srat_disabled())
 128                 return;
 129         if (pa->header.length != sizeof(struct acpi_srat_cpu_affinity)) {
 130                 bad_srat();
 131                 return;
 132         }
 133         if ((pa->flags & ACPI_SRAT_CPU_ENABLED) == 0)
 134                 return;
 135         pxm = pa->proximity_domain_lo;
 136         node = setup_node(pxm);
 137         if (node < 0) {
 138                 printk(KERN_ERR "SRAT: Too many proximity domains %x\n", pxm);
 139                 bad_srat();
 140                 return;
 141         }
 142
 143         if (is_uv_system())
 144                 apic_id = (pa->apic_id << 8) | pa->local_sapic_eid;
 145         else
 146                 apic_id = pa->apic_id;
 147         apicid_to_node[apic_id] = node;
 148         acpi_numa = 1;
 149         printk(KERN_INFO "SRAT: PXM %u -> APIC %u -> Node %u\n",
 150                pxm, apic_id, node);
 151 }
 152
 153 static int update_end_of_memory(unsigned long end) {return -1;}
 154 static int hotadd_enough_memory(struct bootnode *nd) {return 1;}
 155 #ifdef CONFIG_MEMORY_HOTPLUG_SPARSE
 156 static inline int save_add_info(void) {return 1;}
 157 #else
 158 static inline int save_add_info(void) {return 0;}
 159 #endif
 160 /*
 161  * Update nodes_add and decide if to include add are in the zone.
 162  * Both SPARSE and RESERVE need nodes_add information.
 163  * This code supports one contiguous hot add area per node.
 164  */
 165 static int __init
 166 reserve_hotadd(int node, unsigned long start, unsigned long end)
 167 {
 168         unsigned long s_pfn = start >> PAGE_SHIFT;
 169         unsigned long e_pfn = end >> PAGE_SHIFT;
 170         int ret = 0, changed = 0;
 171         struct bootnode *nd = &nodes_add[node];
 172
 173         /* I had some trouble with strange memory hotadd regions breaking
 174            the boot. Be very strict here and reject anything unexpected.
 175            If you want working memory hotadd write correct SRATs.
 176
 177            The node size check is a basic sanity check to guard against
 178            mistakes */
 179         if ((signed long)(end - start) < NODE_MIN_SIZE) {
 180                 printk(KERN_ERR "SRAT: Hotplug area too small\n");
 181                 return -1;
 182         }
 183
 184         /* This check might be a bit too strict, but I'm keeping it for now. */
 185         if (absent_pages_in_range(s_pfn, e_pfn) != e_pfn - s_pfn) {
 186                 printk(KERN_ERR
 187                         "SRAT: Hotplug area %lu -> %lu has existing memory\n",
 188                         s_pfn, e_pfn);
 189                 return -1;
 190         }
 191
 192         if (!hotadd_enough_memory(&nodes_add[node]))  {
 193                 printk(KERN_ERR "SRAT: Hotplug area too large\n");
 194                 return -1;
 195         }
 196
 197         /* Looks good */
 198
 199         if (nd->start == nd->end) {
 200                 nd->start = start;
 201                 nd->end = end;
 202                 changed = 1;
 203         } else {
 204                 if (nd->start == end) {
 205                         nd->start = start;
 206                         changed = 1;
 207                 }
 208                 if (nd->end == start) {
 209                         nd->end = end;
 210                         changed = 1;
 211                 }
 212                 if (!changed)
 213                         printk(KERN_ERR "SRAT: Hotplug zone not continuous. Partly ignored\n");
 214         }
 215
 216         ret = update_end_of_memory(nd->end);
 217
 218         if (changed)
 219                 printk(KERN_INFO "SRAT: hot plug zone found %Lx - %Lx\n", nd->start, nd->end);
 220         return ret;
 221 }
 222
 223 /* Callback for parsing of the Proximity Domain <-> Memory Area mappings */
 224 void __init
 225 acpi_numa_memory_affinity_init(struct acpi_srat_mem_affinity *ma)
 226 {
 227         struct bootnode *nd, oldnode;
 228         unsigned long start, end;
 229         int node, pxm;
 230         int i;
 231
 232         if (srat_disabled())
 233                 return;
 234         if (ma->header.length != sizeof(struct acpi_srat_mem_affinity)) {
 235                 bad_srat();
 236                 return;
 237         }
 238         if ((ma->flags & ACPI_SRAT_MEM_ENABLED) == 0)
 239                 return;
 240
 241         if ((ma->flags & ACPI_SRAT_MEM_HOT_PLUGGABLE) && !save_add_info())
 242                 return;
 243         start = ma->base_address;
 244         end = start + ma->length;
 245         pxm = ma->proximity_domain;
 246         node = setup_node(pxm);
 247         if (node < 0) {
 248                 printk(KERN_ERR "SRAT: Too many proximity domains.\n");
 249                 bad_srat();
 250                 return;
 251         }
 252         i = conflicting_memblks(start, end);
 253         if (i == node) {
 254                 printk(KERN_WARNING
 255                 "SRAT: Warning: PXM %d (%lx-%lx) overlaps with itself (%Lx-%Lx)\n",
 256                         pxm, start, end, nodes[i].start, nodes[i].end);
 257         } else if (i >= 0) {
 258                 printk(KERN_ERR
 259                        "SRAT: PXM %d (%lx-%lx) overlaps with PXM %d (%Lx-%Lx)\n",
 260                        pxm, start, end, node_to_pxm(i),
 261                         nodes[i].start, nodes[i].end);
 262                 bad_srat();
 263                 return;
 264         }
 265         nd = &nodes[node];
 266         oldnode = *nd;
 267         if (!node_test_and_set(node, nodes_parsed)) {
 268                 nd->start = start;
 269                 nd->end = end;
 270         } else {
 271                 if (start < nd->start)
 272                         nd->start = start;
 273                 if (nd->end < end)
 274                         nd->end = end;
 275         }
 276
 277         printk(KERN_INFO "SRAT: Node %u PXM %u %lx-%lx\n", node, pxm,
 278                start, end);
 279         e820_register_active_regions(node, start >> PAGE_SHIFT,
 280                                      end >> PAGE_SHIFT);
 281         push_node_boundaries(node, nd->start >> PAGE_SHIFT,
 282                                                 nd->end >> PAGE_SHIFT);
 283
 284         if ((ma->flags & ACPI_SRAT_MEM_HOT_PLUGGABLE) &&
 285             (reserve_hotadd(node, start, end) < 0)) {
 286                 /* Ignore hotadd region. Undo damage */
 287                 printk(KERN_NOTICE "SRAT: Hotplug region ignored\n");
 288                 *nd = oldnode;
 289                 if ((nd->start | nd->end) == 0)
 290                         node_clear(node, nodes_parsed);
 291         }
 292
 293         node_memblk_range[num_node_memblks].start = start;
 294         node_memblk_range[num_node_memblks].end = end;
 295         memblk_nodeid[num_node_memblks] = node;
 296         num_node_memblks++;
 297 }
 298
 299 /* Sanity check to catch more bad SRATs (they are amazingly common).
 300    Make sure the PXMs cover all memory. */
 301 static int __init nodes_cover_memory(const struct bootnode *nodes)
 302 {
 303         int i;
 304         unsigned long pxmram, e820ram;
 305
 306         pxmram = 0;
 307         for_each_node_mask(i, nodes_parsed) {
 308                 unsigned long s = nodes[i].start >> PAGE_SHIFT;
 309                 unsigned long e = nodes[i].end >> PAGE_SHIFT;
 310                 pxmram += e - s;
 311                 pxmram -= absent_pages_in_range(s, e);
 312                 if ((long)pxmram < 0)
 313                         pxmram = 0;
 314         }
 315
 316         e820ram = max_pfn - absent_pages_in_range(0, max_pfn);
 317         /* We seem to lose 3 pages somewhere. Allow a bit of slack. */
 318         if ((long)(e820ram - pxmram) >= 1*1024*1024) {
 319                 printk(KERN_ERR
 320         "SRAT: PXMs only cover %luMB of your %luMB e820 RAM. Not used.\n",
 321                         (pxmram << PAGE_SHIFT) >> 20,
 322                         (e820ram << PAGE_SHIFT) >> 20);
 323                 return 0;
 324         }
 325         return 1;
 326 }
 327
 328 static void __init unparse_node(int node)
 329 {
 330         int i;
 331         node_clear(node, nodes_parsed);
 332         for (i = 0; i < MAX_LOCAL_APIC; i++) {
 333                 if (apicid_to_node[i] == node)
 334                         apicid_to_node[i] = NUMA_NO_NODE;
 335         }
 336 }
 337
 338 void __init acpi_numa_arch_fixup(void) {}
 339
 340 /* Use the information discovered above to actually set up the nodes. */
 341 int __init acpi_scan_nodes(unsigned long start, unsigned long end)
 342 {
 343         int i;
 344
 345         if (acpi_numa <= 0)
 346                 return -1;
 347
 348         /* First clean up the node list */
 349         for (i = 0; i < MAX_NUMNODES; i++) {
 350                 cutoff_node(i, start, end);
 351                 /*
 352                  * don't confuse VM with a node that doesn't have the
 353                  * minimum memory.
 354                  */
 355                 if (nodes[i].end &&
 356                         (nodes[i].end - nodes[i].start) < NODE_MIN_SIZE) {
 357                         unparse_node(i);
 358                         node_set_offline(i);
 359                 }
 360         }
 361
 362         if (!nodes_cover_memory(nodes)) {
 363                 bad_srat();
 364                 return -1;
 365         }
 366
 367         memnode_shift = compute_hash_shift(node_memblk_range, num_node_memblks,
 368                                            memblk_nodeid);
 369         if (memnode_shift < 0) {
 370                 printk(KERN_ERR
 371                      "SRAT: No NUMA node hash function found. Contact maintainer\n");
 372                 bad_srat();
 373                 return -1;
 374         }
 375
 376         node_possible_map = nodes_parsed;
 377
 378         /* Finally register nodes */
 379         for_each_node_mask(i, node_possible_map)
 380                 setup_node_bootmem(i, nodes[i].start, nodes[i].end);
 381         /* Try again in case setup_node_bootmem missed one due
 382            to missing bootmem */
 383         for_each_node_mask(i, node_possible_map)
 384                 if (!node_online(i))
 385                         setup_node_bootmem(i, nodes[i].start, nodes[i].end);
 386
 387         for (i = 0; i < NR_CPUS; i++) {
 388                 int node = early_cpu_to_node(i);
 389
 390                 if (node == NUMA_NO_NODE)
 391                         continue;
 392                 if (!node_isset(node, node_possible_map))
 393                         numa_clear_node(i);
 394         }
 395         numa_init_array();
 396         return 0;
 397 }
 398
 399 #ifdef CONFIG_NUMA_EMU
 400 static int fake_node_to_pxm_map[MAX_NUMNODES] __initdata = {
 401         [0 ... MAX_NUMNODES-1] = PXM_INVAL
 402 };
 403 static s16 fake_apicid_to_node[MAX_LOCAL_APIC] __initdata = {
 404         [0 ... MAX_LOCAL_APIC-1] = NUMA_NO_NODE
 405 };
 406 static int __init find_node_by_addr(unsigned long addr)
 407 {
 408         int ret = NUMA_NO_NODE;
 409         int i;
 410
 411         for_each_node_mask(i, nodes_parsed) {
 412                 /*
 413                  * Find the real node that this emulated node appears on.  For
 414                  * the sake of simplicity, we only use a real node's starting
 415                  * address to determine which emulated node it appears on.
 416                  */
 417                 if (addr >= nodes[i].start && addr < nodes[i].end) {
 418                         ret = i;
 419                         break;
 420                 }
 421         }
 422         return ret;
 423 }
 424
 425 /*
 426  * In NUMA emulation, we need to setup proximity domain (_PXM) to node ID
 427  * mappings that respect the real ACPI topology but reflect our emulated
 428  * environment.  For each emulated node, we find which real node it appears on
 429  * and create PXM to NID mappings for those fake nodes which mirror that
 430  * locality.  SLIT will now represent the correct distances between emulated
 431  * nodes as a result of the real topology.
 432  */
 433 void __init acpi_fake_nodes(const struct bootnode *fake_nodes, int num_nodes)
 434 {
 435         int i, j;
 436
 437         printk(KERN_INFO "Faking PXM affinity for fake nodes on real "
 438                          "topology.\n");
 439         for (i = 0; i < num_nodes; i++) {
 440                 int nid, pxm;
 441
 442                 nid = find_node_by_addr(fake_nodes[i].start);
 443                 if (nid == NUMA_NO_NODE)
 444                         continue;
 445                 pxm = node_to_pxm(nid);
 446                 if (pxm == PXM_INVAL)
 447                         continue;
 448                 fake_node_to_pxm_map[i] = pxm;
 449                 /*
 450                  * For each apicid_to_node mapping that exists for this real
 451                  * node, it must now point to the fake node ID.
 452                  */
 453                 for (j = 0; j < MAX_LOCAL_APIC; j++)
 454                         if (apicid_to_node[j] == nid)
 455                                 fake_apicid_to_node[j] = i;
 456         }
 457         for (i = 0; i < num_nodes; i++)
 458                 __acpi_map_pxm_to_node(fake_node_to_pxm_map[i], i);
 459         memcpy(apicid_to_node, fake_apicid_to_node, sizeof(apicid_to_node));
 460
 461         nodes_clear(nodes_parsed);
 462         for (i = 0; i < num_nodes; i++)
 463                 if (fake_nodes[i].start != fake_nodes[i].end)
 464                         node_set(i, nodes_parsed);
 465         WARN_ON(!nodes_cover_memory(fake_nodes));
 466 }
 467
 468 static int null_slit_node_compare(int a, int b)
 469 {
 470         return node_to_pxm(a) == node_to_pxm(b);
 471 }
 472 #else
 473 static int null_slit_node_compare(int a, int b)
 474 {
 475         return a == b;
 476 }
 477 #endif /* CONFIG_NUMA_EMU */
 478
 479 void __init srat_reserve_add_area(int nodeid)
 480 {
 481         if (found_add_area && nodes_add[nodeid].end) {
 482                 u64 total_mb;
 483
 484                 printk(KERN_INFO "SRAT: Reserving hot-add memory space "
 485                                 "for node %d at %Lx-%Lx\n",
 486                         nodeid, nodes_add[nodeid].start, nodes_add[nodeid].end);
 487                 total_mb = (nodes_add[nodeid].end - nodes_add[nodeid].start)
 488                                         >> PAGE_SHIFT;
 489                 total_mb *= sizeof(struct page);
 490                 total_mb >>= 20;
 491                 printk(KERN_INFO "SRAT: This will cost you %Lu MB of "
 492                                 "pre-allocated memory.\n", (unsigned long long)total_mb);
 493                 reserve_bootmem_node(NODE_DATA(nodeid), nodes_add[nodeid].start,
 494                                nodes_add[nodeid].end - nodes_add[nodeid].start,
 495                                BOOTMEM_DEFAULT);
 496         }
 497 }
 498
 499 int __node_distance(int a, int b)
 500 {
 501         int index;
 502
 503         if (!acpi_slit)
 504                 return null_slit_node_compare(a, b) ? LOCAL_DISTANCE :
 505                                                       REMOTE_DISTANCE;
 506         index = acpi_slit->locality_count * node_to_pxm(a);
 507         return acpi_slit->entry[index + node_to_pxm(b)];
 508 }
 509
 510 EXPORT_SYMBOL(__node_distance);
 511
 512 #if defined(CONFIG_MEMORY_HOTPLUG_SPARSE) || defined(CONFIG_ACPI_HOTPLUG_MEMORY)
 513 int memory_add_physaddr_to_nid(u64 start)
 514 {
 515         int i, ret = 0;
 516
 517         for_each_node(i)
 518                 if (nodes_add[i].start <= start && nodes_add[i].end > start)
 519                         ret = i;
 520
 521         return ret;
 522 }
 523 EXPORT_SYMBOL_GPL(memory_add_physaddr_to_nid);
 524 #endif