tools/perf/util/event.h

   1 #ifndef __PERF_RECORD_H
   2 #define __PERF_RECORD_H
   3
   4 #include <limits.h>
   5 #include <stdio.h>
   6 #include <linux/kernel.h>
   7
   8 #include "../perf.h"
   9 #include "build-id.h"
  10 #include "perf_regs.h"
  11
  12 struct mmap_event {
  13         struct perf_event_header header;
  14         u32 pid, tid;
  15         u64 start;
  16         u64 len;
  17         u64 pgoff;
  18         char filename[PATH_MAX];
  19 };
  20
  21 struct mmap2_event {
  22         struct perf_event_header header;
  23         u32 pid, tid;
  24         u64 start;
  25         u64 len;
  26         u64 pgoff;
  27         u32 maj;
  28         u32 min;
  29         u64 ino;
  30         u64 ino_generation;
  31         u32 prot;
  32         u32 flags;
  33         char filename[PATH_MAX];
  34 };
  35
  36 struct comm_event {
  37         struct perf_event_header header;
  38         u32 pid, tid;
  39         char comm[16];
  40 };
  41
  42 struct namespaces_event {
  43         struct perf_event_header header;
  44         u32 pid, tid;
  45         u64 nr_namespaces;
  46         struct perf_ns_link_info link_info[];
  47 };
  48
  49 struct fork_event {
  50         struct perf_event_header header;
  51         u32 pid, ppid;
  52         u32 tid, ptid;
  53         u64 time;
  54 };
  55
  56 struct lost_event {
  57         struct perf_event_header header;
  58         u64 id;
  59         u64 lost;
  60 };
  61
  62 struct lost_samples_event {
  63         struct perf_event_header header;
  64         u64 lost;
  65 };
  66
  67 /*
  68  * PERF_FORMAT_ENABLED | PERF_FORMAT_RUNNING | PERF_FORMAT_ID
  69  */
  70 struct read_event {
  71         struct perf_event_header header;
  72         u32 pid, tid;
  73         u64 value;
  74         u64 time_enabled;
  75         u64 time_running;
  76         u64 id;
  77 };
  78
  79 struct throttle_event {
  80         struct perf_event_header header;
  81         u64 time;
  82         u64 id;
  83         u64 stream_id;
  84 };
  85
  86 #define PERF_SAMPLE_MASK                                \
  87         (PERF_SAMPLE_IP | PERF_SAMPLE_TID |             \
  88          PERF_SAMPLE_TIME | PERF_SAMPLE_ADDR |          \
  89         PERF_SAMPLE_ID | PERF_SAMPLE_STREAM_ID |        \
  90          PERF_SAMPLE_CPU | PERF_SAMPLE_PERIOD |         \
  91          PERF_SAMPLE_IDENTIFIER)
  92
  93 /* perf sample has 16 bits size limit */
  94 #define PERF_SAMPLE_MAX_SIZE (1 << 16)
  95
  96 struct sample_event {
  97         struct perf_event_header        header;
  98         u64 array[];
  99 };
 100
 101 struct regs_dump {
 102         u64 abi;
 103         u64 mask;
 104         u64 *regs;
 105
 106         /* Cached values/mask filled by first register access. */
 107         u64 cache_regs[PERF_REGS_MAX];
 108         u64 cache_mask;
 109 };
 110
 111 struct stack_dump {
 112         u16 offset;
 113         u64 size;
 114         char *data;
 115 };
 116
 117 struct sample_read_value {
 118         u64 value;
 119         u64 id;
 120 };
 121
 122 struct sample_read {
 123         u64 time_enabled;
 124         u64 time_running;
 125         union {
 126                 struct {
 127                         u64 nr;
 128                         struct sample_read_value *values;
 129                 } group;
 130                 struct sample_read_value one;
 131         };
 132 };
 133
 134 struct ip_callchain {
 135         u64 nr;
 136         u64 ips[0];
 137 };
 138
 139 struct branch_flags {
 140         u64 mispred:1;
 141         u64 predicted:1;
 142         u64 in_tx:1;
 143         u64 abort:1;
 144         u64 cycles:16;
 145         u64 reserved:44;
 146 };
 147
 148 struct branch_entry {
 149         u64                     from;
 150         u64                     to;
 151         struct branch_flags     flags;
 152 };
 153
 154 struct branch_stack {
 155         u64                     nr;
 156         struct branch_entry     entries[0];
 157 };
 158
 159 enum {
 160         PERF_IP_FLAG_BRANCH             = 1ULL << 0,
 161         PERF_IP_FLAG_CALL               = 1ULL << 1,
 162         PERF_IP_FLAG_RETURN             = 1ULL << 2,
 163         PERF_IP_FLAG_CONDITIONAL        = 1ULL << 3,
 164         PERF_IP_FLAG_SYSCALLRET         = 1ULL << 4,
 165         PERF_IP_FLAG_ASYNC              = 1ULL << 5,
 166         PERF_IP_FLAG_INTERRUPT          = 1ULL << 6,
 167         PERF_IP_FLAG_TX_ABORT           = 1ULL << 7,
 168         PERF_IP_FLAG_TRACE_BEGIN        = 1ULL << 8,
 169         PERF_IP_FLAG_TRACE_END          = 1ULL << 9,
 170         PERF_IP_FLAG_IN_TX              = 1ULL << 10,
 171 };
 172
 173 #define PERF_IP_FLAG_CHARS "bcrosyiABEx"
 174
 175 #define PERF_BRANCH_MASK                (\
 176         PERF_IP_FLAG_BRANCH             |\
 177         PERF_IP_FLAG_CALL               |\
 178         PERF_IP_FLAG_RETURN             |\
 179         PERF_IP_FLAG_CONDITIONAL        |\
 180         PERF_IP_FLAG_SYSCALLRET         |\
 181         PERF_IP_FLAG_ASYNC              |\
 182         PERF_IP_FLAG_INTERRUPT          |\
 183         PERF_IP_FLAG_TX_ABORT           |\
 184         PERF_IP_FLAG_TRACE_BEGIN        |\
 185         PERF_IP_FLAG_TRACE_END)
 186
 187 #define MAX_INSN 16
 188
 189 struct perf_sample {
 190         u64 ip;
 191         u32 pid, tid;
 192         u64 time;
 193         u64 addr;
 194         u64 id;
 195         u64 stream_id;
 196         u64 period;
 197         u64 weight;
 198         u64 transaction;
 199         u32 cpu;
 200         u32 raw_size;
 201         u64 data_src;
 202         u32 flags;
 203         u16 insn_len;
 204         u8  cpumode;
 205         char insn[MAX_INSN];
 206         void *raw_data;
 207         struct ip_callchain *callchain;
 208         struct branch_stack *branch_stack;
 209         struct regs_dump  user_regs;
 210         struct regs_dump  intr_regs;
 211         struct stack_dump user_stack;
 212         struct sample_read read;
 213 };
 214
 215 #define PERF_MEM_DATA_SRC_NONE \
 216         (PERF_MEM_S(OP, NA) |\
 217          PERF_MEM_S(LVL, NA) |\
 218          PERF_MEM_S(SNOOP, NA) |\
 219          PERF_MEM_S(LOCK, NA) |\
 220          PERF_MEM_S(TLB, NA))
 221
 222 struct build_id_event {
 223         struct perf_event_header header;
 224         pid_t                    pid;
 225         u8                       build_id[PERF_ALIGN(BUILD_ID_SIZE, sizeof(u64))];
 226         char                     filename[];
 227 };
 228
 229 enum perf_user_event_type { /* above any possible kernel type */
 230         PERF_RECORD_USER_TYPE_START             = 64,
 231         PERF_RECORD_HEADER_ATTR                 = 64,
 232         PERF_RECORD_HEADER_EVENT_TYPE           = 65, /* deprecated */
 233         PERF_RECORD_HEADER_TRACING_DATA         = 66,
 234         PERF_RECORD_HEADER_BUILD_ID             = 67,
 235         PERF_RECORD_FINISHED_ROUND              = 68,
 236         PERF_RECORD_ID_INDEX                    = 69,
 237         PERF_RECORD_AUXTRACE_INFO               = 70,
 238         PERF_RECORD_AUXTRACE                    = 71,
 239         PERF_RECORD_AUXTRACE_ERROR              = 72,
 240         PERF_RECORD_THREAD_MAP                  = 73,
 241         PERF_RECORD_CPU_MAP                     = 74,
 242         PERF_RECORD_STAT_CONFIG                 = 75,
 243         PERF_RECORD_STAT                        = 76,
 244         PERF_RECORD_STAT_ROUND                  = 77,
 245         PERF_RECORD_EVENT_UPDATE                = 78,
 246         PERF_RECORD_TIME_CONV                   = 79,
 247         PERF_RECORD_HEADER_MAX
 248 };
 249
 250 enum auxtrace_error_type {
 251         PERF_AUXTRACE_ERROR_ITRACE  = 1,
 252         PERF_AUXTRACE_ERROR_MAX
 253 };
 254
 255 /* Attribute type for custom synthesized events */
 256 #define PERF_TYPE_SYNTH         (INT_MAX + 1U)
 257
 258 /*
 259  * The kernel collects the number of events it couldn't send in a stretch and
 260  * when possible sends this number in a PERF_RECORD_LOST event. The number of
 261  * such "chunks" of lost events is stored in .nr_events[PERF_EVENT_LOST] while
 262  * total_lost tells exactly how many events the kernel in fact lost, i.e. it is
 263  * the sum of all struct lost_event.lost fields reported.
 264  *
 265  * The kernel discards mixed up samples and sends the number in a
 266  * PERF_RECORD_LOST_SAMPLES event. The number of lost-samples events is stored
 267  * in .nr_events[PERF_RECORD_LOST_SAMPLES] while total_lost_samples tells
 268  * exactly how many samples the kernel in fact dropped, i.e. it is the sum of
 269  * all struct lost_samples_event.lost fields reported.
 270  *
 271  * The total_period is needed because by default auto-freq is used, so
 272  * multipling nr_events[PERF_EVENT_SAMPLE] by a frequency isn't possible to get
 273  * the total number of low level events, it is necessary to to sum all struct
 274  * sample_event.period and stash the result in total_period.
 275  */
 276 struct events_stats {
 277         u64 total_period;
 278         u64 total_non_filtered_period;
 279         u64 total_lost;
 280         u64 total_lost_samples;
 281         u64 total_aux_lost;
 282         u64 total_aux_partial;
 283         u64 total_invalid_chains;
 284         u32 nr_events[PERF_RECORD_HEADER_MAX];
 285         u32 nr_non_filtered_samples;
 286         u32 nr_lost_warned;
 287         u32 nr_unknown_events;
 288         u32 nr_invalid_chains;
 289         u32 nr_unknown_id;
 290         u32 nr_unprocessable_samples;
 291         u32 nr_auxtrace_errors[PERF_AUXTRACE_ERROR_MAX];
 292         u32 nr_proc_map_timeout;
 293 };
 294
 295 enum {
 296         PERF_CPU_MAP__CPUS = 0,
 297         PERF_CPU_MAP__MASK = 1,
 298 };
 299
 300 struct cpu_map_entries {
 301         u16     nr;
 302         u16     cpu[];
 303 };
 304
 305 struct cpu_map_mask {
 306         u16     nr;
 307         u16     long_size;
 308         unsigned long mask[];
 309 };
 310
 311 struct cpu_map_data {
 312         u16     type;
 313         char    data[];
 314 };
 315
 316 struct cpu_map_event {
 317         struct perf_event_header        header;
 318         struct cpu_map_data             data;
 319 };
 320
 321 struct attr_event {
 322         struct perf_event_header header;
 323         struct perf_event_attr attr;
 324         u64 id[];
 325 };
 326
 327 enum {
 328         PERF_EVENT_UPDATE__UNIT  = 0,
 329         PERF_EVENT_UPDATE__SCALE = 1,
 330         PERF_EVENT_UPDATE__NAME  = 2,
 331         PERF_EVENT_UPDATE__CPUS  = 3,
 332 };
 333
 334 struct event_update_event_cpus {
 335         struct cpu_map_data cpus;
 336 };
 337
 338 struct event_update_event_scale {
 339         double scale;
 340 };
 341
 342 struct event_update_event {
 343         struct perf_event_header header;
 344         u64 type;
 345         u64 id;
 346
 347         char data[];
 348 };
 349
 350 #define MAX_EVENT_NAME 64
 351
 352 struct perf_trace_event_type {
 353         u64     event_id;
 354         char    name[MAX_EVENT_NAME];
 355 };
 356
 357 struct event_type_event {
 358         struct perf_event_header header;
 359         struct perf_trace_event_type event_type;
 360 };
 361
 362 struct tracing_data_event {
 363         struct perf_event_header header;
 364         u32 size;
 365 };
 366
 367 struct id_index_entry {
 368         u64 id;
 369         u64 idx;
 370         u64 cpu;
 371         u64 tid;
 372 };
 373
 374 struct id_index_event {
 375         struct perf_event_header header;
 376         u64 nr;
 377         struct id_index_entry entries[0];
 378 };
 379
 380 struct auxtrace_info_event {
 381         struct perf_event_header header;
 382         u32 type;
 383         u32 reserved__; /* For alignment */
 384         u64 priv[];
 385 };
 386
 387 struct auxtrace_event {
 388         struct perf_event_header header;
 389         u64 size;
 390         u64 offset;
 391         u64 reference;
 392         u32 idx;
 393         u32 tid;
 394         u32 cpu;
 395         u32 reserved__; /* For alignment */
 396 };
 397
 398 #define MAX_AUXTRACE_ERROR_MSG 64
 399
 400 struct auxtrace_error_event {
 401         struct perf_event_header header;
 402         u32 type;
 403         u32 code;
 404         u32 cpu;
 405         u32 pid;
 406         u32 tid;
 407         u32 reserved__; /* For alignment */
 408         u64 ip;
 409         char msg[MAX_AUXTRACE_ERROR_MSG];
 410 };
 411
 412 struct aux_event {
 413         struct perf_event_header header;
 414         u64     aux_offset;
 415         u64     aux_size;
 416         u64     flags;
 417 };
 418
 419 struct itrace_start_event {
 420         struct perf_event_header header;
 421         u32 pid, tid;
 422 };
 423
 424 struct context_switch_event {
 425         struct perf_event_header header;
 426         u32 next_prev_pid;
 427         u32 next_prev_tid;
 428 };
 429
 430 struct thread_map_event_entry {
 431         u64     pid;
 432         char    comm[16];
 433 };
 434
 435 struct thread_map_event {
 436         struct perf_event_header        header;
 437         u64                             nr;
 438         struct thread_map_event_entry   entries[];
 439 };
 440
 441 enum {
 442         PERF_STAT_CONFIG_TERM__AGGR_MODE        = 0,
 443         PERF_STAT_CONFIG_TERM__INTERVAL         = 1,
 444         PERF_STAT_CONFIG_TERM__SCALE            = 2,
 445         PERF_STAT_CONFIG_TERM__MAX              = 3,
 446 };
 447
 448 struct stat_config_event_entry {
 449         u64     tag;
 450         u64     val;
 451 };
 452
 453 struct stat_config_event {
 454         struct perf_event_header        header;
 455         u64                             nr;
 456         struct stat_config_event_entry  data[];
 457 };
 458
 459 struct stat_event {
 460         struct perf_event_header        header;
 461
 462         u64     id;
 463         u32     cpu;
 464         u32     thread;
 465
 466         union {
 467                 struct {
 468                         u64 val;
 469                         u64 ena;
 470                         u64 run;
 471                 };
 472                 u64 values[3];
 473         };
 474 };
 475
 476 enum {
 477         PERF_STAT_ROUND_TYPE__INTERVAL  = 0,
 478         PERF_STAT_ROUND_TYPE__FINAL     = 1,
 479 };
 480
 481 struct stat_round_event {
 482         struct perf_event_header        header;
 483         u64                             type;
 484         u64                             time;
 485 };
 486
 487 struct time_conv_event {
 488         struct perf_event_header header;
 489         u64 time_shift;
 490         u64 time_mult;
 491         u64 time_zero;
 492 };
 493
 494 union perf_event {
 495         struct perf_event_header        header;
 496         struct mmap_event               mmap;
 497         struct mmap2_event              mmap2;
 498         struct comm_event               comm;
 499         struct namespaces_event         namespaces;
 500         struct fork_event               fork;
 501         struct lost_event               lost;
 502         struct lost_samples_event       lost_samples;
 503         struct read_event               read;
 504         struct throttle_event           throttle;
 505         struct sample_event             sample;
 506         struct attr_event               attr;
 507         struct event_update_event       event_update;
 508         struct event_type_event         event_type;
 509         struct tracing_data_event       tracing_data;
 510         struct build_id_event           build_id;
 511         struct id_index_event           id_index;
 512         struct auxtrace_info_event      auxtrace_info;
 513         struct auxtrace_event           auxtrace;
 514         struct auxtrace_error_event     auxtrace_error;
 515         struct aux_event                aux;
 516         struct itrace_start_event       itrace_start;
 517         struct context_switch_event     context_switch;
 518         struct thread_map_event         thread_map;
 519         struct cpu_map_event            cpu_map;
 520         struct stat_config_event        stat_config;
 521         struct stat_event               stat;
 522         struct stat_round_event         stat_round;
 523         struct time_conv_event          time_conv;
 524 };
 525
 526 void perf_event__print_totals(void);
 527
 528 struct perf_tool;
 529 struct thread_map;
 530 struct cpu_map;
 531 struct perf_stat_config;
 532 struct perf_counts_values;
 533
 534 typedef int (*perf_event__handler_t)(struct perf_tool *tool,
 535                                      union perf_event *event,
 536                                      struct perf_sample *sample,
 537                                      struct machine *machine);
 538
 539 int perf_event__synthesize_thread_map(struct perf_tool *tool,
 540                                       struct thread_map *threads,
 541                                       perf_event__handler_t process,
 542                                       struct machine *machine, bool mmap_data,
 543                                       unsigned int proc_map_timeout);
 544 int perf_event__synthesize_thread_map2(struct perf_tool *tool,
 545                                       struct thread_map *threads,
 546                                       perf_event__handler_t process,
 547                                       struct machine *machine);
 548 int perf_event__synthesize_cpu_map(struct perf_tool *tool,
 549                                    struct cpu_map *cpus,
 550                                    perf_event__handler_t process,
 551                                    struct machine *machine);
 552 int perf_event__synthesize_threads(struct perf_tool *tool,
 553                                    perf_event__handler_t process,
 554                                    struct machine *machine, bool mmap_data,
 555                                    unsigned int proc_map_timeout);
 556 int perf_event__synthesize_kernel_mmap(struct perf_tool *tool,
 557                                        perf_event__handler_t process,
 558                                        struct machine *machine);
 559 int perf_event__synthesize_stat_config(struct perf_tool *tool,
 560                                        struct perf_stat_config *config,
 561                                        perf_event__handler_t process,
 562                                        struct machine *machine);
 563 void perf_event__read_stat_config(struct perf_stat_config *config,
 564                                   struct stat_config_event *event);
 565 int perf_event__synthesize_stat(struct perf_tool *tool,
 566                                 u32 cpu, u32 thread, u64 id,
 567                                 struct perf_counts_values *count,
 568                                 perf_event__handler_t process,
 569                                 struct machine *machine);
 570 int perf_event__synthesize_stat_round(struct perf_tool *tool,
 571                                       u64 time, u64 type,
 572                                       perf_event__handler_t process,
 573                                       struct machine *machine);
 574 int perf_event__synthesize_modules(struct perf_tool *tool,
 575                                    perf_event__handler_t process,
 576                                    struct machine *machine);
 577
 578 int perf_event__process_comm(struct perf_tool *tool,
 579                              union perf_event *event,
 580                              struct perf_sample *sample,
 581                              struct machine *machine);
 582 int perf_event__process_lost(struct perf_tool *tool,
 583                              union perf_event *event,
 584                              struct perf_sample *sample,
 585                              struct machine *machine);
 586 int perf_event__process_lost_samples(struct perf_tool *tool,
 587                                      union perf_event *event,
 588                                      struct perf_sample *sample,
 589                                      struct machine *machine);
 590 int perf_event__process_aux(struct perf_tool *tool,
 591                             union perf_event *event,
 592                             struct perf_sample *sample,
 593                             struct machine *machine);
 594 int perf_event__process_itrace_start(struct perf_tool *tool,
 595                                      union perf_event *event,
 596                                      struct perf_sample *sample,
 597                                      struct machine *machine);
 598 int perf_event__process_switch(struct perf_tool *tool,
 599                                union perf_event *event,
 600                                struct perf_sample *sample,
 601                                struct machine *machine);
 602 int perf_event__process_namespaces(struct perf_tool *tool,
 603                                    union perf_event *event,
 604                                    struct perf_sample *sample,
 605                                    struct machine *machine);
 606 int perf_event__process_mmap(struct perf_tool *tool,
 607                              union perf_event *event,
 608                              struct perf_sample *sample,
 609                              struct machine *machine);
 610 int perf_event__process_mmap2(struct perf_tool *tool,
 611                              union perf_event *event,
 612                              struct perf_sample *sample,
 613                              struct machine *machine);
 614 int perf_event__process_fork(struct perf_tool *tool,
 615                              union perf_event *event,
 616                              struct perf_sample *sample,
 617                              struct machine *machine);
 618 int perf_event__process_exit(struct perf_tool *tool,
 619                              union perf_event *event,
 620                              struct perf_sample *sample,
 621                              struct machine *machine);
 622 int perf_event__process(struct perf_tool *tool,
 623                         union perf_event *event,
 624                         struct perf_sample *sample,
 625                         struct machine *machine);
 626
 627 struct addr_location;
 628
 629 int machine__resolve(struct machine *machine, struct addr_location *al,
 630                      struct perf_sample *sample);
 631
 632 void addr_location__put(struct addr_location *al);
 633
 634 struct thread;
 635
 636 bool is_bts_event(struct perf_event_attr *attr);
 637 bool sample_addr_correlates_sym(struct perf_event_attr *attr);
 638 void thread__resolve(struct thread *thread, struct addr_location *al,
 639                      struct perf_sample *sample);
 640
 641 const char *perf_event__name(unsigned int id);
 642
 643 size_t perf_event__sample_event_size(const struct perf_sample *sample, u64 type,
 644                                      u64 read_format);
 645 int perf_event__synthesize_sample(union perf_event *event, u64 type,
 646                                   u64 read_format,
 647                                   const struct perf_sample *sample,
 648                                   bool swapped);
 649
 650 pid_t perf_event__synthesize_comm(struct perf_tool *tool,
 651                                   union perf_event *event, pid_t pid,
 652                                   perf_event__handler_t process,
 653                                   struct machine *machine);
 654
 655 int perf_event__synthesize_namespaces(struct perf_tool *tool,
 656                                       union perf_event *event,
 657                                       pid_t pid, pid_t tgid,
 658                                       perf_event__handler_t process,
 659                                       struct machine *machine);
 660
 661 int perf_event__synthesize_mmap_events(struct perf_tool *tool,
 662                                        union perf_event *event,
 663                                        pid_t pid, pid_t tgid,
 664                                        perf_event__handler_t process,
 665                                        struct machine *machine,
 666                                        bool mmap_data,
 667                                        unsigned int proc_map_timeout);
 668
 669 size_t perf_event__fprintf_comm(union perf_event *event, FILE *fp);
 670 size_t perf_event__fprintf_mmap(union perf_event *event, FILE *fp);
 671 size_t perf_event__fprintf_mmap2(union perf_event *event, FILE *fp);
 672 size_t perf_event__fprintf_task(union perf_event *event, FILE *fp);
 673 size_t perf_event__fprintf_aux(union perf_event *event, FILE *fp);
 674 size_t perf_event__fprintf_itrace_start(union perf_event *event, FILE *fp);
 675 size_t perf_event__fprintf_switch(union perf_event *event, FILE *fp);
 676 size_t perf_event__fprintf_thread_map(union perf_event *event, FILE *fp);
 677 size_t perf_event__fprintf_cpu_map(union perf_event *event, FILE *fp);
 678 size_t perf_event__fprintf_namespaces(union perf_event *event, FILE *fp);
 679 size_t perf_event__fprintf(union perf_event *event, FILE *fp);
 680
 681 int kallsyms__get_function_start(const char *kallsyms_filename,
 682                                  const char *symbol_name, u64 *addr);
 683
 684 void *cpu_map_data__alloc(struct cpu_map *map, size_t *size, u16 *type, int *max);
 685 void  cpu_map_data__synthesize(struct cpu_map_data *data, struct cpu_map *map,
 686                                u16 type, int max);
 687
 688 void event_attr_init(struct perf_event_attr *attr);
 689
 690 int perf_event_paranoid(void);
 691
 692 extern int sysctl_perf_event_max_stack;
 693 extern int sysctl_perf_event_max_contexts_per_stack;
 694
 695 #endif /* __PERF_RECORD_H */