doc/html/user-guide/config-tool-test-execution.html

   1 <!-- Copyright (C) 2003 Red Hat, Inc.                                -->
   2 <!-- This material may be distributed only subject to the terms      -->
   3 <!-- and conditions set forth in the Open Publication License, v1.0  -->
   4 <!-- or later (the latest version is presently available at          -->
   5 <!-- http://www.opencontent.org/openpub/).                           -->
   6 <!-- Distribution of the work or derivative of the work in any       -->
   7 <!-- standard (paper) book form is prohibited unless prior           -->
   8 <!-- permission is obtained from the copyright holder.               -->
   9 <HTML
  10 ><HEAD
  11 ><TITLE
  12 >Execution</TITLE
  13 ><meta name="MSSmartTagsPreventParsing" content="TRUE">
  14 <META
  15 NAME="GENERATOR"
  16 CONTENT="Modular DocBook HTML Stylesheet Version 1.76b+
  17 "><LINK
  18 REL="HOME"
  19 TITLE="eCos User Guide"
  20 HREF="ecos-user-guide.html"><LINK
  21 REL="UP"
  22 TITLE="The eCos Configuration Tool"
  23 HREF="the-ecos-configuration-tool.html"><LINK
  24 REL="PREVIOUS"
  25 TITLE="Selecting User Tools"
  26 HREF="config-tool-selecting-user-tools.html"><LINK
  27 REL="NEXT"
  28 TITLE="Creating a Shell"
  29 HREF="config-tool-creating-a-shell.html"></HEAD
  30 ><BODY
  31 CLASS="CHAPTER"
  32 BGCOLOR="#FFFFFF"
  33 TEXT="#000000"
  34 LINK="#0000FF"
  35 VLINK="#840084"
  36 ALINK="#0000FF"
  37 ><DIV
  38 CLASS="NAVHEADER"
  39 ><TABLE
  40 SUMMARY="Header navigation table"
  41 WIDTH="100%"
  42 BORDER="0"
  43 CELLPADDING="0"
  44 CELLSPACING="0"
  45 ><TR
  46 ><TH
  47 COLSPAN="3"
  48 ALIGN="center"
  49 >eCos User Guide</TH
  50 ></TR
  51 ><TR
  52 ><TD
  53 WIDTH="10%"
  54 ALIGN="left"
  55 VALIGN="bottom"
  56 ><A
  57 HREF="config-tool-selecting-user-tools.html"
  58 ACCESSKEY="P"
  59 >Prev</A
  60 ></TD
  61 ><TD
  62 WIDTH="80%"
  63 ALIGN="center"
  64 VALIGN="bottom"
  65 ></TD
  66 ><TD
  67 WIDTH="10%"
  68 ALIGN="right"
  69 VALIGN="bottom"
  70 ><A
  71 HREF="config-tool-creating-a-shell.html"
  72 ACCESSKEY="N"
  73 >Next</A
  74 ></TD
  75 ></TR
  76 ></TABLE
  77 ><HR
  78 ALIGN="LEFT"
  79 WIDTH="100%"></DIV
  80 ><DIV
  81 CLASS="CHAPTER"
  82 ><H1
  83 ><A
  84 NAME="CONFIG-TOOL-TEST-EXECUTION">Chapter 22. Execution</H1
  85 ><P
  86 >Test executables that have been linked using the Build/Tests
  87 operation against the current configuration can be executed by selecting <SPAN
  88 CLASS="emphasis"
  89 ><I
  90 CLASS="EMPHASIS"
  91 >Tools</I
  92 ></SPAN
  93 >-&gt;<SPAN
  94 CLASS="emphasis"
  95 ><I
  96 CLASS="EMPHASIS"
  97 >Run
  98 Tests</I
  99 ></SPAN
 100 >.</P
 101 ><P
 102 >When tests are run, the <SPAN
 103 CLASS="APPLICATION"
 104 >Configuration Tool</SPAN
 105 > looks
 106 for a platform name corresponding to the currently loaded hardware template.
 107 If no such platform is found, a dialog will be displayed for you
 108 to define one; this dialog is similar to that displayed by the <SPAN
 109 CLASS="emphasis"
 110 ><I
 111 CLASS="EMPHASIS"
 112 >Add</I
 113 ></SPAN
 114 > function
 115 in the <SPAN
 116 CLASS="emphasis"
 117 ><I
 118 CLASS="EMPHASIS"
 119 >Tools-&gt;Platforms</I
 120 ></SPAN
 121 > dialog, but
 122 in this case the platform name cannot be changed.</P
 123 ><P
 124 >When a test run is invoked, a property sheet is displayed,
 125 comprising three tabs: <SPAN
 126 CLASS="emphasis"
 127 ><I
 128 CLASS="EMPHASIS"
 129 >Executables</I
 130 ></SPAN
 131 >, <SPAN
 132 CLASS="emphasis"
 133 ><I
 134 CLASS="EMPHASIS"
 135 >Output</I
 136 ></SPAN
 137 > and <SPAN
 138 CLASS="emphasis"
 139 ><I
 140 CLASS="EMPHASIS"
 141 >Summary</I
 142 ></SPAN
 143 >.</P
 144 ><P
 145 >Note that the property sheet is resizable.</P
 146 ><P
 147 >Three buttons appear on the property sheet itself: <SPAN
 148 CLASS="emphasis"
 149 ><I
 150 CLASS="EMPHASIS"
 151 >Run/Stop</I
 152 ></SPAN
 153 >, <SPAN
 154 CLASS="emphasis"
 155 ><I
 156 CLASS="EMPHASIS"
 157 >Close</I
 158 ></SPAN
 159 > and <SPAN
 160 CLASS="emphasis"
 161 ><I
 162 CLASS="EMPHASIS"
 163 >Properties</I
 164 ></SPAN
 165 >.</P
 166 ><P
 167 >The <SPAN
 168 CLASS="emphasis"
 169 ><I
 170 CLASS="EMPHASIS"
 171 >Run</I
 172 ></SPAN
 173 > button is used to initiate a
 174 test run. Those tests selected on the <SPAN
 175 CLASS="emphasis"
 176 ><I
 177 CLASS="EMPHASIS"
 178 >Executables</I
 179 ></SPAN
 180 > tab
 181 are run, and the output recorded on the <SPAN
 182 CLASS="emphasis"
 183 ><I
 184 CLASS="EMPHASIS"
 185 >Output</I
 186 ></SPAN
 187 > and <SPAN
 188 CLASS="emphasis"
 189 ><I
 190 CLASS="EMPHASIS"
 191 >Summary</I
 192 ></SPAN
 193 > tabs.
 194 During the course of a run, the <SPAN
 195 CLASS="emphasis"
 196 ><I
 197 CLASS="EMPHASIS"
 198 >Run</I
 199 ></SPAN
 200 > button
 201 changes to &#8220;Stop&#8221;. The button may be used to interrupt
 202 a test run at any point.</P
 203 ><DIV
 204 CLASS="SECT1"
 205 ><H1
 206 CLASS="SECT1"
 207 ><A
 208 NAME="CONFIG-TOOL-TEST-PROPERTIES">Properties</H1
 209 ><P
 210 >The <SPAN
 211 CLASS="emphasis"
 212 ><I
 213 CLASS="EMPHASIS"
 214 >Properties</I
 215 ></SPAN
 216 > button is used to change
 217 the connectivity properties for the test run.</P
 218 ><DIV
 219 CLASS="FIGURE"
 220 ><A
 221 NAME="AEN1564"><P
 222 ><B
 223 >Figure 22-1. Properties dialog box</B
 224 ></P
 225 ><P
 226 ><IMG
 227 SRC="pix/ch-properties-dialog.png"></P
 228 ></DIV
 229 ><DIV
 230 CLASS="SECT2"
 231 ><H2
 232 CLASS="SECT2"
 233 ><A
 234 NAME="AEN1567">Download Timeout</H2
 235 ><P
 236 >           This group of controls serves to set the maximum time that
 237             is allowed for downloading a test to the target board. If
 238             the time is exceeded, the test will be deemed to have
 239             failed for reason of &#8220;Download Timeout&#8221; and
 240             the execution of that particular test will be abandoned.
 241             This option only applies to tests run on hardware, not to
 242             those executed in a simulator. Times are in units of
 243             elapsed seconds.</P
 244 ><P
 245 >Three options are available using the drop-down
 246             list:</P
 247 ><P
 248 ></P
 249 ><UL
 250 ><LI
 251 ><P
 252 >Calculated from file size - an estimate of the maximum
 253 time required for download is made using the (stripped) executable
 254 size and the currently used baud rate</P
 255 ></LI
 256 ><LI
 257 ><P
 258 >                       Specified - a user-specified value may be entered in
 259 the adjacent edit box</P
 260 ></LI
 261 ><LI
 262 ><P
 263 >                       None - no maximum download time is to be applied.</P
 264 ></LI
 265 ></UL
 266 ></DIV
 267 ><DIV
 268 CLASS="SECT2"
 269 ><H2
 270 CLASS="SECT2"
 271 ><A
 272 NAME="AEN1578">Run time Timeout</H2
 273 ><P
 274 >This group of controls serves to set the maximum time
 275             that is allowed for executing a test on the target board
 276             or in a simulator. If the time is exceeded, the test will
 277             be deemed to have failed for reason of
 278             &#8220;Timeout&#8221; and the execution of that particular
 279             test will be abandoned. In the case of hardware, the time
 280             is measured in elapsed seconds: in the case of a simulator
 281             it is in CPU seconds.</P
 282 ><P
 283 >Three options are available using the drop-down
 284           list:</P
 285 ><P
 286 ></P
 287 ><UL
 288 ><LI
 289 ><P
 290 >None - no maximum download time is to be
 291                 applied.</P
 292 ></LI
 293 ><LI
 294 ><P
 295 >Specified - a user-specified value may be
 296                 entered in the adjacent edit box</P
 297 ></LI
 298 ><LI
 299 ><P
 300 >Default - a default value of 30 seconds is
 301                 used</P
 302 ></LI
 303 ></UL
 304 ></DIV
 305 ><DIV
 306 CLASS="SECT2"
 307 ><H2
 308 CLASS="SECT2"
 309 ><A
 310 NAME="AEN1589">Connection</H2
 311 ><P
 312 >The <SPAN
 313 CLASS="emphasis"
 314 ><I
 315 CLASS="EMPHASIS"
 316 >Connection</I
 317 ></SPAN
 318 > controls may be used
 319             to specify how the target board is to be accessed.</P
 320 ><P
 321 >If the target board is connected using a serial cable, the <SPAN
 322 CLASS="emphasis"
 323 ><I
 324 CLASS="EMPHASIS"
 325 >Serial</I
 326 ></SPAN
 327 > radio
 328 button should be checked. In this case you can select a port (COM1,
 329 COM2, &#8230;) and an appropriate baud rate using drop-list boxes.</P
 330 ><P
 331 >If the target board is accessed remotely using GDB remote
 332 protocol, the &#8220;TCP/IP&#8221; radio button should
 333 be checked. In this case you can select a host name and TCP/IP port
 334 number using edit boxes.</P
 335 ></DIV
 336 ><DIV
 337 CLASS="SECT2"
 338 ><H2
 339 CLASS="SECT2"
 340 ><A
 341 NAME="AEN1596">Executables Tab</H2
 342 ><P
 343 >This is used to adjust the set of tests available for execution.
 344 A check box against each executable name indicates whether that
 345 executable will be included when the <SPAN
 346 CLASS="emphasis"
 347 ><I
 348 CLASS="EMPHASIS"
 349 >Run</I
 350 ></SPAN
 351 > button
 352 is pressed. The <SPAN
 353 CLASS="emphasis"
 354 ><I
 355 CLASS="EMPHASIS"
 356 >Check All</I
 357 ></SPAN
 358 > and <SPAN
 359 CLASS="emphasis"
 360 ><I
 361 CLASS="EMPHASIS"
 362 >Uncheck
 363 All</I
 364 ></SPAN
 365 > buttons may be used to check or uncheck all items.</P
 366 ><P
 367 >When the property sheet is first displayed, it will be pre-populated
 368 with those test executables that have been linked using the Build/Tests
 369 operation against the current configuration. </P
 370 ><DIV
 371 CLASS="FIGURE"
 372 ><A
 373 NAME="AEN1603"><P
 374 ><B
 375 >Figure 22-2. Run tests </B
 376 ></P
 377 ><P
 378 ><IMG
 379 SRC="pix/run-tests.png"></P
 380 ></DIV
 381 ><P
 382 >You can right-click in the window to display a context menu
 383 containing <SPAN
 384 CLASS="emphasis"
 385 ><I
 386 CLASS="EMPHASIS"
 387 >Add</I
 388 ></SPAN
 389 > and <SPAN
 390 CLASS="emphasis"
 391 ><I
 392 CLASS="EMPHASIS"
 393 >Remove</I
 394 ></SPAN
 395 > items.
 396 Clicking <SPAN
 397 CLASS="emphasis"
 398 ><I
 399 CLASS="EMPHASIS"
 400 >Remove</I
 401 ></SPAN
 402 >  will remove those executables
 403 selected. Clicking <SPAN
 404 CLASS="emphasis"
 405 ><I
 406 CLASS="EMPHASIS"
 407 >Add</I
 408 ></SPAN
 409 > will display a dialog
 410 box that allows you to add to the set of items. Equivalently the <SPAN
 411 CLASS="emphasis"
 412 ><I
 413 CLASS="EMPHASIS"
 414 >Add</I
 415 ></SPAN
 416 > button
 417 may be used to add executables, and the <SPAN
 418 CLASS="emphasis"
 419 ><I
 420 CLASS="EMPHASIS"
 421 >DEL</I
 422 ></SPAN
 423 > key
 424 may be used to remove them.</P
 425 ><P
 426 >You can use the <SPAN
 427 CLASS="emphasis"
 428 ><I
 429 CLASS="EMPHASIS"
 430 >Add from Folder</I
 431 ></SPAN
 432 > button
 433 to add a number of executables in a specified folder (optionally
 434 including subfolders, if you click on <SPAN
 435 CLASS="emphasis"
 436 ><I
 437 CLASS="EMPHASIS"
 438 >Yes</I
 439 ></SPAN
 440 > when
 441 asked).</P
 442 ><DIV
 443 CLASS="FIGURE"
 444 ><A
 445 NAME="AEN1616"><P
 446 ><B
 447 >Figure 22-3. Add files from folder </B
 448 ></P
 449 ><P
 450 ><IMG
 451 SRC="pix/addfromfolder.png"></P
 452 ></DIV
 453 ></DIV
 454 ><DIV
 455 CLASS="SECT2"
 456 ><H2
 457 CLASS="SECT2"
 458 ><A
 459 NAME="AEN1619">Output Tab</H2
 460 ><P
 461 >This tab is used to display the output from running tests.
 462 The output can be saved to a file or cleared by means of the popup
 463 menu displayed when you right-click in the window.</P
 464 ></DIV
 465 ><DIV
 466 CLASS="SECT2"
 467 ><H2
 468 CLASS="SECT2"
 469 ><A
 470 NAME="AEN1622">Summary Tab</H2
 471 ><P
 472 >This tab is used to display a record, in summary form, of
 473 those tests executed. For each execution, the following information
 474 is displayed:</P
 475 ><P
 476 ></P
 477 ><UL
 478 ><LI
 479 ><P
 480 >                       <SPAN
 481 CLASS="emphasis"
 482 ><I
 483 CLASS="EMPHASIS"
 484 >Time</I
 485 ></SPAN
 486 > - the date and time of execution</P
 487 ></LI
 488 ><LI
 489 ><P
 490 >                       <SPAN
 491 CLASS="emphasis"
 492 ><I
 493 CLASS="EMPHASIS"
 494 >Host</I
 495 ></SPAN
 496 > - the host name of the machine
 497 from which the test was downloaded</P
 498 ></LI
 499 ><LI
 500 ><P
 501 >                       <SPAN
 502 CLASS="emphasis"
 503 ><I
 504 CLASS="EMPHASIS"
 505 >Platform</I
 506 ></SPAN
 507 > - the platform on which
 508 the test was executed</P
 509 ></LI
 510 ><LI
 511 ><P
 512 >                       <SPAN
 513 CLASS="emphasis"
 514 ><I
 515 CLASS="EMPHASIS"
 516 >Executable</I
 517 ></SPAN
 518 > - the executable (file
 519 name) of the test executed</P
 520 ></LI
 521 ><LI
 522 ><P
 523 >                       <SPAN
 524 CLASS="emphasis"
 525 ><I
 526 CLASS="EMPHASIS"
 527 >Status</I
 528 ></SPAN
 529 > - the result of executing
 530 the test. This will be one of the following:</P
 531 ></LI
 532 ><LI
 533 ><P
 534 >                               Not started</P
 535 ></LI
 536 ><LI
 537 ><P
 538 >No result</P
 539 ></LI
 540 ><LI
 541 ><P
 542 >Inapplicable</P
 543 ></LI
 544 ><LI
 545 ><P
 546 >                               Pass</P
 547 ></LI
 548 ><LI
 549 ><P
 550 >DTimeout</P
 551 ></LI
 552 ><LI
 553 ><P
 554 >Timeout</P
 555 ></LI
 556 ><LI
 557 ><P
 558 >Cancelled</P
 559 ></LI
 560 ><LI
 561 ><P
 562 >                               Fail</P
 563 ></LI
 564 ><LI
 565 ><P
 566 >Assert fail</P
 567 ></LI
 568 ><LI
 569 ><P
 570 >                       <SPAN
 571 CLASS="emphasis"
 572 ><I
 573 CLASS="EMPHASIS"
 574 >Size</I
 575 ></SPAN
 576 > - the size &#0091;stripped/unstripped&#0093; of
 577 the test executed</P
 578 ></LI
 579 ><LI
 580 ><P
 581 >                       <SPAN
 582 CLASS="emphasis"
 583 ><I
 584 CLASS="EMPHASIS"
 585 >Download</I
 586 ></SPAN
 587 > - the download time &#0091;mm:ss/mm:ss&#0093; used.
 588 The first of the two times displayed represents the actual time
 589 used: the second the limit time.</P
 590 ></LI
 591 ><LI
 592 ><P
 593 >                       <SPAN
 594 CLASS="emphasis"
 595 ><I
 596 CLASS="EMPHASIS"
 597 >Elapsed</I
 598 ></SPAN
 599 > - the elapsed time &#0091;mm:ss&#0093; used.</P
 600 ></LI
 601 ><LI
 602 ><P
 603 >                       <SPAN
 604 CLASS="emphasis"
 605 ><I
 606 CLASS="EMPHASIS"
 607 >Execution</I
 608 ></SPAN
 609 > - the execution time
 610  &#0091;mm:ss/mm:ss&#0093; used. The first of the
 611 two times displayed represents the actual time used: the second
 612 the limit time.</P
 613 ></LI
 614 ></UL
 615 ><P
 616 >The output can be saved to a file or cleared by means of the
 617 popup menu displayed when you right-click in the window.</P
 618 ></DIV
 619 ></DIV
 620 ></DIV
 621 ><DIV
 622 CLASS="NAVFOOTER"
 623 ><HR
 624 ALIGN="LEFT"
 625 WIDTH="100%"><TABLE
 626 SUMMARY="Footer navigation table"
 627 WIDTH="100%"
 628 BORDER="0"
 629 CELLPADDING="0"
 630 CELLSPACING="0"
 631 ><TR
 632 ><TD
 633 WIDTH="33%"
 634 ALIGN="left"
 635 VALIGN="top"
 636 ><A
 637 HREF="config-tool-selecting-user-tools.html"
 638 ACCESSKEY="P"
 639 >Prev</A
 640 ></TD
 641 ><TD
 642 WIDTH="34%"
 643 ALIGN="center"
 644 VALIGN="top"
 645 ><A
 646 HREF="ecos-user-guide.html"
 647 ACCESSKEY="H"
 648 >Home</A
 649 ></TD
 650 ><TD
 651 WIDTH="33%"
 652 ALIGN="right"
 653 VALIGN="top"
 654 ><A
 655 HREF="config-tool-creating-a-shell.html"
 656 ACCESSKEY="N"
 657 >Next</A
 658 ></TD
 659 ></TR
 660 ><TR
 661 ><TD
 662 WIDTH="33%"
 663 ALIGN="left"
 664 VALIGN="top"
 665 >Selecting User Tools</TD
 666 ><TD
 667 WIDTH="34%"
 668 ALIGN="center"
 669 VALIGN="top"
 670 ><A
 671 HREF="the-ecos-configuration-tool.html"
 672 ACCESSKEY="U"
 673 >Up</A
 674 ></TD
 675 ><TD
 676 WIDTH="33%"
 677 ALIGN="right"
 678 VALIGN="top"
 679 >Creating a Shell</TD
 680 ></TR
 681 ></TABLE
 682 ></DIV
 683 ></BODY
 684 ></HTML
 685 >