Changes between Initial Version and Version 1 of WARPLab/Benchmarks/WARPLAB_7_6_0


Ignore:
Timestamp:
Sep 11, 2015, 5:58:52 PM (9 years ago)
Author:
welsh
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • WARPLab/Benchmarks/WARPLAB_7_6_0

    v1 v1  
     1[[TracNav(WARPLab/TOC)]]
     2
     3= WARPLab 7.6.0: Benchmarks =
     4
     5''NOTE:  The Ethernet performance benchmarks below were done on a single buffer read_iq:''
     6    * `rx_IQ = wl_basebandCmd(node, [RF_RX], 'read_IQ', 0, rx_length);`
     7
     8== Hardware and Software ==
     9
     10  * Netgear ProSafe 5-port Gigabit Desktop Switch (GS105)
     11  * PC Hardware
     12    * Dell Optiplex 790
     13    * Intel Core i7-2600 3.4 GHz
     14    * 16 GB RAM
     15    * Window 7 Professional SP1 64-bit
     16    * Intel 82579LM Gigabit Network Connection
     17      * Configured to support Jumbo Ethernet Frames of up to 9014 Bytes
     18  * PC Software
     19    * Matlab 7.12.0 (R2011a)
     20    * Microsoft Visual C++ 2010 Express (compiler for MEX)
     21    * Microsoft Windows 7 SDK
     22[[BR]]
     23== Procedure ==
     24
     25  * Download Reference bit stream w/ iMPACT
     26  * Open MATLAB
     27    * Set current folder within MATLAB to the M_Code_Reference folder of the appropriate WARPLab release
     28    * Run the following commands
     29      * wl_setup
     30        * NOTE:  This allows us to configure the Transport type and the Ethernet MTU Size
     31      * `nodes    = wl_initNodes(1);`
     32      * `for i={'read_iq', 'write_iq'}`
     33        * `results = wl_benchmark(node, i{1}, 1024, 2^15)`
     34        * `results = wl_benchmark(node, i{1}, 1024, 2^16)`
     35        * `results = wl_benchmark(node, i{1}, 1024, 2^17)`
     36        * `results = wl_benchmark(node, i{1}, 512, 2^18)`
     37        * `results = wl_benchmark(node, i{1}, 256, 2^19)`
     38        * `results = wl_benchmark(node, i{1}, 128, 2^20)`
     39        * `results = wl_benchmark(node, i{1}, 64, 2^21)`
     40        * `results = wl_benchmark(node, i{1}, 32, 2^22)`
     41        * `results = wl_benchmark(node, i{1}, 16, 2^23)`
     42        * `results = wl_benchmark(node, i{1}, 10, 2^24)`
     43        * `results = wl_benchmark(node, i{1}, 10, 2^25)`
     44
     45NOTE:  The reduction in the number of trials was to keep the total wall time of the experiment reasonable.  There is no reason that each benchmark cannot be run more times for a better average.
     46
     47[[BR]]
     48== Results ==
     49
     50''' WARP v3 Hardware '''
     51
     52[[Image(WARP_v3_WARPLab_760_Ethernet_Performance.png,width=600)]]
     53
     54
     55
     56=== MEX Transport ===
     57
     58  * ''NOTE:  All times are in milliseconds''
     59
     60{{{
     61------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     62|  ID |  WLVER |    Serial # |   Transport | MTU Size (B) | Num Samples | TX/RX Time (ms) | Num Trials | Avg Write IQ Time (ms) | Avg Transfer Speed (Mbps) | Avg Read  IQ Time (ms) | Avg Transfer Speed (Mbps) |
     63------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     64|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |        1024 |            0.03 |      10000 |                   0.78 |                     41.84 |                   0.73 |                     44.88 |
     65------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     66|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |        2048 |            0.05 |      10000 |                   0.86 |                     76.45 |                   0.85 |                     76.95 |
     67------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     68|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |        4096 |            0.10 |      10000 |                   0.93 |                    140.50 |                   0.94 |                    139.25 |
     69------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     70|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |        8192 |            0.20 |      10000 |                   1.11 |                    235.27 |                   1.02 |                    257.03 |
     71------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     72|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |       16384 |            0.41 |      10000 |                   1.41 |                    372.37 |                   1.35 |                    387.34 |
     73------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     74|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |       32768 |            0.82 |       1024 |                   2.01 |                    522.96 |                   1.90 |                    552.16 |
     75------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     76|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |       65536 |            1.64 |       1024 |                   3.25 |                    645.73 |                   2.98 |                    704.28 |
     77------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     78|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |      131072 |            3.28 |       1024 |                   5.71 |                    735.02 |                   5.09 |                    824.30 |
     79------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     80|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |      262144 |            6.55 |       1024 |                  10.60 |                    791.57 |                   9.44 |                    888.29 |
     81------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     82|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |      524288 |           13.11 |       1024 |                  20.54 |                    816.81 |                  18.21 |                    921.41 |
     83------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     84|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |     1048576 |           26.21 |       1024 |                  40.22 |                    834.24 |                  35.51 |                    944.85 |
     85------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     86|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |     2097152 |           52.43 |        512 |                  79.35 |                    845.73 |                  69.76 |                    962.04 |
     87------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     88|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |     4194304 |          104.86 |        256 |                 157.61 |                    851.59 |                 138.58 |                    968.55 |
     89------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     90|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |     8388608 |          209.72 |        128 |                 314.13 |                    854.54 |                 275.96 |                    972.74 |
     91------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     92|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |    16777216 |          419.43 |         64 |                 627.15 |                    856.06 |                 550.75 |                    974.80 |
     93------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     94|   0 |  7.6.0 |  W3-a-00006 |  WL Mex UDP |         8964 |    33554432 |          838.86 |         32 |                1253.39 |                    856.67 |                1100.16 |                    975.98 |
     95------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     96}}}
     97
     98
     99
     100=== Java Transport ===
     101
     102  * ''NOTE:  All times are in milliseconds''
     103
     104{{{
     105------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     106|  ID |  WLVER |    Serial # |   Transport | MTU Size (B) | Num Samples | TX/RX Time (ms) | Num Trials | Avg Write IQ Time (ms) | Avg Transfer Speed (Mbps) | Avg Read  IQ Time (ms) | Avg Transfer Speed (Mbps) |
     107------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     108|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |        1024 |            0.03 |       2048 |                   2.70 |                     12.16 |                   2.12 |                     15.43 |
     109------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     110|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |        2048 |            0.05 |       2048 |                   2.82 |                     23.25 |                   2.31 |                     28.36 |
     111------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     112|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |        4096 |            0.10 |       2048 |                   2.56 |                     51.29 |                   3.00 |                     43.64 |
     113------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     114|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |        8192 |            0.20 |       2048 |                   3.81 |                     68.89 |                   4.25 |                     61.73 |
     115------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     116|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |       16384 |            0.41 |       2048 |                   6.27 |                     83.60 |                   6.85 |                     76.57 |
     117------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     118|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |       32768 |            0.82 |       1024 |                  10.72 |                     97.81 |                  11.15 |                     94.05 |
     119------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     120|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |       65536 |            1.64 |       1024 |                  19.87 |                    105.55 |                  21.09 |                     99.46 |
     121------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     122|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |      131072 |            3.28 |       1024 |                  38.92 |                    107.76 |                  40.22 |                    104.28 |
     123------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     124|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |      262144 |            6.55 |        512 |                  80.68 |                    103.97 |                  78.62 |                    106.70 |
     125------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     126|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |      524288 |           13.11 |        256 |                 156.87 |                    106.95 |                 155.21 |                    108.09 |
     127------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     128|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |     1048576 |           26.21 |        128 |                 320.70 |                    104.63 |                 307.66 |                    109.06 |
     129------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     130|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |     2097152 |           52.43 |         64 |                 648.39 |                    103.50 |                 613.92 |                    109.31 |
     131------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     132|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |     4194304 |          104.86 |         32 |                1271.12 |                    105.59 |                1225.83 |                    109.49 |
     133------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     134|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |     8388608 |          209.72 |         16 |                2577.85 |                    104.13 |                2445.02 |                    109.79 |
     135------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     136|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |    16777216 |          419.43 |         10 |                5131.71 |                    104.62 |                4891.51 |                    109.76 |
     137------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     138|   0 |  7.6.0 |  W3-a-00006 |    Java UDP |         8964 |    33554432 |          838.86 |         10 |               10131.97 |                    105.98 |                9781.55 |                    109.77 |
     139------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     140}}}