Changes between Initial Version and Version 1 of WARPLab/Benchmarks/WARPLAB_7_5_1


Ignore:
Timestamp:
Mar 12, 2015, 2:32:11 PM (9 years ago)
Author:
welsh
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • WARPLab/Benchmarks/WARPLAB_7_5_1

    v1 v1  
     1[[TracNav(WARPLab/TOC)]]
     2
     3= WARPLab 7.5.1: Benchmarks =
     4
     5''NOTE:  The Ethernet performance benchmarks below were done on a single buffer read_iq:''
     6    * `rx_IQ = wl_basebandCmd(node, [RF_RX], 'read_IQ', 0, rx_length);`
     7
     8== Hardware and Software ==
     9
     10  * Netgear ProSafe 5-port Gigabit Desktop Switch (GS105)
     11  * PC Hardware
     12    * Dell Optiplex 790
     13    * Intel Core i7-2600 3.4 GHz
     14    * 16 GB RAM
     15    * Window 7 Professional SP1 64-bit
     16    * Intel 82579LM Gigabit Network Connection
     17      * Configured to support Jumbo Packets of up to 9014 Bytes
     18  * PC Software
     19    * Matlab 7.12.0 (R2011a)
     20    * Microsoft Visual C++ 2010 Express (compiler for MEX)
     21    * Microsoft Windows 7 SDK
     22[[BR]]
     23== Procedure ==
     24
     25  * Download Reference bit stream w/ iMPACT
     26  * Open MATLAB
     27    * Set current folder within MATLAB to the M_Code_Reference folder of the appropriate WARPLab release
     28    * Run the following commands
     29      * wl_setup
     30        * NOTE:  This allows us to configure the Transport type and the Ethernet Packet Size
     31      * `nodes    = wl_initNodes(1);`
     32      * `for i={'read_iq', 'write_iq'}`
     33        * `results = wl_benchmark(node, i{1}, 1024, 2^15)`
     34        * `results = wl_benchmark(node, i{1}, 1024, 2^16)`
     35        * `results = wl_benchmark(node, i{1}, 1024, 2^17)`
     36        * `results = wl_benchmark(node, i{1}, 512, 2^18)`
     37        * `results = wl_benchmark(node, i{1}, 256, 2^19)`
     38        * `results = wl_benchmark(node, i{1}, 128, 2^20)`
     39        * `results = wl_benchmark(node, i{1}, 64, 2^21)`
     40        * `results = wl_benchmark(node, i{1}, 32, 2^22)`
     41        * `results = wl_benchmark(node, i{1}, 16, 2^23)`
     42        * `results = wl_benchmark(node, i{1}, 10, 2^24)`
     43        * `results = wl_benchmark(node, i{1}, 10, 2^25)`
     44
     45NOTE:  The reduction in the number of trials was to keep the total wall time of the experiment reasonable.  There is no reason that each benchmark cannot be run more times for a better average.
     46
     47[[BR]]
     48== Results ==
     49
     50''' WARP v3 Hardware '''
     51
     52[[Image(WARP_v3_WARPLab_751_Ethernet_Performance.png)]]
     53
     54
     55
     56=== MEX Transport ===
     57
     58  * ''NOTE:  All times are in milliseconds''
     59
     60{{{
     61------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     62|  ID |  WLVER |    Serial # |   Transport | Pkt Size (B) | Num Samples | TX/RX Time (ms) | Num Trials | Avg Write IQ Time (ms) | Avg Transfer Speed (Mbps) | Avg Read  IQ Time (ms) | Avg Transfer Speed (Mbps) |
     63------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     64|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |        1024 |            0.03 |      10000 |                   0.78 |                     41.93 |                   0.72 |                     45.51 |
     65------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     66|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |        2048 |            0.05 |      10000 |                   0.86 |                     75.97 |                   0.85 |                     77.47 |
     67------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     68|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |        4096 |            0.10 |      10000 |                   0.95 |                    138.43 |                   0.93 |                    141.13 |
     69------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     70|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |        8192 |            0.20 |      10000 |                   1.15 |                    228.08 |                   1.02 |                    257.77 |
     71------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     72|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |       16384 |            0.41 |      10000 |                   1.42 |                    370.40 |                   1.34 |                    391.83 |
     73------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     74|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |       32768 |            0.82 |       1024 |                   2.05 |                    510.39 |                   1.89 |                    555.97 |
     75------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     76|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |       65536 |            1.64 |       1024 |                   3.30 |                    634.87 |                   2.95 |                    711.11 |
     77------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     78|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |      131072 |            3.28 |       1024 |                   5.79 |                    724.56 |                   5.07 |                    827.02 |
     79------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     80|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |      262144 |            6.55 |       1024 |                  10.76 |                    779.76 |                   9.39 |                    893.65 |
     81------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     82|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |      524288 |           13.11 |       1024 |                  20.85 |                    804.55 |                  18.19 |                    922.45 |
     83------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     84|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |     1048576 |           26.21 |       1024 |                  40.83 |                    821.81 |                  35.47 |                    946.03 |
     85------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     86|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |     2097152 |           52.43 |        512 |                  80.67 |                    831.92 |                  69.72 |                    962.58 |
     87------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     88|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |     4194304 |          104.86 |        256 |                 160.29 |                    837.35 |                 138.51 |                    969.01 |
     89------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     90|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |     8388608 |          209.72 |        128 |                 319.43 |                    840.35 |                 275.87 |                    973.04 |
     91------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     92|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |    16777216 |          419.43 |         64 |                 637.86 |                    841.67 |                 550.62 |                    975.03 |
     93------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     94|   0 |  7.5.1 |  W3-a-00006 |  WL Mex UDP |         8966 |    33554432 |          838.86 |         32 |                1274.90 |                    842.22 |                1100.12 |                    976.02 |
     95------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     96}}}
     97
     98
     99
     100=== Java Transport ===
     101
     102  * ''NOTE:  All times are in milliseconds''
     103
     104{{{
     105------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     106|  ID |  WLVER |    Serial # |   Transport | Pkt Size (B) | Num Samples | TX/RX Time (ms) | Num Trials | Avg Write IQ Time (ms) | Avg Transfer Speed (Mbps) | Avg Read  IQ Time (ms) | Avg Transfer Speed (Mbps) |
     107------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     108|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |        1024 |            0.03 |       2048 |                   2.74 |                     11.97 |                   2.14 |                     15.30 |
     109------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     110|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |        2048 |            0.05 |       2048 |                   2.88 |                     22.78 |                   2.35 |                     27.92 |
     111------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     112|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |        4096 |            0.10 |       2048 |                   2.57 |                     50.91 |                   3.01 |                     43.57 |
     113------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     114|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |        8192 |            0.20 |       2048 |                   3.87 |                     67.73 |                   4.35 |                     60.33 |
     115------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     116|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |       16384 |            0.41 |       2048 |                   6.20 |                     84.51 |                   6.97 |                     75.22 |
     117------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     118|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |       32768 |            0.82 |       1024 |                  10.79 |                     97.15 |                  11.46 |                     91.53 |
     119------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     120|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |       65536 |            1.64 |       1024 |                  20.36 |                    103.00 |                  21.45 |                     97.78 |
     121------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     122|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |      131072 |            3.28 |       1024 |                  39.78 |                    105.44 |                  40.69 |                    103.07 |
     123------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     124|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |      262144 |            6.55 |        512 |                  79.21 |                    105.90 |                  79.93 |                    104.94 |
     125------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     126|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |      524288 |           13.11 |        256 |                 158.14 |                    106.09 |                 156.92 |                    106.92 |
     127------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     128|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |     1048576 |           26.21 |        128 |                 316.28 |                    106.09 |                 310.26 |                    108.15 |
     129------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     130|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |     2097152 |           52.43 |         64 |                 640.87 |                    104.71 |                 616.44 |                    108.87 |
     131------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     132|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |     4194304 |          104.86 |         32 |                1259.75 |                    106.54 |                1230.24 |                    109.10 |
     133------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     134|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |     8388608 |          209.72 |         16 |                2570.09 |                    104.45 |                2463.64 |                    108.96 |
     135------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     136|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |    16777216 |          419.43 |         10 |                5173.49 |                    103.77 |                4914.04 |                    109.25 |
     137------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     138|   0 |  7.5.1 |  W3-a-00006 |    Java UDP |         8966 |    33554432 |          838.86 |         10 |               10166.95 |                    105.61 |                9851.27 |                    109.00 |
     139------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
     140}}}