#!/usr/bin/env python
#
# Copyright 2018 Ettus Research, a National Instruments Company
#
# SPDX-License-Identifier: GPL-3.0-or-later
#
"""
Run functional verification tests. Note: Does not actually require GNU Radio.

This is basically a fancy executor for benchmark_rate.
"""

from __future__ import print_function
import os
import copy
import time
import argparse
import subprocess
from itertools import chain
import math
# Python 2/3 compat hack
try:
    from itertools import izip
    zip = izip
except ImportError:
    pass
from six import iteritems

#### Settings dictionary ######################################################
# This stores all the settings for the individual tests. I hope it's obvious
# how to modify/amend/read it. Comments inline:
FUNCVERIF_SETTINGS = {
    # Every key corresponds to one target that can be run. The key is the
    # command line argument.
    'n310_1gige': {
        # These arguments will be passed to every run of benchmark_rate, unless
        # overriden.
        # Strings get expanded, so we can use Python string expansion here.
        # If something does not start with two dashes (--foo), then we keep it
        # as a string expansion argument. For example, the {master_clock_rate}
        # in the following string gets expanded from the master_clock_rate key/
        # value pair further down.
        '--args': "type=n3xx,addr={second_addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 A:1 B:0 B:1',
        '--tx_subdev': 'A:0 A:1 B:0 B:1',
        '--duration': 60,
        # __tests is a special key, it contains a list of dicts, which in turn
        # describe the details of the test. len(__tests) equals the number of
        # tests that get executed.
        '__tests': [
            # Any command line argument (i.e., a key that starts with two
            # dashes) is also appended to the call to benchmark_rate. It will
            # override arguments that were listed above. This lets you, e.g.,
            # override --duration (see further down).
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3',},

            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},

            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3',},

            {'--rx_rate': 1.25e6,   '--tx_rate': 1.25e6, 'master_clock_rate':   '125e6',    '--channels': '0,1,2,3',},
            {'--rx_rate': 1.2288e6, '--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',},
            {'--rx_rate': 1.536e6,  '--tx_rate': 1.536e6, 'master_clock_rate':  '153.6e6',  '--channels': '0,1,2,3',},
        ],
    },
    'n300_1gige': {
        '--args': "type=n3xx,addr={second_addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 B:0',
        '--tx_subdev': 'A:0 B:0',
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 1.25e6,   '--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 1.2288e6, '--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 1.536e6,  '--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},
        ],
    },
    'n310_10gige': {
        '--args': "type=n3xx,addr={addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 A:1 B:0 B:1',
        '--tx_subdev': 'A:0 A:1 B:0 B:1',
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 1,},
            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 2,},
            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 3,},

            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 1,},
            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 2,},
            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 3,},

            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 1,},
            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 2,},
            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 3,},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,2',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,2',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,2',},

            {'--rx_rate': 125e6,    'master_clock_rate': '125e6',    '--channels': '0,2',},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': '0,2',},
            {'--rx_rate': 153.6e6,  'master_clock_rate': '153.6e6',  '--channels': '0,2',},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3',},

            # | 2x TX         | 125e6             | 1.25e6, 12.5e6          | 60
            # | 2x TX         | 122.88e6          | 1.2288e6, 12.288e6      | 60
            # | 2x TX         | 153.6e6           | 1.536e6, 15.36e6        | 60
            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,2',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,2',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,2',},

            {'--tx_rate': 12.5e6,   'master_clock_rate': '125e6',    '--channels': '0,2',},
            {'--tx_rate': 12.288e6, 'master_clock_rate': '122.88e6', '--channels': '0,2',},
            {'--tx_rate': 15.36e6,  'master_clock_rate': '153.6e6',  '--channels': '0,2',},

            # | 3x TX         | 125e6             | 1.25e6                  | 60
            # | 3x TX         | 122.88e6          | 1.2288e6                | 60
            # | 3x TX         | 153.6e6           | 1.536e6                 | 60
            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},

            # | 4x RX         | 125e6             | 1.25e6, 62.5e6          | 60
            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},

            {'--rx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1,2',},
            {'--rx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2',},
            {'--rx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2',},
#
            {'--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},
            {'--tx_rate': 12.5e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},

            # | 4x RX & 4x TX | 125e6             | 1.25e6, 62.5e6          | 60
            # | 4x RX & 4x TX | 122.88e6          | 1.2288e6, 61.44e6       | 60
            # | 4x RX & 4x TX | 153e6             | 1.536e6, 76.8e6         | 60
            {'--rx_rate': 1.25e6,   '--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1,2,3',},
            {'--rx_rate': 1.2288e6, '--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',},
            {'--rx_rate': 1.536e6,  '--tx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3',},

            {'--rx_rate': 62.5e6,  '--tx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1,2,3', '--duration': 3600,},
            {'--rx_rate': 61.44e6, '--tx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3', '--duration': 3600,},
            {'--rx_rate': 76.8e6,  '--tx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3', '--duration': 3600,},
        ],
    },
    'n300_10gige': {
        '--args': "type=n3xx,addr={addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 B:0',
        '--tx_subdev': 'A:0 B:0',
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--rx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--rx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 1.25e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 1.536e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 0,},
            {'--tx_rate': 125e6, 'master_clock_rate': '125e6', '--channels': 1,},

            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 0,},
            {'--tx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': 1,},

            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 0,},
            {'--tx_rate': 153.6e6, 'master_clock_rate': '153.6e6', '--channels': 1,},

            {'--rx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 1.536e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 125e6,    'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 122.88e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 153.6e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 1.25e6,   '--tx_rate': 1.25e6,   'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 1.2288e6, '--tx_rate': 1.2288e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 1.536e6,    '--tx_rate': 1.536,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 62.5e6,  '--tx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1',},
            {'--rx_rate': 61.44e6, '--tx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',},
            {'--rx_rate': 76.8e6,  '--tx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',},

            {'--rx_rate': 62.5e6,  '--tx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1', '--duration': 3600,},
            {'--rx_rate': 61.44e6, '--tx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1', '--duration': 3600,},
            {'--rx_rate': 76.8e6,  '--tx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1', '--duration': 3600,},
        ],
    },
    'n310_2x_10gige': {
        '--args': "type=n3xx,addr={addr},second_addr={second_addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 A:1 B:0 B:1',
        '--tx_subdev': 'A:0 A:1 B:0 B:1',
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 125e6,   '--tx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1,2,3',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
            {'--rx_rate': 122.88e6,'--tx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1,2,3',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
            {'--rx_rate': 153.6e6, '--tx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1,2,3',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
        ],
    },
    'n300_2x_10gige': {
        '--args': "type=n3xx,addr={addr},second_addr={second_addr},master_clock_rate={master_clock_rate},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--rx_subdev': 'A:0 A:1 B:0 B:1',
        '--tx_subdev': 'A:0 A:1 B:0 B:1',
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 125e6,   '--tx_rate': 62.5e6,  'master_clock_rate': '125e6',    '--channels': '0,1',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
            {'--rx_rate': 122.88e6,'--tx_rate': 61.44e6, 'master_clock_rate': '122.88e6', '--channels': '0,1',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
            {'--rx_rate': 153.6e6, '--tx_rate': 76.8e6,  'master_clock_rate': '153.6e6',  '--channels': '0,1',
             '--duration': 3600, '--underrun-threshold': 1000, '--overrun-threshold': 1000,},
        ],
    },
    'x3x0_10gige': {
        '--args': "type=x300,addr={addr},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 10e6,  '--channels': '0'},
            {'--rx_rate': 50e6,  '--channels': '0'},
            {'--rx_rate': 100e6, '--channels': '0'},
            {'--rx_rate': 200e6, '--channels': '0'},
            {'--rx_rate': 10e6,  '--channels': '1'},
            {'--rx_rate': 50e6,  '--channels': '1'},
            {'--rx_rate': 100e6, '--channels': '1'},
            {'--rx_rate': 200e6, '--channels': '1'},

            {'--rx_rate': 10e6,  '--channels': '0,1'},
            {'--rx_rate': 50e6,  '--channels': '0,1'},
            {'--rx_rate': 100e6, '--channels': '0,1'},
            
            {'--tx_rate': 10e6,  '--channels': '0'},
            {'--tx_rate': 50e6,  '--channels': '0'},
            {'--tx_rate': 100e6, '--channels': '0'},
            {'--tx_rate': 200e6, '--channels': '0'},
            {'--tx_rate': 10e6,  '--channels': '1'},
            {'--tx_rate': 50e6,  '--channels': '1'},
            {'--tx_rate': 100e6, '--channels': '1'},
            {'--tx_rate': 200e6, '--channels': '1'},

            {'--tx_rate': 10e6,  '--channels': '0,1'},
            {'--tx_rate': 50e6,  '--channels': '0,1'},
            {'--tx_rate': 100e6, '--channels': '0,1'},

            {'--rx_rate': 10e6,   '--tx_rate': 10e6},
            {'--rx_rate': 50e6,   '--tx_rate': 50e6},
            {'--rx_rate': 100e6,  '--tx_rate': 100e6},

            {'--rx_rate': 200e6,  '--tx_rate': 200e6, '--channels': 0},

            {'--rx_rate': 10e6,   '--tx_rate': 10e6, '--channels': '0,1'},
            {'--rx_rate': 50e6,   '--tx_rate': 50e6, '--channels': '0,1'},

            {'--rx_rate': 200e6, '--tx_rate': 200e6, '--channels': '1',   '--duration': 3600},
            {'--rx_rate': 100e6, '--tx_rate': 100e6, '--channels': '0,1', '--duration': 3600}
        ],
    },
    'x3x0_1gige': {
        '--args': "type=x300,addr={second_addr},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 1e6,   '--channels': '0'},
            {'--rx_rate': 10e6,  '--channels': '0'},
            {'--rx_rate': 25e6,  '--channels': '0'},
            {'--rx_rate': 1e6,   '--channels': '0,1'},
            {'--rx_rate': 10e6,  '--channels': '0,1'},

            {'--tx_rate': 1e6,   '--channels': '0'},
            {'--tx_rate': 10e6,  '--channels': '0'},
            {'--tx_rate': 25e6,  '--channels': '0'},
            {'--tx_rate': 1e6,   '--channels': '0,1'},
            {'--tx_rate': 10e6,  '--channels': '0,1'},

            {'--rx_rate': 1e6 , '--tx_rate': 1e6},
            {'--rx_rate': 10e6, '--tx_rate': 10e6},
            {'--rx_rate': 25e6, '--tx_rate': 25e6},
            {'--rx_rate': 1e6,  '--tx_rate': 1e6,  '--channels': '0,1'},
            {'--rx_rate': 10e6, '--tx_rate': 10e6, '--channels': '0,1'},
        ],
    },
    'x3x0_pcie': {
        '--args': "type=x300,resource={resource},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 10e6,   '--channels': '0'},
            {'--rx_rate': 50e6,   '--channels': '0'},
            {'--rx_rate': 100e6,  '--channels': '0'},
            {'--rx_rate': 200e6,  '--channels': '0'},
            {'--rx_rate': 10e6,   '--channels': '0,1'},
            {'--rx_rate': 50e6,   '--channels': '0,1'},
            {'--rx_rate': 100e6,  '--channels': '0,1'},

            {'--tx_rate': 10e6,   '--channels': '0'},
            {'--tx_rate': 50e6,   '--channels': '0'},
            {'--tx_rate': 100e6,  '--channels': '0'},
            {'--tx_rate': 200e6,  '--channels': '0'},
            {'--tx_rate': 10e6,   '--channels': '0,1'},
            {'--tx_rate': 50e6,   '--channels': '0,1'},
            {'--tx_rate': 100e6,  '--channels': '0,1'},

            {'--rx_rate': 10e6, '--tx_rate': 10e6},
            {'--rx_rate': 50e6, '--tx_rate': 50e6},
            {'--rx_rate': 100e6,'--tx_rate': 100e6},
            {'--rx_rate': 200e6,'--tx_rate': 200e6},

            {'--rx_rate': 10e6, '--tx_rate': 10e6, '--channels': '0,1'},
            {'--rx_rate': 50e6, '--tx_rate': 50e6, '--channels': '0,1'},
        ],
    },
    'x3x0_2x_10gige': {
        '--args': "type=x300,addr={addr},second_addr={second_addr},{args}",
        '--seq-threshold': 0,
        '--drop-threshold': 0,
        '--underrun-threshold': 100,
        '--overrun-threshold': 100,
        '--duration': 60,
        '__tests': [
            {'--rx_rate': 200e6, '--channels': '0,1'},
        ],
    },
}

#Map Device & FPGA Image to tests that must be performed.
DEV_TO_TEST = {
    #n300
    'n300xg': ['n300_10gige', 'n300_2x_10gige'],
    'n300hg': ['n300_1gige', 'n300_10gige'],
    'n300ha': ['n300_1gige'],
    'n300xa': ['n300_10gige'],
    'n300wx': ['n300_10gige'],
    'n310xg': ['n310_10gige', 'n310_2x_10gige'],
    'n310hg': ['n310_1gige', 'n310_10gige'],
    'n310ha': ['n310_1gige'],
    'n310xa': ['n310_10gige'],
    'n310wx': ['n310_10gige'],
    'n300_1gige': ['n300_1gige'],
    'n300_10gige': ['n300_10gige'],
    'n300_2x_10gige': ['n300_2x_10gige'],
    'n310_1gige': ['n310_1gige'],
    'n310_10gige': ['n310_10gige'],
    'n310_2x_10gige': ['n310_2x_10gige'],
    #x300
    'x3x0hg': ['x3x0_1gige', 'x3x0_10gige', 'x3x0_pcie'],
    'x3x0xg': ['x3x0_10gige', 'x3x0_2x_10gige', 'x3x0_pcie'],
    'x3x0_1gige': ['x3x0_1gige'],
    'x3x0_10gige': ['x3x0_10gige'],
    'x3x0_2x_10gige': ['x3x0_2x_10gige'],
    'x3x0_pcie': ['x3x0_pcie'],
}

def parse_args():
    """Parse args."""
    parser = argparse.ArgumentParser()
    parser.add_argument(
        # "-d", "--device-type", choices=FUNCVERIF_SETTINGS.keys(),
        "device_type", choices=DEV_TO_TEST.keys(),
        help="Device type (N310HG, ...)"
    )
    parser.add_argument(
        '-a', '--addr', help="IP Address"
    )
    parser.add_argument(
        '-2', '--second-addr', help="Second IP Address (1G in HG images)"
    )
    parser.add_argument(
        '-p', '--path', default='.', help="Path to examples",
    )
    parser.add_argument(
        '-n', '--dry-run', action='store_true', help="Dry run",
    )
    parser.add_argument(
        '-v', '--verbose', action='store_true', help="Increase verbosity",
    )
    parser.add_argument(
        '-f', '--print-fastpath', action='store_true',
        help="Don't disable fastpath messages",
    )
    parser.add_argument(
        '-s', '--sleep', type=int, default=30, help="Sleep time between tests",
    )
    parser.add_argument(
        '-r', '--resource', help="PCIe resource on x3x0"
    )
    parser.add_argument(
        '--args'
    )
    return parser.parse_args()


def run_benchmark_rate(bmr_args, cli_args):
    """
    Execute benchmark_rate
    """
    bmr_exe = os.path.join(cli_args.path, 'benchmark_rate')
    if not os.path.isfile(bmr_exe):
        print("ERROR: Could not find benchmark_rate!")
        exit(1)
    cmd = [bmr_exe] + bmr_args
    print("Executing: $ {}".format(" ".join(cmd)))
    exe_env = os.environ
    if not cli_args.verbose:
        exe_env['UHD_LOG_LEVEL'] = 'warning'
    if not cli_args.print_fastpath:
        exe_env['UHD_LOG_FASTPATH_DISABLE'] = '1'
    if cli_args.dry_run:
        return True
    if cli_args.verbose:
        return subprocess.call(cmd, env=exe_env) == 0
    # Non-Verbose mode is a bit more complicated:
    try:
        subprocess.check_output(cmd, env=exe_env)
        return True
    except subprocess.CalledProcessError as ex:
        print(ex.output)
        return False


def prepare_args(default_args, test_args, extra_keys):
    """
    Return a list of arguments for running benchmark_rate
    """
    extra_keys.update({
        key: str(val)
        for key, val in iteritems(test_args)
        if not key.startswith('--')
    })
    args = {
        key: str(val).format(**extra_keys)
        for key, val in iteritems(default_args)
        if key.startswith('--')
    }
    for key in test_args:
        if key.startswith('--'):
            args[key] = str(test_args[key]).format(**extra_keys)
    return list(chain.from_iterable(zip(args.keys(), args.values())))


def run_tests(args, settings, num_tests, tests_run):
    """
    args -- Command line args from parse_args
    settings -- Sub-dictionary from FUNCVERIF_SETTINGS
    """
    test_args_list = settings['__tests']
    default_args = {
        key: str(val)
        for key, val in iteritems(settings)
        if key.startswith('--')
    }
    extra_keys = {
        key: str(val)
        for key, val in iteritems(settings)
        if not key.startswith('--')
    }
    extra_keys.update({
        'addr': args.addr,
        'second_addr': args.second_addr,
        'args': args.args,
        'resource': args.resource
    })
    print("Preparing to execute {} tests...".format(num_tests))
    all_good = True
    for test_idx, test_args in enumerate(test_args_list):
        print("Running test {}/{}...".format(test_idx+1+tests_run, num_tests))
        bmr_args = prepare_args(default_args, test_args, copy.copy(extra_keys))
        if not run_benchmark_rate(bmr_args, args):
            print("Failure!")
            all_good = False
        time.sleep(args.sleep)
    return all_good


def main():
    """Go, go, go!"""
    args = parse_args()

    #Calculate total number of tests.
    numTests = sum([len(FUNCVERIF_SETTINGS[device_type]['__tests']) for device_type in DEV_TO_TEST[args.device_type]])

    #Run all tests for given device & FPGA image.
    tests_run = 0
    all_good = True
    for test in DEV_TO_TEST[args.device_type]:
        settings = FUNCVERIF_SETTINGS[test]
        if not (run_tests(args, settings, numTests, tests_run)):
            all_good = False
        tests_run += len(settings['__tests'])
    return all_good

if __name__ == "__main__":
    exit(not main())

