584 def mp_bins(alltests):  argument
588     for test in alltests:
604 def test_runner_mp(pm, args, alltests):  argument
605     prepare_run(pm, args, alltests)
607     (serial, parallel) = mp_bins(alltests)
635 def test_runner_serial(pm, args, alltests):  argument
636     prepare_run(pm, args, alltests)
639         print("Executing {} tests in serial".format(len(alltests)))
641     (index, tsr) = test_runner(pm, args, alltests)
765 def get_id_list(alltests):  argument
769     return [x["id"] for x in alltests]
771 def check_case_id(alltests):  argument
775     idl = get_id_list(alltests)
779 def does_id_exist(alltests, newid):  argument
783     idl = get_id_list(alltests)
787 def generate_case_ids(alltests):  argument
792     for c in alltests:
796                 if (does_id_exist(alltests, newid)):
803     for c in alltests:
809         for t in alltests:
850 def set_random(alltests):  argument
851     for tidx in alltests:
921     ucat, idlist, testcases, alltests = get_test_cases(args)
925             alltests = generate_case_ids(alltests)
930     duplicate_ids = check_case_id(alltests)
938         for atest in alltests:
948         list_test_cases(alltests)
951     set_random(alltests)
954     if len(alltests):
955         req_plugins = pm.get_required_plugins(alltests)
963             catresults = test_runner_mp(pm, args, alltests)
965             catresults = test_runner_serial(pm, args, alltests)