{ "quality": { "quality-anli": { "accuracy": 0.6633333333333333, "macro_f1": 0.6613741035502031, "weighted_f1": 0.6635324566979112, "balanced_accuracy": 0.6563293947121555, "per_class": [ { "label": "0", "support": 105, "precision": 0.8805970149253731, "recall": 0.5619047619047619, "f1": 0.686046511627907 }, { "label": "1", "support": 86, "precision": 0.684931506849315, "recall": 0.5813953488372093, "f1": 0.6289308176100629 }, { "label": "2", "support": 109, "precision": 0.5625, "recall": 0.8256880733944955, "f1": 0.6691449814126395 } ], "confusion": [ [ 59, 6, 40, 0 ], [ 6, 50, 30, 0 ], [ 2, 17, 90, 0 ] ], "invalid": 0, "n": 300, "invalid_calls": 0, "calls": 300 }, "quality-bank": { "accuracy": 0.7818181818181819, "macro_f1": 0.7686679842523998, "weighted_f1": 0.7686679842523999, "balanced_accuracy": 0.7818181818181817, "per_class": [ { "label": "0", "support": 5, "precision": 0.75, "recall": 0.6, "f1": 0.6666666666666666 }, { "label": "1", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "2", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "3", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "4", "support": 5, "precision": 0.36363636363636365, "recall": 0.8, "f1": 0.5 }, { "label": "5", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "6", "support": 5, "precision": 0.5, "recall": 0.2, "f1": 0.2857142857142857 }, { "label": "7", "support": 5, "precision": 0.625, "recall": 1.0, "f1": 0.7692307692307693 }, { "label": "8", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "9", "support": 5, "precision": 0.7142857142857143, "recall": 1.0, "f1": 0.8333333333333334 }, { "label": "10", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "11", "support": 5, "precision": 0.625, "recall": 1.0, "f1": 0.7692307692307693 }, { "label": "12", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "13", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "14", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "15", "support": 5, "precision": 0.5, "recall": 0.2, "f1": 0.2857142857142857 }, { "label": "16", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "17", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "18", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "19", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "20", "support": 5, "precision": 1.0, "recall": 0.4, "f1": 0.5714285714285714 }, { "label": "21", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "22", "support": 5, "precision": 0.3333333333333333, "recall": 0.4, "f1": 0.36363636363636365 }, { "label": "23", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "24", "support": 5, "precision": 0.625, "recall": 1.0, "f1": 0.7692307692307693 }, { "label": "25", "support": 5, "precision": 1.0, "recall": 0.4, "f1": 0.5714285714285714 }, { "label": "26", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "27", "support": 5, "precision": 1.0, "recall": 0.4, "f1": 0.5714285714285714 }, { "label": "28", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "29", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "30", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "31", "support": 5, "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "label": "32", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "33", "support": 5, "precision": 0.0, "recall": 0.0, "f1": 0.0 }, { "label": "34", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "35", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "36", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "37", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "38", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "39", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "40", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "41", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "42", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "43", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "44", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "45", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "46", "support": 5, "precision": 0.6666666666666666, "recall": 0.8, "f1": 0.7272727272727273 }, { "label": "47", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "48", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "49", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "50", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "51", "support": 5, "precision": 0.5555555555555556, "recall": 1.0, "f1": 0.7142857142857143 }, { "label": "52", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "53", "support": 5, "precision": 0.7142857142857143, "recall": 1.0, "f1": 0.8333333333333334 }, { "label": "54", "support": 5, "precision": 1.0, "recall": 0.2, "f1": 0.3333333333333333 }, { "label": "55", "support": 5, "precision": 0.7142857142857143, "recall": 1.0, "f1": 0.8333333333333334 }, { "label": "56", "support": 5, "precision": 0.5, "recall": 0.8, "f1": 0.6153846153846154 }, { "label": "57", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "58", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "59", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "60", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "61", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "62", "support": 5, "precision": 0.5, "recall": 0.4, "f1": 0.4444444444444444 }, { "label": "63", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "64", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "65", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "66", "support": 5, "precision": 0.5714285714285714, "recall": 0.8, "f1": 0.6666666666666666 }, { "label": "67", "support": 5, "precision": 1.0, "recall": 0.2, "f1": 0.3333333333333333 }, { "label": "68", "support": 5, "precision": 1.0, "recall": 0.4, "f1": 0.5714285714285714 }, { "label": "69", "support": 5, "precision": 0.7142857142857143, "recall": 1.0, "f1": 0.8333333333333334 }, { "label": "70", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "71", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 }, { "label": "72", "support": 5, "precision": 0.8333333333333334, "recall": 1.0, "f1": 0.9090909090909091 }, { "label": "73", "support": 5, "precision": 1.0, "recall": 0.6, "f1": 0.75 }, { "label": "74", "support": 5, "precision": 1.0, "recall": 0.8, "f1": 0.8888888888888888 }, { "label": "75", "support": 5, "precision": 0.8, "recall": 0.8, "f1": 0.8 }, { "label": "76", "support": 5, "precision": 1.0, "recall": 1.0, "f1": 1.0 } ], "confusion": [ [ 3, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 1, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 0, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 0 ], [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 5, 0 ] ], "invalid": 0, "n": 385, "invalid_calls": 0, "calls": 385 }, "quality-contract-q1": { "accuracy": 0.803921568627451, "macro_f1": 0.7600548082613624, "weighted_f1": 0.8104869544796643, "balanced_accuracy": 0.8086667332356988, "per_class": [ { "label": "0", "support": 259, "precision": 0.9220183486238532, "recall": 0.7760617760617761, "f1": 0.8427672955974843 }, { "label": "1", "support": 48, "precision": 0.5064935064935064, "recall": 0.8125, "f1": 0.624 }, { "label": "2", "support": 203, "precision": 0.7906976744186046, "recall": 0.8374384236453202, "f1": 0.8133971291866029 } ], "confusion": [ [ 201, 17, 41, 0 ], [ 5, 39, 4, 0 ], [ 12, 21, 170, 0 ] ], "invalid": 0, "n": 510, "invalid_calls": 0, "calls": 510 }, "quality-contract-q17": { "accuracy": 0.5294117647058824, "macro_f1": 0.5820960238684592, "weighted_f1": 0.6057007716301134, "balanced_accuracy": 0.5279109158419504, "per_class": [ { "label": "0", "support": 259, "precision": 0.8181818181818182, "recall": 0.694980694980695, "f1": 0.7515657620041754 }, { "label": "1", "support": 48, "precision": 0.5490196078431373, "recall": 0.5833333333333334, "f1": 0.5656565656565656 }, { "label": "2", "support": 203, "precision": 0.7209302325581395, "recall": 0.3054187192118227, "f1": 0.4290657439446367 } ], "confusion": [ [ 180, 9, 21, 49 ], [ 5, 28, 3, 12 ], [ 35, 14, 62, 92 ] ], "invalid": 153, "n": 510, "invalid_calls": 9, "calls": 30 } }, "comparison": { "anli": { "jev": 0.778884078884079, "deepseek": 0.6755160803436665, "qwen": 0.6613741035502031 }, "contract-q1": { "jev": 0.7338403411111525, "deepseek": 0.6888448967785831, "qwen": 0.7600548082613624 }, "contract-q17": { "jev": 0.7353033573506015, "deepseek": 0.7363108206245461, "qwen": 0.5820960238684592 }, "bank": { "jev": 0.7730812117175753, "deepseek": 0.6539601981924364, "qwen": 0.7686679842523998 } }, "binary": { "jev": { "keys": [ "contract-1/nda_1", "contract-1/nda_10", "contract-1/nda_11", "contract-1/nda_12", "contract-1/nda_13", "contract-1/nda_15", "contract-1/nda_16", "contract-1/nda_17", "contract-1/nda_18", "contract-1/nda_19", "contract-1/nda_2", "contract-1/nda_20", "contract-1/nda_3", "contract-1/nda_4", "contract-1/nda_5", "contract-1/nda_7", "contract-1/nda_8", "contract-117/nda_1", "contract-117/nda_10", "contract-117/nda_11", "contract-117/nda_12", "contract-117/nda_13", "contract-117/nda_15", "contract-117/nda_16", "contract-117/nda_17", "contract-117/nda_18", "contract-117/nda_19", "contract-117/nda_2", "contract-117/nda_20", "contract-117/nda_3", "contract-117/nda_4", "contract-117/nda_5", "contract-117/nda_7", "contract-117/nda_8", "contract-127/nda_1", "contract-127/nda_10", "contract-127/nda_11", "contract-127/nda_12", "contract-127/nda_13", "contract-127/nda_15", "contract-127/nda_16", "contract-127/nda_17", "contract-127/nda_18", "contract-127/nda_19", "contract-127/nda_2", "contract-127/nda_20", "contract-127/nda_3", "contract-127/nda_4", "contract-127/nda_5", "contract-127/nda_7", "contract-127/nda_8", "contract-18/nda_1", "contract-18/nda_10", "contract-18/nda_11", "contract-18/nda_12", "contract-18/nda_13", "contract-18/nda_15", "contract-18/nda_16", "contract-18/nda_17", "contract-18/nda_18", "contract-18/nda_19", "contract-18/nda_2", "contract-18/nda_20", "contract-18/nda_3", "contract-18/nda_4", "contract-18/nda_5", "contract-18/nda_7", "contract-18/nda_8", "contract-21/nda_1", "contract-21/nda_10", "contract-21/nda_11", "contract-21/nda_12", "contract-21/nda_13", "contract-21/nda_15", "contract-21/nda_16", "contract-21/nda_17", "contract-21/nda_18", "contract-21/nda_19", "contract-21/nda_2", "contract-21/nda_20", "contract-21/nda_3", "contract-21/nda_4", "contract-21/nda_5", "contract-21/nda_7", "contract-21/nda_8", "contract-225/nda_1", "contract-225/nda_10", "contract-225/nda_11", "contract-225/nda_12", "contract-225/nda_13", "contract-225/nda_15", "contract-225/nda_16", "contract-225/nda_17", "contract-225/nda_18", "contract-225/nda_19", "contract-225/nda_2", "contract-225/nda_20", "contract-225/nda_3", "contract-225/nda_4", "contract-225/nda_5", "contract-225/nda_7", "contract-225/nda_8", "contract-26/nda_1", "contract-26/nda_10", "contract-26/nda_11", "contract-26/nda_12", "contract-26/nda_13", "contract-26/nda_15", "contract-26/nda_16", "contract-26/nda_17", "contract-26/nda_18", "contract-26/nda_19", "contract-26/nda_2", "contract-26/nda_20", "contract-26/nda_3", "contract-26/nda_4", "contract-26/nda_5", "contract-26/nda_7", "contract-26/nda_8", "contract-30/nda_1", "contract-30/nda_10", "contract-30/nda_11", "contract-30/nda_12", "contract-30/nda_13", "contract-30/nda_15", "contract-30/nda_16", "contract-30/nda_17", "contract-30/nda_18", "contract-30/nda_19", "contract-30/nda_2", "contract-30/nda_20", "contract-30/nda_3", "contract-30/nda_4", "contract-30/nda_5", "contract-30/nda_7", "contract-30/nda_8", "contract-354/nda_1", "contract-354/nda_10", "contract-354/nda_11", "contract-354/nda_12", "contract-354/nda_13", "contract-354/nda_15", "contract-354/nda_16", "contract-354/nda_17", "contract-354/nda_18", "contract-354/nda_19", "contract-354/nda_2", "contract-354/nda_20", "contract-354/nda_3", "contract-354/nda_4", "contract-354/nda_5", "contract-354/nda_7", "contract-354/nda_8", "contract-361/nda_1", "contract-361/nda_10", "contract-361/nda_11", "contract-361/nda_12", "contract-361/nda_13", "contract-361/nda_15", "contract-361/nda_16", "contract-361/nda_17", "contract-361/nda_18", "contract-361/nda_19", "contract-361/nda_2", "contract-361/nda_20", "contract-361/nda_3", "contract-361/nda_4", "contract-361/nda_5", "contract-361/nda_7", "contract-361/nda_8", "contract-395/nda_1", "contract-395/nda_10", "contract-395/nda_11", "contract-395/nda_12", "contract-395/nda_13", "contract-395/nda_15", "contract-395/nda_16", "contract-395/nda_17", "contract-395/nda_18", "contract-395/nda_19", "contract-395/nda_2", "contract-395/nda_20", "contract-395/nda_3", "contract-395/nda_4", "contract-395/nda_5", "contract-395/nda_7", "contract-395/nda_8", "contract-40/nda_1", "contract-40/nda_10", "contract-40/nda_11", "contract-40/nda_12", "contract-40/nda_13", "contract-40/nda_15", "contract-40/nda_16", "contract-40/nda_17", "contract-40/nda_18", "contract-40/nda_19", "contract-40/nda_2", "contract-40/nda_20", "contract-40/nda_3", "contract-40/nda_4", "contract-40/nda_5", "contract-40/nda_7", "contract-40/nda_8", "contract-401/nda_1", "contract-401/nda_10", "contract-401/nda_11", "contract-401/nda_12", "contract-401/nda_13", "contract-401/nda_15", "contract-401/nda_16", "contract-401/nda_17", "contract-401/nda_18", "contract-401/nda_19", "contract-401/nda_2", "contract-401/nda_20", "contract-401/nda_3", "contract-401/nda_4", "contract-401/nda_5", "contract-401/nda_7", "contract-401/nda_8", "contract-412/nda_1", "contract-412/nda_10", "contract-412/nda_11", "contract-412/nda_12", "contract-412/nda_13", "contract-412/nda_15", "contract-412/nda_16", "contract-412/nda_17", "contract-412/nda_18", "contract-412/nda_19", "contract-412/nda_2", "contract-412/nda_20", "contract-412/nda_3", "contract-412/nda_4", "contract-412/nda_5", "contract-412/nda_7", "contract-412/nda_8", "contract-42/nda_1", "contract-42/nda_10", "contract-42/nda_11", "contract-42/nda_12", "contract-42/nda_13", "contract-42/nda_15", "contract-42/nda_16", "contract-42/nda_17", "contract-42/nda_18", "contract-42/nda_19", "contract-42/nda_2", "contract-42/nda_20", "contract-42/nda_3", "contract-42/nda_4", "contract-42/nda_5", "contract-42/nda_7", "contract-42/nda_8", "contract-465/nda_1", "contract-465/nda_10", "contract-465/nda_11", "contract-465/nda_12", "contract-465/nda_13", "contract-465/nda_15", "contract-465/nda_16", "contract-465/nda_17", "contract-465/nda_18", "contract-465/nda_19", "contract-465/nda_2", "contract-465/nda_20", "contract-465/nda_3", "contract-465/nda_4", "contract-465/nda_5", "contract-465/nda_7", "contract-465/nda_8", "contract-49/nda_1", "contract-49/nda_10", "contract-49/nda_11", "contract-49/nda_12", "contract-49/nda_13", "contract-49/nda_15", "contract-49/nda_16", "contract-49/nda_17", "contract-49/nda_18", "contract-49/nda_19", "contract-49/nda_2", "contract-49/nda_20", "contract-49/nda_3", "contract-49/nda_4", "contract-49/nda_5", "contract-49/nda_7", "contract-49/nda_8", "contract-51/nda_1", "contract-51/nda_10", "contract-51/nda_11", "contract-51/nda_12", "contract-51/nda_13", "contract-51/nda_15", "contract-51/nda_16", "contract-51/nda_17", "contract-51/nda_18", "contract-51/nda_19", "contract-51/nda_2", "contract-51/nda_20", "contract-51/nda_3", "contract-51/nda_4", "contract-51/nda_5", "contract-51/nda_7", "contract-51/nda_8", "contract-52/nda_1", "contract-52/nda_10", "contract-52/nda_11", "contract-52/nda_12", "contract-52/nda_13", "contract-52/nda_15", "contract-52/nda_16", "contract-52/nda_17", "contract-52/nda_18", "contract-52/nda_19", "contract-52/nda_2", "contract-52/nda_20", "contract-52/nda_3", "contract-52/nda_4", "contract-52/nda_5", "contract-52/nda_7", "contract-52/nda_8", "contract-537/nda_1", "contract-537/nda_10", "contract-537/nda_11", "contract-537/nda_12", "contract-537/nda_13", "contract-537/nda_15", "contract-537/nda_16", "contract-537/nda_17", "contract-537/nda_18", "contract-537/nda_19", "contract-537/nda_2", "contract-537/nda_20", "contract-537/nda_3", "contract-537/nda_4", "contract-537/nda_5", "contract-537/nda_7", "contract-537/nda_8", "contract-544/nda_1", "contract-544/nda_10", "contract-544/nda_11", "contract-544/nda_12", "contract-544/nda_13", "contract-544/nda_15", "contract-544/nda_16", "contract-544/nda_17", "contract-544/nda_18", "contract-544/nda_19", "contract-544/nda_2", "contract-544/nda_20", "contract-544/nda_3", "contract-544/nda_4", "contract-544/nda_5", "contract-544/nda_7", "contract-544/nda_8", "contract-546/nda_1", "contract-546/nda_10", "contract-546/nda_11", "contract-546/nda_12", "contract-546/nda_13", "contract-546/nda_15", "contract-546/nda_16", "contract-546/nda_17", "contract-546/nda_18", "contract-546/nda_19", "contract-546/nda_2", "contract-546/nda_20", "contract-546/nda_3", "contract-546/nda_4", "contract-546/nda_5", "contract-546/nda_7", "contract-546/nda_8", "contract-55/nda_1", "contract-55/nda_10", "contract-55/nda_11", "contract-55/nda_12", "contract-55/nda_13", "contract-55/nda_15", "contract-55/nda_16", "contract-55/nda_17", "contract-55/nda_18", "contract-55/nda_19", "contract-55/nda_2", "contract-55/nda_20", "contract-55/nda_3", "contract-55/nda_4", "contract-55/nda_5", "contract-55/nda_7", "contract-55/nda_8", "contract-552/nda_1", "contract-552/nda_10", "contract-552/nda_11", "contract-552/nda_12", "contract-552/nda_13", "contract-552/nda_15", "contract-552/nda_16", "contract-552/nda_17", "contract-552/nda_18", "contract-552/nda_19", "contract-552/nda_2", "contract-552/nda_20", "contract-552/nda_3", "contract-552/nda_4", "contract-552/nda_5", "contract-552/nda_7", "contract-552/nda_8", "contract-565/nda_1", "contract-565/nda_10", "contract-565/nda_11", "contract-565/nda_12", "contract-565/nda_13", "contract-565/nda_15", "contract-565/nda_16", "contract-565/nda_17", "contract-565/nda_18", "contract-565/nda_19", "contract-565/nda_2", "contract-565/nda_20", "contract-565/nda_3", "contract-565/nda_4", "contract-565/nda_5", "contract-565/nda_7", "contract-565/nda_8", "contract-57/nda_1", "contract-57/nda_10", "contract-57/nda_11", "contract-57/nda_12", "contract-57/nda_13", "contract-57/nda_15", "contract-57/nda_16", "contract-57/nda_17", "contract-57/nda_18", "contract-57/nda_19", "contract-57/nda_2", "contract-57/nda_20", "contract-57/nda_3", "contract-57/nda_4", "contract-57/nda_5", "contract-57/nda_7", "contract-57/nda_8", "contract-606/nda_1", "contract-606/nda_10", "contract-606/nda_11", "contract-606/nda_12", "contract-606/nda_13", "contract-606/nda_15", "contract-606/nda_16", "contract-606/nda_17", "contract-606/nda_18", "contract-606/nda_19", "contract-606/nda_2", "contract-606/nda_20", "contract-606/nda_3", "contract-606/nda_4", "contract-606/nda_5", "contract-606/nda_7", "contract-606/nda_8", "contract-78/nda_1", "contract-78/nda_10", "contract-78/nda_11", "contract-78/nda_12", "contract-78/nda_13", "contract-78/nda_15", "contract-78/nda_16", "contract-78/nda_17", "contract-78/nda_18", "contract-78/nda_19", "contract-78/nda_2", "contract-78/nda_20", "contract-78/nda_3", "contract-78/nda_4", "contract-78/nda_5", "contract-78/nda_7", "contract-78/nda_8", "contract-8/nda_1", "contract-8/nda_10", "contract-8/nda_11", "contract-8/nda_12", "contract-8/nda_13", "contract-8/nda_15", "contract-8/nda_16", "contract-8/nda_17", "contract-8/nda_18", "contract-8/nda_19", "contract-8/nda_2", "contract-8/nda_20", "contract-8/nda_3", "contract-8/nda_4", "contract-8/nda_5", "contract-8/nda_7", "contract-8/nda_8", "contract-84/nda_1", "contract-84/nda_10", "contract-84/nda_11", "contract-84/nda_12", "contract-84/nda_13", "contract-84/nda_15", "contract-84/nda_16", "contract-84/nda_17", "contract-84/nda_18", "contract-84/nda_19", "contract-84/nda_2", "contract-84/nda_20", "contract-84/nda_3", "contract-84/nda_4", "contract-84/nda_5", "contract-84/nda_7", "contract-84/nda_8" ], "scores": [ 0.79, 0.05, 0.01, 0.01, 0.0, 0.57, 0.04, 0.01, 0.0, 0.0, 1.0, 0.01, 0.0, 0.01, 0.0, 0.4, 0.01, 0.97, 0.04, 0.0, 0.0, 0.0, 0.48, 0.01, 0.0, 0.0, 0.0, 1.0, 0.74, 0.01, 0.03, 0.0, 0.02, 0.0, 0.64, 0.06, 0.0, 0.0, 0.0, 0.13, 0.06, 0.0, 0.0, 0.0, 0.99, 0.84, 0.0, 0.0, 0.0, 0.23, 0.0, 0.73, 0.05, 0.0, 0.0, 0.01, 0.96, 0.13, 0.57, 0.04, 0.03, 0.99, 0.56, 0.0, 0.01, 0.45, 0.83, 0.0, 0.62, 0.05, 0.0, 0.0, 0.0, 0.07, 0.08, 0.01, 0.0, 0.0, 1.0, 0.01, 0.01, 0.01, 0.0, 0.07, 0.0, 0.8, 0.49, 0.0, 0.0, 0.01, 0.67, 0.0, 0.01, 0.0, 0.0, 0.99, 0.01, 0.0, 0.06, 0.01, 0.03, 0.0, 0.4, 0.01, 0.0, 0.0, 0.0, 0.54, 0.04, 0.08, 0.0, 0.0, 1.0, 0.65, 0.0, 0.02, 0.01, 0.2, 0.0, 0.36, 0.05, 0.0, 0.01, 0.0, 0.01, 0.03, 0.01, 0.04, 0.0, 1.0, 0.83, 0.0, 0.12, 0.04, 0.13, 0.01, 0.27, 0.05, 0.0, 0.0, 0.0, 0.17, 0.06, 0.0, 0.0, 0.1, 0.49, 0.0, 0.0, 0.07, 0.0, 0.03, 0.0, 0.41, 0.04, 0.0, 0.0, 0.0, 0.94, 0.04, 0.01, 0.0, 0.0, 0.92, 0.66, 0.0, 0.07, 0.0, 0.41, 0.0, 0.41, 0.06, 0.0, 0.0, 0.02, 0.45, 0.0, 0.03, 0.15, 0.01, 0.99, 0.01, 0.0, 0.15, 0.11, 0.36, 0.0, 0.95, 0.02, 0.0, 0.0, 0.0, 0.94, 0.03, 0.01, 0.0, 0.0, 0.99, 0.63, 0.0, 0.0, 0.01, 0.14, 0.0, 0.19, 0.04, 0.01, 0.0, 0.0, 0.64, 0.03, 0.04, 0.0, 0.0, 0.99, 0.01, 0.0, 0.02, 0.0, 0.02, 0.02, 0.99, 0.03, 0.0, 0.01, 0.01, 0.6, 0.04, 0.05, 0.06, 0.01, 1.0, 0.74, 0.0, 0.16, 0.07, 0.39, 0.0, 0.99, 0.05, 0.0, 0.0, 0.0, 0.87, 0.02, 0.0, 0.06, 0.0, 0.97, 0.01, 0.0, 0.17, 0.0, 0.17, 0.03, 0.71, 0.03, 0.0, 0.0, 0.01, 0.96, 0.03, 0.01, 0.01, 0.0, 0.95, 0.54, 0.0, 0.02, 0.0, 0.83, 0.01, 0.43, 0.2, 0.0, 0.0, 0.0, 0.67, 0.1, 0.0, 0.0, 0.02, 0.99, 0.0, 0.01, 0.01, 0.02, 0.0, 0.0, 0.94, 0.05, 0.0, 0.0, 0.0, 0.01, 0.0, 0.0, 0.0, 0.01, 0.99, 0.01, 0.0, 0.04, 0.0, 0.02, 0.0, 0.13, 0.04, 0.0, 0.0, 0.04, 0.93, 0.02, 0.02, 0.0, 0.0, 0.63, 0.76, 0.01, 0.02, 0.07, 0.34, 0.01, 0.7, 0.21, 0.0, 0.0, 0.0, 0.89, 0.08, 0.0, 0.07, 0.03, 1.0, 0.0, 0.0, 0.04, 0.0, 0.03, 0.01, 0.97, 0.08, 0.0, 0.0, 0.0, 0.2, 0.02, 0.02, 0.0, 0.0, 1.0, 0.7, 0.0, 0.08, 0.0, 0.03, 0.0, 0.82, 0.03, 0.0, 0.0, 0.01, 0.45, 0.08, 0.0, 0.11, 0.0, 0.99, 0.0, 0.0, 0.02, 0.0, 0.01, 0.0, 0.55, 0.03, 0.01, 0.0, 0.0, 0.11, 0.01, 0.41, 0.0, 0.0, 1.0, 0.03, 0.89, 0.08, 0.0, 0.23, 0.0, 0.7, 0.04, 0.0, 0.0, 0.0, 0.56, 0.06, 0.0, 0.02, 0.0, 1.0, 0.0, 0.0, 0.05, 0.0, 0.2, 0.0, 0.7, 0.04, 0.01, 0.0, 0.0, 0.71, 0.01, 0.02, 0.07, 0.0, 0.99, 0.1, 0.0, 0.21, 0.0, 0.11, 0.0, 0.99, 0.03, 0.0, 0.0, 0.0, 0.72, 0.16, 0.01, 0.0, 0.02, 0.94, 0.25, 0.0, 0.15, 0.14, 0.03, 0.0, 0.92, 0.05, 0.02, 0.0, 0.0, 0.74, 0.06, 0.0, 0.04, 0.0, 1.0, 0.0, 0.0, 0.16, 0.0, 0.08, 0.0, 0.57, 0.03, 0.02, 0.02, 0.01, 0.44, 0.03, 0.09, 0.0, 0.0, 1.0, 0.61, 0.0, 0.0, 0.0, 0.11, 0.0, 0.82, 0.05, 0.0, 0.0, 0.03, 0.99, 0.05, 0.07, 0.0, 0.01, 0.94, 0.02, 0.0, 0.05, 0.36, 0.99, 0.03, 0.53, 0.01, 0.0, 0.01, 0.0, 0.55, 0.07, 0.36, 0.0, 0.0, 1.0, 0.94, 0.01, 0.02, 0.0, 0.34, 0.0 ], "labels": [ 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0 ], "ap": 0.7134866338412409, "point80": { "threshold": 0.57, "precision": 0.48148148148148145, "recall": 0.8125, "tp": 39, "fp": 42, "fn": 9, "accepted": 81 }, "raw": { "brier": 0.0812335294117647, "ece": 0.08786274509803924, "nll": 0.32789476656674144, "bins": [ { "bin": 0, "n": 366, "mean_score": 0.014125683060109289, "positive_rate": 0.00819672131147541 }, { "bin": 1, "n": 25, "mean_score": 0.136, "positive_rate": 0.12 }, { "bin": 2, "n": 10, "mean_score": 0.22000000000000003, "positive_rate": 0.1 }, { "bin": 3, "n": 7, "mean_score": 0.35857142857142854, "positive_rate": 0.0 }, { "bin": 4, "n": 14, "mean_score": 0.43714285714285717, "positive_rate": 0.14285714285714285 }, { "bin": 5, "n": 10, "mean_score": 0.554, "positive_rate": 0.1 }, { "bin": 6, "n": 11, "mean_score": 0.6381818181818182, "positive_rate": 0.18181818181818182 }, { "bin": 7, "n": 13, "mean_score": 0.7261538461538463, "positive_rate": 0.23076923076923078 }, { "bin": 8, "n": 10, "mean_score": 0.842, "positive_rate": 0.4 }, { "bin": 9, "n": 44, "mean_score": 0.9770454545454546, "positive_rate": 0.6590909090909091 } ], "mean_score": 0.18198039215686274 }, "pr": { "precision": [ 0.09411764705882353, 0.15064102564102563, 0.1857707509881423, 0.20704845814977973, 0.2315270935960591, 0.24864864864864866, 0.26744186046511625, 0.2822085889570552, 0.3006535947712418, 0.3103448275862069, 0.3125, 0.3049645390070922, 0.3161764705882353, 0.31851851851851853, 0.3282442748091603, 0.3333333333333333, 0.3412698412698413, 0.34146341463414637, 0.35, 0.35294117647058826, 0.3652173913043478, 0.36283185840707965, 0.36936936936936937, 0.37272727272727274, 0.3761467889908257, 0.38317757009345793, 0.39805825242718446, 0.4019607843137255, 0.41, 0.40625, 0.4105263157894737, 0.4148936170212766, 0.42857142857142855, 0.43333333333333335, 0.4431818181818182, 0.4482758620689655, 0.4588235294117647, 0.46987951807228917, 0.48148148148148145, 0.48717948717948717, 0.4935064935064935, 0.4868421052631579, 0.49333333333333335, 0.5068493150684932, 0.5070422535211268, 0.5142857142857142, 0.5217391304347826, 0.5373134328358209, 0.5396825396825397, 0.5573770491803278, 0.5666666666666667, 0.576271186440678, 0.6071428571428571, 0.6181818181818182, 0.6111111111111112, 0.6037735849056604, 0.6078431372549019, 0.625, 0.6382978723404256, 0.6521739130434783, 0.6590909090909091, 0.6428571428571429, 0.6585365853658537, 0.7714285714285715, 0.7878787878787878, 0.8387096774193549, 0.8214285714285714, 1.0, 1.0 ], "recall": [ 1.0, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9375, 0.9375, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.875, 0.875, 0.875, 0.875, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.8125, 0.7916666666666666, 0.7916666666666666, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.75, 0.75, 0.75, 0.75, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.6875, 0.6666666666666666, 0.6458333333333334, 0.625, 0.625, 0.625, 0.6041666666666666, 0.5625, 0.5625, 0.5625, 0.5416666666666666, 0.5416666666666666, 0.4791666666666667, 0.2708333333333333, 0.0 ] }, "n": 510, "positive": 48, "mean_score": 0.18198039215686274 }, "deepseek": { "keys": [ "contract-1/nda_1", "contract-1/nda_10", "contract-1/nda_11", "contract-1/nda_12", "contract-1/nda_13", "contract-1/nda_15", "contract-1/nda_16", "contract-1/nda_17", "contract-1/nda_18", "contract-1/nda_19", "contract-1/nda_2", "contract-1/nda_20", "contract-1/nda_3", "contract-1/nda_4", "contract-1/nda_5", "contract-1/nda_7", "contract-1/nda_8", "contract-117/nda_1", "contract-117/nda_10", "contract-117/nda_11", "contract-117/nda_12", "contract-117/nda_13", "contract-117/nda_15", "contract-117/nda_16", "contract-117/nda_17", "contract-117/nda_18", "contract-117/nda_19", "contract-117/nda_2", "contract-117/nda_20", "contract-117/nda_3", "contract-117/nda_4", "contract-117/nda_5", "contract-117/nda_7", "contract-117/nda_8", "contract-127/nda_1", "contract-127/nda_10", "contract-127/nda_11", "contract-127/nda_12", "contract-127/nda_13", "contract-127/nda_15", "contract-127/nda_16", "contract-127/nda_17", "contract-127/nda_18", "contract-127/nda_19", "contract-127/nda_2", "contract-127/nda_20", "contract-127/nda_3", "contract-127/nda_4", "contract-127/nda_5", "contract-127/nda_7", "contract-127/nda_8", "contract-18/nda_1", "contract-18/nda_10", "contract-18/nda_11", "contract-18/nda_12", "contract-18/nda_13", "contract-18/nda_15", "contract-18/nda_16", "contract-18/nda_17", "contract-18/nda_18", "contract-18/nda_19", "contract-18/nda_2", "contract-18/nda_20", "contract-18/nda_3", "contract-18/nda_4", "contract-18/nda_5", "contract-18/nda_7", "contract-18/nda_8", "contract-21/nda_1", "contract-21/nda_10", "contract-21/nda_11", "contract-21/nda_12", "contract-21/nda_13", "contract-21/nda_15", "contract-21/nda_16", "contract-21/nda_17", "contract-21/nda_18", "contract-21/nda_19", "contract-21/nda_2", "contract-21/nda_20", "contract-21/nda_3", "contract-21/nda_4", "contract-21/nda_5", "contract-21/nda_7", "contract-21/nda_8", "contract-225/nda_1", "contract-225/nda_10", "contract-225/nda_11", "contract-225/nda_12", "contract-225/nda_13", "contract-225/nda_15", "contract-225/nda_16", "contract-225/nda_17", "contract-225/nda_18", "contract-225/nda_19", "contract-225/nda_2", "contract-225/nda_20", "contract-225/nda_3", "contract-225/nda_4", "contract-225/nda_5", "contract-225/nda_7", "contract-225/nda_8", "contract-26/nda_1", "contract-26/nda_10", "contract-26/nda_11", "contract-26/nda_12", "contract-26/nda_13", "contract-26/nda_15", "contract-26/nda_16", "contract-26/nda_17", "contract-26/nda_18", "contract-26/nda_19", "contract-26/nda_2", "contract-26/nda_20", "contract-26/nda_3", "contract-26/nda_4", "contract-26/nda_5", "contract-26/nda_7", "contract-26/nda_8", "contract-30/nda_1", "contract-30/nda_10", "contract-30/nda_11", "contract-30/nda_12", "contract-30/nda_13", "contract-30/nda_15", "contract-30/nda_16", "contract-30/nda_17", "contract-30/nda_18", "contract-30/nda_19", "contract-30/nda_2", "contract-30/nda_20", "contract-30/nda_3", "contract-30/nda_4", "contract-30/nda_5", "contract-30/nda_7", "contract-30/nda_8", "contract-354/nda_1", "contract-354/nda_10", "contract-354/nda_11", "contract-354/nda_12", "contract-354/nda_13", "contract-354/nda_15", "contract-354/nda_16", "contract-354/nda_17", "contract-354/nda_18", "contract-354/nda_19", "contract-354/nda_2", "contract-354/nda_20", "contract-354/nda_3", "contract-354/nda_4", "contract-354/nda_5", "contract-354/nda_7", "contract-354/nda_8", "contract-361/nda_1", "contract-361/nda_10", "contract-361/nda_11", "contract-361/nda_12", "contract-361/nda_13", "contract-361/nda_15", "contract-361/nda_16", "contract-361/nda_17", "contract-361/nda_18", "contract-361/nda_19", "contract-361/nda_2", "contract-361/nda_20", "contract-361/nda_3", "contract-361/nda_4", "contract-361/nda_5", "contract-361/nda_7", "contract-361/nda_8", "contract-395/nda_1", "contract-395/nda_10", "contract-395/nda_11", "contract-395/nda_12", "contract-395/nda_13", "contract-395/nda_15", "contract-395/nda_16", "contract-395/nda_17", "contract-395/nda_18", "contract-395/nda_19", "contract-395/nda_2", "contract-395/nda_20", "contract-395/nda_3", "contract-395/nda_4", "contract-395/nda_5", "contract-395/nda_7", "contract-395/nda_8", "contract-40/nda_1", "contract-40/nda_10", "contract-40/nda_11", "contract-40/nda_12", "contract-40/nda_13", "contract-40/nda_15", "contract-40/nda_16", "contract-40/nda_17", "contract-40/nda_18", "contract-40/nda_19", "contract-40/nda_2", "contract-40/nda_20", "contract-40/nda_3", "contract-40/nda_4", "contract-40/nda_5", "contract-40/nda_7", "contract-40/nda_8", "contract-401/nda_1", "contract-401/nda_10", "contract-401/nda_11", "contract-401/nda_12", "contract-401/nda_13", "contract-401/nda_15", "contract-401/nda_16", "contract-401/nda_17", "contract-401/nda_18", "contract-401/nda_19", "contract-401/nda_2", "contract-401/nda_20", "contract-401/nda_3", "contract-401/nda_4", "contract-401/nda_5", "contract-401/nda_7", "contract-401/nda_8", "contract-412/nda_1", "contract-412/nda_10", "contract-412/nda_11", "contract-412/nda_12", "contract-412/nda_13", "contract-412/nda_15", "contract-412/nda_16", "contract-412/nda_17", "contract-412/nda_18", "contract-412/nda_19", "contract-412/nda_2", "contract-412/nda_20", "contract-412/nda_3", "contract-412/nda_4", "contract-412/nda_5", "contract-412/nda_7", "contract-412/nda_8", "contract-42/nda_1", "contract-42/nda_10", "contract-42/nda_11", "contract-42/nda_12", "contract-42/nda_13", "contract-42/nda_15", "contract-42/nda_16", "contract-42/nda_17", "contract-42/nda_18", "contract-42/nda_19", "contract-42/nda_2", "contract-42/nda_20", "contract-42/nda_3", "contract-42/nda_4", "contract-42/nda_5", "contract-42/nda_7", "contract-42/nda_8", "contract-465/nda_1", "contract-465/nda_10", "contract-465/nda_11", "contract-465/nda_12", "contract-465/nda_13", "contract-465/nda_15", "contract-465/nda_16", "contract-465/nda_17", "contract-465/nda_18", "contract-465/nda_19", "contract-465/nda_2", "contract-465/nda_20", "contract-465/nda_3", "contract-465/nda_4", "contract-465/nda_5", "contract-465/nda_7", "contract-465/nda_8", "contract-49/nda_1", "contract-49/nda_10", "contract-49/nda_11", "contract-49/nda_12", "contract-49/nda_13", "contract-49/nda_15", "contract-49/nda_16", "contract-49/nda_17", "contract-49/nda_18", "contract-49/nda_19", "contract-49/nda_2", "contract-49/nda_20", "contract-49/nda_3", "contract-49/nda_4", "contract-49/nda_5", "contract-49/nda_7", "contract-49/nda_8", "contract-51/nda_1", "contract-51/nda_10", "contract-51/nda_11", "contract-51/nda_12", "contract-51/nda_13", "contract-51/nda_15", "contract-51/nda_16", "contract-51/nda_17", "contract-51/nda_18", "contract-51/nda_19", "contract-51/nda_2", "contract-51/nda_20", "contract-51/nda_3", "contract-51/nda_4", "contract-51/nda_5", "contract-51/nda_7", "contract-51/nda_8", "contract-52/nda_1", "contract-52/nda_10", "contract-52/nda_11", "contract-52/nda_12", "contract-52/nda_13", "contract-52/nda_15", "contract-52/nda_16", "contract-52/nda_17", "contract-52/nda_18", "contract-52/nda_19", "contract-52/nda_2", "contract-52/nda_20", "contract-52/nda_3", "contract-52/nda_4", "contract-52/nda_5", "contract-52/nda_7", "contract-52/nda_8", "contract-537/nda_1", "contract-537/nda_10", "contract-537/nda_11", "contract-537/nda_12", "contract-537/nda_13", "contract-537/nda_15", "contract-537/nda_16", "contract-537/nda_17", "contract-537/nda_18", "contract-537/nda_19", "contract-537/nda_2", "contract-537/nda_20", "contract-537/nda_3", "contract-537/nda_4", "contract-537/nda_5", "contract-537/nda_7", "contract-537/nda_8", "contract-544/nda_1", "contract-544/nda_10", "contract-544/nda_11", "contract-544/nda_12", "contract-544/nda_13", "contract-544/nda_15", "contract-544/nda_16", "contract-544/nda_17", "contract-544/nda_18", "contract-544/nda_19", "contract-544/nda_2", "contract-544/nda_20", "contract-544/nda_3", "contract-544/nda_4", "contract-544/nda_5", "contract-544/nda_7", "contract-544/nda_8", "contract-546/nda_1", "contract-546/nda_10", "contract-546/nda_11", "contract-546/nda_12", "contract-546/nda_13", "contract-546/nda_15", "contract-546/nda_16", "contract-546/nda_17", "contract-546/nda_18", "contract-546/nda_19", "contract-546/nda_2", "contract-546/nda_20", "contract-546/nda_3", "contract-546/nda_4", "contract-546/nda_5", "contract-546/nda_7", "contract-546/nda_8", "contract-55/nda_1", "contract-55/nda_10", "contract-55/nda_11", "contract-55/nda_12", "contract-55/nda_13", "contract-55/nda_15", "contract-55/nda_16", "contract-55/nda_17", "contract-55/nda_18", "contract-55/nda_19", "contract-55/nda_2", "contract-55/nda_20", "contract-55/nda_3", "contract-55/nda_4", "contract-55/nda_5", "contract-55/nda_7", "contract-55/nda_8", "contract-552/nda_1", "contract-552/nda_10", "contract-552/nda_11", "contract-552/nda_12", "contract-552/nda_13", "contract-552/nda_15", "contract-552/nda_16", "contract-552/nda_17", "contract-552/nda_18", "contract-552/nda_19", "contract-552/nda_2", "contract-552/nda_20", "contract-552/nda_3", "contract-552/nda_4", "contract-552/nda_5", "contract-552/nda_7", "contract-552/nda_8", "contract-565/nda_1", "contract-565/nda_10", "contract-565/nda_11", "contract-565/nda_12", "contract-565/nda_13", "contract-565/nda_15", "contract-565/nda_16", "contract-565/nda_17", "contract-565/nda_18", "contract-565/nda_19", "contract-565/nda_2", "contract-565/nda_20", "contract-565/nda_3", "contract-565/nda_4", "contract-565/nda_5", "contract-565/nda_7", "contract-565/nda_8", "contract-57/nda_1", "contract-57/nda_10", "contract-57/nda_11", "contract-57/nda_12", "contract-57/nda_13", "contract-57/nda_15", "contract-57/nda_16", "contract-57/nda_17", "contract-57/nda_18", "contract-57/nda_19", "contract-57/nda_2", "contract-57/nda_20", "contract-57/nda_3", "contract-57/nda_4", "contract-57/nda_5", "contract-57/nda_7", "contract-57/nda_8", "contract-606/nda_1", "contract-606/nda_10", "contract-606/nda_11", "contract-606/nda_12", "contract-606/nda_13", "contract-606/nda_15", "contract-606/nda_16", "contract-606/nda_17", "contract-606/nda_18", "contract-606/nda_19", "contract-606/nda_2", "contract-606/nda_20", "contract-606/nda_3", "contract-606/nda_4", "contract-606/nda_5", "contract-606/nda_7", "contract-606/nda_8", "contract-78/nda_1", "contract-78/nda_10", "contract-78/nda_11", "contract-78/nda_12", "contract-78/nda_13", "contract-78/nda_15", "contract-78/nda_16", "contract-78/nda_17", "contract-78/nda_18", "contract-78/nda_19", "contract-78/nda_2", "contract-78/nda_20", "contract-78/nda_3", "contract-78/nda_4", "contract-78/nda_5", "contract-78/nda_7", "contract-78/nda_8", "contract-8/nda_1", "contract-8/nda_10", "contract-8/nda_11", "contract-8/nda_12", "contract-8/nda_13", "contract-8/nda_15", "contract-8/nda_16", "contract-8/nda_17", "contract-8/nda_18", "contract-8/nda_19", "contract-8/nda_2", "contract-8/nda_20", "contract-8/nda_3", "contract-8/nda_4", "contract-8/nda_5", "contract-8/nda_7", "contract-8/nda_8", "contract-84/nda_1", "contract-84/nda_10", "contract-84/nda_11", "contract-84/nda_12", "contract-84/nda_13", "contract-84/nda_15", "contract-84/nda_16", "contract-84/nda_17", "contract-84/nda_18", "contract-84/nda_19", "contract-84/nda_2", "contract-84/nda_20", "contract-84/nda_3", "contract-84/nda_4", "contract-84/nda_5", "contract-84/nda_7", "contract-84/nda_8" ], "scores": [ 0.14804719803168948, 0.00013982208786187625, 0.00020342687665530923, 0.00043055690723929645, 8.48110156777787e-05, 0.00048785720550198014, 0.00012339463274938214, 0.00043055710594187683, 0.00013982213785387464, 4.0063714523204085e-05, 0.9999930377430104, 0.00029595711189467046, 5.144218920605559e-05, 1.8925158658838193e-05, 5.829129652107554e-05, 0.8807970653786517, 4.006370997771733e-05, 0.8933094089135801, 0.0002959572621579625, 8.481104387251028e-05, 0.0013250219338239117, 0.0001233945026520356, 0.00080408626282999, 0.0009110509863241071, 0.00017952801751805518, 1.8925144746124848e-05, 0.00013982204973353552, 0.9999967112517503, 0.11920290837295214, 5.829128330406284e-05, 9.610235886024856e-05, 0.00012339459157644737, 0.0009110510902349394, 0.00029595726509890714, 0.7310585727316468, 0.001169510359090991, 0.0002611902715871693, 0.00026119042052078466, 0.00015843625078950472, 0.0002305067443932296, 0.0021827164481765184, 0.00020342701985095056, 4.006372275432587e-05, 0.0001398221177139154, 0.9999810748606429, 0.06008665006105513, 4.006367283171021e-05, 3.535624091553036e-05, 8.481106712233727e-05, 0.07585817903979153, 0.00020342695271946442, 0.01798621231123164, 0.0002611904338667408, 0.0001233946064522984, 0.00033534999992495477, 8.481101554463663e-05, 0.00017952790179536372, 0.004609572147255942, 0.11920291152275941, 0.0013250224064947009, 7.484622095906315e-05, 0.9999038976241379, 0.22270013190111745, 0.00013982203642014403, 9.610241901167966e-05, 0.9998766054449093, 0.9999251537720232, 8.481098098454186e-05, 0.04742587263544687, 0.0005527786075320328, 0.00013982217088223998, 0.0005527787433851707, 0.000295956983005059, 0.0002611903799215081, 0.0009110513002593749, 0.0003353501729813219, 7.484620997021582e-05, 2.1444946870691917e-05, 0.9999910603020341, 6.605211636032002e-05, 0.00010889691659232321, 9.610241496711768e-05, 5.1442226326386336e-05, 0.0009110511160306049, 0.0009110512106936046, 0.5621765008857981, 0.060086654522678605, 7.484620216957966e-05, 0.0003353501768767846, 0.0002611902730337852, 0.00015843618158919377, 0.00023050661677496878, 0.0005527788520787547, 4.0063682561425565e-05, 0.0001398220992040565, 0.9998415639045231, 0.00010889694350000201, 0.00017952806177274722, 9.610235593805682e-05, 0.000552778638122466, 0.000430557049098383, 0.00037998452555831625, 0.005220126667742024, 0.004609571839838242, 0.0001584362138210993, 0.18242553126367905, 0.0006263343052683697, 0.0015011823096491754, 0.0008040858564101162, 0.07585818668109691, 0.00015843627547154794, 6.605211669676725e-05, 0.999948557796412, 0.9669140191799572, 0.00013982210415865905, 5.829123510396515e-05, 0.00029595709423717813, 0.9993736659596928, 0.00010889686632228132, 0.010986942228542691, 0.00010889691467921272, 0.00015843621704793388, 0.0011695101963687372, 0.00048785728618346, 0.00015843634506634385, 0.00033535031377448685, 0.001926734570253195, 0.00023050658056842494, 2.7535712822857787e-05, 0.9999756997571514, 0.989013059423124, 7.484617599183908e-05, 2.753568775210029e-05, 0.00043055702637906325, 0.00020342701536426366, 0.0004305570631844479, 0.1824255267892854, 0.00048785698190912324, 0.00026119047036379496, 0.0010322313082607411, 0.0004878570987280155, 0.00010889695545994046, 0.0006263342812947909, 0.0003799845690766032, 6.605215836934644e-05, 0.0002034269513140703, 0.9991959141381587, 0.0007096702187169526, 0.0001795280408345595, 2.4300229006599953e-05, 8.481103508513576e-05, 0.0021827169850418015, 0.00043055706784106976, 0.2689414095732793, 0.00013982201923282744, 0.00015843624329507357, 0.006692851899554842, 0.00033535016139215435, 0.00103223084578298, 0.00023050672292186756, 8.481108877785742e-05, 0.0001233945974789163, 0.00010889688698539106, 0.9999832985816834, 0.5, 0.00013982202296974753, 0.00013982200229575932, 9.610242019650866e-05, 0.012431655407992565, 9.610239205946739e-05, 0.0010322312228802154, 0.00010889691687106907, 0.00012339456482286866, 0.00048785711369304544, 0.0001233945558494896, 0.00023050690503327963, 0.00013982205256034201, 0.0004305571357666388, 0.002472622877919241, 7.484622150989016e-05, 0.9997694934693293, 0.00012339458352471022, 9.610242793681497e-05, 0.0001584362524369807, 0.0003799844793127823, 0.017986210191706736, 0.00026119037418204306, 0.9706877665740593, 5.829130080115608e-05, 4.539789908086515e-05, 0.0002611904904440967, 4.006369701863003e-05, 7.484620863842724e-05, 0.0017007220698319347, 0.0006263342978196595, 5.829127124628241e-05, 1.0129993801855756e-05, 0.9999832985681882, 0.9914225157088044, 8.481107133539381e-05, 3.1201903557914336e-05, 0.001032230754627967, 0.9933071478059362, 2.144494147332966e-05, 0.3775406617480341, 0.005911067802066507, 0.0015011824776790996, 0.005220124592668805, 0.00026119043936336336, 0.0028009264822420193, 0.015906389191620983, 0.004070137784806847, 0.00013982208305826128, 0.00029595694128747765, 0.9991959141789413, 0.003172682115083378, 0.00023050670325726382, 0.00029595726186209306, 0.0007096704617200162, 0.0017007217815404904, 0.00037998455017575634, 0.8519528007070183, 0.00013982213996629165, 0.00013982214038569957, 0.0008040860665898651, 0.00029595690034803836, 0.0005527788526643764, 0.0006263340109505052, 0.0002034270338865939, 0.0008040860097063498, 7.484624551202913e-05, 0.9999945777800936, 0.10669058727411161, 0.0001584362236615979, 0.0003353500901541508, 0.004070138263128341, 0.9840936093056549, 5.8291233239104064e-05, 0.8519528095360639, 0.0007096705190206984, 0.000626334030254548, 0.0011695102085174192, 0.0002034269704892626, 0.0008040859334197774, 0.0008040859558759082, 0.0002959570872931208, 0.003172683279558878, 0.00010889689937650808, 0.9999485578159384, 0.0024726230111107297, 7.484623130503106e-05, 0.00015843625508403118, 0.00012339460367502845, 0.001700722275269331, 0.0007096704948381079, 0.3208213095404069, 0.0009110510244623666, 0.0002959572989493585, 0.0013250225491428609, 0.0007096703781801686, 0.0015011820360947019, 0.0024726236869343295, 0.000379984572571133, 0.00037998466054212993, 0.00012339447106694487, 0.9988304899141376, 0.020332351231250288, 0.00023050674210482546, 0.00010889684276392349, 6.605215942809267e-05, 0.26894142136999516, 0.00033535018230428294, 0.5, 0.18242553722953742, 0.00015843623449850305, 0.0035936022244254556, 9.610243686147063e-05, 0.000804085928422384, 0.002182715623168382, 4.539787922427595e-05, 0.00013982219037492067, 0.00015843612952423265, 0.9999038976126842, 0.00029595699065920023, 9.610238717889623e-05, 9.610243319983925e-05, 0.00026119030277558885, 0.00037998449471149994, 8.48110353644796e-05, 0.9964063965015654, 0.010986946803226172, 0.0002959571686424505, 0.0017007220662664925, 0.0008040860291094131, 0.0010322307412228193, 0.00029595710269904606, 0.0004305571381207722, 9.610243492855596e-05, 0.00020342700926269467, 0.9998911030811233, 0.0007096705163967814, 7.484621297805999e-05, 4.539788387462379e-05, 0.00017952809950277481, 0.0009110511607224622, 0.00010889687574410131, 0.0015011820809126644, 0.00015843623034496324, 7.484621211065733e-05, 0.0001233945289244216, 3.53562500494227e-05, 0.00048785717901938207, 0.0007096702885414975, 0.00043055707053519637, 5.829122666715101e-05, 0.00010889688478373586, 0.9975273774760248, 0.9399133505037073, 0.00010889690017463543, 0.00017952792630549915, 0.014063626724331129, 0.9953904267455813, 0.00020342704866052833, 0.04742586662695156, 0.06008664424400221, 0.00048785722054990875, 0.0009110509956083614, 0.0013250222606707156, 0.017986207065407964, 0.0015011821401203424, 0.0002959570581913989, 0.0015011823841459375, 0.00010889693955291779, 0.9999938558218958, 8.481101173982837e-05, 8.481099703620431e-05, 0.00029595719156938455, 7.48462159829105e-05, 9.610241960553555e-05, 0.00012339457722372656, 0.932453310749895, 0.0005527786936460127, 0.00013982206073739054, 0.0003353499912657687, 0.0006263341705218476, 0.0006263340016865678, 9.61024495030126e-05, 0.002182716244102408, 0.00033535006501132954, 6.605212862076555e-05, 0.9999982396568096, 0.01590639308931207, 7.484625908512939e-05, 0.00020342701344430313, 0.00010889691800020708, 0.00407013695787829, 0.001032230635012805, 0.02033235160971028, 0.004609572828622103, 0.0002611904013361374, 0.0009110512140614233, 0.000804085978645381, 0.005911068292135523, 0.0004878572003332166, 0.0007096703772298852, 0.017986206517864176, 7.484624391522915e-05, 0.9999898700029769, 0.0003353500178735726, 0.00012339453562638535, 7.48462451864722e-05, 0.0002034269100634132, 0.00012339452545252804, 0.00020342707362205277, 0.2689414213699951, 0.0004878570981087394, 0.0017007229367439574, 0.001032231178333857, 0.0004305570742105706, 0.0002959571012640792, 0.0007096705701232661, 0.09534946834942733, 0.00026119028902751135, 0.0002611903863607809, 0.9999687980795064, 0.002182715520369079, 0.009708475673879453, 7.484625502876584e-05, 0.0005527788072179257, 0.020332354936174715, 0.0010322310928502258, 0.07585817230983508, 0.007577240405336741, 0.0002611902822357265, 0.0010322308365024917, 0.0010322309535397642, 0.00043055705722380033, 0.000911050899124942, 0.0002034270396037648, 0.006692851414246651, 3.1201931651182004e-05, 0.9999885212310315, 0.0004305571655483651, 5.8291291701832294e-05, 3.120190818744628e-05, 0.0001398220843863853, 0.0007096704054121725, 0.0010322308061862318, 0.1645164587730393, 0.0017007225348675294, 0.0003353499113686173, 0.00010889684844880872, 0.00020342714435350664, 0.0015011820040176326, 0.00029595687291207877, 0.0002611904893160488, 0.005220124637327527, 5.144221562232516e-05, 0.9999038975718413, 0.002182716178328259, 4.539787880300273e-05, 5.1442241252096974e-05, 0.0001584361446208045, 8.48109917385109e-05, 0.00020342693895229565, 0.9933071487865247, 0.0028009272542497943, 0.00010889689597112848, 0.009708472933826802, 0.0002959569554004459, 0.00033535024189949836, 0.0002959570812277961, 0.0021827169451852663, 0.00015843622713396978, 0.00015843619770593777, 0.999991060295463, 0.0028009271151543114, 0.00020342706303786142, 5.144219023381763e-05, 0.05340333728143402, 0.00970847693334251, 0.00010889694241006232, 0.9579122690606547, 0.05340332701949653, 0.004609570998798588, 0.0002959570904411726, 0.0007096703917961703, 0.003593601956948052, 0.0011695100594624511, 0.000379984430457753, 0.04208772565790324, 3.535625726849019e-05, 0.9999945777804166, 0.0007096703641670341, 7.484619896340851e-05, 0.00017952796074175185, 5.144222931224822e-05, 0.0021827165411750786, 0.00012339461401175326, 0.1824255223148918, 0.0021827159198053794, 0.00033534993509672496, 0.0004305571162148503, 0.0006263342796297851, 0.0002034270054898913, 9.61024399849802e-05, 0.06008665186829498, 0.00012339465630251315, 0.00010889697350220263, 0.9999986290429109, 0.9840936130781184, 0.00010889697079096317, 0.0005527787437166549, 0.00012339463104674647, 0.5621765008857981, 0.000139822093458172, 0.11920290732301637, 7.484625443228597e-05, 8.481101461603482e-05, 0.009708477317911416, 8.481104206449216e-05, 0.001926735101776623, 0.0006263339962408754, 0.022977368720206892, 2.7535684199240988e-05, 9.610244427938562e-05, 0.9995121428700497, 0.0002959572299377573, 0.00026119030662975063, 0.0005527785488593987, 0.9996200155002138, 0.9999785550625025, 0.5621765008857981, 0.5621765008857981, 0.004070137448360403, 7.484620516544901e-05, 0.0019267347323639787, 0.00048785703567887046, 0.0004878571611237586, 0.0009110511448846146, 0.01406362980254818, 9.610237140040202e-05, 0.00010889686869706321, 0.9999957771665534, 0.9796676465776655, 6.60521846309459e-05, 5.829127451098631e-05, 2.7535699881790092e-05, 0.020332355155283165, 9.610244680279327e-05 ], "labels": [ 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0 ], "ap": 0.6767790109034858, "point80": { "threshold": 0.07585818668109691, "precision": 0.5, "recall": 0.8125, "tp": 39, "fp": 39, "fn": 9, "accepted": 78 }, "raw": { "brier": 0.07501070099517514, "ece": 0.07341345026717891, "nll": 0.4416860876094706, "bins": [ { "bin": 0, "n": 434, "mean_score": 0.0031880634755316137, "positive_rate": 0.02534562211981567 }, { "bin": 1, "n": 10, "mean_score": 0.1506565088894962, "positive_rate": 0.3 }, { "bin": 2, "n": 4, "mean_score": 0.2573810960535967, "positive_rate": 0.5 }, { "bin": 3, "n": 2, "mean_score": 0.3491809856442205, "positive_rate": 0.0 }, { "bin": 5, "n": 6, "mean_score": 0.5414510005905321, "positive_rate": 0.16666666666666666 }, { "bin": 7, "n": 1, "mean_score": 0.7310585727316468, "positive_rate": 1.0 }, { "bin": 8, "n": 4, "mean_score": 0.8695030211338285, "positive_rate": 0.5 }, { "bin": 9, "n": 49, "mean_score": 0.9931948402268573, "positive_rate": 0.5714285714285714 } ], "mean_score": 0.11910273495040133 }, "pr": { "precision": [ 0.09411764705882353, 0.09430255402750491, 0.09448818897637795, 0.09467455621301775, 0.09486166007905138, 0.09504950495049505, 0.09523809523809523, 0.09542743538767395, 0.09561752988047809, 0.09580838323353294, 0.096, 0.09619238476953908, 0.0963855421686747, 0.096579476861167, 0.0967741935483871, 0.09696969696969697, 0.09716599190283401, 0.0973630831643002, 0.0975609756097561, 0.09775967413441955, 0.09795918367346938, 0.09815950920245399, 0.09836065573770492, 0.09856262833675565, 0.09876543209876543, 0.09896907216494845, 0.09917355371900827, 0.09937888198757763, 0.0995850622406639, 0.0997920997920998, 0.1, 0.10020876826722339, 0.09832635983263599, 0.09853249475890985, 0.09873949579831932, 0.09894736842105263, 0.09915611814345991, 0.09936575052854123, 0.09957627118644068, 0.09978768577494693, 0.1, 0.10021321961620469, 0.10042735042735043, 0.1006423982869379, 0.10085836909871244, 0.1010752688172043, 0.10129310344827586, 0.10151187904967603, 0.10173160173160173, 0.1019522776572668, 0.10217391304347827, 0.10239651416122005, 0.10262008733624454, 0.10284463894967177, 0.10307017543859649, 0.10329670329670329, 0.10352422907488987, 0.10375275938189846, 0.10398230088495575, 0.10421286031042129, 0.10444444444444445, 0.10467706013363029, 0.10491071428571429, 0.10514541387024609, 0.10538116591928251, 0.10561797752808989, 0.10585585585585586, 0.10609480812641084, 0.10633484162895927, 0.10657596371882086, 0.10681818181818181, 0.1070615034168565, 0.10730593607305935, 0.10755148741418764, 0.10779816513761468, 0.10804597701149425, 0.10829493087557604, 0.10854503464203233, 0.1087962962962963, 0.10904872389791183, 0.10930232558139535, 0.10955710955710955, 0.10981308411214953, 0.11007025761124122, 0.11032863849765258, 0.11058823529411765, 0.11084905660377359, 0.1111111111111111, 0.11137440758293839, 0.11163895486935867, 0.11190476190476191, 0.11217183770883055, 0.11244019138755981, 0.11270983213429256, 0.11298076923076923, 0.11325301204819277, 0.11352657004830918, 0.11380145278450363, 0.11407766990291263, 0.11435523114355231, 0.11463414634146342, 0.11491442542787286, 0.11519607843137254, 0.11547911547911548, 0.11576354679802955, 0.11604938271604938, 0.11633663366336634, 0.11662531017369727, 0.11691542288557213, 0.1172069825436409, 0.1175, 0.11779448621553884, 0.11809045226130653, 0.11838790931989925, 0.11868686868686869, 0.1189873417721519, 0.11928934010152284, 0.11959287531806616, 0.11989795918367346, 0.12020460358056266, 0.12051282051282051, 0.12082262210796915, 0.1211340206185567, 0.12144702842377261, 0.12176165803108809, 0.12207792207792208, 0.12239583333333333, 0.1227154046997389, 0.12303664921465969, 0.12335958005249344, 0.12368421052631579, 0.12401055408970976, 0.12433862433862433, 0.1246684350132626, 0.125, 0.12533333333333332, 0.12566844919786097, 0.1260053619302949, 0.12634408602150538, 0.12668463611859837, 0.12702702702702703, 0.12737127371273713, 0.12771739130434784, 0.12806539509536785, 0.1284153005464481, 0.12876712328767123, 0.12912087912087913, 0.12947658402203857, 0.1298342541436464, 0.13019390581717452, 0.13055555555555556, 0.1309192200557103, 0.13128491620111732, 0.13165266106442577, 0.13202247191011235, 0.1323943661971831, 0.1327683615819209, 0.13314447592067988, 0.13352272727272727, 0.1339031339031339, 0.13428571428571429, 0.1346704871060172, 0.13505747126436782, 0.13544668587896252, 0.13583815028901733, 0.13623188405797101, 0.13662790697674418, 0.13702623906705538, 0.13742690058479531, 0.1378299120234604, 0.13823529411764707, 0.13569321533923304, 0.13609467455621302, 0.13649851632047477, 0.13690476190476192, 0.1373134328358209, 0.1377245508982036, 0.13813813813813813, 0.13855421686746988, 0.13595166163141995, 0.13636363636363635, 0.13677811550151975, 0.13719512195121952, 0.13761467889908258, 0.13803680981595093, 0.13846153846153847, 0.1388888888888889, 0.1393188854489164, 0.13975155279503104, 0.14018691588785046, 0.140625, 0.14106583072100312, 0.14150943396226415, 0.14195583596214512, 0.14240506329113925, 0.14285714285714285, 0.14331210191082802, 0.14376996805111822, 0.14423076923076922, 0.14469453376205788, 0.14516129032258066, 0.14563106796116504, 0.1461038961038961, 0.1465798045602606, 0.14705882352941177, 0.14754098360655737, 0.14802631578947367, 0.1485148514851485, 0.1490066225165563, 0.14950166112956811, 0.15, 0.1505016722408027, 0.15100671140939598, 0.15151515151515152, 0.15202702702702703, 0.15254237288135594, 0.15306122448979592, 0.15358361774744028, 0.1506849315068493, 0.15120274914089346, 0.15172413793103448, 0.1522491349480969, 0.1527777777777778, 0.15331010452961671, 0.15384615384615385, 0.1543859649122807, 0.15492957746478872, 0.15547703180212014, 0.15602836879432624, 0.15658362989323843, 0.15714285714285714, 0.15770609318996415, 0.15827338129496402, 0.1588447653429603, 0.15942028985507245, 0.16, 0.16058394160583941, 0.16117216117216118, 0.16176470588235295, 0.16236162361623616, 0.16296296296296298, 0.16356877323420074, 0.16417910447761194, 0.1647940074906367, 0.16541353383458646, 0.1660377358490566, 0.16666666666666666, 0.16730038022813687, 0.16793893129770993, 0.1685823754789272, 0.16923076923076924, 0.16988416988416988, 0.17054263565891473, 0.17120622568093385, 0.171875, 0.17254901960784313, 0.1732283464566929, 0.17391304347826086, 0.1746031746031746, 0.1752988047808765, 0.176, 0.17670682730923695, 0.1774193548387097, 0.17813765182186234, 0.17886178861788618, 0.17959183673469387, 0.18032786885245902, 0.18106995884773663, 0.18181818181818182, 0.1825726141078838, 0.18333333333333332, 0.18410041841004185, 0.18487394957983194, 0.18565400843881857, 0.1864406779661017, 0.18723404255319148, 0.18803418803418803, 0.1888412017167382, 0.1896551724137931, 0.19047619047619047, 0.19130434782608696, 0.19213973799126638, 0.19298245614035087, 0.19383259911894274, 0.19469026548672566, 0.19555555555555557, 0.19642857142857142, 0.19730941704035873, 0.1981981981981982, 0.19909502262443438, 0.2, 0.2009132420091324, 0.2018348623853211, 0.20276497695852536, 0.2037037037037037, 0.20465116279069767, 0.205607476635514, 0.20657276995305165, 0.20754716981132076, 0.20853080568720378, 0.20952380952380953, 0.21052631578947367, 0.21153846153846154, 0.21256038647342995, 0.21359223300970873, 0.2146341463414634, 0.21568627450980393, 0.21674876847290642, 0.21782178217821782, 0.21890547263681592, 0.22, 0.22110552763819097, 0.2222222222222222, 0.2233502538071066, 0.22448979591836735, 0.22564102564102564, 0.2268041237113402, 0.22797927461139897, 0.22916666666666666, 0.23036649214659685, 0.23157894736842105, 0.2328042328042328, 0.23404255319148937, 0.23529411764705882, 0.23655913978494625, 0.23783783783783785, 0.2391304347826087, 0.24043715846994534, 0.24175824175824176, 0.2430939226519337, 0.24444444444444444, 0.24581005586592178, 0.24719101123595505, 0.24858757062146894, 0.25, 0.25142857142857145, 0.25287356321839083, 0.2543352601156069, 0.2558139534883721, 0.2573099415204678, 0.25882352941176473, 0.2603550295857988, 0.2619047619047619, 0.2634730538922156, 0.26506024096385544, 0.26666666666666666, 0.2682926829268293, 0.26993865030674846, 0.2716049382716049, 0.2732919254658385, 0.275, 0.27672955974842767, 0.27848101265822783, 0.2802547770700637, 0.28205128205128205, 0.2838709677419355, 0.2857142857142857, 0.2875816993464052, 0.2894736842105263, 0.2913907284768212, 0.29333333333333333, 0.2953020134228188, 0.2972972972972973, 0.29931972789115646, 0.3013698630136986, 0.30344827586206896, 0.3055555555555556, 0.3076923076923077, 0.30985915492957744, 0.3120567375886525, 0.30714285714285716, 0.30935251798561153, 0.3115942028985507, 0.31386861313868614, 0.3161764705882353, 0.31851851851851853, 0.3208955223880597, 0.3233082706766917, 0.32575757575757575, 0.3282442748091603, 0.33076923076923076, 0.3333333333333333, 0.3359375, 0.33858267716535434, 0.3412698412698413, 0.344, 0.3467741935483871, 0.34959349593495936, 0.3442622950819672, 0.34710743801652894, 0.35, 0.35294117647058826, 0.3559322033898305, 0.358974358974359, 0.3620689655172414, 0.3652173913043478, 0.3684210526315789, 0.37168141592920356, 0.375, 0.3783783783783784, 0.38181818181818183, 0.3853211009174312, 0.3888888888888889, 0.38317757009345793, 0.3867924528301887, 0.3904761904761905, 0.3942307692307692, 0.39805825242718446, 0.4019607843137255, 0.40594059405940597, 0.41, 0.41414141414141414, 0.41836734693877553, 0.422680412371134, 0.4270833333333333, 0.43157894736842106, 0.43617021276595747, 0.44086021505376344, 0.44565217391304346, 0.45054945054945056, 0.45555555555555555, 0.4606741573033708, 0.4659090909090909, 0.45977011494252873, 0.46511627906976744, 0.47058823529411764, 0.47619047619047616, 0.4819277108433735, 0.4878048780487805, 0.49382716049382713, 0.5, 0.4936708860759494, 0.5, 0.4935064935064935, 0.4868421052631579, 0.49333333333333335, 0.4864864864864865, 0.4931506849315068, 0.4861111111111111, 0.4788732394366197, 0.4857142857142857, 0.4927536231884058, 0.5, 0.5074626865671642, 0.5151515151515151, 0.5230769230769231, 0.515625, 0.5238095238095238, 0.5161290322580645, 0.5245901639344263, 0.5333333333333333, 0.5517241379310345, 0.5740740740740741, 0.5660377358490566, 0.5769230769230769, 0.5686274509803921, 0.58, 0.5714285714285714, 0.5625, 0.574468085106383, 0.5652173913043478, 0.5777777777777777, 0.5681818181818182, 0.5813953488372093, 0.5952380952380952, 0.5853658536585366, 0.6, 0.6153846153846154, 0.631578947368421, 0.6216216216216216, 0.6388888888888888, 0.6571428571428571, 0.6764705882352942, 0.696969696969697, 0.71875, 0.7096774193548387, 0.7333333333333333, 0.7586206896551724, 0.7857142857142857, 0.7777777777777778, 0.7692307692307693, 0.8, 0.8333333333333334, 0.8695652173913043, 0.8636363636363636, 0.8571428571428571, 0.9, 0.8947368421052632, 0.8888888888888888, 0.8823529411764706, 0.875, 0.9333333333333333, 0.9285714285714286, 0.9230769230769231, 0.9166666666666666, 0.9090909090909091, 0.9, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0 ], "recall": [ 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8125, 0.8125, 0.7916666666666666, 0.7708333333333334, 0.7708333333333334, 0.75, 0.75, 0.7291666666666666, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.7083333333333334, 0.6875, 0.6875, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6458333333333334, 0.625, 0.625, 0.6041666666666666, 0.6041666666666666, 0.5833333333333334, 0.5625, 0.5625, 0.5416666666666666, 0.5416666666666666, 0.5208333333333334, 0.5208333333333334, 0.5208333333333334, 0.5, 0.5, 0.5, 0.5, 0.4791666666666667, 0.4791666666666667, 0.4791666666666667, 0.4791666666666667, 0.4791666666666667, 0.4791666666666667, 0.4583333333333333, 0.4583333333333333, 0.4583333333333333, 0.4583333333333333, 0.4375, 0.4166666666666667, 0.4166666666666667, 0.4166666666666667, 0.4166666666666667, 0.3958333333333333, 0.375, 0.375, 0.3541666666666667, 0.3333333333333333, 0.3125, 0.2916666666666667, 0.2916666666666667, 0.2708333333333333, 0.25, 0.22916666666666666, 0.20833333333333334, 0.1875, 0.1875, 0.16666666666666666, 0.14583333333333334, 0.125, 0.10416666666666667, 0.08333333333333333, 0.0625, 0.041666666666666664, 0.020833333333333332, 0.0 ] }, "n": 510, "positive": 48, "mean_score": 0.11910273495040133 }, "qwen": { "keys": [ "contract-1/nda_1", "contract-1/nda_10", "contract-1/nda_11", "contract-1/nda_12", "contract-1/nda_13", "contract-1/nda_15", "contract-1/nda_16", "contract-1/nda_17", "contract-1/nda_18", "contract-1/nda_19", "contract-1/nda_2", "contract-1/nda_20", "contract-1/nda_3", "contract-1/nda_4", "contract-1/nda_5", "contract-1/nda_7", "contract-1/nda_8", "contract-117/nda_1", "contract-117/nda_10", "contract-117/nda_11", "contract-117/nda_12", "contract-117/nda_13", "contract-117/nda_15", "contract-117/nda_16", "contract-117/nda_17", "contract-117/nda_18", "contract-117/nda_19", "contract-117/nda_2", "contract-117/nda_20", "contract-117/nda_3", "contract-117/nda_4", "contract-117/nda_5", "contract-117/nda_7", "contract-117/nda_8", "contract-127/nda_1", "contract-127/nda_10", "contract-127/nda_11", "contract-127/nda_12", "contract-127/nda_13", "contract-127/nda_15", "contract-127/nda_16", "contract-127/nda_17", "contract-127/nda_18", "contract-127/nda_19", "contract-127/nda_2", "contract-127/nda_20", "contract-127/nda_3", "contract-127/nda_4", "contract-127/nda_5", "contract-127/nda_7", "contract-127/nda_8", "contract-18/nda_1", "contract-18/nda_10", "contract-18/nda_11", "contract-18/nda_12", "contract-18/nda_13", "contract-18/nda_15", "contract-18/nda_16", "contract-18/nda_17", "contract-18/nda_18", "contract-18/nda_19", "contract-18/nda_2", "contract-18/nda_20", "contract-18/nda_3", "contract-18/nda_4", "contract-18/nda_5", "contract-18/nda_7", "contract-18/nda_8", "contract-21/nda_1", "contract-21/nda_10", "contract-21/nda_11", "contract-21/nda_12", "contract-21/nda_13", "contract-21/nda_15", "contract-21/nda_16", "contract-21/nda_17", "contract-21/nda_18", "contract-21/nda_19", "contract-21/nda_2", "contract-21/nda_20", "contract-21/nda_3", "contract-21/nda_4", "contract-21/nda_5", "contract-21/nda_7", "contract-21/nda_8", "contract-225/nda_1", "contract-225/nda_10", "contract-225/nda_11", "contract-225/nda_12", "contract-225/nda_13", "contract-225/nda_15", "contract-225/nda_16", "contract-225/nda_17", "contract-225/nda_18", "contract-225/nda_19", "contract-225/nda_2", "contract-225/nda_20", "contract-225/nda_3", "contract-225/nda_4", "contract-225/nda_5", "contract-225/nda_7", "contract-225/nda_8", "contract-26/nda_1", "contract-26/nda_10", "contract-26/nda_11", "contract-26/nda_12", "contract-26/nda_13", "contract-26/nda_15", "contract-26/nda_16", "contract-26/nda_17", "contract-26/nda_18", "contract-26/nda_19", "contract-26/nda_2", "contract-26/nda_20", "contract-26/nda_3", "contract-26/nda_4", "contract-26/nda_5", "contract-26/nda_7", "contract-26/nda_8", "contract-30/nda_1", "contract-30/nda_10", "contract-30/nda_11", "contract-30/nda_12", "contract-30/nda_13", "contract-30/nda_15", "contract-30/nda_16", "contract-30/nda_17", "contract-30/nda_18", "contract-30/nda_19", "contract-30/nda_2", "contract-30/nda_20", "contract-30/nda_3", "contract-30/nda_4", "contract-30/nda_5", "contract-30/nda_7", "contract-30/nda_8", "contract-354/nda_1", "contract-354/nda_10", "contract-354/nda_11", "contract-354/nda_12", "contract-354/nda_13", "contract-354/nda_15", "contract-354/nda_16", "contract-354/nda_17", "contract-354/nda_18", "contract-354/nda_19", "contract-354/nda_2", "contract-354/nda_20", "contract-354/nda_3", "contract-354/nda_4", "contract-354/nda_5", "contract-354/nda_7", "contract-354/nda_8", "contract-361/nda_1", "contract-361/nda_10", "contract-361/nda_11", "contract-361/nda_12", "contract-361/nda_13", "contract-361/nda_15", "contract-361/nda_16", "contract-361/nda_17", "contract-361/nda_18", "contract-361/nda_19", "contract-361/nda_2", "contract-361/nda_20", "contract-361/nda_3", "contract-361/nda_4", "contract-361/nda_5", "contract-361/nda_7", "contract-361/nda_8", "contract-395/nda_1", "contract-395/nda_10", "contract-395/nda_11", "contract-395/nda_12", "contract-395/nda_13", "contract-395/nda_15", "contract-395/nda_16", "contract-395/nda_17", "contract-395/nda_18", "contract-395/nda_19", "contract-395/nda_2", "contract-395/nda_20", "contract-395/nda_3", "contract-395/nda_4", "contract-395/nda_5", "contract-395/nda_7", "contract-395/nda_8", "contract-40/nda_1", "contract-40/nda_10", "contract-40/nda_11", "contract-40/nda_12", "contract-40/nda_13", "contract-40/nda_15", "contract-40/nda_16", "contract-40/nda_17", "contract-40/nda_18", "contract-40/nda_19", "contract-40/nda_2", "contract-40/nda_20", "contract-40/nda_3", "contract-40/nda_4", "contract-40/nda_5", "contract-40/nda_7", "contract-40/nda_8", "contract-401/nda_1", "contract-401/nda_10", "contract-401/nda_11", "contract-401/nda_12", "contract-401/nda_13", "contract-401/nda_15", "contract-401/nda_16", "contract-401/nda_17", "contract-401/nda_18", "contract-401/nda_19", "contract-401/nda_2", "contract-401/nda_20", "contract-401/nda_3", "contract-401/nda_4", "contract-401/nda_5", "contract-401/nda_7", "contract-401/nda_8", "contract-412/nda_1", "contract-412/nda_10", "contract-412/nda_11", "contract-412/nda_12", "contract-412/nda_13", "contract-412/nda_15", "contract-412/nda_16", "contract-412/nda_17", "contract-412/nda_18", "contract-412/nda_19", "contract-412/nda_2", "contract-412/nda_20", "contract-412/nda_3", "contract-412/nda_4", "contract-412/nda_5", "contract-412/nda_7", "contract-412/nda_8", "contract-42/nda_1", "contract-42/nda_10", "contract-42/nda_11", "contract-42/nda_12", "contract-42/nda_13", "contract-42/nda_15", "contract-42/nda_16", "contract-42/nda_17", "contract-42/nda_18", "contract-42/nda_19", "contract-42/nda_2", "contract-42/nda_20", "contract-42/nda_3", "contract-42/nda_4", "contract-42/nda_5", "contract-42/nda_7", "contract-42/nda_8", "contract-465/nda_1", "contract-465/nda_10", "contract-465/nda_11", "contract-465/nda_12", "contract-465/nda_13", "contract-465/nda_15", "contract-465/nda_16", "contract-465/nda_17", "contract-465/nda_18", "contract-465/nda_19", "contract-465/nda_2", "contract-465/nda_20", "contract-465/nda_3", "contract-465/nda_4", "contract-465/nda_5", "contract-465/nda_7", "contract-465/nda_8", "contract-49/nda_1", "contract-49/nda_10", "contract-49/nda_11", "contract-49/nda_12", "contract-49/nda_13", "contract-49/nda_15", "contract-49/nda_16", "contract-49/nda_17", "contract-49/nda_18", "contract-49/nda_19", "contract-49/nda_2", "contract-49/nda_20", "contract-49/nda_3", "contract-49/nda_4", "contract-49/nda_5", "contract-49/nda_7", "contract-49/nda_8", "contract-51/nda_1", "contract-51/nda_10", "contract-51/nda_11", "contract-51/nda_12", "contract-51/nda_13", "contract-51/nda_15", "contract-51/nda_16", "contract-51/nda_17", "contract-51/nda_18", "contract-51/nda_19", "contract-51/nda_2", "contract-51/nda_20", "contract-51/nda_3", "contract-51/nda_4", "contract-51/nda_5", "contract-51/nda_7", "contract-51/nda_8", "contract-52/nda_1", "contract-52/nda_10", "contract-52/nda_11", "contract-52/nda_12", "contract-52/nda_13", "contract-52/nda_15", "contract-52/nda_16", "contract-52/nda_17", "contract-52/nda_18", "contract-52/nda_19", "contract-52/nda_2", "contract-52/nda_20", "contract-52/nda_3", "contract-52/nda_4", "contract-52/nda_5", "contract-52/nda_7", "contract-52/nda_8", "contract-537/nda_1", "contract-537/nda_10", "contract-537/nda_11", "contract-537/nda_12", "contract-537/nda_13", "contract-537/nda_15", "contract-537/nda_16", "contract-537/nda_17", "contract-537/nda_18", "contract-537/nda_19", "contract-537/nda_2", "contract-537/nda_20", "contract-537/nda_3", "contract-537/nda_4", "contract-537/nda_5", "contract-537/nda_7", "contract-537/nda_8", "contract-544/nda_1", "contract-544/nda_10", "contract-544/nda_11", "contract-544/nda_12", "contract-544/nda_13", "contract-544/nda_15", "contract-544/nda_16", "contract-544/nda_17", "contract-544/nda_18", "contract-544/nda_19", "contract-544/nda_2", "contract-544/nda_20", "contract-544/nda_3", "contract-544/nda_4", "contract-544/nda_5", "contract-544/nda_7", "contract-544/nda_8", "contract-546/nda_1", "contract-546/nda_10", "contract-546/nda_11", "contract-546/nda_12", "contract-546/nda_13", "contract-546/nda_15", "contract-546/nda_16", "contract-546/nda_17", "contract-546/nda_18", "contract-546/nda_19", "contract-546/nda_2", "contract-546/nda_20", "contract-546/nda_3", "contract-546/nda_4", "contract-546/nda_5", "contract-546/nda_7", "contract-546/nda_8", "contract-55/nda_1", "contract-55/nda_10", "contract-55/nda_11", "contract-55/nda_12", "contract-55/nda_13", "contract-55/nda_15", "contract-55/nda_16", "contract-55/nda_17", "contract-55/nda_18", "contract-55/nda_19", "contract-55/nda_2", "contract-55/nda_20", "contract-55/nda_3", "contract-55/nda_4", "contract-55/nda_5", "contract-55/nda_7", "contract-55/nda_8", "contract-552/nda_1", "contract-552/nda_10", "contract-552/nda_11", "contract-552/nda_12", "contract-552/nda_13", "contract-552/nda_15", "contract-552/nda_16", "contract-552/nda_17", "contract-552/nda_18", "contract-552/nda_19", "contract-552/nda_2", "contract-552/nda_20", "contract-552/nda_3", "contract-552/nda_4", "contract-552/nda_5", "contract-552/nda_7", "contract-552/nda_8", "contract-565/nda_1", "contract-565/nda_10", "contract-565/nda_11", "contract-565/nda_12", "contract-565/nda_13", "contract-565/nda_15", "contract-565/nda_16", "contract-565/nda_17", "contract-565/nda_18", "contract-565/nda_19", "contract-565/nda_2", "contract-565/nda_20", "contract-565/nda_3", "contract-565/nda_4", "contract-565/nda_5", "contract-565/nda_7", "contract-565/nda_8", "contract-57/nda_1", "contract-57/nda_10", "contract-57/nda_11", "contract-57/nda_12", "contract-57/nda_13", "contract-57/nda_15", "contract-57/nda_16", "contract-57/nda_17", "contract-57/nda_18", "contract-57/nda_19", "contract-57/nda_2", "contract-57/nda_20", "contract-57/nda_3", "contract-57/nda_4", "contract-57/nda_5", "contract-57/nda_7", "contract-57/nda_8", "contract-606/nda_1", "contract-606/nda_10", "contract-606/nda_11", "contract-606/nda_12", "contract-606/nda_13", "contract-606/nda_15", "contract-606/nda_16", "contract-606/nda_17", "contract-606/nda_18", "contract-606/nda_19", "contract-606/nda_2", "contract-606/nda_20", "contract-606/nda_3", "contract-606/nda_4", "contract-606/nda_5", "contract-606/nda_7", "contract-606/nda_8", "contract-78/nda_1", "contract-78/nda_10", "contract-78/nda_11", "contract-78/nda_12", "contract-78/nda_13", "contract-78/nda_15", "contract-78/nda_16", "contract-78/nda_17", "contract-78/nda_18", "contract-78/nda_19", "contract-78/nda_2", "contract-78/nda_20", "contract-78/nda_3", "contract-78/nda_4", "contract-78/nda_5", "contract-78/nda_7", "contract-78/nda_8", "contract-8/nda_1", "contract-8/nda_10", "contract-8/nda_11", "contract-8/nda_12", "contract-8/nda_13", "contract-8/nda_15", "contract-8/nda_16", "contract-8/nda_17", "contract-8/nda_18", "contract-8/nda_19", "contract-8/nda_2", "contract-8/nda_20", "contract-8/nda_3", "contract-8/nda_4", "contract-8/nda_5", "contract-8/nda_7", "contract-8/nda_8", "contract-84/nda_1", "contract-84/nda_10", "contract-84/nda_11", "contract-84/nda_12", "contract-84/nda_13", "contract-84/nda_15", "contract-84/nda_16", "contract-84/nda_17", "contract-84/nda_18", "contract-84/nda_19", "contract-84/nda_2", "contract-84/nda_20", "contract-84/nda_3", "contract-84/nda_4", "contract-84/nda_5", "contract-84/nda_7", "contract-84/nda_8" ], "scores": [ 0.08509904326677628, 0.053403326975043915, 0.004070137495047938, 0.014063624667148581, 0.03732688346210099, 0.037326890958432175, 0.017986213679718942, 0.025957355314023947, 0.01798620805392912, 0.004070136798526803, 0.5926665999540698, 0.009708477153019738, 0.014063628437911226, 0.0035936017618989494, 0.014063626746233342, 0.32082130731838393, 0.04208772701447818, 0.32082130731838393, 0.022977371039038345, 0.008577486181940899, 0.020332353639474224, 0.053403332059648596, 0.04208772881675952, 0.04742587738497126, 0.02297736986821033, 0.01798620703404928, 0.022977370955407774, 0.7057850278370112, 0.09534946618445303, 0.02297737162445238, 0.005220124769836137, 0.017986211804455476, 0.1192029204575912, 0.060086647859713196, 0.2942149659744614, 0.1329642384799526, 0.012431650910355543, 0.022977369951840902, 0.033085981129772166, 0.11920291576401235, 0.13296425050508953, 0.11920292828022307, 0.03308598148730279, 0.02931223313626133, 0.7057850278370112, 0.11920292202211756, 0.03308597803117354, 0.005220125159153614, 0.07585818785594478, 0.16451646494473965, 0.022977367442923908, 0.06008665143635007, 0.025957354795986425, 0.0059110700383192, 0.014063627185294757, 0.014063629044849143, 0.08509903804604459, 0.24508500761839525, 0.37754066179448903, 0.320821300824607, 0.06754668597767713, 0.8519528094861981, 0.06008665227791172, 0.0140636302845522, 0.020332352637722033, 0.320821300824607, 0.7981867801399695, 0.014063629625959938, 0.05340333507274788, 0.0330859768394049, 0.004609572279794638, 0.005220125386456999, 0.029312233984227595, 0.0028009267596704876, 0.029312229055423987, 0.015906389670846587, 0.0052201250575925305, 0.004609572121685878, 0.6224593312018546, 0.006692849506434881, 0.020332354270207107, 0.00317268274970457, 0.01243165181363723, 0.02033235289743556, 0.04208773136999155, 0.14804719803168948, 0.13296425050508953, 0.009708477546993216, 0.022977368739197652, 0.02595735898738123, 0.03732688654095113, 0.012431653643068696, 0.06008665480259673, 0.020332355568774867, 0.012431651859373014, 0.1824255171389905, 0.015906392557358724, 0.00857748385349471, 0.04208772836618918, 0.05340332678672523, 0.08509904152653235, 0.014063627417739042, 0.03308597934211908, 0.014063628399170509, 0.00857748559586935, 0.01406362598433268, 0.020332352711925898, 0.042087727615238615, 0.04742587385075147, 0.24508500761839527, 0.014063626048900529, 0.00359360206953199, 0.5621765008857981, 0.16451645675203386, 0.0015011820895676601, 0.014063627301516899, 0.060086643862295744, 0.24508501864634827, 0.02033235248931431, 0.04208772671409797, 0.025957354607609142, 0.003593602067864603, 0.03308597469422147, 0.017986214074511276, 0.0035936028090185683, 0.022977371917159397, 0.01406362870909625, 0.06008664596619963, 0.0028009266244049744, 0.7549149923816048, 0.18242551491653525, 0.008577485936424436, 0.001325022140079898, 0.0758581847220642, 0.06754669677084987, 0.007577240756613771, 0.1329642487872128, 0.01243165233959875, 0.01590639337374609, 0.02931223075135632, 0.006692849902689866, 0.0330859788654116, 0.06008664764932279, 0.020332351042339016, 0.0066928512802952676, 0.047425876543490335, 0.10669058684467357, 0.004609572608831807, 0.0019267348567505317, 0.025957356868136584, 0.009708478594604596, 0.014063628450824798, 0.02931223228829508, 0.14804719615221756, 0.014063629070676289, 0.0035936032208634693, 0.015906392819768946, 0.008577486158181241, 0.06008664428307652, 0.04742586880186649, 0.053403331683011195, 0.0040701369193326285, 0.02033235445571678, 0.43782349911420193, 0.10669058613457583, 0.0013250226849495202, 0.004609571164487005, 0.0040701379424071035, 0.18242551491653522, 0.010986943318750825, 0.04208772941751998, 0.014063626642924775, 0.0075772396080589005, 0.020332353379760686, 0.0035936018936225792, 0.13296425222296634, 0.02595735465470346, 0.017986207330143424, 0.07585817323116976, 0.00591106997812091, 0.8519527982093666, 0.022977371248114782, 0.004609571288410063, 0.017986212462442638, 0.060086647649322804, 0.13296425050508956, 0.0066928518437204786, 0.22270013882530884, 0.020332353157149086, 0.014063625829369838, 0.03732688747799252, 0.01243164796039808, 0.06008664975322681, 0.08509905080783367, 0.07585817532042317, 0.015906394073506726, 0.017986210323984456, 0.5312093733737563, 0.1192029188930649, 0.017986210356883813, 0.020332354938041947, 0.22270013882530884, 0.26894142136999516, 0.009708477618624761, 0.29421498454004374, 0.05340332584513183, 0.029312233772236025, 0.03308597791199667, 0.022977371039038345, 0.20181321986003056, 0.09534945525903343, 0.09534947132582736, 0.017986208185526528, 0.047425875365417064, 0.679178699175393, 0.020332355383265187, 0.006692851283391011, 0.01406362466714858, 0.04208772761523862, 0.03308597683940491, 0.04208772356010582, 0.2450850021044189, 0.009708475165244689, 0.009708475747250854, 0.020332354789634202, 0.02595735658557064, 0.033085977792819805, 0.1066905854244781, 0.017986212791436224, 0.07585817636504989, 0.0140636297421821, 0.7549149813536518, 0.0758581763650499, 0.004070137478059616, 0.015906388533735882, 0.06754669817865512, 0.14804719051380197, 0.004609573162212554, 0.43782349911420193, 0.009708476705322619, 0.012431648474925493, 0.009708476732184444, 0.015906388825302722, 0.08509904210661365, 0.022977368153783696, 0.01798621358102086, 0.047425877048378896, 0.01798621042268252, 0.32082130731838393, 0.022977372293497, 0.007577241505975882, 0.02297737200078998, 0.0024726228723667126, 0.13296424535145931, 0.06754668503914044, 0.1329642419157059, 0.02297736773563088, 0.006692851818954534, 0.006692849843870764, 0.007577241919175583, 0.06754668597767713, 0.04208772716466829, 0.009708474520560976, 0.0140636272111219, 0.002182716381451336, 0.13296424191570594, 0.07585818211049714, 0.0066928504258703106, 0.014063624370136498, 0.0021827164788133856, 0.1480471999111614, 0.02297737220986642, 0.037326891226158315, 0.06754669207816587, 0.003172682413190758, 0.010986942134714904, 0.006692851877773653, 0.060086649332446, 0.047425876038601794, 0.01243165110473261, 0.005220124634421368, 0.015906393840253177, 0.46879062662624377, 0.008577484819720602, 0.010986943187191272, 0.005220124675529423, 0.029312234037225486, 0.005220125473509363, 0.004609572390898096, 0.34864514210180597, 0.16451646699291614, 0.008577486688813623, 0.04208772551257712, 0.01590639037060705, 0.029312229267415522, 0.017986205816773414, 0.02595735620881606, 0.017986206178666232, 0.06754668550840878, 0.14804720367010532, 0.020332355494570995, 0.006692849766477212, 0.00460957326476961, 0.02595735663266497, 0.02595736002345645, 0.007577241078769436, 0.01406362601015982, 0.008577486253219874, 0.004609572860951212, 0.004609572581055942, 0.0052201249995576255, 0.04742587738497126, 0.029312230963347872, 0.03732688654095112, 0.00460957207895378, 0.00591106995075805, 0.08509904616718289, 0.1824255304737224, 0.008577487021448863, 0.015906391536874575, 0.08509903746596331, 0.11920293297380238, 0.05340332546849447, 0.09534945718704858, 0.060086649332446, 0.002472623543124535, 0.005220126559245899, 0.006692852125433101, 0.16451646699291614, 0.01590639454001383, 0.020332351116542878, 0.10669058968506456, 0.009708475039889518, 0.9525741286736912, 0.006692851444369637, 0.0005527786593378411, 0.00192673490152439, 0.017986207330143424, 0.0017007224853576686, 0.07585817793199003, 0.06008664975322681, 0.012431652579711626, 0.004609572702842431, 0.010986940970919037, 0.0046095711217549185, 0.014063630077935018, 0.010986943814629155, 0.029312231599322516, 0.007577241562002959, 0.0019267346825802324, 0.6791786926816161, 0.09534946682712482, 0.0007096704222993521, 0.005911067556508379, 0.002800926938507112, 0.010986945170704695, 0.03732688895048618, 0.07585817740967664, 0.03732688841503393, 0.005220124520769691, 0.007577242479446398, 0.012431652065184044, 0.03308597755446608, 0.029312230486366886, 0.025957356303004706, 0.10669058613457583, 0.020332355605876803, 0.5, 0.005220126581008995, 0.02033235293453749, 0.005911069140817482, 0.008577484621723485, 0.005220125870081256, 0.006692852326656411, 0.20181321745968236, 0.04742587603860179, 0.02931222958540283, 0.012431653734540277, 0.02297737003547147, 0.004609572365258836, 0.012431653757408172, 0.09534945654437685, 0.020332354938041943, 0.005220125432401302, 0.651354857898194, 0.008577486055222723, 0.2942149721629888, 0.012431651813637232, 0.003593602580586396, 0.042087731520181665, 0.022977369199165775, 0.042087731520181665, 0.03308597517092889, 0.008577486078982382, 0.010986944300387538, 0.02033235278612976, 0.06008665606493927, 0.03308597803117353, 0.020332355346163247, 0.047425871831197425, 0.0004878571490366974, 0.7057850216484838, 0.06754669442450784, 0.004070137332715089, 0.002472623567244255, 0.006692850079147172, 0.0953494597577355, 0.010986944583746605, 0.06754668550840877, 0.007577242626517494, 0.0024726227408568523, 0.005220125209934157, 0.0017007220315454557, 0.08509904790742691, 0.022977367652000317, 0.05340333526106659, 0.06754668410060376, 0.015906394540013826, 0.6224593312018546, 0.06754669724011829, 0.003172682198175387, 0.005911068062721087, 0.0035936025322321425, 0.0019267346516862738, 0.014063627236949042, 0.5621765008857982, 0.08509904094645104, 0.010986942094235046, 0.025957355408212587, 0.022977367861076722, 0.053403331494692494, 0.10669058897496682, 0.07585818211049715, 0.02931223371923813, 0.09534945718704856, 0.348645142101806, 0.07585817688736327, 0.012431651413449134, 0.02297736882282822, 0.16451646904109268, 0.18242551713899047, 0.060086649332446, 0.14804719615221756, 0.009708478469249384, 0.003593603071632214, 0.012431653334352118, 0.0028009275712636986, 0.022977368362860108, 0.0159063946857973, 0.01798621177155612, 0.0420877273148584, 0.00026119033829244436, 0.5926665999540697, 0.01590638865036262, 0.0007096704123924066, 0.004070138044337046, 0.004070137481834799, 0.029312228154459972, 0.0017007221303721467, 0.042087729267329864, 0.04208773257151254, 0.05340333375451692, 0.010986940394081131, 0.01590639413182011, 0.06008664428307652, 0.015906392994709098, 0.07585817479810981, 0.015906389175182938, 0.002800926423457663, 0.6224593312018546, 0.1329642281726931, 0.0007096702695672903, 0.0017007222465923431, 0.020332354863838074, 0.0534033314946925, 0.010986942822872518, 0.18242552158390105, 0.012431652259561127, 0.005911067841082004, 0.012431653471559485, 0.02595735536111827, 0.04742587805815601, 0.02297737070451605, 0.020332353045843292, 0.005911067769938598, 0.025957354419231866, 0.320821300824607, 0.02931223128133519, 0.01798621344942342, 0.04208772776542873, 0.24508500761839525, 0.7772998508568416, 0.11920291889306492, 0.04208772371029591, 0.03732688881662312, 0.014063627779319049, 0.04742586796038571, 0.03308597922294221, 0.06754668926255561, 0.09534947261117098, 0.08509904558710156, 0.012431648909415328, 0.0035936027915109926, 0.5621765008857981, 0.43782349911420193, 0.01798621140966319, 0.006692850076051429, 0.03732689028911683, 0.20181323186177208, 0.04208772476162661 ], "labels": [ 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0 ], "ap": 0.6600829963433077, "point80": { "threshold": 0.09534945718704858, "precision": 0.40625, "recall": 0.8125, "tp": 39, "fp": 57, "fn": 9, "accepted": 96 }, "raw": { "brier": 0.05043137915597571, "ece": 0.015674244125888682, "nll": 0.1812223162107969, "bins": [ { "bin": 0, "n": 420, "mean_score": 0.026077782950318627, "positive_rate": 0.02619047619047619 }, { "bin": 1, "n": 40, "mean_score": 0.14024062635416856, "positive_rate": 0.175 }, { "bin": 2, "n": 14, "mean_score": 0.24484652389182462, "positive_rate": 0.2857142857142857 }, { "bin": 3, "n": 9, "mean_score": 0.33330653004745264, "positive_rate": 0.3333333333333333 }, { "bin": 4, "n": 4, "mean_score": 0.4455652809922124, "positive_rate": 0.75 }, { "bin": 5, "n": 7, "mean_score": 0.5575817251341842, "positive_rate": 1.0 }, { "bin": 6, "n": 6, "mean_score": 0.6461817072267945, "positive_rate": 0.8333333333333334 }, { "bin": 7, "n": 7, "mean_score": 0.743238811722082, "positive_rate": 0.7142857142857143 }, { "bin": 8, "n": 2, "mean_score": 0.8519528038477824, "positive_rate": 1.0 }, { "bin": 9, "n": 1, "mean_score": 0.9525741286736912, "positive_rate": 1.0 } ], "mean_score": 0.0792381938429528 }, "pr": { "precision": [ 0.09411764705882353, 0.09430255402750491, 0.09448818897637795, 0.09467455621301775, 0.09486166007905138, 0.09504950495049505, 0.09523809523809523, 0.09542743538767395, 0.09561752988047809, 0.09580838323353294, 0.096, 0.09619238476953908, 0.0963855421686747, 0.096579476861167, 0.0967741935483871, 0.09696969696969697, 0.09716599190283401, 0.0973630831643002, 0.0975609756097561, 0.09775967413441955, 0.09795918367346938, 0.09815950920245399, 0.09836065573770492, 0.09856262833675565, 0.09876543209876543, 0.09896907216494845, 0.09917355371900827, 0.09937888198757763, 0.0995850622406639, 0.0997920997920998, 0.1, 0.10020876826722339, 0.100418410041841, 0.10062893081761007, 0.10084033613445378, 0.10105263157894737, 0.10126582278481013, 0.1014799154334038, 0.1016949152542373, 0.10191082802547771, 0.10212765957446808, 0.1023454157782516, 0.10256410256410256, 0.10278372591006424, 0.10300429184549356, 0.1032258064516129, 0.10344827586206896, 0.10367170626349892, 0.1038961038961039, 0.1019522776572668, 0.10217391304347827, 0.10239651416122005, 0.10262008733624454, 0.10284463894967177, 0.10307017543859649, 0.10329670329670329, 0.10352422907488987, 0.10375275938189846, 0.10398230088495575, 0.10421286031042129, 0.10444444444444445, 0.10467706013363029, 0.10491071428571429, 0.10514541387024609, 0.10538116591928251, 0.10561797752808989, 0.10585585585585586, 0.10609480812641084, 0.10633484162895927, 0.10657596371882086, 0.10681818181818181, 0.1070615034168565, 0.10730593607305935, 0.10755148741418764, 0.10779816513761468, 0.10804597701149425, 0.10829493087557604, 0.10854503464203233, 0.1087962962962963, 0.10904872389791183, 0.10930232558139535, 0.10722610722610723, 0.10747663551401869, 0.10772833723653395, 0.107981220657277, 0.10823529411764705, 0.10849056603773585, 0.10874704491725769, 0.10900473933649289, 0.10926365795724466, 0.10952380952380952, 0.10978520286396182, 0.11004784688995216, 0.11031175059952038, 0.11057692307692307, 0.1108433734939759, 0.1111111111111111, 0.11138014527845036, 0.11165048543689321, 0.11192214111922141, 0.11219512195121951, 0.11246943765281174, 0.11274509803921569, 0.11302211302211303, 0.11330049261083744, 0.11358024691358025, 0.11386138613861387, 0.1141439205955335, 0.11442786069651742, 0.11471321695760599, 0.115, 0.11528822055137844, 0.11557788944723618, 0.11586901763224182, 0.11616161616161616, 0.11645569620253164, 0.116751269035533, 0.11704834605597965, 0.11734693877551021, 0.11764705882352941, 0.11794871794871795, 0.11825192802056556, 0.11855670103092783, 0.11886304909560723, 0.11917098445595854, 0.11948051948051948, 0.11979166666666667, 0.12010443864229765, 0.12041884816753927, 0.12073490813648294, 0.12105263157894737, 0.12137203166226913, 0.12169312169312169, 0.1220159151193634, 0.12234042553191489, 0.12266666666666666, 0.12299465240641712, 0.12332439678284182, 0.12365591397849462, 0.12398921832884097, 0.12432432432432433, 0.12466124661246612, 0.125, 0.12534059945504086, 0.12568306010928962, 0.12602739726027398, 0.12637362637362637, 0.12672176308539945, 0.1270718232044199, 0.12742382271468145, 0.12777777777777777, 0.12813370473537605, 0.12849162011173185, 0.12885154061624648, 0.12921348314606743, 0.1295774647887324, 0.12994350282485875, 0.13031161473087818, 0.13068181818181818, 0.13105413105413105, 0.13142857142857142, 0.1318051575931232, 0.13218390804597702, 0.13256484149855907, 0.1329479768786127, 0.13333333333333333, 0.13372093023255813, 0.13411078717201166, 0.13450292397660818, 0.1348973607038123, 0.13529411764705881, 0.13569321533923304, 0.13609467455621302, 0.13649851632047477, 0.13690476190476192, 0.1373134328358209, 0.1377245508982036, 0.13813813813813813, 0.13855421686746988, 0.13897280966767372, 0.1393939393939394, 0.1398176291793313, 0.1402439024390244, 0.14067278287461774, 0.1411042944785276, 0.14153846153846153, 0.1419753086419753, 0.14241486068111456, 0.14285714285714285, 0.14330218068535824, 0.14375, 0.14420062695924765, 0.14465408805031446, 0.14511041009463724, 0.14556962025316456, 0.14603174603174604, 0.1464968152866242, 0.14696485623003194, 0.14743589743589744, 0.14790996784565916, 0.14838709677419354, 0.1488673139158576, 0.14935064935064934, 0.1498371335504886, 0.1503267973856209, 0.15081967213114755, 0.15181518151815182, 0.152317880794702, 0.15282392026578073, 0.15333333333333332, 0.15384615384615385, 0.15436241610738255, 0.15488215488215487, 0.1554054054054054, 0.15593220338983052, 0.1564625850340136, 0.15699658703071673, 0.15753424657534246, 0.15807560137457044, 0.15862068965517243, 0.15916955017301038, 0.1597222222222222, 0.1602787456445993, 0.16083916083916083, 0.16140350877192983, 0.1619718309859155, 0.1625441696113074, 0.16312056737588654, 0.16370106761565836, 0.16428571428571428, 0.16487455197132617, 0.16546762589928057, 0.16606498194945848, 0.16666666666666666, 0.16727272727272727, 0.1678832116788321, 0.1684981684981685, 0.16911764705882354, 0.16974169741697417, 0.17037037037037037, 0.17100371747211895, 0.17164179104477612, 0.17228464419475656, 0.17293233082706766, 0.17358490566037735, 0.17424242424242425, 0.17490494296577946, 0.17557251908396945, 0.17624521072796934, 0.17692307692307693, 0.1776061776061776, 0.17829457364341086, 0.17898832684824903, 0.1796875, 0.1803921568627451, 0.18110236220472442, 0.18181818181818182, 0.18253968253968253, 0.184, 0.18473895582329317, 0.18548387096774194, 0.1862348178137652, 0.18699186991869918, 0.18775510204081633, 0.1885245901639344, 0.18930041152263374, 0.19008264462809918, 0.1908713692946058, 0.19166666666666668, 0.19246861924686193, 0.19327731092436976, 0.1940928270042194, 0.19491525423728814, 0.19574468085106383, 0.19658119658119658, 0.19742489270386265, 0.19827586206896552, 0.19913419913419914, 0.2, 0.20087336244541484, 0.20175438596491227, 0.2026431718061674, 0.20353982300884957, 0.20444444444444446, 0.20535714285714285, 0.2062780269058296, 0.2072072072072072, 0.2081447963800905, 0.20909090909090908, 0.2100456621004566, 0.21100917431192662, 0.2119815668202765, 0.21296296296296297, 0.21395348837209302, 0.21495327102803738, 0.215962441314554, 0.2169811320754717, 0.21800947867298578, 0.21904761904761905, 0.22009569377990432, 0.22115384615384615, 0.2222222222222222, 0.22330097087378642, 0.22439024390243903, 0.22549019607843138, 0.22660098522167488, 0.22772277227722773, 0.22885572139303484, 0.23, 0.23115577889447236, 0.23232323232323232, 0.233502538071066, 0.23469387755102042, 0.2358974358974359, 0.23711340206185566, 0.23834196891191708, 0.23958333333333334, 0.24083769633507854, 0.24210526315789474, 0.24338624338624337, 0.24468085106382978, 0.24598930481283424, 0.24731182795698925, 0.24864864864864866, 0.25, 0.25136612021857924, 0.25274725274725274, 0.2541436464088398, 0.25555555555555554, 0.2569832402234637, 0.25842696629213485, 0.2598870056497175, 0.26136363636363635, 0.26285714285714284, 0.26011560693641617, 0.2616279069767442, 0.2631578947368421, 0.2647058823529412, 0.26627218934911245, 0.26785714285714285, 0.2634730538922156, 0.26506024096385544, 0.26666666666666666, 0.2621951219512195, 0.26380368098159507, 0.2670807453416149, 0.26875, 0.27044025157232704, 0.2721518987341772, 0.27388535031847133, 0.27564102564102566, 0.27741935483870966, 0.2792207792207792, 0.28104575163398693, 0.28289473684210525, 0.2847682119205298, 0.2866666666666667, 0.28859060402684567, 0.2905405405405405, 0.2945205479452055, 0.296551724137931, 0.2986111111111111, 0.3006993006993007, 0.3028169014084507, 0.30935251798561153, 0.30656934306569344, 0.3088235294117647, 0.3111111111111111, 0.31343283582089554, 0.3157894736842105, 0.3181818181818182, 0.32061068702290074, 0.3230769230769231, 0.32558139534883723, 0.33070866141732286, 0.3333333333333333, 0.336, 0.3387096774193548, 0.34146341463414637, 0.3360655737704918, 0.33884297520661155, 0.3416666666666667, 0.3445378151260504, 0.3474576271186441, 0.3504273504273504, 0.35344827586206895, 0.3565217391304348, 0.35964912280701755, 0.36283185840707965, 0.36607142857142855, 0.36936936936936937, 0.37272727272727274, 0.3761467889908257, 0.37962962962962965, 0.38317757009345793, 0.3867924528301887, 0.3904761904761905, 0.3942307692307692, 0.3883495145631068, 0.39215686274509803, 0.39603960396039606, 0.4, 0.40404040404040403, 0.40816326530612246, 0.4020618556701031, 0.40625, 0.4, 0.40425531914893614, 0.40860215053763443, 0.41304347826086957, 0.4065934065934066, 0.4111111111111111, 0.4157303370786517, 0.42528735632183906, 0.43023255813953487, 0.43529411764705883, 0.44047619047619047, 0.4457831325301205, 0.45121951219512196, 0.4567901234567901, 0.4625, 0.46835443037974683, 0.47435897435897434, 0.4805194805194805, 0.47368421052631576, 0.48, 0.4864864864864865, 0.4931506849315068, 0.5, 0.5070422535211268, 0.5217391304347826, 0.5294117647058824, 0.5373134328358209, 0.5454545454545454, 0.53125, 0.5238095238095238, 0.5161290322580645, 0.5245901639344263, 0.5333333333333333, 0.5423728813559322, 0.5614035087719298, 0.5714285714285714, 0.5818181818181818, 0.5925925925925926, 0.6037735849056604, 0.5961538461538461, 0.5882352941176471, 0.6, 0.6122448979591837, 0.625, 0.6382978723404256, 0.6444444444444445, 0.6590909090909091, 0.6904761904761905, 0.6829268292682927, 0.7, 0.717948717948718, 0.7105263157894737, 0.7027027027027027, 0.7222222222222222, 0.7878787878787878, 0.8, 0.8275862068965517, 0.8571428571428571, 0.8518518518518519, 0.875, 0.8695652173913043, 0.8636363636363636, 0.8571428571428571, 0.8421052631578947, 0.8333333333333334, 0.8235294117647058, 0.8125, 0.8461538461538461, 0.8333333333333334, 0.8181818181818182, 0.8, 0.7777777777777778, 0.7142857142857143, 0.6666666666666666, 0.6, 0.75, 1.0, 1.0, 1.0, 1.0 ], "recall": [ 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9791666666666666, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9583333333333334, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9375, 0.9166666666666666, 0.9166666666666666, 0.9166666666666666, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.8958333333333334, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.875, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8541666666666666, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8333333333333334, 0.8125, 0.8125, 0.7916666666666666, 0.7916666666666666, 0.7916666666666666, 0.7916666666666666, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.7708333333333334, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75, 0.75, 0.7083333333333334, 0.6875, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6666666666666666, 0.6458333333333334, 0.625, 0.625, 0.625, 0.625, 0.625, 0.6041666666666666, 0.6041666666666666, 0.6041666666666666, 0.5833333333333334, 0.5833333333333334, 0.5833333333333334, 0.5625, 0.5416666666666666, 0.5416666666666666, 0.5416666666666666, 0.5, 0.5, 0.5, 0.4791666666666667, 0.4375, 0.4166666666666667, 0.3958333333333333, 0.375, 0.3333333333333333, 0.3125, 0.2916666666666667, 0.2708333333333333, 0.22916666666666666, 0.20833333333333334, 0.1875, 0.16666666666666666, 0.14583333333333334, 0.10416666666666667, 0.08333333333333333, 0.0625, 0.0625, 0.0625, 0.041666666666666664, 0.020833333333333332, 0.0 ] }, "n": 510, "positive": 48, "mean_score": 0.0792381938429528 } }, "ci": { "deepseek": { "ap": [ -0.10230739141327133, 0.02486066644372887 ], "p80": [ -0.13164556962025314, 0.14257688991089387 ] }, "qwen": { "ap": [ -0.1199363223611349, 0.027884835624601912 ], "p80": [ -0.20880407059162073, 0.13687891100919317 ] } }, "speed": { "jev": { "q1-c1": { "seconds": 7.745, "seconds_runs": [ 7.297, 7.745, 7.922 ], "min_seconds": 7.297, "max_seconds": 7.922, "decisions": 153, "calls": 153, "throughput": 6.5848934796642995, "p50_ms": 138.56199999999998, "p95_ms": 192.93720000000002, "accuracy": 0.7908496732026143, "correct": 121, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.12840964705882355, "reasoning_tokens": 0, "cached_input_tokens": 0, "input_tokens": 467778 }, "q4-c1": { "seconds": 2.4, "seconds_runs": [ 2.398, 2.4, 2.557 ], "min_seconds": 2.398, "max_seconds": 2.557, "decisions": 153, "calls": 45, "throughput": 21.25, "p50_ms": 147.263, "p95_ms": 331.0029999999996, "accuracy": 0.7908496732026143, "correct": 121, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.04226517647058824, "reasoning_tokens": 0, "cached_input_tokens": 0, "input_tokens": 153966 }, "q17-c1": { "seconds": 0.732, "seconds_runs": [ 0.841, 0.696, 0.732 ], "min_seconds": 0.696, "max_seconds": 0.841, "decisions": 153, "calls": 9, "throughput": 69.67213114754098, "p50_ms": 157.202, "p95_ms": 470.9772, "accuracy": 0.7908496732026143, "correct": 121, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.013550352941176473, "reasoning_tokens": 0, "cached_input_tokens": 0, "input_tokens": 49362 }, "q1-c4": { "seconds": 2.341, "seconds_runs": [ 2.408, 2.09, 2.341 ], "min_seconds": 2.09, "max_seconds": 2.408, "decisions": 153, "calls": 153, "throughput": 21.78556172575822, "p50_ms": 138.653, "p95_ms": 431.29240000000004, "accuracy": 0.7973856209150327, "correct": 122, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.12840964705882355, "reasoning_tokens": 0, "cached_input_tokens": 0, "input_tokens": 467778 }, "q1-c16": { "seconds": 1.124, "seconds_runs": [ 1.082, 1.124, 1.214 ], "min_seconds": 1.082, "max_seconds": 1.214, "decisions": 153, "calls": 153, "throughput": 45.37366548042704, "p50_ms": 177.175, "p95_ms": 742.1780000000001, "accuracy": 0.803921568627451, "correct": 123, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.12840964705882355, "reasoning_tokens": 0, "cached_input_tokens": 0, "input_tokens": 467778 } }, "deepseek": { "q1-c1": { "seconds": 12.005, "seconds_runs": [ 16.866, 10.753, 12.005 ], "min_seconds": 10.753, "max_seconds": 16.866, "decisions": 153, "calls": 153, "throughput": 4.24822990420658, "p50_ms": 222.92600000000002, "p95_ms": 374.61480000000006, "accuracy": 0.7058823529411765, "correct": 108, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.0657789019607843, "reasoning_tokens": 0, "cached_input_tokens": 387712, "input_tokens": 412281 }, "q4-c1": { "seconds": 3.699, "seconds_runs": [ 3.405, 3.699, 6.104 ], "min_seconds": 3.405, "max_seconds": 6.104, "decisions": 153, "calls": 45, "throughput": 13.787510137875103, "p50_ms": 231.309, "p95_ms": 400.18839999999994, "accuracy": 0.7516339869281046, "correct": 115, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.026816705882352937, "reasoning_tokens": 0, "cached_input_tokens": 120576, "input_tokens": 130617 }, "q17-c1": { "seconds": 1.679, "seconds_runs": [ 1.851, 1.141, 1.679 ], "min_seconds": 1.141, "max_seconds": 1.851, "decisions": 153, "calls": 9, "throughput": 30.375223347230495, "p50_ms": 460.353, "p95_ms": 799.0314, "accuracy": 0.7647058823529411, "correct": 117, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.02629207843137255, "reasoning_tokens": 0, "cached_input_tokens": 24448, "input_tokens": 36144 }, "q1-c4": { "seconds": 3.625, "seconds_runs": [ 3.545, 3.625, 4.599 ], "min_seconds": 3.545, "max_seconds": 4.599, "decisions": 153, "calls": 153, "throughput": 14.068965517241379, "p50_ms": 258.884, "p95_ms": 453.6162, "accuracy": 0.6862745098039216, "correct": 105, "invalid_calls": 2, "api_errors": 2, "format_errors": 0, "cost_per_1000": 0.04981121568627451, "reasoning_tokens": 0, "cached_input_tokens": 388736, "input_tokens": 405157 }, "q1-c16": { "seconds": 4.468, "seconds_runs": [ 4.303, 4.468, 17.11 ], "min_seconds": 4.303, "max_seconds": 17.11, "decisions": 153, "calls": 153, "throughput": 11.414503133393017, "p50_ms": 591.0849999999999, "p95_ms": 2166.5354, "accuracy": 0.6993464052287581, "correct": 107, "invalid_calls": 2, "api_errors": 2, "format_errors": 0, "cost_per_1000": 0.07508666666666668, "reasoning_tokens": 0, "cached_input_tokens": 373760, "input_tokens": 403371 } }, "qwen": { "q1-c1": { "seconds": 25.847, "seconds_runs": [ 32.412, 23.495, 25.847 ], "min_seconds": 23.495, "max_seconds": 32.412, "decisions": 153, "calls": 153, "throughput": 1.9731496885518627, "p50_ms": 450.424, "p95_ms": 944.9008, "accuracy": 0.7973856209150327, "correct": 122, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.24499660130718956, "reasoning_tokens": 0, "cached_input_tokens": 330064, "input_tokens": 414681 }, "q4-c1": { "seconds": 12.381, "seconds_runs": [ 12.381, 8.483, 14.2 ], "min_seconds": 8.483, "max_seconds": 14.2, "decisions": 153, "calls": 45, "throughput": 4.119214926096438, "p50_ms": 523.045, "p95_ms": 1460.4873999999995, "accuracy": 0.803921568627451, "correct": 123, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.07718692810457516, "reasoning_tokens": 0, "cached_input_tokens": 107408, "input_tokens": 131433 }, "q17-c1": { "seconds": 3.28, "seconds_runs": [ 3.28, 4.565, 2.69 ], "min_seconds": 2.69, "max_seconds": 4.565, "decisions": 153, "calls": 9, "throughput": 15.548780487804878, "p50_ms": 985.42, "p95_ms": 2083.3795999999993, "accuracy": 0.6601307189542484, "correct": 101, "invalid_calls": 1, "api_errors": 0, "format_errors": 1, "cost_per_1000": 0.031413333333333335, "reasoning_tokens": 0, "cached_input_tokens": 24304, "input_tokens": 36480 }, "q1-c4": { "seconds": 7.166, "seconds_runs": [ 8.812, 7.166, 5.894 ], "min_seconds": 5.894, "max_seconds": 8.812, "decisions": 153, "calls": 153, "throughput": 7.1169411108010046, "p50_ms": 482.122, "p95_ms": 1046.3948, "accuracy": 0.803921568627451, "correct": 123, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.2381814379084967, "reasoning_tokens": 0, "cached_input_tokens": 335552, "input_tokens": 414681 }, "q1-c16": { "seconds": 5.459, "seconds_runs": [ 6.908, 3.277, 5.459 ], "min_seconds": 3.277, "max_seconds": 6.908, "decisions": 153, "calls": 153, "throughput": 9.342370397508702, "p50_ms": 956.899, "p95_ms": 3844.0322, "accuracy": 0.7973856209150327, "correct": 122, "invalid_calls": 0, "api_errors": 0, "format_errors": 0, "cost_per_1000": 0.23526065359477125, "reasoning_tokens": 0, "cached_input_tokens": 337904, "input_tokens": 414681 } } }, "retained": 3279, "successful": 3275, "cost": 0.646013756, "qwen_reasoning": { "binary": { "calls": 510, "nonzero": 0, "median": 0.0, "max": 0 }, "quality-anli": { "calls": 300, "nonzero": 0, "median": 0.0, "max": 0 }, "quality-bank": { "calls": 385, "nonzero": 0, "median": 0.0, "max": 0 }, "quality-contract-q1": { "calls": 510, "nonzero": 0, "median": 0.0, "max": 0 }, "quality-contract-q17": { "calls": 30, "nonzero": 0, "median": 0.0, "max": 0 } }, "source_ips": [ "107.172.73.82" ], "single_question_anli_latency": { "jev": { "calls": 300, "warm_calls": 284, "all_p50_ms": 168.59400000000002, "all_p95_ms": 339.74665000000005, "warm_p50_ms": 167.159, "warm_p95_ms": 322.6072 }, "deepseek": { "warm_n": 277, "p50_ms": 261.87100000000004, "p95_ms": 580.836 }, "qwen": { "warm_n": 293, "p50_ms": 392.513, "p95_ms": 837.3965999999997 } }, "sampled_nonlabel_tokens": 3 }