가설로 실험하고 결과에 기반한 근거 확보 VS 근거 확보 후 결과 검증

상황은 이렇습니다.
기존에 사용되는 X라는 접근법이 있는데, 이 접근법을 변형한 A방법, B방법과 X방법을 비교한 결과를 실험으로 알아보고 싶습니다.
A와 B방법은 X방법과는 확연하게 다른 면이 있어 더 안 좋을 수도, 더 좋을 수도 있습니다. (사실 미미하면 제일 큰 문제입니다.)
저는 이 방법들을 실험해보고 더 좋으면 좋은 대로 왜 더 좋았을 지에 대한 가설을 세우고 후속 실험으로 검증해볼 생각입니다.
요지는 X방법의 근본이 되는 일부분을 바꾼 여러 방법들을 비교함으로서 이 부분을 바꿀 때의 결과에 대한 확인입니다.

하지만 제 말을 들은 동료는 어처구니가 없어 하면서 성능이 좋아질 근거도 없으면서 실험하려는 이유가 뭐냐...
이론적으로 볼 때 바꿧을 때 가지는 이점이 뭐냐... 하고 의견에 차이가 있었는데요, (같이 연구하는건 아니라 조율이 필요한 건 아닙니다.)

여러개 뿌려놓고 확인하는 방법보다는 확실하게 성능이 더 나아질 방법 하나로 실험을 해서 결과를 뽑는게 맞나요 보통??

제 생각은 근거를 먼저 확보한다 한들 실제로 반대로 나오는 경우가 많이 나오기도 했고
실험을 하고 결과가 왜 이렇게 나왔을까...를 생각하고 후속 실험으로 검증하는 편이 더 좋다고 생각합니다.

아직 계획만 구상한 단계고 (BASELINE으로 X방법 결과 뽑는 동안) A방법과 B방법의 특징을 뽑아서
결과가 어떻게 달라질 지 같은 걸 예상하기는 할 것이지만 그것과 실험과는 무관할 것 같고요

분야는 컴퓨터 딥러닝 쪽입니다. 실험에는 평균 약 3일~반나절 단위로 걸립니다.