バイアスを制御できないことは
外部対照試験の主たる、そして良く知られた限界です。
多くの場合にこのデザインが不適当とされるのは、
この限界のためです。
治療群と対照群の比較可能性を確保し、
対照群を置く主たる目的を達成することが、
外部対照試験では常に困難であり、
多くの場合不可能です。
試験治療の使用の有無以外に、
人口統計学的特性、
診断基準、
病期又は疾病の重症度、
併用治療及び
観察の条件（結果の評価法、研究者の期待）等、
試験結果に影響しうる様々な因子が
群間で異なる可能性があります。
群間のそのような相違には、
重要だが認識されていない予後要因が、
観測されることなく、
含まれている可能性があります。
外部対照が用いられている場合には、
これらのバイアスを最小限にするための
盲検化やランダム化を用いることはできません。
その結果、
患者、観察者、解析者のバイアスの影響を受けます。
これは重大な短所です。
選択バイアスの影響により、
無治療既存対照群の結果は、
ランダム化比較試験において選ばれる
明らかに類似した対照群より
悪い結果となりがちである
ことはよく知られています。
ランダム化比較試験における対照群は、
試験に入るためのある種の基準、
すなわち、一般的に、
外部対照群に典型的なものよりも厳しく、
より軽症な患者集団を規定することとなる基準
を満たさなければなりません。
外部対照群は
しばしばレトロスペクティブに定義され、
その結果として選択バイアスが生じる可能性があります。
バイアスを制御できない結果、
外部対照試験の知見に説得力を持たせるためには、
同時対照試験で必要とされるよりも
はるかに厳しい統計学的有意性のレベル、
そして非常に大きな治療間の差の推定値
が求められることとなります。
外部対照試験では
被験治療の有効性が過大評価される傾向がある
こともよく知られています。
外部対照試験において実施された統計学的有意性検定は、
ランダム化試験において実施されたものに比べ、
信頼性が低いことを認識すべきです。
バイアスを制御できないため、
外部対照デザインの使用は、
治療効果が劇的であり、
疾患の通常の経過が十分に予測可能である場合
に限定されます。
さらに、
外部対照を採用するのは、
エンドポイントが客観的であり、
エンドポイントに対するベースラインや治療変数の影響
の特徴が十分に分かっているような場合に限るべき
と言われています。