リップスらの論文への基本的反論は終わったとはいうものの、次のような疑問を出してくる人はいるでしょう。
「限られた時間内に、P=0.00002 という小さな値を出せるほど、多くのグループについて、検証できるだろうか?」確かに、この問いかけは、もっともです。
しかし、ここで思い出さなければならないのは、
等距離文字列の近接度を判定する方法自体も彼らが考えたものである、
ということです。
これを踏まえると、次のようなプロセスを想定することができます:
まず、ごく簡単な近接度測定の方法を考え、いろいろな語ペアについて、それを測る(彼らが「ハンマー」と「鉄床」のペアについて検証する前にどれくらい他のペアを検証したのか想像してみてください)。
有望そうなグループの候補を見つけ、今度は、いかに、これらのグループを対象にして小さな確率値がでるか、方法を試行錯誤して最適なものを選ぶ。
(この過程で、データ対象もまた洗練され、そして新たなデータ対象から、また方法に磨きをかけていく。)
このようにして、いわば、偶然による確率0.00002 という値を「作っていった」のではないか、
と私は、想像しています。
もちろん、リップスらが、このような方法を採ったという証拠はありません。
しかし、彼らの方法には、実に不自然な点が多いのも事実です。これらの不自然な点をどう考えたら、良いのか、となるとあまり他に考慮の余地は残されていないように私には思えます。
以下、リップスらの方法の不自然な点を挙げてみます。