ウイルス対策ソフトの信頼性 - サーバー管理者日誌

世の中にはこんな研究資料があるそうです。

この記事を見て感じた疑問をここに書いてみたいと思います。

「14万7184種類のウイルス」は果たして本当にウイルスなのか

無作為にウイルスだと思われたファイルを片っ端から集めたのだと思うのですが、はたしてこの中に「本当のウイルス」はどれだけ含まれるのでしょうか。また、それを証明する方法はどこにあるのでしょうか。バイナリまで確認したのであれば、こんな数を用意することは出来ませんから、これがすべてウイルスである、ということは無いでしょう。

誤検出は無かったのか

先ほどの疑問と少し似ています。もしこのなかにウイルスでないファイルが含まれていた場合、そしてそれが例えば 10% だったりした場合、99% などの検出結果はよろしくありません。統計的にはジャスト 90% の検出量を出したものが良いのでしょうか。おそらくそうでも無いですね。

その定義ファイルはいつのものか

試験をする際、定義ファイルの更新日くらいはそろえて欲しいところです。しかしその情報は一切ありません。

信頼性を評価するにはどういう方法が良いのか

まず、特定の日付のウイルス定義ファイルを用意するべきです。そして、一つ一つのファイルに対しての検索結果をマトリクス状の表にまとめるべきかと思います。次に、その中から「ほとんどの検索結果がウイルス」であるファイルと「ほとんどの検索結果がウイルスでない」ファイルを結果から除外します。最後に、残りのファイルを「本当にウイルスかどうか」正しく分析し、正しく検出したかどうかを評価するべきです。
もちろん検索方法は何通りかあって、リアルタイム/手動の両者に対して、Input/Output それぞれで計測するべきですよね。パフォーマンスにかかるコストも気になりますし、その数値も評価したいです。実際やるとしたら、気が遠くなりそうだなぁ・・・。