IPAのLinux互換性検証のプレスリリースhttp://www.ipa.go.jp/about/press/20091014.html で知ったAutotest というコミュニティ＆ツール http://autotest.kernel.org/


http://test.kernel.org/linux_symposium_2009.pdf

ざっと見た感じだと

・ジョブスクリプトを書いておくと、複数のテストマシンにテストを振り分けて自動実行してくれる
・テストサーバとテストクライアントが別マシンなのを生かし、テストでカーネルクラッシュが発生してもテストサーバはクラッシュを自動検知 fail +1 としてテストを継続してくれる。

というのがウリのよう。開発主体はGoogle。
これは、勉強する価値があるかもしれない。