Benchmark試験

ベンチマークソフトの傾向と試験

VirtualPCのページトップへ

主旨
　先日発表されたVirtualPCの3.0→3.0.3へのアップデータが発表されました。いくつかのバグの解消とともに、Velocity Engineへの一部最適化が行われた、ということでした。
　さて、当サイトではこれに伴い、VPCのバージョンをアップしたところ、使用環境下(PowerMacintoshG4/350 AGP)において一部の「描画処理の大きな」作業においてこの軽減を確認しました。　しかし、ベンチマークソフトを使用してのベンチマーク(HDBENCH)において、実際の体感の上昇とは異なる/奇妙な結果を出し、ベンチマークソフトの信頼性と難しさを実感しました。

　常々ベンチマークは「参考程度」と主張はしていますが、実際には具体的に数値化＝分かりやすくできるというメリットがあるため、実際には「参考程度以上」に情報が扱われることが多いのが実情です。　これは非常にある意味不満を持つものではありますが、実際の体感を表現するのもこれはまた至難の業であり、実際には上手く説明できないのが現状です。
　よって、他のベンチマークソフトへの興味の他に、新規のベンチマークの探索が可能かどうか、またVirtualPC使用下で、入力をしないで一定時間経過後に起こる「描画の間引き現象」などへの考慮も含め、幾種類かのベンチマークソフトをダウンロードし、試験をしてみました。
　以下にその使用感および結果を表記します。

・試してみるベンチマークソフト

HDBENCH261/322
http://www.bx.jpn.org/~yttlord/より「LowErrorBench Ver0.20」
電脳BENCH　試作品 → 2Dゲームに特化
YBENCH → 総合ベンチソフト。作者のページでは最新版が公開(06/08)なので、そっちから実際はDL。
描画処理速度くん → CPUと描画ベンチソフト
GBENCH32 → ゲーム環境のテスト（スプライトの使用）
ベンチ王 → CPUと映像、ディスク性能に特化したベンチマークソフト
メルコベンチ → メルコ提供の総合ベンチマークソフト。ワードパッドやペイントなどを使うのが少し変わっている。

・設定に関して

VirtualPCは3.00と3.0.3を用意
512MBのHDDイメージを作成し、Windows95 OSR2を標準インストール。　出来たイメージをコピーして、片方を3.0用、もう片方を3.0.3用にアップデートし、ベンチマークソフトをインストールする。
使用ドライブは「Ｃドライブ」
VirtualPCの起動をして、すぐさま測定する。
VirtualPCの初期設定で「Ethernet」を「不使用」、「MMX」の使用項目のあるものに関しては「不使用」。（FMサウンドは、音を使用しないのでON/OFF無関係と判断）
800*600で、16Bit
フルスクリーンモード（「ビデオの調整」は「しない」）
DirectX6.1をインストール
計測中には一切手を触れない
特に注意がないかぎり、デフォルト設定でベンチマーク

**機種条件**
機種	CPU	2nd Cache	内臓メモリー	MacOS	HDD接続環境	Video Card
PowerMacG4(DVD model)	PowerPC G4/350MHz	1MB(175MHz)	320MB	9.0.4J	内臓Ultra ATA/66(10GB)	内臓ATI Rage128Pro(AGP2x)
VirtualPC	VPC稼働OS	HDDイメージ	Winodwsメモリー	VRAM割当	ベンチソフト	Formatter
3.0/3.0.3-J	Windows95 OSR2	512MB	約64MB	4MB	上記に準ずる	ドライブ設定1.9.2

HDBENCH

　基本的に、解像度と色数以外は普段と一緒。

**HDBENCH 2.61**
	ALL	浮動小数点	整数演算	メモリー	矩形	円	テキスト	スクロール	DirectDraw	READ	WRITE
3.0	5657	7600	12115	4069	5339	860	3069	143	15	9241	6895
3.0.3	5663	7654	11839	4207	4971	1061	2887	173	15	9499	7220

**HDBENCH 3.22**
	ALL	CPU		メモリー			VIDEO					DISK
	ALL	Integer	Float	Read	Write	Read&Write	Rectangle	Text	Ellipse	BitBlt	DirectDraw	READ	WRITE	Copy
3.0	5105	7137	3808	3325	4291	5621	3395	2597	554	159	15	10491	7638	3073
3.0.3	5024	7157	3838	3326	4291	5624	3135	2510	529	155	14	9990	7753	3062

　これをみて、640*480条件で256色の方を、ちょっと計測し直したほうが良いかも、と思いやってみました。が、VPCのベンチマーク記事で計測した通りの結果が出ました。
　つまり、640*480-256色ではHDBENCH261ではCPU性能に差が出ますが、800*600-16bitでは出ない、という結果になっています（そして、変化がまずないのは他のベンチマークでも示した通り）。
　考えさせられますねぇ...........

LowErrorBench Ver0.20

通称LEBENCH。精度の誤差を少なくした、と言うのがウリ。　確かに誤差は少ない。
インストールは容易。計測時間も少なく、非常に容易にできる。
CPUの性能を図る「演算処理」。描画関係の「描画処理」「テキスト処理」「スクロール処理」「Direct Draw」「Direct3D」が項目。　DirectX6以上が必須。　計速法は全て計測するか、各種で行える。
それぞれの処理では、「失敗」を起こすことがあり、その場合は自然に「Retry」をしてくれる。場合によってはこれのせいで堂々めぐりを開始するので、その場合は設定で「標準」を「甘口」に変えることで脱することが出来る。が、甘口では誤差が多く出やすい、という難点を持つ。　今ベンチでは、「標準」下において「演算処理」がこの堂々めぐりに入った。
「甘口」による一斉計測と、「標準」による、手作業で「演算処理」を除くベンチを行った。
尚、「甘口」ではVPC上で一定時間入力無しで起こる、描画の手抜きがスクロール処理中に起こる。

甘口
	演算処理	描画処理	テキスト処理	スクロール処理	Direct Draw	Direct3D
3.0	114	4	30	13	59	2
3.0.3	106	5	30	14	59	2

**標準（手動）**
	演算処理	描画処理	テキスト処理	スクロール処理	Direct Draw	Direct3D
3.0	---	5	30	6	38	2
3.0.3	---	5	30	8	38	2

**備考：640*480/256色(HDD300MB)で標準（手動）**
	演算処理	描画処理	テキスト処理	スクロール処理	Direct Draw	Direct3D
3.0	---	5	30	8	51	2
3.0.3	---	5	30	10	51	2

　スクロール処理にて差あり。
　誤差は確かに少なく、手動状態でも実質無し。また、手動で行うと「描画の間引き現象」が起きる前に項目の計測を終了してくれるので、実際的には「使える」可能性は高い。　唯一トータル的にVPC3.0.3での向上を示した。

電脳ベンチ　試作品　ver0.600

2Dゲームに特化したベンチマークソフト。
起動すると、自動的にいくつか2D処理に関するベンチが行われる。
- 試練その１：ＣＰＵによる描画命令＋αの実行速度
- 試練その２：ビデオカードの描画能力
- 試練その３：整数演算速度とメモリアクセス速度
- 試練その４：多重スクロールによる総合評価
軽量かつ容易。　ただし、256色は不可。
「ビデオカード依存度」や「高速演算性重視度」というおもしろい項目もあり（詳しくは、添付書類参考）
結果はテキストファイルで出力される。

**電脳ベンチ（処理時間［sec］/ポイント［pt］）**
	総合	試練1	試練2	試練3	試練4	ビデオカード依存度	高速演算性重視度
3.0	108.2/165	27.4/208	16.5/179	28.7/97	35.7/176	49%	-47%
3.0.3	108.7/163	27.9/206	17.5/172	28.1/98	35.2/177	47%	-47%

　基準値は「MMX-Pentium 200MHz、64MB EDO-RAM、3D-RAGEIIという構成の某メーカー製パソコンにおける、15bit及び32bitカラー時の処理時間が基準です。」との事基準値＝100ポイントとし、独自の計算式を用いて結果のポイントを算出。　付属htmlによれば、「一般的には、総合評価で200ポイント以上あれば快適に２Ｄゲームをプレイできるでしょう。（※2000年4月現在）」とあります。
　しかし.......結構VPCも大したものだ、という気がしないわけでも（笑）
　今のところ、誤差の具合を詰める必要あり。ただし、結構おもしろいベンチマーク、という気もしています。

YBENCH Ver3.04

Vectorでは旧バージョンなので、作者のHPより最新版をDL
HDBENCHタイプの総合ベンチマークソフト
軽量ではあるが、計測に30分以上を要するのでこの点に難がある。
計測はCPUの整数演算、浮動小数点。画像の四角、円、三角、テキスト、スクロール。メモリー。HDD 40MB/50MB/60MBの読み書きにMIX Mode（1～200までに存在する素数を算出し、1つ素数を算出するとその素数の三角関数を求め、求めた結果を8KBのデータにして素数回数分HDD Write、Read(バッファOFFモード)を行い4MB分のメモリ転送を行う）

**YBENCH Ver3.04（単位は秒＝小さいほど高速）**
	Total	CPU		Graphic					Memory	HDD Write			HDD Read			Mix Mode
	Total	Prime Calc	Trigonometric	Square	Circle	Triangle	Text	Scroll	Memory	40MB	50MB	60MB	40MB	50MB	60MB	Mix Mode
3.0	1487.4	90.4	164.1	133.5	273.2	187.4	127.8	287.1	23.1	20.9	25.4	30.6	18.4	22.9	29.3	53.3
3.0.3	1482.8	90.5	165.7	130.9	276.0	185.3	129.7	279.2	22.9	20.9	25.3	30.3	19.6	23.1	28.9	54.5

　誤差がどれくらいなのか見極めが必要。ただし、おそらくは繰り返しが多いので誤差の範囲はそう多くはないかと思います。
　細部におけるベンチマークとしては有効の可能性はありますが、HDBENCHよりも時間が多くかかるために余り標準化に向くとは言えないでしょう。画面が省エネモードになっちゃいますし（爆）

描画処理速度くん

CPUと描画ベンチソフト
軽量でインストールは解凍するだけ、と容易。
起動させようとすると失敗。原因不明

GBENCH32

ゲーム環境を中心に考えたベンチマーク的ソフト
軽量で実行も容易
ウィンドウが出てきて、その中で背景がスクロール。その中をボールが跳ね回る。この時のfpsを計測
fpsは徐々に安定化していくが、途中で描画の手抜きが発生するため厳密なことが何とも言えない（マウスを動かせば戻るが）
起動して動かすたびにスクロールの方向が異なったりする事と、常にfps表示が行われて変動するためになんとも言い様がない。
不向きか？

ベンチ王 Ver2.10

作者のHPより最新版をDL
CPU性能、描画関係、ハードディスクのベンチマークソフト。　好きな項目を選んでの一括ベンチマークが可能
軽量でありすぐに計測ができる。
CPU、VIDEOカード、画面サイズ、Windowsのバージョンの確認を「System Info」として可能。
DirectX必須

**ベンチ王 Ver2.10**
	総合評価	CPU性能	通常グラフィック性能	DirectDraw性能	Direct3D性能	HDDアクセス速度
3.0	5150	5068	5641	11350	440	3253
3.0.3	5128	5186	5463	11250	440	3304

　誤差がやや大きめの傾向あり。　HDBENCHも似たようなもの、という気もしますが。
　System Infoが結構いい加減。Windowsは95 OSR2なのに表示は「Windows98 4.0」となる。VIDEOは共通して「S3」。CPUは「ConnectixCPU」として認識し、3.0では「135.2800MHz」、3.0.3では「133.1696MHz」と認識。ただし、「429.5455MHz」と認識したケースもあり。
　尚、ビデオのベンチではクセが強い絵が出るので、そこら辺がちょっと.............

メルコベンチ

メルコ製のベンチマークソフト。ペイント、ワードパッドを利用するちょっと変わったベンチマークソフト。
スクロール、画像編集、図形描画、CPU、メモリ、ハードディスク、CD-ROMの速度計速が可能。一括か個別のベンチマークの選択が出来る。
軽量であるが、一瞬インストールに悩む可能性がある。
画像編集のベンチマークを行うと、Windows終了時にエラーが100%の再現性で発生する。
誤差が大きめであると思われる。

**メルコベンチ（PC9801BX3を100%とした相対値）**
	総合評価	スクロール	画像編集	図形描画	CPU	メモリ	ハードディスク	CD-ROM
3.0	715	491	586	1093	500	1070	550	-----
3.0.3	768	538	574	1146	515	1235	600	-----

**備考：640*480/256色(HDD300MB)での結果**
	総合評価	スクロール	画像編集	図形描画	CPU	メモリ	ハードディスク	CD-ROM
3.0	914	747	491	2017	520	1162	550	-----
3.0.3	911	674	494	1867	537	1319	574	-----

　誤差がやや大きめの傾向あり。　また、解像度と色数でまた全然違う数字を出す。
　逆転現象だしているのか、それとも誤差なのかなかなか掴みにくい。　エラーが生じることが分かっているので、その点でやりにくい。手軽で良いのだが、難点が多くある。

結論と考察など
　やはり、ベンチマークソフトは絶対ではありませんね..........
　いくつかのソフトを何回か試験してみた結果、非常に面白い特徴を持つものも多く、利用するのになかなか興味深い物がありました。　ただし、その結果についての傾向は非常にバラバラで安定を持ったものが少なく、かなり難しい物であると実感しました。
　ただ、3.0と3.0.3において、数字の上下はともかくも何らかの「差」は明確にあるように感じます。G3ではどうなるのかが分からないのが何とも言い様がないですが。

　尚、使用していて感じたことは

総合ベンチマークソフトは誤差が多い傾向にある（全部ではない）
環境条件下で逆転現象が起こることもある（メルコベンチが代表的）
「描画の間引き現象」によるベンチマークソフトへの影響は高い
VIDEO系ベンチマーク中に「描画の間引き現象」が起こると誤差が広まる可能性が高い

　などがあります。　また、ベンチマーク時の解像度および色数に適している/いないという部分も考慮する必要があるかも知れません。

　管理人としては「描画の間引き現象」についてはかなり大きく見ており、この現象が3.0と3.0.3環境下においてのVIDEO数値の差を生じている可能性もあるのではないかと思っています。
＃例えば、「手抜き具合」の度合いなどが3.0.3のVelocity Engine下で少ない→結果的に数字が悪くなる、とか。　あくまでも「可能性」として。
　ま、ここはなんとも言い様がないですけど.........
　尚、個人的には、「誤差」や「手軽さ」、「描画の間引き現象」を考慮するとLEBENCHの「標準/手動」下での測定を実際に持ち込むと面白いのではないかと思っています。　採用しても問題はないかも知れないと思っています。

　ま、結局のところは、自分の使用環境下での「実際の使用感」というのが最重要であることは忘れないで下さい。
　それが「確実なベンチマーク」です。

・謝辞

　色々と意見や提案をして下さったAoxさんとKenさんに深く感謝します。
　本当にありがとうございましたm(_ _)m

VirtualPCのページトップへ

最終更新2000/06/19