누구나 같이 하는 벤치마크
  2002.04.19 | |
| 컴퓨터 전문잡지를 보면 매달 빠지지 않고 진행되는 아이템 기사 가운데 벤치마크라는 항목을 볼 수 있다. 본디 경영학에서 출발한 벤치마크(Benchmark)라는 테마는 오히려 컴퓨터 특히 하드웨어에서 많은 이들이 관심을 갖는 항목이다. 하지만 직접 벤치마크 프로그램을 구동시켜보면 예상과는 달리 쉽게 진행되지 않는 경우가 많다. 기사와는 달리 여러 가지 조건이 걸리는 경우가 많으며 올바른 벤치마크를 위해서 주의해야할 사항들도 여럿이다. 실험에 쓰인 제품과 비슷한 사양임에도 불구하고 결과값이 형편없이 낮아 부품에 무엇인가 이상이 있는 것으로 느끼기도 쉽다. 무엇보다 시간을 투자해서 진행한 벤치마크가 정작 제대로 된 실험인지 스스로는 판단하기 어렵다. 무사히 실험을 마쳤다고 하더라도 대부분 숫자로 표현되는 각각의 데이터의 의미를 정확하게 이해한다는 것은 매우 힘든 과정이다. 중요한 것은 이 과정을 거치지 않으면 벤치마크의 정확한 의미를 안다고 말하기는 어렵다는 것이다. 이러한 데이터들은 실험조건을 바꾸어가면서 진행하면 조건마다 다양한 결과값을 얻을 수 있고, 정확한 비교를 해서 원인까지 추정한다는 것은 사실 전문적인 벤치마크 테스터의 몫이기 때문이다. 사실 일반 이용자들이 여기까지 진행할 필요는 거의 없다. 하지만 간단한 테스트와 비교는 몇 가지 주의 사항만 지킨다면 그리 어렵지 않은 작업이다. 무엇보다 그 과정에서 얻어지는 시스템에 대한 이해와 지식은 책을 읽거나 웹사이트에서 얻을 수 있는 간접경험과는 확실히 다르기 때문이다. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
벤치마크란 무엇인가?  벤치마크(Benchmark)의 사전적인 뜻은 본디 바다깊이나 산과 언덕 높이의 측량 기준이 되는 기준점을 말한다. 바닷물의 높이는 파도나 바람의 영향에 따라 자주 변하게 마련이다. 하지만 몇 년에 걸쳐 이런 높이를 조사해서 기준으로 삼는 것이 바로 수준원점이다. 우리가 산의 높이를 해발(海拔)이라고 부르는 것도 이 때문이다. 참고로 우리나라의 수준원점(水準原點)은 인천광역시 남구 용현동 인하대학교의 학생회관 뒤쪽에 설치되어 있다. 본디 측량에서 기준을 뜻하는 용어였던 벤치마크를 도입한 곳은 경영학이다. 기업의 장단점을 학문적으로 비교 분석하는 도구로서 쓰이게 된 것이다. 가끔씩 매스컴에서 기업의 특정 기술이나 서비스 등을 벤치마킹(Benchmarking)해서 이런 결과를 얻었다는 식의 보도가 나오는 것도 이 때문이다. 산업, 사회, 경제, 문화 등 다양한 분야에서 벤치마크는 쓰이고 있다. 최근 들어 이러한 벤치마크가 가장 활발하게 쓰이는 분야는 컴퓨터 특히 하드웨어 관련 분야이다. 벤치마크를 컴퓨터 특히 하드웨어에 한정지어 생각하면 컴퓨터의 여러 가지 성능을 특정 프로그램 등을 이용하여 비교, 평가하는 것으로 정의할 수 있다. 벤치마크는 막연하게 어떤 제품이 좋다 나쁘다는 식의 결론을 내리는 것이 아니라, 이것은 이래서 좋고 저것은 저래서 나쁘다라는 데이터에 근거한 믿을 만한 자료를 만드는 과정이라고 할 수 있다. 하루에도 수많은 제품이 등장하는 컴퓨터산업의 특성상 벤치마크가 중요한 뜻을 갖는 것은 어쩌면 당연한 일이라고 할 수도 있다. 왜 벤치마크가 중요한가?  흔히 컴퓨터 벤치마크라면 비슷한 사양의 여러 제품을 모아놓고 같은 환경에서 몇몇 실험을 통해 얻은 결과값을 비교해서 제품의 성능을 판가름하는 것을 말한다. 가장 흔하고 자주 보는 벤치마크이기는 하지만, 이것은 상대적인 벤치마크라고 할 수 있으며 모든 벤치마크를 말하는 것은 결코 아니다. 반대로 하나의 제품을 테스트를 통해 벤치마크하는 경우도 있다. 제품의 기준값을 정한 다음 실험에 쓰인 제품이 이러한 기준값과 어느 정도의 차이를 보이는지를 알아보는 절대평가방법이다. 흔히 리뷰(Review)라는 이름으로 진행되는 신제품소개에서도 많은 경우 이와 같은 방법으로 그 성능과 특징을 알아보기도 한다. 상대평가이건, 절대평가이건 가장 중요한 것은 객관성과 재현성이다. 그나마 상대평가인 경우에는 실험에 쓰인 제품들이 모두 같은 환경에서 실험하게 되어 괜찮은 편이지만, 절대평가의 경우에는 비교대상이 없으므로 제품성능이 100% 표현될 수 있도록 최대한 객관적인 환경과 실험방법을 택해야만 한다. 만일 CD롬 드라이브 실험에서 A사 제품은 애슬론 시스템에서, B사 시스템은 펜티엄III에서, 그리고 C사 제품은 펜티엄4에서 실험을 진행하고 결과를 얻었다면 아무도 그런 실험을 인정하지 못할 것이다. 재현성이란 똑같은 조건에서 다른 사람이 실험하더라도 같은 결과값을 얻을 수 있어야 한다는 것이다. 물론 인정할 수준의 실험오차는 있겠지만, 결과값이 뒤바뀔 정도로 매번 실험마다 차이가 난다면 그런 벤치마크를 정확한 것이라고 말하기는 어렵다. 이러한 객관성과 재현성을 통해 얻어지는 것은 바로 신뢰도이다. 그래픽카드를 예로 들면 특정 게임이나 프로그램에서만 좋은 결과를 얻을 수 있는 항목만을 골라 자신들의 그래픽카드가 좋은 성능을 나타낸다는 식의 광고를 할 수도 있다. 경쟁상대는 구형 드라이브에서 실험을 진행하고, 자신들은 최신 버전의 드라이브에 특정 명령어를 더하는 식의 조작도 가능한 일이다. 가끔씩 신문에서 볼 수 있는 현란한 그래프를 앞세운 광고, 즉 모든 벤치마크테스트 항목에서 자신들의 제품이 1등이라는 과장 섞인 광고는 실제 실험에서는 거의 없는 일이다. 모든 실험항목에서 가장 좋은 결과를 보이는 일은 그리 많지 않다. 어쨌거나 벤치마크는 제조사 입장에서는 제품성능을 직접적으로 홍보하는 좋은 수단이 될 수 있다. 나에게 벤치마크가 필요한 이유는? 이러한 벤치마크가 업계나 전문적인 테스터의 전유물이 아닌 이유는 이제는 컴퓨터가 전문가들을 위한 기기가 아니기 때문이다. PC가 보급되면서 가정이나 직장에서도 하드웨어 성능의 비교 평가를 통해 얻을 수 있는 이득이 생겼기 때문이다. 가장 먼저 벤치마크를 통해 얻을 수 있는 이득은 시스템의 비교이다. 대기업 완제품 PC보다는 직접 조립하는 것을 선호하는 우리나라 시장의 특성을 생각하면 더욱 그렇다. 비슷한 비용을 들여 가장 좋은 성능을 발휘하는 시스템을 꾸미려면 벤치마크 자료를 이용하는 것이 가장 효과적인 선택이다. 만일 벤치마크 실험결과가 없다면 겪어야할 시행착오들을 전문적이고 객관적인 벤치마크를 통해 손쉽게 얻을 수 있다. 하드웨어는 물론 소프트웨어를 비롯한 컴퓨터 시스템 전체에 대한 문제점과 평가 결과를 벤치마크를 통해서 쉽게 얻을 수도 있다. 같은 부품과 비슷한 사양으로 만들어진 컴퓨터라고 하더라도 보여주는 성능은 크게 차이나는 경우가 종종 있다. 벤치마크를 통해 정확한 성능 진단을 하고 문제점을 파악한다면 비싼 값을 들여 장만한 컴퓨터 성능을 안타깝게 묵히는 일은 없을 것이다. 이런 결과를 통해 얻어지는 또 하나의 이득은 바로 적당한 업그레이드 시기를 알 수 있다는 것이다. 어차피 컴퓨터는 소모품적인 성격이 짙다. 한번 구입하면 반영구적으로 쓸 수 있는 제품이 아니라 적당한 시기가 되면 새로운 제품으로 업그레이드를 해야한다. 이때 과연 지금의 부품에서 CPU나 메모리만을 업그레이드한다면 과연 어느 정도의 성능 향상을 기대할 수 있을지 궁금할 때 벤치마크가 중요한 참고자료임은 두말할 필요가 없다. 벤치마크는 사용기와는 달라야 하드웨어 사이트나 통신 동호회를 보면 하루에도 수많은 사용기가 올라온다. 여기에는 나름대로의 전문지식을 가지고 기존부품과 다양한 비교를 통해 자신만의 벤치마크를 올리는 경우를 어렵지 않게 볼 수 있다. 대단히 전문적인 글들이 있기는 하지만 이런 사용기는 전문적인 벤치마크와는 분명 다르다. 한편으로는 오히려 친근한 느낌을 주기도 한다. 이런 실험을 흔히 유저빌리티 테스트라고 한다. 전문적인 벤치마크를 보면 흔히 각종 데이터를 보다 쉽게 알 수 있도록 그래프로 표현하는 것을 흔히 볼 수 있다. 여기에 벤치마크의 특성상 대부분의 데이터가 숫자로 표시되게 된다. 벤치마크를 숫자놀음이라고 하는 이유도 여기에 있다. 문제는 이렇게 숫자로 표시되다보니 벤치마크의 결과가 지나치게 수치적이고 추상적으로 받아들여지는 경우가 있다는 것이다. 더욱 현실적인 문제점은 벤치마크가 지나치게 숫자에 의존하다보니, 이런 숫자나열만으로는 제품의 특성을 100% 표현하기 어려운 경우도 있게 마련이다. 예를 들어 그래픽카드의 색감이라는 항목은 이용자들이 큰 관심을 갖는 항목임에도 불구하고 제대로 표현하기 어렵다는 이유로 대부분의 실험에서는 제외되는 경우가 많다. 보다 정확히는 색감을 숫자로 표시하기 어렵기 때문이다. 개인적인 차이가 있기는 하지만 이런 색감 역시 벤치마크가 다뤄야할 중요한 항목임에는 틀림없다는 것이다. 모니터의 색감 역시 기계로 특정하는 값과 눈으로 느끼는 이른바 체감지수와는 상당한 차이를 보이게 마련이다. 이럴 때 요긴하게 쓰이는 것이 바로 유저빌러티 테스트이다. 객관적인 벤치마크에서 유저빌리티 테스트는 예외적으로 주관적인 실험이라고 할 수 있다. 실제로 제품을 쓰면서 생기는 느낌과 문제점을 바탕으로 결론을 내리게 되므로 잘 훈련된 테스터는 필수적이다. 우리나라와는 달리 외국의 경우 나이가 지긋한 벤치마크 테스터를 볼 수 있는 것도 이런 경험을 중시하기 때문이다. 나도 벤치마크 테스터 전문적인 벤치마크 테스터가 아니더라도 조금의 시간과 노력만 들이면 컴퓨터 성능과 문제점을 한눈에 파악할 수 있는 벤치마크 프로그램 한 두 개쯤을 다룰 수 있다면 매우 좋을 것이다. 누구나 쉽게 구할 수 있는 프로그램과 게임을 이용한 벤치마크를 통해 어렴풋이 알고있는 벤치마크를 실전에 응용하는 방법을 알아본다. 더불어 전문 테스터들의 비법을 살짝 알아보기로 한다. 산드라(Sandra)를 이용한 벤치마크 테스트 (www.sisoftware.co.uk/sandra)  Sisoft에서 제공하는 산드라는 본격적인 벤치마크프로그램이라기보다는 진단과 정보제공 성격이 강한 프로그램이다. 쉐어웨어로 별 다른 기능제한이 없으면서도 전문적인 프로그램 못지 않은 강력하고도 다양한 기능을 가지고 있다는 것도 장점이다. 여기에 해당 항목에 미리 결과값을 그래프로 보여주므로 자신의 시스템이 과연 어느 정도의 성능을 가지고 있는지를 쉽게 알아볼 수 있소 편리하게 쓸 수 있다. 프로그램을 실행시키면 바탕화면에 아이콘이 만들어진다. 이것을 더블클릭해서 프로그램을 진행하면 다음과 같은 화면이 보인다.  해당하는 항목만을 진행할 수도 있고 모든 실험항목을 선택해서 보고서 형식을 만들어주는 “Create a Report Wizard" 항목으로 실험을 진행할 수도 있다. 실험을 진행하기 전에 System Summary항목을 이용해서 시스템의 각종 정보를 쉽게 알 수도 있다. 혹시 잊었을지도 모를 하드웨어 제조사나 모델명을 알 수 있어 각종 드라이버나 바이오스를 업그레이드 할 때에도 요긴하게 쓸 수 있다. 혹시나 CPU클록이 잘못되었다면 메인보드 바이오스에서 손볼 수도 있다.  산드라로 벤치마크를 할 수 있는 항목은 CPU, 하드디스크 및 CD롬 드라이브, 메모리, 네트워크 항목이다.  산드라로 알아보는 CPU테스트는 크게 두 항목으로 나누어 진행된다. 먼저 CPU Benchmark항목에서는 CPU의 ALU(정수연산)과 FPU(부동소수연산) 항목을 알아볼 수 있다. 정수연산 결과값은 초당 몇 백만 개의 명령어를 처리할 수 있는지를 나타내는 MIPS로 표시된다. 부동소수연산의 경우 초당 수행할 수 있는 부동소수점 연산 횟수를 의미하는MFLOPS로 표시된다. 최근에는 CPU의 정수연산보다 멀티미디어 성능에 큰 관련이 있는 부동소수연산 결과를 더욱 중요하게 여기는 경향이 있다.  산드라에서 재미있는 것은 이러한 멀티미디어 성능만을 따로 때어 알아볼 수도 있다는 것이다. 인텔의 MMX는 물론 SSE, 그리고 펜티엄4에서 새롭게 선보인 SSE2까지도 그 성능을 알아볼 수 있다. 물론 AMD의 경우에도 3D! Now같은 멀티미디어 성능을 비교해 볼 수 있다. 해당 CPU에 따라 기준 항목을 알아서 보여주는데다가 기준이 되는 CPU를 다양하게 고를 수 있어 자신의 시스템 성능을 쉽게 확인할 수 있다. 만일 산드라의 표준결과값과 큰 차이를 보인다면 시스템 세팅을 한번쯤 의심해볼 필요가 있다.  CPU성능을 알아보았다면 다음은 하드디스크와 CD롬 드라이브의 차례일 것이다. 역시 기준으로 삼는 제품에 비해 오차범위 이상의 큰 차이를 보인다면 한번쯤 제품 불량이나 시스템 세팅이상을 의심해 보는 것이 좋다.   실험을 진행할 때 한가지 주의해야할 사항은 실험을 하는 동안에는 마우스나 키보드를 누르거나 실험에 영향을 주는 모든 작업을 하지 않는 것이 좋다. 램상주 프로그램 등도 모두 제거해야 한다.  산드라의 벤치마크 실험 가운데는 메모리에 관련된 항목을 찾을 수 있다. 실험에서 보여주는 결과값은 정수연산과 부동소수 연산시의 메모리 대역폭이다. 메모리는 속도도 중요하지만 더욱 중요한 것은 대역폭. 대부분의 이용자가 쓰고 있는 SDRAM의 경우 상대적으로 대역폭이 작게 나오고, 특히 듀얼채널로 RDRAM을 이용하는 펜티엄4보드에 비해서는 절반 이하이지만 정상적인 것이니 그리 염려할 필요는 없다.  일일이 벤치마크를 하는 것도 좋지만 결과와 정보를 파일형태로 저장하고 싶을 때도 있게 마련이다. 산드라는 이럴 때를 대비해서 비장의 무기를 갖추고있다. 바로 원하는 실험항목만을 선택해서 보고서 형식으로 만들어주는 “Create a Report Wizard" 항목으로 실험을 진행할 수도 있다.  텍스트 파일형태로 저장되므로 실험이 끝나고 언제나 다시 볼 수도 있고, 무엇보다 간단한 팁을 제공함으로써 해당사항의 문제점을 쉽게 파악할 수 있다는 것이 큰 장점이다. 대부분 성능을 높일 수 있는 쉽고도 간단한 팁이다. 마지막으로 산드라를 이용한 재미있는 아이템을 하나 소개한다. 바로 Burn in Wizard항목이다.  이 항목은 시스템에 100% 부하를 줌으로써 시스템에 있을지도 모를 안정성 문제를 알아보는 실험이다. 특성상 자주하는 것은 그리 바람직하지 않고 조립을 마치고 한번쯤 실험해 볼만한 항목이다. CPU발열문제 등을 알아보는데는 제법 요긴한 항목이다. 3D마크 2001을 이용한 그래픽카드 벤치마크 테스트 (www.madonion.com)  산드라를 이용해서 여러 가지 항목들을 알아보기는 했지만 그것으로 벤치마크를 마치기에는 서운한 감이 남는다. 바로 그래픽카드에 관련된 항목이 빠졌기 때문이다. CPU만큼이나 컴퓨터 성능에 큰 영향을 미치는 그래픽카드에 관련된 항목을 알아보는데는 매드오니언닷컴의 3D마크 2001이라는 강력한 도구가 있다. 미친양파라는 재미있는 이름의 제조사에서 만든 3D마크 2001은 높은 사양을 요구하는 하드코어 3D게임을 바탕으로 하고 있다. 3D마크 2001에 쓰인 3D엔진은 핀란드 헬싱키에 있는 레미디 엔터테인먼트(Remedy Entertainment)에서 만든 것이다. 최근 홍콩영화같은 그래픽으로 선풍을 일으키고 있는 맥스페인(Max Payne)을 만든 제조사가 바로 레미디이다. 맥스 FX라는 새로운 개념의 3D 엔진은 매우 복잡한 연산을 통해서만 구현할 수 있는 래디오시티 기법을 사용하는 3D 엔진이다. 당연히 그래픽카드 성능에 영향을 많이 받기는 하지만, CPU를 비롯한 전체적인 시스템 성능에도 큰 영향을 받는다.  프로그램은 홈페이지에서 약간의 기능제약이 있는 버전을 다운로드받을 수 있으며, 정품을 구입하게되면 모든 기능에 제약이 없는 프로버전으로 쓸 수 있다.  3D마크2001의 장점은 게임을 즐기듯 벤치마크를 하면서도 다양한 옵션과 강력한 분석툴을 제공한다는데 있다. 기본상태는 1024×768×32비트로 이전 제품인 3D마크 2001에 비해 점수가 많이 줄어 업그레이드 의욕을 돋우는 프로그램이기도 하다. 다이렉트X 8.0기반의 프로그램이므로 다이렉트X 최신버전을 설치한 다음, 자주 쓰는 해상도로 맞추고 프로그램을 진행하면 약 10분 정도 걸리면서 게임 같으면서도, 영화 같은 화면이 진행된다. 볼거리로도 한몫을 단단히 하는 프로그램이다.  실험을 마치고 나면 그림과 같은 정수로 표시되는 결과값을 볼 수 있다. 해상도와 비트수에 따라 상당히 차이나는 결과를 볼 수 있으며 이것으로도 좋은 자료가 된다. 하지만 3D마크 결과값만을 본다면 3D마크의 기능을 절반정도만 이용한 것이라고 할 수 있다. 숨은 기능은 온라인 리절트 브라우저(Online Result Browser)와 Show Detail 항목에 들어있기 때문이다. Show Detail항목에서 볼 수 있는 것은 그래픽카드의 각종 성능을 알아볼 수 있는 채움 비율 (Fill Rate)과 3D의 기본에 되는 삼각형을 만드는 능력(Triangle Rate), 그밖에 더욱 사실같은 3D화면을 만드는데 쓰이는 Environment Bump Mapping능력 등이다. 지포스3에 적용되어 유명해진 Vertex Shader나 Pixel Shader 역시 3D마크 2001에서 그 성능을 알아볼 수 있는 항목들이다. 대역폭에 관계된 것은 초당 Pixel 또는 Texel단위로 그 밖의 항목들은 초당 프레임수(FPS)로 표시되어 알아보기 쉽다. 그래픽카드나 드라이버에 따라서는 몇 가지 항목은 건너뛰거나 화면이 조금 이상하게 나오기도 하지만 대부분은 실험과정에서 생기는 정상적인 상태이다. 컴퓨터가 인터넷에 연결되어 있다면, 온라인 리절트 브라우저를 이용해 다른 사람들과의 결과값을 비교할 수도 있다. 3D마크 2001이 하드웨어 T&L을 이용하므로 지포스계열 그래픽카드가 높은 점수를 받는 것을 알 수 있다. 제조사에서 직접 실험을 통해 올린 자료 역시 홈페이지 명예의 전당에서 찾아볼 수 있다.  재미있는 것은 3D마크 2001이 게임을 기반으로 만들어진 벤치마크 프로그램인 만큼 프로그램 안에는 간단한 레이싱액션게임도 담겨있다는 것이다. 3D마크2001 관련 사이트에 보면 그밖에도 숨겨진 헬기게임이 있다고 하니 벤치마크 프로그램으로 게임을 하는 재미도 쏠쏠하다. 전문가도 애용하는 강력한 분석툴 윈벤치99 (www.etestinglabs.com/benchmarks)  윈벤치는 PC매거진이라는 잡지로도 유명한 ZD넷에서 만드는 벤치마크 프로그램이다. 도스 시절 PC벤치를 시작으로 지금에 이르렀다. 예전에는 벤치마크=윈벤치라고 할 정도로 벤치마크의 대명사처럼 불렸던 프로그램이기도 하다. ZD넷에서는 윈벤치는 물론 3D그래픽성능을 알아보는 3D윈벤치, 시스템의 전체적인 프로그램 수행능력을 알아보는 윈스톤 시리즈, CD롬 드라이브의 성능을 알아보는데 약방의 감초처럼 쓰이는 CD윈벤치, 사운드카드의 CPU 점유율을 측정하는 오디오 윈벤치 등 다양한 분석 프로그램을 제공하고 있다. 본디 CD버전이지만 쉐어웨어는 홈페이지에서 내려받아 별다른 제약 없이 쓸 수도 있다.  윈벤치는 매우 전문적인 벤치마크 프로그램이므로 실행조건이 비교적 까다로운 편이다. 반면 조작은 전형적인 윈도우즈 기반의 프로그램으로 매우 쉽고 다양한 옵션을 가지고 있다.  윈벤치를 실행할 때 가장 흔히 생기는 에러는 윈도우즈 버전이다. 한글 윈도우즈 환경에서는 폰트문제로 에러를 일으키는 경우가 있으므로, 영문윈도우즈를 이용하는 경우가 대부분이다. 그 다음 테스크바의 등록정보를 세팅해야한다. 굳이 윈벤치를 실행시킬 때만 해당되는 사항은 아니지만 벤치마크 프로그램들은 비교적 실행조건이 까다로운 편이다. 공통되는 사항을 정리하면 다음과 같다.   윈벤치는 다양한 프로그램 모드를 갖추고 있지만, 전체항목을 모두 테스트하는 것은 시간도 오래 걸리고 일반 이용자들에게는 그다지 쓸모 없는 경우도 있게 마련이다. 윈벤치가 제공하는 모드는 정리하면 크게 2D 그래픽 관련 테스트, 하드디스크 관련 테스트로 나눌 수 있다. 예전버전에 들어있던 CPU관련 테스트는 CPU클록이 지나치게 올라감에 따라 최신버전에서는 자취를 감췄다. 시간과 노력을 생각하면 원하는 항목만을 골라 실험을 진행하는 것이 바람직하다.  실험을 마치면 결과값을 얻게 마련이다. 윈벤치는 결과값을 엑셀파일로도 저장할 수 있어 다양하게 쓸 수도 있다. 벤치마크를 마치면 결과를 보기 좋게 그래프로 그리는 경우가 많은데 일일이 엑셀로 옮기는 과정에서 생기는 에러나 수고를 덜 수 있어 매우 편리하다.  99버전에서 크게 발전하지 못하고, 마이너 업그레이드에 그치는 것이 아쉽기는 하지만 윈벤치99는 강력하고 다양한 벤치마크 정보를 제공하는 툴임에 틀림없다.전문가들이 주로 이용하는 강력한 툴 시스마크2001 (Sysmark 2001)(www.bapco.com) 최근 가장 각광받는 벤치마크 프로그램은 뭐니 해도 밥코(Business Application Performance Corporation)의 시스마크 2001이라고 할 수 있다.  시스마크2001을 한마디로 설명하면 시스템 전체의 프로그램 운용능력을 알아보는 분석프로그램이라고 할 수 있다. 크게 두 가지 파트로 나누어 워드, 엑셀, 파워포인트, 아웃룩 등의 오피스 관련 프로그램과 포토샵, 프리미어, 드림위버, 플래시 등의 멀티미디어 관련 프로그램으로 나누어져 있다. 시스마크2001이 다른 벤치마크 프로그램과 가장 크게 다른 점은 단순히 이런 응용프로그램들의 동작속도를 알아보는 것이 아니라, 하나의 시나리오에 따라 사무실이나 웹디자이너의 컴퓨터처럼 작동한다는 것이다. 인터넷 멀티미디어 관련 항목을 알아보는 인터넷 컨텐츠 크리에이션 항목에서는 직접 홈페이지를 제작하는 과정을 생동감 있게 보여준다. 포토샵으로 사진을 편집하고 프리미어로 동영상을 손 본 다음, 드림위버를 이용해서 홈페이지를 제작하는 과정이다. 지금까지의 벤치마크 프로그램이 개별 프로그램의 수행능력을 중시했다면 시스마크2001은 전체적인 시스템 수행능력을 중시한다. 따라서 프로그램마다의 결과값은 따로 나오지 않는다. 오피스 생산성에서도 워드로 문서를 작성하고 엑셀로 옮겨 그래프와 차트를 더하고 이것을 이메일로 보내는 등, 마치 사무실에서 일어나는 모든 일들을 생동감 있게 그려낸다. 그 사이사이에 압축프로그램을 진행시킨다든지 하는 것 역시 시나리오 진행씩 프로그램에서만 볼 수 있는 독특함이다. 여기에 실험에 쓰이는 대부분의 프로그램이 최신 버전이라는 것도 신뢰도를 높여주는 한 원인이 된다. 시스마크2001 역시 결과값으로 표시되는데 기준값은 100이며 기준이 되는 하드웨어는 다음과 같다.
 시스마크는 전문적인 프로그램으로서 공개버전은 없으며 해당 홈페이지에서 주문을 하면 CD 두 장에 나뉘어 운송된다. 대략 1GB정도의 하드디스크 공간을 차지할 정도로 덩치 큰 프로그램이므로 CD에서 직접 실행되는 것이 아니라 일단 하드디스크에 압축을 푼 다음 프로그램을 설치하고 실행하는 방식으로 진행된다. 참고로 이 프로그램은 영문 윈도우즈에서만 제대로 돌아가지만 간단한 조작을 통하면 한글 같은 2바이트 문제도 문제없이 진행된다. 압축을 풀게되면 먼저 다이렉트X 8.0이상의 최신버전을 설치한다. 그 다음 다이렉트X 가운데 몇몇 기능을 특화한 다이렉트X의 또 다른 버전을 설치한다. 그 다음에야 본격적으로 프로그램을 설치하게 된다. 워낙 용량이 큰 만큼 설치에도 상당한 시간이 걸린다. 설치가 끝난다고 해서 바로 프로그램을 진행할 수 있는 것이 아니다. 윈도우즈 미디어 인코더 최신 버전을 설치하고, 최신 패치를 해야만 제대로 프로그램이 돌아간다. 프로그램을 진행하는 과정에서도 가끔씩 에러가 생기곤 하는데 다양한 대처방법이 홈페이지에 나와있다. 프로그램은 대략 한시간 이상 몇 번의 리부팅을 거치면서 진행된다. 오랜 시간과 노력에 비해서는 단순한 결과값을 얻을 수 있을 뿐이지만 신뢰도가 높고 시스템 전체성능을 알아보는데는 매우 쓸모 있는 프로그램이다. 게임을 이용한 벤치마크. FPS의 이해 벤치마크에 관심이 있는 독자들이라면 이상스러울 정도로 벤치마크에 게임을 자주 이용하는 것을 볼 수 있다. 최근의 게임들, 특히 이른바 하드코어 3D게임들이 필요로 하는 자원은 대단하다. 컴퓨터 업그레이드의 가장 큰 원인 가운데 하나가 바로 게임일 정도로, 게임은 컴퓨터 시스템의 극한까지 모든 성능을 최대한 이용하는 대표적인 프로그램이다. 따라서 이런 게임들을 컴퓨터 성능을 분석하는 벤치마크 툴로 이용하는 것은 전혀 이상스러운 일이 아니다. 흔히 게임에서 컴퓨터의 성능은 FPS(Frame Per Second), 분당 프레임수로 표시된다. 영화나 TV에서 알 수 있듯 인간은 초당 30프레임 이상의 정지화면을 연속적으로 보게되면 동영상으로 인식하게 된다. 게임 역시 마찬가지여서 초당 30프레임 이하로 게임이 진행되면 뚝뚝 끊기는 답답함을 느끼게 마련이다. 여유폭을 생각하면 정상적인 게임을 하려면 초당 4-50프레임 정도는 되어야 문제없는 진행을 할 수 있다. 요즈음 선보이는 게임들은 상당수가 프레임 표시기능이나 더 나아가서는 벤치마크 기능을 갖추고 있다. 또는 관련 사이트 등에서 패치 등을 통해 벤치마크 기능을 더하기도 한다. 몇몇 쓸모 있는 게임을 통해 게임을 통한 벤치마크를 알아보자. FPS의 대명사 퀘이크III  오픈GL기반인 퀘이크III의 경우 너무도 유명한 게임임과 동시에 벤치마크 툴로도 이용된다. 물론 최근 들어선 너무 오래된 탓에 그 명성이 예전 같지는 않지만 그래도 게임을 이용한 벤치마크에서는 빠져서는 안 되는 프로그램이기도 하다. 퀘이크III는 CPU성능, 그래픽카드 성능, 메모리 성능에 골고루 영향을 받는다. 해상도가 높아질수록 메모리와 그래픽카드 성능에 더욱 많은 영향을 받게 된다. 무엇보다 퀘이크III는 설정 변화에 매우 민감하다. 따라서 조금의 차이라도 프레임의 차이로 나타나게 된다는 특징이 있다. 퀘이크를 이용한 벤치마크는 비교적 간단하다. 퀘이크는 다양한 콘솔명령어(키를 직접 입력해서 조작하는 방식)를 가지고 있는데 TAB키 바로 위의 ~키를 누르면 이런 명령어를 직접 입력할 수 있다. 여기에 “timedemo 1"을 입력하고 다시 한 번 ~키를 누른 다음 데모모드를 진행하면 평소와는 달리 매우 빨리 화면이 움직이는 것을 볼 수 있다.초기화면으로 나오면 다시 한 번 ~키를 누르면 프레임수가 표시된다. 옵션에서 해상도와 색심도를 달리하면서 다양한 결과값을 얻을 수 있다. 데모버전이나 CD버전 모두 별다른 어려움 없이 간단하게 결과값을 알아볼 수 있다. Giants  이 게임은 시스템 사양을 비교적 많이 소모하는 게임이다. 전형적인 하드웨어 T&L을 이용하는 게임으로 그래픽카드 성능과 CPU성능에 따라 차이지는 결과를 보여준다. 지포스3에 펜티엄4를 달아도 평균 프레임이 30-40프레임일 정도로 대단한 자원을 요구하는 게임이다.  자이언츠 역시 다양한 콘솔명령어를 가지고 있다. 다만 처음부터 입력을 해야한다는 것이 조금 다르다. 가장 손쉬운 방법은 도스모드에서 직접 명령어를 입력하는 방식이다. 프로그램이 있는 폴더에서 “giants -gamegauge"라는 명령어를 직접 입력하거나 아이콘에 덧붙이는 형태로 진행하면 된다. 진행시간은 5-10분 정도이고 평균 FPS가 계속 변하면서 나오다가 자동적으로 종료되는 형태이니 잘 지켜보아야 한다.맥스페인(Max Payne)  대단한 시스템 자원을 요구하는 것이 흠이지만 홍콩 느와르영화와 매트릭스를 혼합한 듯한 내용으로 인기 높은 게임이다. 이 게임이 벤치마크 프로그램으로서 가치를 갖는 것은 독특한 3D엔진 때문이다. 대부분의 3D게임은 퀘이크나 언리얼의 엔진을 빌리고 여기에 독자적인 그래픽을 입히는 경우가 대부분이다. 그만큼 3D하드코어 게임이 요구하는 3D엔진을 만드는 것이 어렵기 때문이다. 이 게임에 쓰인 3D엔진은 비교적 무명이라고 할 수 있는 핀란드 출신의 레미디 엔터테인먼트(Remedy Entertainment)에서 만든 것이다. 맥스페인에 쓰인 3D엔진은 맥스 FX라는 새로운 개념의 3D 엔진으로, 매우 복잡한 연산을 통해서만 구현할 수 있는 래디오시티 기법을 사용하는 3D 엔진이다. 따라서 게임보다는 벤치마크 프로그램의 엔진으로도 쓰이는 고성능 엔진이다. 맥스페인으로 벤치마크를 하기 위해서는 조금 복잡한 방법이 필요하다. 맥스페인 자체는 벤치마크 기능을 갖추지 못하고 있으며, 단지 FPS표시 능력밖에는 없다. 문제는 맥스페인은 데모를 자동으로 실행하는 기능이 없으므로 이런 FPS를 제대로 알 수 없다는 것이다.
맥스페인으로 벤치마크를 진행하기 위해서는 이렇게 자동으로 진행되도록 만들어 놓은 파일이 필요하다. //www.3dcenter.de/artikel/maxpayne_benchmarking/index_e.php3에서 다운로드받을 수 있다. 파일을 맥스페인 폴더에 옮기고 “maxpayne -developerkeys"와 같이 입력하면 게임이 시작된다.
해상도와 하드웨어 T&L여부 등을 결정한 다음 게임모드를 벤치마크 모드로 설정해서 게임을 진행하면 화면과 같은 벤치마크가 나온다. 모두 해외 유명 사이트에서 각각의 특성에 맞춰놓은 데모라고 할 수 있다. 원하는 데모를 누른 다음 게임이 시작되면 F11키를 누르면 FPS를 볼 수 있다. 역시 종료가 되면서 프레임이 변하므로 끝까지 잘 살펴보아야 한다. MBTR (메르세데스 벤츠 트럭 레이싱) 이 게임은 레이싱 게임을 경주용 자동차가 아닌 경주용 트럭으로 바꾼 것으로, 대표적인 다이렉트X 7.0기반의 게임이다. 다이렉트X기반의 그래픽성능을 파악하는데 요긴하게 쓰이는 프로그램이다. 거기에 화려한 그래픽의 진수를 맛볼 수도 있다.
무엇보다도 반가운 것은 비교적 복잡한 콘솔명령어를 입력할 필요도 없이, 따로 벤치마크를 할 수 있는 도구가 있다는 것이다. 해상도와 몇 가지 옵션을 설정한 다음 벤치마크를 진행하면 FPS가 표시된다. 데모가 끝나면 FPS가 다시 한 번 표시되므로 쉽게 이해할 수 있다. 다이렉트X기반의 레이싱게임으로 성능을 알아보는데는 편하면서도 쓸모 있다. 시리어스 샘 (Serious Sam)  이 게임은 이집트의 피라미드 등을 배경으로 SF분위기를 연출하는 게임으로서, 그래픽의 품질이나 성격 등이 21세기 버전 퀘이크라고 할 수 있을 정도로 퀘이크 분위기를 그대로 따르고 있다. 전형적인 오픈GL기반의 게임으로서 전체적으로 같은 오픈GL게임인 퀘이크에 비해 두 배 정도의 성능을 요구한다. 오픈GL게임답게 메모리 성능에도 상당한 영향을 받는 게임이다.
게임내용뿐 아니라 게임 진행방식 역시 퀘이크와 매우 비슷하다. 퀘이크와 마찬가지로 ~키를 누르면 명령어를 입력하는 창이 나온다. 여기에 “/dem_bprofile=1"을 입력하고 데모를 진행시킨다. 데모진행이 끝나면 역시 ~키를 눌러 프레임수를 확인한다. 데모가 진행되자마자 4키를 누르면 4개의 분산된 화면으로 게임이 진행되어 더욱 많은 부하를 걸면서 실험을 진행할 수도 있다. 그밖에도 FPS를 측정할 수 있어 벤치마크에 이용할 수 있는 게임프로그램은 Alice, Black & White, Descent 3, Falcon 4, Half Life, Kingpin, Motocross Madness2 , Need for Speed Porsche, Soldier of Fortune, Unreal Tournament 정도가 자주 쓰이는 게임들이다. 게임을 통한 벤치마크는 비교적 쉬우면서도 쉽게 흥미를 느낄 수 있는 요소가 많이 있어 초보자 벤치마크로는 잘 어울린다. 이런 벤치마크도 있다. 게임이나 전문적인 프로그램말고도 벤치마크를 진행하는 방법은 얼마든지 있게 마련이다. 그 가운데 초시계를 이용해서 간단히 벤치마크를 하는 방법을 알아본다. Flask MPEG : 버전 0.6 프리뷰 버전  이 실험은 최근 들어 쓰임새가 많아지고 있는 동영상 관련 실험. 예를 들면 DVD에서 파일을 추출, 변환해 만드는 DIVX등을 만드는데 쓰이는 프로그램이다. 이를 이용하면 CPU의 멀티미디어 처리 능력을 쉽게 알 수 있다. 준비물은 초시계면 그만이다. 레코딩 프로그램 안에 숨어있는 벤치마크 네로 스피드 테스트 흔히 쓰는 CD레코딩 프로그램인 네로가 최신 버전으로 업그레이드되면서 CD롬 드라이브 및 CD레코더의 성능을 알아볼 수 있는 프로그램을 담고 있다. Nero Tool Kit안에 들어있는 Nero CD Speed가 바로 그것이다.  본디 이것은 CD Speed 99라는 전문적인 CD롬 드라이브 관련 프로그램이었으나, 네로에 함께 담기게 되었다. CD롬 드라이브의 모든 성능을 손쉽게 알 수 있는 프로그램이다. 참고로 CD롬 드라이브의 성능을 알아볼 때는 반드시 복사CD가 아닌 프레스CD, 그것도 흠이 거의 없는 제품을 써야만 최고의 성능을 알 수 있다.  심지어 CD레코더의 레코딩 성능을 알 수도 있다. 공CD를 넣고 실험을 진행하면 레코더의 각종 정보를 알 수 있다. 실제로 레코딩 되는 일이 시뮬레이션으로 진행되니 CD걱정은 안해도 좋다. 따로 CD관련 프로그램을 구하지 않더라도 네로 하나면 충분하다. 초시계만 있으면 끝나는 하드디스크 테스트 초시계만 있으면 할 수 있는 아이템이 바로 하드디스크. 하드디스크 성능가운데 중요한 전송속도를 측정할 수 있다. 흔히 전송 속도는 MB/초로 나타낸다. 즉, 초당 몇 MB의 파일을 복사하느냐를 가리킨다. 따라서 테스트 프로그램이 없더라도 초시계만으로도 잴 수 있다. 방법은 간단하다. 용량을 알고 있는 파일을 복사하여 그 시간을 초시계로 잰 다음 파일 용량을 걸린 시간으로 나누면 MB/초의 값을 얻는다. 파일은 MB단위로 환산하고 시간은 초단위로 역시 환산하면 그만이다. 오차를 감안해서 3-5회 정도 반복하면 더욱 정확한 값을 얻을 수 있다. DMA를 켜고 끈다든지, 10MB단위의 파일 10개를 복사하는 시간과 100MB 파일 하나를 복사하는 시간을 알아본다든지 하면 하드디스크 성능을 더욱 다양하게 알 수도 있다. 벤치마크라고 반드시 어려운 것은 아니기 때문이다. 물리적인 특성도 알아보아야 한다. 전문적인 테스트 환경에서는 소음, 발열, 전기적인 특성 등의 물리적인 성질도 확인한다. 대부분 제어계측기기를 이용하기 마련이다. 가정에서는 쉽지 않지만 이런 전문적인 장비를 통해 더욱 정확한 값을 측정한다.
무턱대고 믿기보다는 날카로운 눈을 가져야 이렇게 벤치마크 프로그램만 몇 가지 돌린다고 해서 모두가 벤치마크 테스터가 되는 것은 결코 아니다. 힘들여 실험을 진행한 결과가 진정한 가치를 갖기 위해서는 지켜야할 몇 가지 원칙이 있게 마련이다. 가장 중요한 것은 신뢰도이다. 실험마다 다른 조건, 다른 옵션으로 실험을 진행하고 결과값이 같기를 바라는 것은 어리석은 일이다. 이를 위해서는 작은 것 하나까지도 기록하고 비교하는 것이 중요하다. 전문적인 테스터의 경우 매번 실험을 진행할 때마다 하드디스크를 포맷하고 모든 프로그램을 다시 설치하는 수고를 아끼지 않는다. 그래야만 신뢰할 수 있는 결과를 얻을 수 있기 때문이다. 아마도 벤치마크를 따라하다 보면 잡지나 전문사이트의 그것과는 조금 차이지게 마련인 이유도 여기에 있다. 그밖에도 최고의 값을 얻기 위해 이른바 트위키(Tweak) 파일이나 프로그램으로 성능을 잘 나오도록 유도하는 일도 적지 않다. 메인보드나 그래픽카드의 경우 가장 좋은 결과값이 나오도록 최고의 세팅을 하곤 한다. 이런 전문적인 실험결과에 못 미치는 것은 어찌 보면 당연한 일이다. 자주 쓰이는 조합으로 몇 가지 대표적인 프로그램의 결과값을 표로 정리해보았으니 비교해보는 것도 좋을 것이다.
 벤치마크는 결코 숫자놀음도 홍보자료도 아니다. 컴퓨터 성능을 올바로 알리기 위한 하나의 도구일 뿐이다. 인텔이나 AMD같은 회사에서 자신들이 직접 만들거나 아니면 영향력을 행사해서 만든 벤치마크 프로그램으로 자사제품이 우수하다고 홍보하는 벤치마크는 광고 이상의 의미를 지니지 못한다. 소비자가 직접 벤치마크를 통해 얻는 것은 바로 그런 오류나 과장을 읽어내는 눈일 것이다. 이런 홍보용 벤치마크 프로그램은 경쟁이 치열한 CPU나 그래픽카드 그리고 하드디스크 제조사에서 흔히 볼 수 있다. 심한 경우 특정 드라이브 등을 통해 벤치마크에 자주 쓰이는 프로그램에서만 좋은 점수가 나오도록 조작하는 일도 있다는 것이다. 벤치마크 테스터가 단지 실험만 잘해서는 안 되는 이유가 바로 여기에 있다. 정확한 실험, 결과의 분석, 그것은 벤치마크뿐만 아니라 모든 실험의 기본인 것이다. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
비씨파크 주식회사, 대표이사 : 박병철 개인정보보호책임자 : 박병철
사업자등록번호 : 114-86-19888 |
본사 : 서울특별시 서초구 서초대로73길, 42, 1307호
전자우편 : master@bcpark.net |
(전화전 이용문의 게시판 필수)
전화: 02-534-982구(09:00~18:00) |
팩스: 02-535-155구 |
긴급: 010-9774-988삼
ㆍ저작권안내 : 비씨파크의 모든 컨텐츠(기사)는 저작권법에 보호를 받습니다. 단, 회원들이 작성한 게시물의 권리는 해당 저작권자에게 있습니다. 비씨파크에 게재된 게시물은 비씨파크의 입장과 다를 수 있습니다. 타인의 저작물을 무단으로 게시, 판매, 대여 또는 상업적 이용시 손해배상의 책임과 처벌을 받을 수 있으며, 이에 대해 책임을 지지 않습니다.
ㆍ쇼핑몰안내 : 비씨파크는 통신판매중개자로서 상품 주문, 배송 및 환불의 의무와 책임은 각 판매 업체에 있습니다.
Copyright ⓒ 2000-2025 BCPARK Inc. All Right Reserved.
