<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Smart Testing &#187; 性能测试，性能测试监控</title>
	<atom:link href="http://www.hiadmin.org/tag/%e6%80%a7%e8%83%bd%e6%b5%8b%e8%af%95%ef%bc%8c%e6%80%a7%e8%83%bd%e6%b5%8b%e8%af%95%e7%9b%91%e6%8e%a7/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.hiadmin.org</link>
	<description>专注于软件测试领域的技术讨论和研究、关注IT互联网、WordPress技巧的个人博客</description>
	<lastBuildDate>Tue, 07 Feb 2012 02:25:26 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.1</generator>
		<item>
		<title>用”理发店模型“看性能测试的概念和理论</title>
		<link>http://www.hiadmin.org/testing/performance-testing-theory/</link>
		<comments>http://www.hiadmin.org/testing/performance-testing-theory/#comments</comments>
		<pubDate>Tue, 09 Feb 2010 04:33:01 +0000</pubDate>
		<dc:creator>sam</dc:creator>
				<category><![CDATA[软件测试]]></category>
		<category><![CDATA[performance-testing]]></category>
		<category><![CDATA[性能测试理论]]></category>
		<category><![CDATA[性能测试，性能测试监控]]></category>
		<category><![CDATA[理发店模型]]></category>

		<guid isPermaLink="false">http://www.hiadmin.org/testing/%e7%90%86%e5%8f%91%e5%ba%97%e6%a8%a1%e5%9e%8b%e7%9c%8b%e6%80%a7%e8%83%bd%e6%b5%8b%e8%af%95%e7%9a%84%e6%a6%82%e5%bf%b5%e5%92%8c%e7%90%86%e8%ae%ba/</guid>
		<description><![CDATA[本文用生动形象通俗易懂的比喻介绍了性能测试的概念和理论,对初涉性能测试的朋友有很大帮助，本文原文作者：jackej

在我们的这个理发店中，我们事先做了如下的假设：
1. 理发店共有3名理发师；
2. 每位理发师剪一个发的时间都是1小时；
3. 我们顾客们都是很有时间观念的人而且非常挑剔，他们对于每次光顾理发店时所能容忍的等待时间+剪发时间是3小时，而且等待时间越长，顾客的满意度越低。如果3个小时还不能剪完头发，我们的顾客会立马生气的走人。
通过上面的假设我们不难想象出下面的场景： <a href="http://www.hiadmin.org/testing/performance-testing-theory/">Continue reading <span class="meta-nav">&#8594;</span></a>]]></description>
			<content:encoded><![CDATA[<p>本文用生动形象通俗易懂的比喻介绍了性能测试的概念和理论,对初涉性能测试的朋友有很大帮助，本文原文作者：jackej</p>
<p>在我们的这个理发店中，我们事先做了如下的假设：<br />
1. 理发店共有3名理发师；<br />
2. 每位理发师剪一个发的时间都是1小时；<br />
3. 我们顾客们都是很有时间观念的人而且非常挑剔，他们对于每次光顾理发店时所能容忍的等待时间+剪发时间是3小时，而且等待时间越长，顾客的满意度越低。如果3个小时还不能剪完头发，我们的顾客会立马生气的走人。<br />
通过上面的假设我们不难想象出下面的场景：<br />
<span id="more-743"></span><br />
1. 当理发店内只有1位顾客时，只需要有1名理发师为他提供服务，其他两名理发师可能继续等着，也可能会帮忙打打杂。1小时后，这位顾客剪完头发出门走了。那么在这1个小时里，整个理发店只服务了1位顾客，这位顾客花费在这次剪发的时间是1小时；</p>
<p>2. 当理发店内同时有两位顾客时，就会同时有两名理发师在为顾客服务，另外1位发呆或者打杂帮忙。仍然是1小时后，两位顾客剪完头发出门。在这1小时里，理发店服务了两位顾客，这两位顾客花费在剪发的时间均为1小时；</p>
<p>3. 很容易理解，当理发店内同时有三位顾客时，理发店可以在1小时内同时服务三位顾客，每位顾客花费在这次剪发的时间仍然是均为1小时；<br />
从上面几个场景中我们可以发现，在理发店同时服务的顾客数量从1位增加到3位的过程中，随着顾客数量的增多，理发店的整体工作效率在提高，但是每位顾客在理发店内所呆的时间并未延长。</p>
<p>当然，我们可以假设当只有1位顾客和2位顾客时，空闲的理发师可以帮忙打杂，使得其他理发师的工作效率提高，并使每位顾客的剪发时间小于1小时。不过即使根据这个假设，虽然随着顾客数量的增多，每位顾客的服务时间有所延长，但是这个时间始终还被控制在顾客可接受的范围之内，并且顾客是不需要等待的。</p>
<p>不过随着理发店的生意越来越好，顾客也越来越多，新的场景出现了。假设有一次顾客A、B、C刚进理发店准备剪发，外面一推门又进来了顾客D、E、F。因为A、B、C三位顾客先到，所以D、E、F三位只好坐在长板凳上等着。1小时后，A、B、C三位剪完头发走了，他们每个人这次剪发所花费的时间均为1小时。可是D、E、F三位就没有这么好运，因为他们要先等A、B、C三位剪完才能剪，所以他们每个人这次剪发所花费的时间均为2小时——包括等待1小时图舴?小时。</p>
<p>通过上面这个场景我们可以发现，对于理发店来说，都是每小时服务三位顾客——第1个小时是A、B、C，第二个小时是D、E、F；但是对于顾客D、E、F来说，“响应时间”延长了。如果你可以理解上面的这些场景，就可以继续往下看了。<br />
在新的场景中，我们假设这次理发店里一次来了9位顾客，根据我们上面的场景，相信你不难推断，这9位顾客中有3位的“响应时间”为1小时，有3位的“响应时间”为2小时（等待1小时+剪发1小时），还有3位的“响应时间”为3小时（等待2小时+剪发1小时）——已经到达用户所能忍受的极限。假如在把这个场景中的顾客数量改为10，那么我们已经可以断定，一定会有1位顾客因为“响应时间”过长而无法忍受，最终离开理发店走了。<br />
我想并不需要特别说明，大家也一定可以把上面的这些场景跟性能测试挂上钩了。如果你还是觉得比较抽象，继续看下面的这张图 ^_^</p>

<a href='http://www.hiadmin.org/testing/performance-testing-theory/attachment/ssssssssss/' title='性能测试曲线图'><img width="150" height="150" src="http://www.hiadmin.org/wp-content/uploads/2010/02/ssssssssss-150x150.jpg" class="attachment-thumbnail" alt="性能测试曲线图" title="性能测试曲线图" /></a>

<p>这张是原图，下面这张我换成中文的了</p>
<p>这张图中展示的是1个标准的软件性能模型。在图中有三条曲线，分别表示资源的利用情况（Utilization，包括硬件资源和软件资源）、吞吐量（Throughput，这里是指每秒事务数）以及响应时间（Response Time）。图中坐标轴的横轴从左到右表现了并发用户数（Number of Concurrent Users）的不断增长。</p>
<p>在这张图中我们可以看到，最开始，随着并发用户数的增长，资源占用率和吞吐量会相应的增长，但是响应时间的变化不大；不过当并发用户数增长到一定程度后，资源占用达到饱和，吞吐量增长明显放缓甚至停止增长，而响应时间却进一步延长。如果并发用户数继续增长，你会发现软硬件资源占用继续维持在饱和状态，但是吞吐量开始下降，响应时间明显的超出了用户可接受的范围，并且最终导致用户放弃了这次请求甚至离开。<br />
根据这种性能表现，图中划分了三个区域，分别是Light Load（较轻的压力）、Heavy Load（较重的压力）和Buckle Zone（用户无法忍受并放弃请求）。在Light Load和Heavy Load 两个区域交界处的并发用户数，我们称为“最佳并发用户数（The Optimum Number of Concurrent Users）”，而Heavy Load和Buckle Zone两个区域交界处的并发用户数则称为“最大并发用户数（The Maximum Number of Concurrent Users）”。</p>
<p>当系统的负载等于最佳并发用户数时，系统的整体效率最高，没有资源被浪费，用户也不需要等待；当系统负载处于最佳并发用户数和最大并发用户数之间时，系统可以继续工作，但是用户的等待时间延长，满意度开始降低，并且如果负载一直持续，将最终会导致有些用户无法忍受而放弃；而当系统负载大于最大并发用户数时，将注定会导致某些用户无法忍受超长的响应时间而放弃。<br />
对应到我们上面理发店的例子，每小时3个顾客就是这个理发店的最佳并发用户数，而每小时9个顾客则是它的最大并发用户数。当每小时都有3个顾客到来时，理发店的整体工作效率最高；而当每小时都有9个顾客到来时，前几个小时来的顾客还可以忍受，但是随着等待的顾客人数越来越多，等待时间越来越长，最终还是会有顾客无法忍受而离开。同时，随着理发店里顾客人数的增多和理发师工作时间的延长，理发师会逐渐产生疲劳，还要多花一些时间来清理环境和维持秩序，这些因素将最终导致理发师的工作效率随着顾客人数的增多和工作的延长而逐渐的下降，到最后可能要1.5小时甚至2个小时才能剪完1个发了。<br />
当然，如果一开始就有10个顾客到来，则注定有1位顾客剪不到头发了。<br />
进一步理解“最佳并发用户数”和“最大并发用户数”<br />
对于一个确定的被测系统来说，在某个具体的软硬件环境下，它的“最佳并发用户数”和“最大并发用户数”都是客观存在。以“最佳并发用户数”为例，假如一个系统的最佳并发用户数是50，那么一旦并发量超过这个值，系统的吞吐量和响应时间必然会 “此消彼长”；如果系统负载长期大于这个数，必然会导致用户的满意度降低并最终达到一种无法忍受的地步。所以我们应该 保证最佳并发用户数要大于系统的平均负载。<br />
要补充的一点是，当我们需要对一个系统长时间施加压力——例如连续加压3-5天，来验证系统的可靠性或者说稳定性时，我们所使用的并发用户数应该等于或小于“最佳并发用户数”——大家也可以结合上面的讨论想想这是为什么 ^_^<br />
而对于最大并发用户数的识别，需要考虑和鉴别一下以下两种情况：</p>
<p>1. 当系统的负载达到最大并发用户数后，响应时间超过了用户可以忍受的最大限度——这个限度应该来源于性能需求，例如：在某个级别的负载下，系统的响应时间应该小于5秒。这里容易疏忽的一点是，不要把顾客因为无法忍受而离开时店内的顾客数量作为理发店的“最大并发用户数”，因为这位顾客是在3小时前到达的，也就是说3小时前理发店内的顾客数量才是我们要找的“最大并发用户数”。而且，这位顾客的离开只是一个开始，可能有会更多的顾客随后也因为无法忍受超长的等待时间而离开；</p>
<p>2. 在响应时间还没有到达用户可忍受的最大限度前，有可能已经出现了用户请求的失败。以理发店模型为例，如果理发店只能容纳6位顾客，那么当7位顾客同时来到理发店时，虽然我们可以知道所有顾客都能在可容忍的时间内剪完头发，但是因为理发店容量有限，最终只好有一位顾客打道回府，改天再来。</p>
<p>对于一个系统来说，我们应该 确保系统的最大并发用户数要大于系统需要承受的峰值负载。<br />
如果你已经理解了上面提到的全部的概念，我想你可以展开进一步的思考，回头看一下自己以往做过的性能测试，看看是否可以对以往的工作产生新的理解。也欢迎大家在这里提出自己的心得或疑惑，继续讨论下去。<br />
<strong>理发店模型的进一步扩展</strong></p>
<p>这一节中我会提到一些对理发店模型的扩展，当然，我依然是只讲述现实中的理发店的故事，至于如何将这些扩展同性能测试以及性能解决方案等方面关联起来，就留给大家继续思考了 ^_^<br />
扩展场景1：有些顾客已经是理发店的老顾客，他们和理发师已经非常熟悉，理发师可以不用花费太多时间沟通就知道这位顾客的想法。并且理发师对这位顾客的脑袋的形状也很熟悉，所以可以更快的完成一次理发的工作。<br />
扩展场景2：理发店并不是只有剪发一种业务，还提供了烫发染发之类的业务，那么当顾客提出新的要求时，理发师服务一位顾客的时间可能会超过标准的1小时。而且这时如果要计算每位顾客的等待时间就变得复杂了很多，有些顾客的排队时间会比原来预计的延长，并最终导致他们因为无法忍受而离开。</p>
<p>扩展场景3：随着烫发和染发业务的增加，理发师们决定分工，两位专门剪发，一位专门负责烫发和染发。</p>
<p>扩展场景4：理发店的生意越来越好，理发师的数量和理发店的门面已经无法满足顾客的要求，于是理发店的老板决定在旁边再开一家店，并招聘一些工作能力更强的理发师。</p>
<p>扩展场景5：理发店的生意变得极为火爆了，两家店都无法满足顾客数量增长的需求，并且有些顾客开始反映到理发店的路途太远，到了以后又因为烫发和染发的人太多而等太久。可是理发店的老板也明白烫发和染发的收入要远远高于剪发阿，于是他脑筋一转，决定继续改变策略，在附近的几个大型小区租用小的铺面开设分店，专职剪发业务；再在市区的繁华路段开设旗舰店，专门为烫发、染发的顾客，以及VIP顾客服务。并增设800电话，当顾客想要剪发时，可以拨打这个电话，并由服务人员根据顾客的居住地点，将其指引到距离最近的一家分店去。<br />
这篇文章就先写到这里了，希望大家在看完之后可以继续思考一下，也写出自己的心得体会或者新的想法，记下自己的不解和疑惑，让我们在不断的交流和讨论中走的更远 ^_^<br />
转自:<a href="http://jackei.cnblogs.com">http://jackei.cnblogs.com</a></p>
<h2  class="related_post_title">你可能也会喜欢这些文字</h2><ul class="related_post"><li><a href="http://www.hiadmin.org/testing/performance-testing-monitoring/" title="性能测试笔记之性能监控方法">性能测试笔记之性能监控方法</a> (1)</li><li><a href="http://www.hiadmin.org/testing/performance-testing/" title="性能测试笔记">性能测试笔记</a> (2)</li></ul>]]></content:encoded>
			<wfw:commentRss>http://www.hiadmin.org/testing/performance-testing-theory/feed/</wfw:commentRss>
		<slash:comments>3</slash:comments>
		</item>
		<item>
		<title>性能测试笔记之性能监控方法</title>
		<link>http://www.hiadmin.org/testing/performance-testing-monitoring/</link>
		<comments>http://www.hiadmin.org/testing/performance-testing-monitoring/#comments</comments>
		<pubDate>Tue, 02 Feb 2010 04:20:06 +0000</pubDate>
		<dc:creator>sam</dc:creator>
				<category><![CDATA[软件测试]]></category>
		<category><![CDATA[performance-testing]]></category>
		<category><![CDATA[性能测试，性能测试监控]]></category>

		<guid isPermaLink="false">http://www.hiadmin.org/testing/%e6%80%a7%e8%83%bd%e6%b5%8b%e8%af%95%e7%ac%94%e8%ae%b0%e4%b9%8b%e6%80%a7%e8%83%bd%e7%9b%91%e6%8e%a7%e6%96%b9%e6%b3%95/</guid>
		<description><![CDATA[前面写过性能测试的方法，测试场景，测试用例，到执行测试，这些完成后我们得到的就是一个性能测试的数据，在我们的测试过程中必须要进行监控。 在性能测试的整个流程当中，监控起着至关重要的作用。因为在性能测试开始执行之后，需要实时的去观察性能测试的各个指标是否正常，包括应用服务器、数据库、中间件等方面。一旦发现异常情况，及时修正，保证性能测试的顺利进行。而且在监控当中，也可以发现系统的瓶颈，适当制止性能测试的继续运行，保证避免重复的工作。 首先，广泛意义的性能测试监控，应该分阶段去做，其中包括执行前、执行中和执行后的监控。 执行前： 环境搭建的时候，监控确定性能测试环境的纯净性，没有其他资源在使用。CPU、MEM、LOA、I/O的初始值是否正常。 执行中： 监控内容包括虚拟用户执行情况、场景状态、事务响应时间、服务器资源使用、操作系统和硬件的监控，此外最重要的还有测试机的运行情况，包括CPU、MEM等。是否满足当前性能测试种类的要求，比如性能测试、压力测试、负载测试等。 除了LoadRunner等监控工具外，也可以借助于辅助工具，用来监控一些定时服务、夜间监控情况，写一些shell脚本。 监控中可以分几大类去监控：工具的监控、测试用例的监控、测试方法的监控、进度、以及测试环境的监控。 建议：创建监控点列表，确定监控目标。开启监控服务，监控同时要采集信息，以便之后的分析。确定监控信息，同时确定监控工具。 执行后： 监控资源释放是否正常、合理。 监控指标： 性能测试的监控指标主要包括以下几个部分： 1、服务器：Linux应用服务器 具体包括CPU、Memory、Load、I/O、Disk等。 2、数据库：1.Mysql 2.Oracle 具体包括缓存命中、索引、单条SQL性能、数据库线程数、数据池连接数等。 3、中间件：1.Jboss 2. Apache 具体包括线程数、连接数、日志输出等。 4、网络 具体包括防火墙、网卡、网线、吞吐量、吞吐率等。 5、应用服务 具体包括JVM内存使用和回收、JAVA内存使用、Full GC频率、JAVA类装入和卸载、日志、线程运行状态(阻塞、等待、正常运行)等。 6、监控工具(LoadRunner) 具体包括用户执行情况、场景状态、事务响应时间、TPS、Load、CPU分析图表等。 7、测试机资源 具体包括CPU、Memory、网络、日志输出、磁盘空间、负载生成器评估等 监控原则： 1、确定监控目标 2、确定监控和分析信息 3、确定监控工具 4、收集数据 5、分析数据 6、调优 7、循环 监控方法： 包括Checklist法等。 监控工具 包括Profiler、Jstat、Jconsole、Jmap、Jprofiler、Nmon等。 你可能也会喜欢这些文字用”理发店模型“看性能测试的概念和理论 (3)性能测试笔记 (2)]]></description>
			<content:encoded><![CDATA[<p>前面写过性能测试的方法，测试场景，测试用例，到执行测试，这些完成后我们得到的就是一个性能测试的数据，在我们的测试过程中必须要进行监控。</p>
<p>在性能测试的整个流程当中，监控起着至关重要的作用。因为在性能测试开始执行之后，需要实时的去观察性能测试的各个指标是否正常，包括应用服务器、数据库、中间件等方面。一旦发现异常情况，及时修正，保证性能测试的顺利进行。而且在监控当中，也可以发现系统的瓶颈，适当制止性能测试的继续运行，保证避免重复的工作。</p>
<p>首先，广泛意义的性能测试监控，应该分阶段去做，其中包括执行前、执行中和执行后的监控。</p>
<p>执行前：</p>
<p>环境搭建的时候，监控确定性能测试环境的纯净性，没有其他资源在使用。CPU、MEM、LOA、I/O的初始值是否正常。<br />
<span id="more-734"></span><br />
执行中：</p>
<p>监控内容包括虚拟用户执行情况、场景状态、事务响应时间、服务器资源使用、操作系统和硬件的监控，此外最重要的还有测试机的运行情况，包括CPU、MEM等。是否满足当前性能测试种类的要求，比如性能测试、压力测试、负载测试等。</p>
<p>除了LoadRunner等监控工具外，也可以借助于辅助工具，用来监控一些定时服务、夜间监控情况，写一些shell脚本。</p>
<p>监控中可以分几大类去监控：工具的监控、测试用例的监控、测试方法的监控、进度、以及测试环境的监控。</p>
<p>建议：创建监控点列表，确定监控目标。开启监控服务，监控同时要采集信息，以便之后的分析。确定监控信息，同时确定监控工具。</p>
<p>执行后：</p>
<p>监控资源释放是否正常、合理。</p>
<p>监控指标：</p>
<p>性能测试的监控指标主要包括以下几个部分：</p>
<p>1、服务器：Linux应用服务器</p>
<p>具体包括CPU、Memory、Load、I/O、Disk等。</p>
<p>2、数据库：1.Mysql 2.Oracle</p>
<p>具体包括缓存命中、索引、单条SQL性能、数据库线程数、数据池连接数等。</p>
<p>3、中间件：1.Jboss 2. Apache</p>
<p>具体包括线程数、连接数、日志输出等。</p>
<p>4、网络</p>
<p>具体包括防火墙、网卡、网线、吞吐量、吞吐率等。</p>
<p>5、应用服务</p>
<p>具体包括JVM内存使用和回收、JAVA内存使用、Full GC频率、JAVA类装入和卸载、日志、线程运行状态(阻塞、等待、正常运行)等。</p>
<p>6、监控工具(LoadRunner)</p>
<p>具体包括用户执行情况、场景状态、事务响应时间、TPS、Load、CPU分析图表等。</p>
<p>7、测试机资源 具体包括CPU、Memory、网络、日志输出、磁盘空间、负载生成器评估等</p>
<p>监控原则：</p>
<p>1、确定监控目标</p>
<p>2、确定监控和分析信息</p>
<p>3、确定监控工具</p>
<p>4、收集数据</p>
<p>5、分析数据</p>
<p>6、调优</p>
<p>7、循环</p>
<p>监控方法：</p>
<p>包括Checklist法等。</p>
<p>监控工具</p>
<p>包括Profiler、Jstat、Jconsole、Jmap、Jprofiler、Nmon等。</p>
<h2  class="related_post_title">你可能也会喜欢这些文字</h2><ul class="related_post"><li><a href="http://www.hiadmin.org/testing/performance-testing-theory/" title="用”理发店模型“看性能测试的概念和理论">用”理发店模型“看性能测试的概念和理论</a> (3)</li><li><a href="http://www.hiadmin.org/testing/performance-testing/" title="性能测试笔记">性能测试笔记</a> (2)</li></ul>]]></content:encoded>
			<wfw:commentRss>http://www.hiadmin.org/testing/performance-testing-monitoring/feed/</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
	</channel>
</rss>

