EEPW论坛

我们在选择CPU的时候，经常看到一级高速缓存多少，二级高速缓存多少。我们在上一期关于RAID的讨论中也出现了CACHE这个名词。CACHE就是英文中对高速缓存系统的称谓，不过它是如何起作用的，而且它的作用有多大，CACHE是不是越大越好？ 高速缓存的作用产生于人们使用数据不平均时 我们虽然常常拥有大量数据，但最经常使用的往往只有其中一小部分。如国标汉字有6763个，但经常使用的只有3000个，其中几百个又占了50%以上的使用频率。因此人们想到，如果将这几百个放到存取最快的地方，就可以用很小的代价大大提高工作速度。高速缓存的工作原理基本就是这样。例如我们知道内存的存取速度比硬盘快得多，我们可以在一开机时就将宋体字的前3000个、黑体字最常用的500个装入内存专门开辟的区域，这样当使用这部分字的时候就可以从内存取字，其余的才会去读硬盘。内存开辟的这部分区域就叫做高速缓存，它可能只占所有字体存储量的十分之一，但可以将读写字库的速度提高几十倍。 我们来具体看一下高速缓存起的使用。假设我们有100M数据，其中1M数据的使用频率占到了50%，又知内存存取时间只有硬盘时间的10万分之一，因此如果我们用1M内存做高速缓存存储最常用的1M数据就可以差不多将平均存取速度提高一倍。从这个例子可以看出，当数据使用越不平均，两种存储器之间的速度差越大时CACHE的作用就越大。 以上是一类使用分布固定的例子，在这种情况下，只要固定将这一部分数据装入最快的存储器就可以了。但在许多情况下，数据的使用频率是不确定的，特别它是与时间相关的。如当我们在写一篇文章时，对这篇文章的内容存取就特别频繁。而过一会儿又去修一张照片，存取操作就转移到了这张照片的数据上去，文章的数据就基本不用了。要让一个系统能够自动地根据当前数据的使用频率改变高速存储器中的内容才能使我们专门开出的高速缓存起作用。因此整个高速缓存系统应该包含调度数据的软件。 　 CACHE系统怎样调度数据 怡泓软件早在1983年就在软件内部使用了硬盘的CACHE系统，在早期内存很小的情况下有效地提高了硬盘上大量数据的存取速度。而PC DOS操作系统直到1990年的DR DOS 5.0和MS DOS 4.0中才内含了CACHE程序。从WINDOWS 3.0开始操作系统中都内建了硬盘CACHE系统，CACHE的概念也逐渐延伸到硬盘内部和CPU内部。 CACHE对数据的调度不一定只在两种存储器之间进行，如现在的CPU就有片上的一级、二级和内存共3种存储器。为了便与理解，我们都以两种存储器为例。 为使CACHE系统能够起到提高速度的作用，这两种存储器的速度必需有比较大的差异。如果用通用CPU来完成数据调度，两种存储器的速度差至少应该达到100倍以上。因为调度程序在每完成一次数据访问时至少要消耗20-30个指令周期，如果速度只差10倍，用CACHE比不用还要慢。 数据的调度并不像我们想像地那样简单。第一高速存储器中的每一个数据必需带有地址信息，因为它从第二级存储器中提出来后已经不是按顺序排列。为了避免地址信息过多而造成的空间浪费和查询时间的浪费，必需将数据分成块。块的大小也很有讲究。太小了起不到压缩时间和空间的作用，太大了读一个数据会造成数百个可能用不着的数据涌入高速存储器，反而起不到压缩空间的作用。 高速存储器中数据的地址信息查询是数据调度时运算的大头。当高速存储器很大时，它的地址表也会很长。从计算机指令发出的是对第二级存储器的存取指令，为了要看它是否在高速存储器中，必需去查询这个地址表。如果地址信息是顺序排列的，平均查询时间将是表长的一半。如果表长到了1000项，平均查一个数据地址就要500次比较。即使两级存储器的速度差达1000倍，这种方法也占不了任何便宜。一种方法是优先级排序法，即每经过一段时间的使用就根据每块数据的使用频率修改表的排列，让频率最高的数据块的地址排到最前面去，这样可以有效地缩短查表次数。这是我们过去使用的方法。Intel发明了一种抢队头的方法。即每一个数据一旦被使用，就将它放到地址表的第一位去。它的优点是重整地址表的算法最简单，缺点是地址表的排列通常不是最优化的。还有一种方法是通过散列表来用空间换时间，这种算法稍微复杂一点，但它通常可以在2次查询就找到所需的地址，不过计算散列地址也要消耗不少时间。 我们从以上算法的简单介绍就可以看出，CACHE技术不是在什么地方都可以使用的灵丹妙药，它受调度计算的很大制约。在CPU内部，两级存储器的速度差往往到不了100倍以上，如何能实现有效的CACHE调度？它其中必须有专用的调度算法部件，以保证在1/3的速度差之内完成调度运算，否则最多只能实现一级缓存。 　 CACHE作用的局限性 从上面对CACHE调度算法的简单介绍我们已经看到，在没有专用算法部件的情况下，只有当两级存储器速度差很大的时候CACHE才起作用。内存和硬盘的速度差通常为105数量级，因此用内存做硬盘的高速缓存通常是很有效的。 另一方面，高频使用的数据必须远小于高速缓存的大小才行，如果大于高速缓存的大小就会造成刚进入缓存的数据马上就被后来的数据挤出去，非但没有加快速度，反而增加了一道间接传递的时间。当我们用PHOTOSHOP处理的图像数据大于内存的1/3时就会出现这种情况。好在内存的速度远大于硬盘的存取速度，这点变化我们通常感觉不出来。但在CPU中，就会非常明显。CPU在处理图像数据时，每次处理的数据量都远远超过它内部的一级和二级缓存，因此它的作用将大大降低，唯一的补偿是处理程序的指令在一个操作——如锐化——中是固定的，它可以常驻高速缓存，减少读指令的时间。这时不同CPU缓存的大小对运算速度的影响就很小了。因为即使再小的缓存，也存得下操作指令；再大的缓存也存不下被操作的图像数据。 在CACHE调度中，为了保证数据的安全而做的回写操作也是阻碍效率的因素。在对数据进行写操作时，可以不将它写回二级存储器，如硬盘，一直到文件关闭甚至操作系统退出时再回写，这样的效率当然最高，但是非常不安全的。一旦一个程序崩溃，其它所有程序的数据就可能都损失了。所以现在的CACHE调度方案通常都内定必须立即回写。我们马上会想到，优化效率的一半没有了。实际情况并非如此。因为回写操作其实并不是立即发生的，它可以由一个优先级较低的线程去完成，当你在考虑怎么进一步调色时，操作系统插空将数据写回硬盘。 即使内存非常大，PHOTOSHOP也将它的每一步操作写回硬盘，这可以从PHOTOSHOP每次崩溃后都留下一个巨大的临时文件看出。因此如果我们连续对图像做旋转、变形等操作，即使用了极大的内存，CACHE作用也只发生了一半。因此要全面提高PHOTOSHOP的效率，必须用RAID等技术提高硬盘的直接读写速度。同理，硬盘上的2M或4M缓存对于动辄几十M的图像数据是毫无作用的。