[问题]缓存与性能的关系

小弟有个疑惑，就是缓存与性能的关系。很多时候我们通过设置缓存来使得性能得以提高了。可是缓存又是以内存的消耗为代价的。我之前的工作中就碰到有个系统为此居然将整个数据库都进行了缓存，1G内存的PC顿时变得慢如蜗牛，运行效率反而因此急剧下降。为此，我们曾化了大量的时间重新改善/改写了这个数据库中间件。
缓存与性能，似乎是一对矛盾统一的事物。不知道各位在设计系统的时候是怎么协调这两者的关系呢？