boydfd的专栏

本文探讨了LLM生成代码后的一键合并技术FastApply。针对全量替换方案的高成本问题，研究提出Planning+Applying两阶段方案：大模型生成代码片段后，通过智能合并技术精准定位。分析显示传统Code Diff格式存在模型幻觉风险，而常见的Lazy Format模式需创新合并方法。研究重点突破基于Prompt Lookup Decoding的加速技术，结合代码特性实现输入内容复用，在A6000显卡上达到600 tokens/s处理速度，使千行代码合并耗时仅1.7秒。实验验证PLD+方案可提升13

这篇博客记录了作者在家中使用Pascal显卡运行大型模型时遇到的挑战和解决方案。随着本地大型模型性能的提升，作者选择使用vllm库进行推理。然而，作者遇到了多个技术难题，需要自行编译vllm和PyTorch，以支持Pascal架构的显卡。编译过程中，作者深入研究了显卡不支持的问题，特别是在量化矩阵乘法计算中发现性能瓶颈。最终，解决了性能问题，让性能提升了43倍。这次技术探索不仅解决了具体问题，还为作者提供了深入学习和扩展其他相关技术的机会，同时也展示了LLM在整个过程中提供的帮助。

这篇博客讲述了作者在家庭日常用水管理方面的改进经历。由于家里用水量增多，作者不断优化解决方案，从最初用农夫山泉桶装水，到购买反渗透净水机，再到通过智能化手段 简化补水流程。过程中，作者不断提高设备自动化程度，最终实现了全自动化补水，并且详尽描述了每个优化步骤和使用的技术（如Node-RED、homeassistant、小米设备等）。此外，作者还介绍了如何利用压力传感器和智能控制来实现更精确的水量控制，并用语音命令来实现自动接水功能。同时，还记录了优化过程中的一些挑战及解决方案。你以为到这就完了么？

这让我们想当场奖励，或当场训斥都没法做到。由于我有一台服务器，一台普通电脑（带GPU），服务器是7x24开机的，而电脑不是，所以模型就得放在服务器上，用cpu来做serving，这个时候，serving的性能就不是很够了，一个图片需要100ms才能识别完，相当于10FPS。这里我并没有针对模型的性能进行优化，而且取了个巧，先通过进行两帧图片的对比，识别出变化，在有变化产生后再进行模型的确认，所以模型serving的压力只有在崽崽或者我们进厕所的时候才会产生，而一旦厕所没有任何动静，模型自己慢慢就处理完了。

背景前段时间买了个小米的空调伴侣，想用来查看空调的功率，以确认空调到底会用掉多少电。买的时候发现空调伴侣也支持红外控制，这就得好好利用一下了。但是有个尴尬的问题，就是空调插座在很偏的地方，导致了无法控制空调，也没法控制投影仪。当一个东西你拥有了以后又失去的时候，你会很难受，所以我就想着要再买它一个红外控制设备来做这个事，看了一圈发现，小米万能遥控没得买了，变成了理财产品，所以就找了一款替代产品。欧瑞博的一款万能遥控。买完之后才发现，虽然能控制空调和投影仪了，但是有两个很严重的问题：是没法使用小爱来