zw“小数据”理论也碰上了“黑天鹅”

本文探讨了小数据在数据分析中的重要性,指出在大数据背景下,‘小数据’更能揭示市场本质。引用老子《道德经》观点,强调细节决定成败。通过案例分析Netflix、黑天鹅事件等,阐述增加样本量不一定会提升模型性能,关键在于理解数据与模型的局限性,以获取最佳输出。
4月上旬,在blog 《大数据和高频量化交易 》,我们曾经说过:
实战测试,数据越多,反而会影响精度。目前个人数据分析的一个重点,就是“小”数据。老子《道德经·第六十三章》有云:天下大事,必做于细。
   我在一个blog上面也找到了数学支持,龙格现象,http://zh.wikipedia.org/wiki/龙格现象
   ::维度越多,可供单一维度的数据量就也少,反而会影响分析结果.

zw“小数据”理论也碰上了“黑天鹅”

才两个月,今天在csdn,zw的“小数据”理论,也碰到黑天鹅
   http://www.youkuaiyun.com/article/2015-06-18/2825003
   Netflix公司工程总监Xavier Amatriain认为,增加更多的样本到训练集很多时候并不会提高模型的性能,我们需要的是好的方法,来帮助我们理解如何解释数据,模型,以及两者的局限性,这都是为了得到最好的输出。 

自从4月,zw“大数据”系列blog发布以来,才两个月,仅仅与zw发布的blog相关的“黑天鹅”事件,就不下十余件
历史总是在不断重复

【黑天鹅才是新常态】

金融市场 大家都是大数据 会反向干扰态势的
现在(2015) 黑天鹅才是新常态
看看:石油价格 瑞士法郎 日元升值 光大砸盘 黄金狂跌
全部没节操 没下限

http://blog.sina.com.cn/s/blog_7100d4220102vkxa.html

转载于:https://www.cnblogs.com/ziwang/p/9500402.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值