2016.12.29回顾

最新推荐文章于 2022-02-24 22:09:48 发布
原创 最新推荐文章于 2022-02-24 22:09:48 发布 · 261 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨了GBDT在信贷评估中的使用方法，包括如何找到显著的衍生变量及直接建模的效果。同时提及了与其他模型如LR的结合方式，并对GBDT原理进行了深入思考。

1、上午和BI进行了沟通，把需求和相关文档整理了发给了他们

2、更新了爱尚审批阈值和多头借贷阈值

3、上午还讨论了gbdt输出概率的问题，predict_proba这个方法，我当时乍一看以为可以，其实不行，这个概率非常非常之接近？难道是数据集太好了？用一下真实的数据集！

4、中午练了会舞，下午那个瞌睡哟，简直了！所以没办法跟别人学，中午还是得休息睡觉，整个下午状态都很差，下午找了一些资料，看了同业的方法，据说芝麻信用是GBDT找到交互作用的衍生变量，然后和原始变量一起用lr，GBDT怎么样找到显著的衍生变量呢？百融的方法是直接用GBDT得到模型，我看起来效果还不错，我下一步先从简单的开始，就直接用GBDT建模

5、进一步看了下GBDT原理，但是怎么说很多博客都是对原理泛泛而谈，我还是希望看一个推导更细致的过程，每一步是怎么出来的，像这种，对残差进行学习，然后累加，本身是回归树？那最后又是如何分类的呢？变量选择方法和分支方法又是什么？

2016.12.05回顾 logistic自变量是分类变量
strwolf的专栏
12-06 2402
1、又看了下joinquant，按财务指标选股的时候不加filler似乎可以挑选出全部A股的股，但是奇怪的是有个停牌（或者说已经退市的）出现在了名单之中（300372欣泰电气），是12月2号的数据，然后看了下小市值策略的代码，有两个做记录的成员变量，我不太清楚其意义何在？然后回测的持仓数据来看，可能存在一定的幸存者偏差，几乎之前的全是st股，然后我又用他所谓的40000%的去除st，去除停牌那个策
S3C2440移植 u-boot-2016.11
lzhf1122的博客
03-21 637
移植完成后使用以下命令制作补丁文件：make distclean mv u-boot-2016.11 u-boot-2016.11_new tar xjf u-boot-2016.11.tar.bz2 diff -urN u-boot-2016.11 u-boot-2016.11_new > u-boot-2016.11_new.patch patch -p1 < ../u-boot-...
2016.4.12 latex初探
Zhaohui1995_Yang的专栏
05-08 980
<span style="font-family:宋体;mso-ascii-font-family:Cambria; mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋体;mso-fareast-theme-font: minor-fareast;mso-hansi-font-family:Cambria;mso-hansi-the
2016.12.09回顾 dataframe获取某一个值的索引
strwolf的专栏
12-13 1万+
1、我上午玩了会儿joinquant，按照自己的算法实现一些卖点，进行回测比较 2、改良了一个风控系统方面的功能 3、要记录股票的市值排名，学习了一下pandas.dataframe的用法，我要在dataframe中取出索引，最后是把dataframe的某一列拿出来，也就是说是一个series，然后用list()或者tolist()方法把series转换成list，然后对于list中没有重复的
WayToGo@2016.11.17
越努力越幸运
11-17 563
近期要看的： 一.机器学习算法相关 数学之美番外篇：平凡而又神奇的贝叶斯方法 机器学习知识点其中包含了很多算法，慢慢的当做对统计学习方法的回顾总结来看吧。 生成模型与判别模型 从最大似然到EM算法浅解 当时看统计学习方法，觉得理解了许多，但是不应用转眼间又忘了，这篇当做温习，顺便可能可以从另一个角度加深理解。 使用sklearn进行集成学习——理论 ensemble这么常用
lamp部署 find mysql命令行 time() input date iptables 2016.06.12回顾
strwolf的专栏
06-13 603
1、lamp在centos下可以一键部署，参考http://www.centoscn.com/CentosServer/www/2015/0226/4742.html，wget的参数–no-check-certificate是访问https，-O xxxx.zip参数是下载下来后重命名，shell中用通配符，chmod +x *.sh，全部执行权限，./lamp.sh 2>&1 | tee lamp
2016.1.4~2016.1.7真题回顾！-- HTML5学堂
懂点君
01-11 688
2015悄然而逝，崭新的2016随即而行！生活需要新鲜感，学习JavaScript的过程需要有成就感！成就感又是来自于每一天的不断练习！今天给大家带来一些新鲜的东西，准备好了吗？
Node.js 13岁了，回顾Node历史
小帅的编程笔记
02-24 1167
至今2022年，Node.js已经13岁了。 相比之下，JavaScript已有26年历史，Web拥有33年历史。 13年在技术领域来说并不算很长时间，一个新事物的诞生总是有着原因。 历史 几乎每本技术书籍中都会多多少少的介绍JavaScript的历史。 JavaScript是一个编程语言，由Netscape公司创建，作为脚本工具用于在Netscape Navigator浏览器中操作网页。 Netscape公司的一部分商业模式是销售Web服务器，其中包括一个叫Netscape LiveWire的环境，这个环
echarts sys.stdout.flush() 2016.05.19回顾
strwolf的专栏
05-20 987
上午主要看了下echarts，决定用php来作服务端语言，也想重新回顾一下php，回顾了一下jquery，AJAX请求，获取数据，返回到前台，用echarts生成图表 然后就是后台缓冲区的问题，python -u这个参数听说是不启动缓冲区，但是我没成功，我觉得是因为python manage.py会多生成一个进程，而子进程没有-u参数，所以失败，后来我综合考虑采用了sys.stdout.flush(
年总结（五）:再次突破自我的半年（2016.3—2016.9）
热门推荐
通往精英的成长之路
08-20 2万+
【前言】 时间过得真快哈，眼一闭一睁，又半年过去了哈，翻阅了上次的半年总结—《年总结:打破自我，重大转变的半年》历历在目，仿若就发生在昨日，不矫情了，直接上干货吧！ 还是按老规矩：从各个方面都总结一下过去的半年。 【半年心路历程】 一、思想方面： 小编一直坚信思想观念转变是一个人最本质的转变，回首这半年征程，当然在思想方面给自己最大指导无疑是...
工程部年终总结报告2016.pdf
10-12
【工程部年终总结报告2016.pdf】 这篇报告详细回顾了2016年度工程部的工作成果和挑战。在这一年中，工程部在公司董事会的指导下，与其他部门紧密合作，基本完成了各项工程任务和节点目标。以下是主要内容的概述： ...
青岛版四年级（下册）科学（全册）教（学）案2016.doc
10-10
- 第12课《玩镜子》：通过实验观察光的反射现象。 - 第13课《筷子“折”了》：探讨光的折射和视觉错觉。 - 第14课《彩虹的秘密》：解释彩虹形成的原因。 - 第15课《飞旋的陀螺》：学习光的旋转效应。 - 第16课《光与...
2016年中考英语小题狂做专题6副词含2015真题回顾.doc
09-12
12. 如此...以至于："The Silk Road was _______ long that it passed through many countries."，答案是"D. so"，"so...that..."结构表示丝绸之路如此之长，以至于经过了许多国家。 13. 特殊情况："Be careful ...
Docker日志过滤问题[源码]
12-27
文章探讨了在使用Docker时，通过grep命令过滤日志内容时遇到的问题及其解决方案。当使用`docker logs nginx | grep INFO`命令时，无法正确过滤日志内容，原因是管道仅对stdout有效，而日志可能被记录到stderr。文章提供了两种解决方案：一种是通过重定向stderr到stdout来实现过滤，即使用`docker logs nginx 2>&1 | grep INFO`；另一种是通过直接访问日志文件路径并使用grep命令，即`grep INFO `docker inspect --format={{.LogPath}} nginx``。这些方法帮助用户更有效地管理和分析Docker容器日志。
新二维码生成器是一款基于Android平台开发的创新性二维码生成与管理应用_它采用MVP架构模式进行清晰的分层设计包含处理核心业务逻辑的model层负责用户界面展示的view层.zip
12-27
新二维码生成器是一款基于Android平台开发的创新性二维码生成与管理应用_它采用MVP架构模式进行清晰的分层设计包含处理核心业务逻辑的model层负责用户界面展示的view层.zip
数据结构课程：带有括号的算术表达式
12-27
代码转载自：https://pan.quark.cn/s/a4b39357ea24 Data-Structres 我的博客 ：叫我皮卡丘 Stargazers over time 前言 中国大学MOOC上浙大的《数据结构》广受好评，原因有二，一是基础，简单易懂，老师讲得也清楚，另一大优点就是配套的每周相应知识点的编程题了，有难有易，容易题帮助巩固知识点，难题开阔视野。 笔记加入了一些自己的想法，题解也有思路说明 课程地址：https://www.icourse163.org/course/ZJU-93001 现将笔记和题解记录如下 基本概念 基本概念 线性结构 线性表 堆栈 队列 树 树的定义 二叉树的遍历 二叉搜索树 平衡二叉树 堆 哈夫曼树 并查集的实现和优化 图 图的定义 图的遍历 最短路径 最小生成树 排序 排序 散列查找 散列查找 KMP 注：Saving James Bond - Hard Version 和 关键活动 实在没时间做了... 完结撒花，弱弱求个 star~
Sim-EKB-Install-2025-12-04-Run-as-Admin.zip
12-27
Sim_EKB_Install_2025_12_04_Run_as_Admin.zip
VLCplayer 安卓TV版
最新发布
12-27
VLCplayer 安卓TV版 3.6.5版本，arm v7版本
Docker安装Node.js v22[项目源码]
12-27
本文详细介绍了如何使用Docker安装并运行Node.js v22，并列举了使用Docker的十大优势。首先，文章提供了具体的安装步骤，包括下载镜像、创建容器和验证版本等操作。其次，重点阐述了Docker在Node.js开发中的核心价值，如环境一致性、依赖隔离、快速搭建与销毁、简化部署流程、跨平台兼容性等。这些优势不仅适用于个人开发，也能显著提升团队协作和项目部署的效率。文章还通过实际场景示例，展示了Docker在开发、测试和生产环境中的实际应用。最后，总结了Docker运行Node.js的核心价值，强调其作为现代Node.js开发必备工具的重要性。
数据的路径是"E:\毕设\代码\RML2016.10a\RML2016.10a_dict.pkl"啊
04-21
<think>好的，我现在需要帮助用户解决如何从RML2016.10a_dict.pkl数据集中提取时域和频域特征的问题。首先，我需要回顾之前的对话历史，确保我的回答符合用户之前的需求，并参考用户提到的引用内容。 用户之前已经得到了关于提取时域和频域特征的步骤和代码示例，现在用户再次提问，可能是在之前的基础上需要更详细的指导或者遇到了问题。用户提到参考了站内引用，但指出引用仅供参考，需要结合之前的回答。因此，我需要确保这次回答延续之前的建议，并补充更多细节。 首先，我需要确认RML2016.10a数据集的结构。根据之前的回答，数据集的样本形状是(220000, 2, 128)，其中每个样本包含两个通道（I和Q）以及128个采样点。用户可能已经加载了数据，但需要具体的提取方法。 接下来，时域特征的提取包括幅度、相位和高阶统计量。我需要详细说明每个特征的计算方法，例如幅度的均值、标准差，相位的均值和方差，以及峰度和偏度的公式。同时，要确保用户理解这些统计量如何反映信号的时域特性。 频域特征方面，FFT转换是基础，需要解释如何从复数信号转换到频域，并提取频谱均值、主频位置、能量等特征。同时，可能还需要考虑功率谱密度或其他频域统计量，但根据之前的回答，用户可能已经了解基本步骤，现在需要更深入的解释或注意事项。 用户提供的引用提到了星座图、频域图和时域图，虽然在之前的回答中已经包含了部分可视化代码，但可能需要进一步说明如何将这些图与特征提取结合起来，或者如何利用这些图来验证特征的正确性。 另外，用户可能在实际操作中遇到了问题，例如数据加载错误、特征维度不匹配，或者不理解某些步骤的具体实现。需要确保代码示例中的路径正确，数据加载部分是否适配.pkl文件而不是.npz文件，因为用户的数据集路径是.pkl格式，而之前的示例代码中使用的是.npz，这可能是一个需要修正的地方。 此外，用户提到“毕设”即毕业设计，可能时间紧迫，需要明确、高效的指导，避免复杂的理论解释，侧重代码实现和实际步骤。同时，用户可能需要特征提取后的应用建议，比如如何将这些特征用于分类模型，是否需要标准化或降维处理。 最后，确保回答结构清晰，分步骤说明，代码可运行，并解释关键参数和注意事项。需要检查是否有遗漏的步骤，例如数据预处理、复数信号的处理方法，或者特征提取后的保存方式。可能还需要提醒用户注意数据集的划分，避免在特征提取时引入偏差。</think>根据RML2016.10a数据集的IQ信号特性，以下是完整的时域/频域特征提取方案（基于数据集结构和文献实践[^1][^2]）： ### 一、数据集预处理 1. **数据加载验证** ```python import pickle import numpy as np with open('RML2016.10a_dict.pkl', 'rb') as f: data = pickle.load(f, encoding='latin1') # 注意编码设置 # 验证数据结构：字典键值为SNR值，每个键值对应数组形状(N,2,128) snr_list = list(data.keys()) print("包含的SNR值:", snr_list[:5]) # 示例输出：[-20, -18, ..., 18] ``` 2. **IQ信号解析** ```python def parse_iq_sample(sample): """将(2,128)数组转换为复数信号""" return sample[0] + 1j*sample[1] # I+jQ ``` ### 二、时域特征工程 | 特征类型 | 计算公式 | 物理意义 | |----------------|-------------------------------|------------------------------| | **幅度统计** | $\mu_A = \frac{1}{N}\sum|s(n)|$ | 信号平均强度 | | **相位变化率** | $\Delta\phi = \phi(n)-\phi(n-1)$ | 相位跳变特性 | | **高阶统计量** | $\text{峰度} = \frac{E[(A-\mu_A)^4]}{\sigma_A^4}$ | 脉冲特性检测 | 完整提取函数： ```python def extract_time_features(complex_signal): amplitude = np.abs(complex_signal) phase = np.unwrap(np.angle(complex_signal)) # 解卷绕相位 features = [ # 幅度特征(6维) np.mean(amplitude), np.std(amplitude), np.var(amplitude), np.max(amplitude) - np.min(amplitude), # 峰峰值 np.percentile(amplitude, 75) - np.percentile(amplitude, 25), # 四分位距 np.sqrt(np.mean(amplitude**2)), # RMS值 # 相位特征(4维) np.mean(np.diff(phase)), # 平均相位变化率 np.std(np.diff(phase)), np.mean(np.cos(phase)), # 相位圆周统计量 np.mean(np.sin(phase)), # 高阶统计量(2维) scipy.stats.kurtosis(amplitude), scipy.stats.skew(amplitude) ] return np.array(features) ``` ### 三、频域特征工程 $$ S(k) = \sum_{n=0}^{N-1} s(n)e^{-j2\pi kn/N} $$ ```python def extract_freq_features(complex_signal, fs=200e3): n = len(complex_signal) fft_vals = fft(complex_signal) freq = fftfreq(n, 1/fs) mag = np.abs(fft_vals) # 功率谱计算 psd = np.abs(fft_vals)**2 / (fs * n) features = [ np.sum(psd), # 总功率 np.mean(mag), # 频谱均值 freq[np.argmax(mag)], # 主频位置 np.sum(psd[:n//2]) / np.sum(psd), # 正频率能量占比 scipy.stats.entropy(psd+1e-12), # 频谱熵 np.mean(psd[np.where(freq > 0.2*fs)]), # 高频成分能量 ] return np.array(features) ``` ### 四、特征融合与存储 ```python all_features = [] for snr in data.keys(): for iq_pair in data[snr]: complex_sig = parse_iq_sample(iq_pair) time_feat = extract_time_features(complex_sig) freq_feat = extract_freq_features(complex_sig) all_features.append(np.concatenate([time_feat, freq_feat])) # 最终特征矩阵 (样本数, 12+6=18维) feature_matrix = np.vstack(all_features) ``` ### 关键注意事项 1. **采样参数**：原始数据采样率200kHz，每个样本持续128/200e3 = 0.64ms 2. **复数处理**：必须保持I/Q通道的相位关系，避免单独处理单通道 3. **数据分布**：不同SNR样本需分开处理或做归一化 4. **可视化验证**（如[^1]所示） ```python def plot_constellation(complex_sig): plt.scatter(np.real(complex_sig), np.imag(complex_sig), alpha=0.5) plt.title("星座图") plt.xlabel("I分量"); plt.ylabel("Q分量") ``` ### 典型特征示例 | 调制类型 | 时域特征表现 | 频域特征表现 | |----------|------------------------------|----------------------------| | QPSK | 相位跳变明显，幅度恒定 | 频谱主瓣宽，带外衰减快 | | 16QAM | 幅度多电平分布，峰度值高 | 高频分量较多，频谱熵值大 | --相关问题-- 1. 不同调制方式的特征差异如何影响分类效果？ 2. 如何验证提取特征的区分度？ 3. 实时信号处理中如何优化特征计算速度？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值