- 博客(7)
- 收藏
- 关注
RSS订阅
原创 吾悦-scala高级特性
高阶函数概念Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用。定义函数时格式：val 变量名 = (输入参数类型和个数) => 函...
2019-10-24 09:52:40
320
原创 mysql(oracle)-shareplex-kafka-flink-hbase数据同步
企业运维的数据库最常见的是mysql；但是mysql有个缺陷：当数据量达到千万条的时候，mysql的相关操作会变的非常迟缓；如果这个时候有需求需要实时展示数据；对于mysql来说是一种灾难；而且对于mysql来说，同一时间还要给多个开发人员和用户操作；所以经过调研，将mysql数据实时同步到hbase中； 最开始使用的架构方案：Mysql—logstash—kafka—sparkStrea...
2019-09-29 09:44:19
1058
1
原创 机器学习入门及基本算法图解
基本算法最近在学习神经网络，整理了一些算法，写出来给自己一点交代吧，本人刚入算法没多久，如果有不对的地方，请指出来大家一起学习，谢谢。费曼算法（Feynman algorithm）将这个算法放在最前面是因为该算法提供了一些我们思考问题的方法，根据吉德林法则：把问题清楚的写下来，就已经解决了一半！很多时候我们不知道怎么去解决问题，可以通过下面的三步来一步一步实施。这个算法是以著名物理学家理查德...
2019-06-05 11:37:16
1315
3
原创 星环TDH数据库批量生成表和存储过程
环境准备安装python环境:解压 ,然后设置环境变量。把ETL文件夹放到本地ETL文件夹以及脚本说明路径D:\ETL\genproc下是各种运行的Python脚本。路径D:\ETL\model\TDH下是生成各类表以及存储过程的算法模板。下面会对各种算法模板有详细说明。路径D:\ETL\etc下的config.yaml是配置相应的excel模板名。路径D:\ETL\dbdata\excel下是excel模板，用来填相应的表结构和存储过程mapping。路径D:\ETL\code\..
2020-06-29 18:11:18
3299
2
原创 机器学习常见算法及其优缺点
一、决策树决策树优点1、决策树易于理解和解释，可以可视化分析，容易提取出规则。2、可以同时处理标称型和数值型数据。3、测试数据集时，运行速度比较快。4、决策树可以很好的扩展到大型数据库中，同时它的大小独立于数据库大小。决策树缺点1、对缺失数据处理比较困难。2、容易出现过拟合问题。3、忽略数据集中属性的相互关联。4、ID3算法计算信息增益时结果偏向数值比较多的特征。改进措施1...
2019-11-27 08:59:17
1807
原创 解决TypeError:'twophase' is an invalid keyword argumet for this function（附：pandas连接oracle）
问题描述先来看看百度的解决方法，因为全是英文的，一开始没大看懂，没有想到是版本的问题，现在的cx_oracle已经更新到了7.0版本，sqlalchemy更新到了1.3.10版本.这篇文章大概的意思就是说当使用版本6.0b1或更高版本的DBAPI时，已经完全删除了对cx_Oracle的两阶段事务支持。，两阶段功能在任何情况下都无法在cx_Oracle 5.x下使用，并且cx_Oracl...
2019-10-12 15:53:39
1648
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人