未名企鹅极客 | 流向处理新技术

最新推荐文章于 2023-05-18 16:40:30 发布
原创 最新推荐文章于 2023-05-18 16:40:30 发布 · 309 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

未名企鹅的系统架构师Lee分享了分布式计算框架Flink如何应用于流向处理。Flink通过分布式计算解决了单机处理大量数据的局限性，实现了快速的数据清洗和实时展示，尤其适用于有界和无界数据流的统一处理。通过与K8s集成，Flink可以动态调整资源，确保高效利用硬件资源，并具备灵活的任务调度能力。

技术创新，永远是企业进步和行业发展的内驱力！

在不断的思考和应用的过程中，未名企鹅努力透过科技的力量来助力传统行业的发展。未名企鹅决定开启新的极客栏目，很高兴有机会跟大家分享我们的科技观点。

今天我们邀请到的是未名企鹅的系统架构师Lee，来谈谈一个比较新的技术分布流处理架构Flink在流向处理中是如何应用的。

在这里插入图片描述

分布式计算框架Flink在流向处理中的应用

01
什么是分布式计算

分布式计算框架，与所有分布式系统一样，都为了解决单机的局限性问题，分布式计算框架可以将一个大的计算任务或者说数据的处理任务分发给多个计算机执行，最后再将结果进行汇总得到最终的计算结果。

而在未名企鹅提供的数据流向清洗服务里处理流向数据时，一次最少都是几十万数据，如果时间跨度增大，处理一年的数据，那数据量就可能会是几百万甚至千万级别，如果所有数据都在一台计算机负责计算，当然也可以，但是有可能需要30分钟甚至更长时间，而且还有可能因为单点故障导致计算任务失败。

通过使用分布式计算框架，就可以在5分钟、1分钟甚至近乎实时就完成计算任务，而且即使有个别计算机在计算的过程中出现故障也不会影响整体的计算结果。

当处理数据的速度提升上来后，就能更快的给客户呈现清洗之后的流向数据，在未名企鹅终端通产品里的数据大业务块能够更加实时的显示客户最新的数据情况，也能更快的为客户提供各种报表和数据分析的结果。

Flink，做为最近几年崛起很快的分布式计算框架，自然就成为我们首先考虑的方案。但是Flink是否适用在流向处理的业务中？它与其他分布式计算框架相比有什么优势？它能解决我们现在系统中存在的哪些问题？

最低0.47元/天 解锁文章
未名企鹅
关注
第1章 大数据概述
黄连福的博客
09-23 1227
第1章 大数据概述 1.1大数据的概念（4V说法） 1.数据量大（Volume） 2.数据类型繁多（Variety） 3.处理速度快（Velocity） 4.价值密度低（Value） 1.2大数据的思维方式 全样而非抽样，效率而非精确，相关而非因果。 1.3大数据关键技术 技术层面 功能 数据采集 利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采
Flume 总结（三）sources类型-1.9.0新版
xiaohu21的博客
10-10 375
Flume 总结（三）sources类型 1. 官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 注意区分flume版本 2. sources avro sources 这里可以看出，这里使用的avro通用序列化协议，可以组成agent之间的级联 参数最重要就是黑色的， 端口和ip地址 注意这里涉及到拦截器和选择器 拦截器可以对数据做清洗，筛选，打标记 选择器可以根据event的标记，对数据做分发处理
c#Udp分包组包方法
weixin_34345560的博客
12-07 568
udp通信协议，相信大家都知道这个。由于是无连接的协议，所有udp的传输效率比tcp高。但是udp协议传输较大的数据文件得分包 最近写了个分包组包的方法，拿来和大家分享，如果有什么不妥的地方，欢迎点评 　　 分包的方法 1 //每个包中二进制数组的长度 2 public static int Count = 60000; 3 4 ...
利用Origin绘制XRD标准图谱、精修后图谱
Allenkx的博客
05-18 4150
选中图左上方的1或者2，鼠标右击，layer contents，调整好1中只包含B，C，D；: 导入后数据如下，A列是你的角度，B是obs，C是calc，D是obs-calc，E是背景可以删除，F是Bragg position，G全部为零要保留，后面的晶面指数全部删除。首先设置，双击这个曲线，线的样式改为column/bar，接着修改颜色为绿色，Bragg position 一般为绿色实线，较细，建议0.2 （G和H设置相同）。调整好分层内容后，调整B，C，D样色，粗细。数据搞定，下面开始作图。
Serious Python (AZW3)
01-03
Serious Python: Black-Belt Advice on Deployment, Scalability, Testing, and More (AZW3)
未名企鹅极客 | 医药流向终端名称精准匹配技术
WeimingPenguin的博客
12-22 489
流向终端匹配任务提供面向标准行业库的映射能力，需要处理大量不规范的终端名称，其中包含商业公司特定的中英文简称编码、省略连锁总部信息的连锁门店、包含特殊字符的终端名称等等。 如何在任务处理阶段清除无效信息并提取有效的判定信息，通过特定搜索策略寻找到语义匹配的目标终端？这一期极客我们请到的是未名企鹅的高级工程师Bob，来谈一谈未名企鹅所采用的医药流向终端名称精准匹配技术。 医药流向终端名称精准匹配技术 1 流向终端名称匹配系统简介 匹配系统承担流向终端的自动搜索匹配功能，主要分为： 1、 前置清洗 作用：清除
未名企鹅极客 | 医药流向的数据仓库建模
WeimingPenguin的博客
12-28 719
关于医药流向数据，在实际处理的过程当中涉及到数据仓库的建模。未名企鹅的研发工程师Lee在此提供一些建模的思路和心得。首先我们来熟悉一些概念和定义解释。 01 什么是数据建模？ 数据建模，就是设计数据的结构以及数据之间关系的过程。 业务系统是按照业务流程方便操作的方式来进行数据建模的。业务系统一般都采用关系型数据库进行数据的存储，考虑到数据的一致性以及减少数据的冗余，通常采用实体关系模型进行数据的建模。 而数据仓库则使用与业务数据库完全不同的建模方式来组织数据，这种方式被称为“维度模型”。维度模型是完全面向数
未名企鹅极客 | 医药渠道流向数据与用户画像技术的应用
WeimingPenguin的博客
12-22 860
医改政策不断落地的背景下，药企面临销售、市场之困惑，终端药店成为药企的必争之地。连接制药企业与零售药店的“关键点”，是采用先进的互联网技术+大数据分析技术，从而实现药企的数据驱动变革。 本期极客我们邀请到来自未名企鹅北京研发中心的研发总监Tony，探讨对如何透过多维度标签构成终端用户画像的一些思考。 医药渠道流向数据与用户画像技术的应用 1 流向数据分析之困惑 药企制药行业药品流向数据（销售、库存、采购）是企业的重要数字资产之一，是做数据分析核心数据，也是企业决策和管控的重要数字依据，那么做好药品流向数据
未名企鹅极客 | 基于规则智能识别的数据匹配服务
WeimingPenguin的博客
12-25 409
主数据管理对于医药工业来讲是重中之重，然而在实际管理中总是被杂乱不堪的数据折磨，已有的主数据也无法完成很好的匹配、补充。未名企鹅的数据匹配服务很好的帮助解决这些问题。 本期极客栏目，邀请到未名企鹅的研发总监Clark，从需要数据匹配的原因、数据转换的规则、数据匹配规则的智能识别等几方面深入的介绍了数据匹配服务。 01 业务背景 数据应用分析的基础是治理好企业所存储的各种脏数据，使它们能为分析所使用。药企现有系统收集存储的第一手数据多为脏数据，很多不准或者不全。 这里面的主要原因是：同一件事物，如经销商、零
Python学习手册（原书第4版）.azw3
05-30
本书是学习Python编程语言的入门书籍。Python是一种很流行的开源编程语言，可以在各种领域中用于编写独立的程序和脚本。Python免费、可移植、功能强大，而且使用起来相当容易。来自软件产业各个角落的程序员都已经发现，Python对于开发者效率和软件质量的关注，这无论在大项目还是小项目中都是一个战略性的优点。 无论你是编程初学者，还是专业开发人员，本书的目标是让你快速掌握核心Python语言基础。阅读本书后，你会对Python有足够的了解，能够将其应用于所从事的领域中。
Professional Python azw3
01-20
Professional Python 英文azw3 本资源转载自网络，如有侵权，请联系上传者或csdn删除 查看此书详细信息请在美国亚马逊官网搜索此书
Python 核心编程 第二版.azw3
05-07
本书是经典的Python [1] 指导书，在第一版的基础上进行了全面升级。全书分为两个部分：第1部分占据了大约三分之二的篇幅，阐释这门语言的“核心”内容，包括基本的概念和语句、语法和风格、Python对象、数字类型、序列类型、映射和集合类型、条件和循环、文件和输入/输出、错误和异常、函数和函数式编程、模块、面向对象编程、执行环境等内容：第2部分则提供了各种高级主题来展示可以使用Python做些什么，包括正则表达式、网络编程、网络客户端编程、多线程编程、图形用户界面编程、Web编程、数据库编程、扩展Python 和一些其他材料。
Python Machine Learning By Example [2017].azw3电子书下载
06-11
Python Machine Learning By Example by Yuxi (Hayden) Liu English | 31 May 2017 | ASIN: B01MT7ATL5 | 254 Pages | AZW3 | 3.86 MB Key Features Learn the fundamentals of machine learning and build your own intelligent applications Master the art of building your own machine learning systems with this example-based practical guide Work with important classification and regression algorithms and other machine learning techniques Book Description Data science and machine learning are some of the top buzzwords in the technical world today. A resurging interest in machine learning is due to the same factors that have made data mining and Bayesian analysis more popular than ever. This book is your entry point to machine learning. This book starts with an introduction to machine learning and the Python language and shows you how to complete the setup. Moving ahead, you will learn all the important concepts such as, exploratory data analysis, data preprocessing, feature extraction, data visualization and clustering, classification, regression and model performance evaluation. With the help of various projects included, you will find it intriguing to acquire the mechanics of several important machine learning algorithms – they are no more obscure as they thought. Also, you will be guided step by step to build your own models from scratch. Toward the end, you will gather a broad picture of the machine learning ecosystem and best practices of applying machine learning techniques. Through this book, you will learn to tackle data-driven problems and implement your solutions with the powerful yet simple language, Python. Interesting and easy-to-follow examples, to name some, news topic classification, spam email detection, online ad click-through prediction, stock prices forecast, will keep you glued till you reach your goal. What you will learn Exploit the power of Python to handle data extraction, manipulation, and exploration techniques Use Python to visualize data spread across multiple dimensions and extract useful features Dive deep into the world of analytics to predict situations correctly Implement machine learning classification and regression algorithms from scratch in Python Be amazed to see the algorithms in action Evaluate the performance of a machine learning model and optimize it Solve interesting real-world problems using machine learning and Python as the journey unfolds About the Author Yuxi (Hayden) Liu is currently a data scientist working on messaging app optimization at a multinational online media corporation in Toronto, Canada. He is focusing on social graph mining, social personalization, user demographics and interests prediction, spam detection, and recommendation systems. He has worked for a few years as a data scientist at several programmatic advertising companies, where he applied his machine learning expertise in ad optimization, click-through rate and conversion rate prediction, and click fraud detection. Yuxi earned his degree from the University of Toronto, and published five IEEE transactions and conference papers during his master's research. He finds it enjoyable to crawl data from websites and derive valuable insights. He is also an investment enthusiast. Table of Contents Getting Started with Python and Machine Learning Exploring the 20 newsgroups data set Spam email detection with Naive Bayes News topic classification with Support Vector Machine Click-through prediction with tree-based algorithms Click-through rate prediction with logistic regression Stock prices prediction with regression algorithms Best practices
udp分包组包通信
09-30
udp 分包 组包 通信， 此模块是我自己写的 如商用，后果自付 udp通信源代码
Python 3.7.x 安装和使用 azw3格式电子书
10-13
Python 3.7.x 安装和使用 azw3格式电子书，基于官方文档制作。
Socket之UDP分包组包
weixin_30552635的博客
06-11 1541
　　一般传输大的文件和信息的时候需要涉及到分包和组包,方法有很多，下面一种是借鉴了别人的思路，供大家参考哈 分包 　　1、取出需要传输的文件和字符的长度和大小放入缓存区里面； 　　2、设定固定传输的长度，用需要传输的长度除以固定传输的长度都可以得到需要传输的次数； 　　3、传输一次字节流中包括（文件名字、文件名字大小、顺序、数据总块数、数据长度、数据总长度） 　　4、包组装完成后，都剩...
azw3 python数据分析 活用pandas库_python数据分析处理库-Pandas
weixin_34174789的博客
12-24 487
1、读取数据import pandasfood_info = pandas.read_csv("food_info.csv")print(type(food_info)) # 2、数据类型3、数据显示food_info.head() # 显示读取数据的前5行food_info.head(3) # 显示读取数据的前3行food_info.tail(3) # 显示读取数据的后3行food_info.c...
通过代码获取Hadoop-yarn日志
L_Mr_ll的博客
07-05 1462
通过代码获取yarn日志
dataframe列互换 python_python 数据分析工具包 pandas（一）
weixin_39992462的博客
11-22 271
1. 简单介绍pandas 是专为 python 编程语言设计的高性能，简单易用的数据结构和数据分析工具库，它建立在 numpy 之上，可以许多第三方库完美集成在同一个科学计算环境中。pandas 被广泛应用于金融，统计，社会科学和许多工程技术领域，处理典型数据分析案例。2. 安装pandas 支持 conda 和 pip 两种方式安装。conda 安装：conda install pandasp...
北大未名BBS Delphi版精华区技术资料合集
“北大未名BBS.Delphi版精华区.rar”这一文件标题所指向的内容，实质上是一个具有浓厚技术历史背景和编程文化沉淀的压缩包资源集合。该文件来源于中国著名高校北京大学的官方网络交流平台——北大未名BBS中的一个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值