js中将数据库的数据存入文件中,用以小程序请求数据

//这是一个当时服务器用以调用数据库js文件

function ImageUtil() {

    // var a={"name":"tom","sex":"男","age":"24"};
    // var b='{"name":"Mike","sex":"女","age":"29"}';
    // var aToStr=JSON.stringify(a);             //对象转换成字符串
    // var bToObj=JSON.parse(b);                //字符串转换成对象
    // console.log(aToStr);                           //string
    // console.log(bToObj);                          //object

    var fs=require('fs');
    var connection;
    this.init = function () {

        var mysql = require('mysql');  //调用MySQL模块

        //1,创建一个connection
        connection = mysql.createConnection({
            host: 'localhost',       //主机 ip
            user: 'root',            //MySQL认证用户名
            password: 'root',                //MySQL认证用户密码
            port: '3306',                 //端口号
            database: 'imgmessage'          //数据库里面的数据
        });
        connection.connect();

    }
    



//这是服务器中调用的一个方法
    this.queryhotoffers = function (call) {
        //2,连接

        var sql = "select* from hotoffers";
        connection.query(sql, function (err, result) {
            if (err) {
                console.log('[INSERT ERROR] - ', err.message);
                return;
            }

            call(result);


            //这里就是将数据库中的数据result插入到文件中 单独使用不要忘了引用上面var fs=require('fs');
            var writerStream=fs.createWriteStream('out.txt');
            //将数据插入文件中
            writerStream.write(JSON.stringify(result),'utf8');
            //将对象转换为字符串,不然无法插入到文件中。
            writerStream.end();
            writerStream.on('finish',function () {
                console.log('写入完成');
            });
            writerStream.on('error',function (err) {
                console.log(err.statck);
            });
            console.log('程序执行完毕');



        });
        //5,连接结束

    }

 


}

module.exports = ImageUtil;
4.3.1 数据处理技术 4.3.1.1数据传输技术 数据传输技术主要使用Kafka和Flume搭建一个高可用和高稳定的数据传输通道。数据存储技术主要使用HDFS和Hive进行存储和数据仓库的搭建。实时计算技术主要是使用Flink进行实时数据的计算与统计,保证数据的时效性。可视化技术主要使用ECharts,ECharts用作大屏图表可视化的显示。 4.3.1.1.1消息传输队列Kafka Kafka是一个分布式的基于发布订阅模式的消息队列,可以用来对数据源和数据存储部分进行解耦,异步进行传输发送数据,不需要维护代码,不需要考虑调用是否成功或失败超时。更为重要的场景是Kafka可以用来削峰,当在数据产生的峰值时刻,用Kafka暂存数据积压消息,等到峰值过去再对Kafka中的数据进行消费,防止峰值并发使得消费端崩溃。Kafka的主要特点如下: (1)可达十万级的单机吞叶量,单节点连接若于客户端,底层采用分布式架检和零拷贝原理,一般配合大数据系统进行实时数据计算和日志采集的场景。 (2)可用性设计优秀,根据Kaka的副本设计原理,数据有多个副本存于不同的机器中,即使有机器岩机也不会使数据彻底消失,保证了消息队列的可用性。 (3)支持动态扩展,多个producer、broker和consumer的设计使得只需要修改少量配置就可以实现动态扩展机器。 Kafka的架构主要由producer、consumer、broker、topic和partition组成,具体架构如图2-4所示。 (1)Broker Kafka使用时通常是建立了多台服务器组成一个集群,每台服务器节点就是一个Broker。 (2)Topic Topic就相当于是一个存储消息的队列,只需要确定topic就可以实现数据的生产或消费,不用管理数据的物理存储。 (3)Producer 消息的生产者,生产者顾名思义就是生产消息发送到队列中,等待消费者进行消费。 (4)Consumer 消息的消费者,多个消费者可以组成一个消费者组。 (5)Partition 一个topic可以被分割为多个partition,分布在不同的broker上,每个partition中的数据存储在多个segment文件中。 图2-4 Kafka架构 4.3.1.1.2日志采集系统Flume Flume是一款实时日志收集系统,受到了使用者的认可和广泛应用,主要用于实时读取服务器本地磁盘的数据写入到HDFS中。Flume运行后JVM工作进程为一个Agent,其中覆盖输入端、通道、输出端组件,Flume的组成架构如图2-5所示。 (1)agent 一个JVM进程,以事件形式将数据从源头发往目的地。 (2)source 用于接收不同类型的数据到agent。 (3)channel source和sink之间的缓冲区,允许source和sink运行在不同速率,可以同时处理多个source的写入和多个sink的读取。 (4)sink 不断轮询channel中事件并批量移除,写入不同类型的目的地。 图2-5 Flume架构 4.3.1.2数据存储技术 4.3.1.2.1分布式文件系统HDFS HDFS是分布式文件管理系统的一种,通过目录树来定位文件,主要用于一次写入、多次读出的场景且不支持文件的修改的场景。 HDFS的优点在于高容错性、处理海量数据、可构建在廉价机器。数据会自动保存多个副本,增加副本的形式,提高容错性。某一个副本丢失,自动恢复。HDFS的缺点在于不适合低延迟数据访问、无法高效对大量小文件进行存储、不支持并发写入和文件的随即修改。 HDFS采用主从读写分离的架构,通常一个集群拥有一到两个master和若干个slave,HDFS的组成架构如图2-6所示。 (1)NameNode NameNode就是master,主要负责管理HDFS的名称空间、配置副本策略、管理数据块的映射信息、处理客户端的读写请求。 (2)DataNode DataNode就是slave,NameNode下达命令,DataNode执行实际的操作。主要负责存储实际的数据块、执行数据块的读写操作。 (3)Client 客户端的功能主要是与NameNode和DataNode交互。同时文件上传HDFS的时候,客户端将文件切分成一个一个的block,然后进行上传。 (4)SecondaryNameNode 主要是辅助NameNode,hdfs运行时需要定期进行FsImage和Edits的合并,如果这个操作由NameNode节点完成,又会效率过低。因此,引入一个新的节点SecondaryNamenode,专门用于FsImage和Edits的合并。 图2-6 HDFS架构图 4.3.1.2.2数据仓库平台Hive Hive是基于Hadoop构建的一套数据仓库分析系统,将存入数据转化映射成表结构,再用Hive的HOL语言进行查询,通过数据库的方式来操作HDFS文件系统为了简化编程,底层计算方式为其他常用计算引擎。Hive是面向行储存的数据库。Hive本身不存储和计算数据,它完全依赖底层的存储框架和计算引擎,Hive主要是建立和处理表的逻辑。Hive的架构原理如图2-7所示。 图2-7 hive架构图 4.3.1.3实时计算技术 Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。 因为传统hive底层是使用MapReduce进行计算,这就带来了一些问题,MapReduce适合于离线计算,执行延迟比较高,且对于处理批量小数据显得十分乏力。所以,本项目中将MapReduce替换成Flink引擎,经过测试,Flink引擎在最差情况下也比MapReduce快10倍,可以达到实时计算的要求。 之所以采用Flink引擎主要在于以下四个方面的考虑,这也是实时数仓方面关注的比较核心的问题。第一个是状态管理,实时数仓里面会进行很多的聚合计算,这些都需要对于状态进行访问和管理,Flink在这方面比较成熟。第二个是表义能力,Flink提供极为丰富的多层次API,包括StreamAPI、TableAPI以及FlinkSOL。第三个是生态完善,实时数仓的用途广泛,用户对于多种存储有访问需求,Flink对于这方面的支持也比较完善。最后一点就是Flink提供了流批统一的可能性。 Flink的架构图如图2-8所示。 图2-8 Flink架构图 4.3.1.4可视化技术 4.3.1.4.1数据可视化工具ECharts 使用ECharts进行数据可视化。ECharts是一个开源的、显示效果丰富的一个可视化组件。它支持多种浏览器,并且可以非常简单的往前端页面添加动态直观的图表。ECharts提供了丰富的API接口以及文档,通过合理设置并结合后台传送的Json数据,即可展示所需要的数据主题。 ECharts具备如下特性:可视化类型十分齐全、可以直接使用多种类型数据、前端可展示海量数据、优化了移动端的显示效果、跨平台等特点。与其他开源的可视化组件相比,ECharts主要有以下特点: (1)导入简单,配置方便 开发人员只需要在视图级别导入ECharts.js文件,然后他们就可以通过Ajax调用后端模型层和控制层,传递需求并返回结果。ECharts提供了丰富的图形显示控制方法,并且可以通过选项设置来控制数据显示形式、值范围和其他控制细节。 (2)丰富的图表类型 ECharts的底层依赖于支持Canvas渲染的开源渲染引擎Zender。它具有可视化的图表类型,包括直方图,雷达图和地图,并且可以提供多个交互式坐标系,时间轴和工具箱组件。通过Ajax技术及其自身的事件机制,可以将数据主题图形与背景数据链接起来,从而增强了数据集成和挖掘的能力。 (3)轻量数据传输 ECharts图形组件支持json格式数据的异步加载。随着版本的迭代开发,其通用图表已支持呈现数千万的数据,从而为相关人员提供了更好的性能体验。 仿照上述文字 帮我写一个数据处理技术实现方案
最新发布
07-26
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值