- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pom文件备份
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVer
2020-09-01 17:49:00
220
1
原创 python学习第二节——python连接操作mysql
一、导入pymysql包：import pymysql二、建立MySQL链接：conn = pymysql.connect( host='localhost', user='root', password='123456', db='pythonDB', port=3306, charset='utf8')三、获取游标cusorcursor = conn.cursor()四、使用 execute() 方法运行自己需要的sql#创建数据库
2020-08-18 17:12:43
220
原创 python学习第一节——利用python读取外部数据
1、 python读取csv文件import pandas as pdfile = pd.read_csv('E:\\csv\\人力.csv', error_bad_lines=False, encoding='utf-8')df = pd.DataFrame(file)print(df)2、python读取txt文件file = open('E:\\csv\\测试.txt', encoding='utf-8')data = file.read()print(data)...
2020-08-14 15:16:14
237
转载 优快云 Markdown 格式备份
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-07-18 14:46:04
345
原创 spark在将嵌套json作为数据源时，schema的构造问题
val schema = new StructType() .add("data", new StructType() .add("channel", "string", true) .add("mid", "string", true) .add("page", "string&qu
2018-07-10 18:23:56
1881
原创 idea Terminal 命令行配置使用 git 命令
File -&gt; Settings -&gt; Tools -&gt; Terminal -&gt; Shell Path: 指定自己本地的 git 目录：D:\git\bin\bash.exe注意是 bash.exe
2018-06-13 08:50:51
12082
2
原创 造数据
今天头儿临时起意让造一部分数据，其间有几个小问题，在此mark一下package come.prince.spark.demoimport java.util.UUIDimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{SaveMode, SparkSession}import org.code...
2018-05-29 18:55:54
960
转载 深入浅出 RPC - 深入篇
《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开，一个基本的 RPC 框架应该提供什么功能，满足什么要求以及如何去实现它。RPC 功能目标RPC 的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简介性。为实现该目标，RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用，在前文《浅出篇》中给出了一种实现结构，基...
2018-05-29 18:47:07
522
转载 转一片前辈的文章：深入浅出 RPC - 浅出篇
原文链接：https://blog.youkuaiyun.com/mindfloating/article/details/39473807 为了体现对前辈的尊重，也为了加深记忆，我自己再码一遍 ————————————————————————————————————————————————————— 近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的...
2018-05-25 13:17:53
287
原创 根据用户 IP 解析地域信息
利用 GeoLite2-City 将服务器日志中的IP 信息，解析成更加直观有效的地域信息。话不多说，直接上代码：实际运用时代码要根据需求稍加改动，像我是读取parquet 日志文件，分析后将结果写入MySQL。package come.prince.spark.demoimport java.io.Fileimport java.net.InetAddressimport...
2018-05-24 09:21:45
1546
原创 spark写入mysql的几种方法，针对不同场景
方法一：各个字段都是提前定好的val prop = new java.util.Propertiesprop.setProperty("user", "root")prop.setProperty("password", "123456")df1.write.mode(SaveMode.Append).jdbc("jdbc:mysql:
2018-05-23 17:24:17
5487
原创 Spark SQL 按照某个字段去重
/** * 按照两个字段进行排重 * Created by princeping on 2017/8/8. */object SQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName(&quot;SQLDemo&quot;).master(&quot;local&quot;).getOrC...
2018-05-23 16:51:59
14346
原创 Kafka 基础命令备忘
启动：kafka-2.11/bin/kafka-server-start.sh -daemon kafka-2.11/config/server.properties &amp;创建：bin/kafka-topics.sh --create --zookeeper slave5.hadoop:2181,slave6.hadoop:2181,slave7.hadoop:2181 --replica...
2018-05-23 16:12:53
159
原创 Linux Crontab 定时任务
crontab文件-bash: vat: command not found[hadoop@master1 etc]$ cat crontabSHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/# For details see man 4 crontabs# Example of job d...
2018-05-21 15:19:09
282
原创 spark读取kafka后写入redis
package com.prince.demo.testimport com.typesafe.config.ConfigFactoryimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Level, Logger}import org.apache.spark.s...
2018-05-18 16:32:25
3417
原创 简单记录下我现在玩的集群，以及集群中常用的一些命令
七个节点，进程分布如下：master1 namenode hmaster master kafkaslave2 namenode hmaster worker kafkaslave3 nodemanager/resourcemanager worker kafkaslave4 nodemanager/resourcemanager ...
2018-05-18 15:58:31
396
原创 Kafka使用过程中常见问题汇总
启动一段时间后，kafka进程自动停止。 启动命令：kafka-2.11/bin/kafka-server-start.sh kafka-2.11/config/server.properties &amp; 更换成：kafka-2.11/bin/kafka-server-start.sh -daemon kafka-2.11/config/server.properties &amp; 就...
2018-05-18 15:47:59
1197
原创 spark读取kafka数据写入hbase
package com.prince.demo.testimport java.util.UUIDimport com.typesafe.config.{Config, ConfigFactory}import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimpo...
2018-05-18 15:23:05
3738
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人