<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ZH519080的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ZH519080</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ZH519080]]></copyright><item><title><![CDATA[SQL SERVER Inregration Services-OLE DB、Oracle和ODBC操作]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/134295068</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/134295068</guid><author>ZH519080</author><pubDate>Wed, 08 Nov 2023 17:56:50 +0800</pubDate><description><![CDATA[主要时添加ORACLE_HOME、TNS_ADMIN和PATH的值，这三个值都是Oracle Instant Client的安装目录(也就是解压目录) C:\software\instantclient_21_9。在“提供程序”的下拉框中，选中“Microsoft OLE DB Driver for SQL Server”，这个也就是解决上面的警告信息。在点击“新建”时，会弹出警告信息“不支持指定的提供程序，请在连接管理器中另选一个提供程序”，这个警告信息不用管他，直接点击“确定”即可；]]></description><category></category></item><item><title><![CDATA[SQL Server SSIS ETL job执行相关操作]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/134294686</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/134294686</guid><author>ZH519080</author><pubDate>Wed, 08 Nov 2023 17:43:27 +0800</pubDate><description><![CDATA[SQL Server SSIS(SQL SERVER Integration Services) ETL 的job执行全流程]]></description><category></category></item><item><title><![CDATA[SQL Server SSIS的安装]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/134294306</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/134294306</guid><author>ZH519080</author><pubDate>Wed, 08 Nov 2023 17:25:57 +0800</pubDate><description><![CDATA[SQL Server、Visual Studio、SSIS工具的安装]]></description><category></category></item><item><title><![CDATA[hive的多维度分析函数with cube和grouping__id的理解]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/124199500</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/124199500</guid><author>ZH519080</author><pubDate>Fri, 15 Apr 2022 17:20:54 +0800</pubDate><description><![CDATA[hive的多维度分析函数with cube和grouping__id的理解]]></description><category></category></item><item><title><![CDATA[Flink的窗口计算案例]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/124195845</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/124195845</guid><author>ZH519080</author><pubDate>Fri, 15 Apr 2022 15:45:40 +0800</pubDate><description><![CDATA[Flink的关于窗口算子的一般应用]]></description><category></category></item><item><title><![CDATA[关于kafka数据实时落地至hdfs]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/117001049</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/117001049</guid><author>ZH519080</author><pubDate>Tue, 18 May 2021 21:15:03 +0800</pubDate><description><![CDATA[关于kafka数据实时落地至hdfs

好久没有写博客了！

关于如何使用spark streaming +kafka工具实现实时数据落地至hdfs目录


import java.time.ZonedDateTime
import java.time.format.DateTimeFormatter

import com.alibaba.fastjson.{JSON, JSONArray}
import com.ipinyou.cdp.common.SparkBase
import com.ipinyo]]></description><category></category></item><item><title><![CDATA[win系统执行spark-sql报错：java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/107975469</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/107975469</guid><author>ZH519080</author><pubDate>Tue, 01 Sep 2020 22:57:52 +0800</pubDate><description><![CDATA[在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive的错，
或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: ]]></description><category></category></item><item><title><![CDATA[windows10使用git上传项目到gitlab]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/108352063</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/108352063</guid><author>ZH519080</author><pubDate>Tue, 01 Sep 2020 22:57:10 +0800</pubDate><description><![CDATA[下载、安装git：https://git-scm.com/downloads

下载后默认安装即可，git不需要其他额外的配置

在gitlab上创建工程，设置visibility level为private，如：



创建密匙：

右击桌面：



出现界面：



在此界面上执行一下命令：

git config --global user.name "注册gitlab的名字"

git config --global user.email "注册gitlab的邮箱"

ssh-keygen -t r]]></description><category></category></item><item><title><![CDATA[maven systemPath方式加载和打包]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/107963324</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/107963324</guid><author>ZH519080</author><pubDate>Wed, 12 Aug 2020 18:25:16 +0800</pubDate><description><![CDATA[在开发工程中，有些jar是自己开发的，当被引用到其他工程或项目中时，需要把自己开发的jar添加到其他工程中。在此记录以下，使用IntelliJ IDEA 2019.2.3和apache-maven-3.3.9实现加载jar和使用maven打包时，把自己开发的jar打进去：

在pom.xml文件中配置如下：

在依赖中添加：


&lt;dependency&gt;
	&lt;groupId&gt;com.scopa.graph&lt;/groupId&gt;
	&lt;artifactId&gt;deep]]></description><category></category></item><item><title><![CDATA[sparksql两种方式的执行效率]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/90170658</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/90170658</guid><author>ZH519080</author><pubDate>Sun, 26 Jul 2020 19:36:10 +0800</pubDate><description><![CDATA[方式一：


  /**使用spark-sql实现的*/
  def rhVisitor(ss: SparkSession,dt: String,per_hour: String,merchant: String): Unit ={

    val startTime = System.currentTimeMillis()
    import org.apache.spark.sql.fun...]]></description><category></category></item><item><title><![CDATA[Gremlin中匿名函数的应用]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/107598168</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/107598168</guid><author>ZH519080</author><pubDate>Sun, 26 Jul 2020 19:26:28 +0800</pubDate><description><![CDATA[1、在TinkerPop3中使用命令或使用java等语言进行操作时，当使用"——"调用其他函数时，表示匿名调用，如out()、in()、count()等；也可使用"P"关键字来调用常用的比较函数，如比较函数neq()、gt()等

2、使用"T"调用常用的图标签操作，如label。
...]]></description><category></category></item><item><title><![CDATA[scala的breakOut的应用]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/105208736</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/105208736</guid><author>ZH519080</author><pubDate>Mon, 30 Mar 2020 21:22:56 +0800</pubDate><description><![CDATA[问题：在scala中，List或Set等集合如何转换为Map集合？

由List/Set转换Map集合时，一般情况下，需要对其元素以元组的形式，再通过toMap等函数实现。

利用collections.breakOut的方式可直接由List/Set转换为Map集合，如：


val breakOut: Map[Int, String] = List("china", "usa", "russia...]]></description><category></category></item><item><title><![CDATA[强连通体的GraphX的实现和解析]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/104783312</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/104783312</guid><author>ZH519080</author><pubDate>Tue, 10 Mar 2020 21:05:48 +0800</pubDate><description><![CDATA[/**连通体*/
object ConnectComponents {

  /**在图中若从某个顶点Vp出发，沿着一些边经过顶点V1，V2，。。。Vm到达Vg则称顶点序列(Vp,V1,V2....Vm，Vg)为从Vp到Vg的路径，其中Vp是路径的起始点，Vg为路径终点。
   * 路径上的边的数目成为该路径的长度
   * 连通：在无向图中，若从顶点Vi到顶点Vj之间有路径称为这两个顶点是连通...]]></description><category></category></item><item><title><![CDATA[TigerGraph算法库]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/104782932</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/104782932</guid><author>ZH519080</author><pubDate>Tue, 10 Mar 2020 20:57:44 +0800</pubDate><description><![CDATA[把相应的算法实现加载到相应的Graph Schema上。

从相应的地址把TigerGraph图数据库实现的算法库下载下来，最新下载目录：

https://github.com/tigergraph/gsql-graph-algorithms

在此，我把算法库，放在tigergraph的安装目录下，其目录如下：



在tigergraph的用户（TigerGraph所设定的用户）下执行ins...]]></description><category></category></item><item><title><![CDATA[TigerGraph图数据库的数据加载_GraphStudio方式]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/104782536</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/104782536</guid><author>ZH519080</author><pubDate>Tue, 10 Mar 2020 20:41:50 +0800</pubDate><description><![CDATA[Graph Schema创建成功后需要把数据映射到schema中。下面是使用可视化界面GraphStudio将数据映射到Graph Schema中。

点击左边的“Map Data To Graph”的“Add data file”：



注意事项：

上传单个文件大小限制500M，还可以通过下面方法绕过该限制：若您的TigerGraph在本地部署的话,直接将文件或该文件的快捷方式放置到Tige...]]></description><category></category></item><item><title><![CDATA[TigerGraph图数据库的数据加载_gsql方式]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/104782288</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/104782288</guid><author>ZH519080</author><pubDate>Tue, 10 Mar 2020 20:30:42 +0800</pubDate><description><![CDATA[首先使用gsql把数据映射到Graph Schema上：

在gsql shell情况下执行：

USE GRAPH Social

BEGIN

CREATE LOADING JOB load_social FOR GRAPH Social {

 DEFINE FILENAME file1="/opt/tigergraph/document/examples/gsql_ref/social...]]></description><category></category></item><item><title><![CDATA[TigerGraph图数据库创建一个图Schema]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/104781706</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/104781706</guid><author>ZH519080</author><pubDate>Tue, 10 Mar 2020 20:08:02 +0800</pubDate><description><![CDATA[以开发版的TigerGraph图数据库为例。

若没有多图权限的话，若TigerGraph中已经有其他图数据，则会执行Drop ALL命令。以下是在gsql环境下执行。

第一步：创建Vertex

命令如下：CREATE VERTEX Person(PRIMARY_ID name STRING, name STRING, gender STRING)

 CREATE VERTEX关键字用...]]></description><category></category></item><item><title><![CDATA[spark的broadcast理解]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/98527160</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/98527160</guid><author>ZH519080</author><pubDate>Mon, 05 Aug 2019 22:16:27 +0800</pubDate><description><![CDATA[Broadcast（使用BroadcastManager管理）一般用于处理共享配置文件、常用的数据结构等；但Broadcast不适合存放太大数据，Broadcast不会内存溢出，因为数据保存级别StoreageLevel是MEMORY_AND_DISK模式。数据量大会造成网络I/O和单点压力大，因此，当数据量较大时不要使用broadcast，网络成本较大，会适得其反。

广播变量：实际上就是Dri...]]></description><category></category></item><item><title><![CDATA[spark使用insertInto存入hive分区表中]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/98089897</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/98089897</guid><author>ZH519080</author><pubDate>Thu, 01 Aug 2019 18:53:07 +0800</pubDate><description><![CDATA[把spark的处理结果存入hive分区表中，可以直接在sql中设定分区即可，可以使用withColumn算子执行


    ss.sql("SELECT merchant_id,platform," +
      "case when trim(first_channel_id) = '' or first_channel_id is null then '-1' else first_cha...]]></description><category></category></item><item><title><![CDATA[使用foreachPartition将结果写入外部存储]]></title><link>https://blog.youkuaiyun.com/ZH519080/article/details/98086923</link><guid>https://blog.youkuaiyun.com/ZH519080/article/details/98086923</guid><author>ZH519080</author><pubDate>Thu, 01 Aug 2019 18:34:02 +0800</pubDate><description><![CDATA[好久没有写了！！！记录一下 ：

最近有个小伙伴问我，使用spark处理的数据存入mysql中老是导致mysql链接超时或中断，我看了一下他的代码，想揍人，

其代码如下：


dstream.foreachRDD {rdd =&gt;
  rdd.foreachPartition{ partitionRecords =&gt;
  val connection = createNewConnec...]]></description><category></category></item></channel></rss>