- 博客(44)
- 资源 (10)
- 收藏
- 关注
原创 设置HADOOP那些坑
运行spark程序时报错如下:20/03/30 13:36:20 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki....
2020-03-30 15:39:00
1108
原创 在EMR上执行 java spark sql 读写 s3 csv文件,存储RDS mysql
java写了一段从AWS s3读取csv文件,并使用spark sql处理后结果保存到mysql数据库,并写入到s3上csv文件的代码如下:package org.example.JavaDemo;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark...
2020-03-25 19:04:20
875
原创 完整spark sql 访问 aws s3 文件并写入mysql数据库的代码
书接上篇,需求同上。将读取的本地文件路径改为aws s3路径,实现如下:1. 直接上pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven...
2020-03-18 08:55:34
1640
原创 IEDA编写的 java SparkAPI 读取CSV文件,用spark sql简单处理结果并保存到MySQL数据库的代码实现
实现的需求:1. 读csv将Tiler中含有T的数据过滤出来。2. 创建flag列,将201903>201902时flag值为up否则为down3. 将结果插入到MySql数据库。废话不多说,直接上代码:--------------------------------------------------------------------------------import o...
2020-03-11 12:04:52
602
原创 用IDEA java 编写的 spark读取csv文件代码
使用IDEA2019.3.3版本,jdk1.8创建maven项目直接上干粮:1.配置 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001...
2020-03-09 11:33:12
2580
原创 用IDEA scala 编写一个sparksql读写csv文件的代码
试着使用sparksql写一个读写csv文件。使用工具如下:1. IntelliJIDEA 2019.3.3 U E2. scala-sdk-2.11.123. jdk 1.8.0_91-------------------------------------------------------------------------------------------------...
2020-03-08 08:55:32
1910
原创 用树莓派做控制板,mysql 数据库出现超时问题的解决
使用树莓派做控制板控制停车场道闸,安装mysql数据库做为数据存储。超过8小时后出现数据库连接不上,异常显示为数据库超时未访问造成。调查发现mysql默认wait_timeout时间为8小时,超过8小时没有对数据库进行操作的话将将出现该问题。、解决办法2种:其一加大设置等待时间(1)命令设置,这种方式在重启设备后一般会失效,不建议使用。设置MySQL wait_timeout(
2017-01-13 08:10:54
1066
原创 树莓派下的基本命令和安装MySQL vim等
user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run---------------------------sudo vi
2016-07-12 16:48:08
2290
原创 树莓派安装mysql 及开通远程访问设置
很心累,终于好用了。user:pipw:respberrypwdlscd tomcat6/binsudo ./shutdown.shcd ..cd webappssudo rm -rf ssm_dzsudo rebootcd binsudo ./catalina.sh run------------------------
2016-06-01 09:48:39
1494
原创 web 项目quartz集成
web.xml中添加 Listener.QuartzSchedulerListener --------------------------package Listener;import java.text.ParseException;import java.util.Map;import javax.servlet.Servlet
2016-04-12 11:22:27
1483
转载 Liferay Job quartz
job是我们系统中经常需要用到的东西,Liferay中已经集成了Quartz。要写一个自己的job非常方便。参考既存代码中的写法,只需要继承MessageListener接口,实现其receive(Message message)方法即可。1. 继承MessageListener接口public class MyMessageListener implements Me
2014-09-03 09:19:42
1007
原创 MySQL远程访问的两个问题
安装MySQL后,不能远程访问,进行如下配置即可连接后,依然不能连接,报如下错误:1042 - Can't get hostname for your address解决方法在my.ini里增加如下两行重启MySQL即可。skip-name-resolvelower_case_table_names=1
2014-08-29 18:21:09
924
原创 Jrebel 5.5.2 安装及破解
D:\Java\jrebel\bin>activate.cmd ./jrebel.licThere was a problem activating JRebel with the data provided:The license token had an incorrect format or the provided file did not exist.Press an
2014-04-16 09:23:00
5308
1
转载 start with
Oracle中的select语句可以用start with...connect by prior子句实现递归查询,connect by 是结构化查询中用到的,其基本语法是:select ... from where start with connect by ;:过滤条件,用于对返回的所有记录进行过滤。:查询结果重起始根结点的限定条件。:连接条件数据组织
2013-10-03 14:33:19
770
转载 myEclipse项目转成Eclipse开发 公司拿到手的项目开发平台都不统一。有的是myEclipse开发的,有的是Eclipse for J2EE开发的。 这里说一种把myEclipse项
myEclipse项目转成Eclipse开发 公司拿到手的项目开发平台都不统一。有的是myEclipse开发的,有的是Eclipse for J2EE开发的。 这里说一种把myEclipse项目转成Eclipse项目继续开发 1. 请首先确保你的eclipse是javaee版本的,或者已经安装看wtp插件 2. 然后修改eclipse工程下的.proje
2013-09-28 11:54:52
1679
原创 SQL 通过主表查询出主表的所有子表
select a.table_name ,a.column_name ,b.table_name ,b.column_name from (select a.constraint_name,b.table_name,b.column_name,a.r_constraint_name from user_constraints a, user_cons_columns b WHER
2012-05-10 13:51:18
4283
原创 invalid rownum Oracle error
使用Oracle 10 某些表在查询过程中,报invalid rownum 错误,例如,select * from T_I_DEMAND_VOLUME where rownum =2报invalid rownum 错.经查为该版本一个Bug.解决方案:1: 升级数据库到新版本,已经修正此Bug.2:打补丁,不建议,以免引起其它问题。3:临时解决方案如下:Issue
2011-12-06 17:04:01
609
原创 fflleexx 3
Nothing here!Builder Professional 1377-4001-0488-8029-4579-0004cBuilder Standard 1307-4001-4844-6375-7353-3445
2011-06-23 09:56:00
488
原创 flex中文(zh_CN)本地化应用编译不通过的解决方法
flex项目编译时报错:Description Resource Path Location Typeunable to open 'C:/Program Files/Adobe/Flex Builder 3 Plug-in/sdks/3.2.0/frameworks/locale/zh_CN' STaB Unknown Flex ProblemFlash builder 4 无法为区域设置“zh_CN”解析资源束“data"解决方法,先把web-info/flex/locale/en_US下的fds_r
2011-05-24 13:32:00
5187
原创 ultra edit 注册码
<br />ultraedit-32 13.10 注册码 六个空格 K8Q1A-V1N5Z-X4G1Y-K0F4G-6O350-55F8t
2011-05-22 12:09:00
3749
原创 hibernate删除父对象提示子对象有记录的问题
<br /><br />如果要使用hibernate批量删除功能<br />必需在父对象中加上cascade=CascadeType.ALL, 标记。否则将提示有子记录无法删除。<br /> <br />@OneToMany(cascade=CascadeType.ALL,fetch=FetchType.LAZY, mappedBy="interfacePartEntity")<br /> public Set<InterfaceDemandEntity> getInterfaceDemandEnti
2011-04-25 16:58:00
1171
原创 xmlbeans-2.5.0 生成与xml结构相同的javabean对象
下载xmlbeans假如解压路径为:E:/tools/xmlbeans-2.5.0/要生成的定义文件及javabean对象路径为:E:/tools/xmlbeans-2.5.0/temp把要解析的xml文件offer_example.xml 放到E:/tools/xmlbeans-2.5.0/temp目录下。接下来执行以下步骤1:E:/tools/xmlbeans-2.5.0/bin>2:inst2xsd -design ss -simple-content-types smart -enumeration
2011-04-22 10:07:00
2562
原创 webspere MQ
<br /><br />最近做一个项目其中要用到websphere MQ 做数据传输。<br />以下是我整理用到的主要代码,以备后用。<br /> <br /> <br />package devx.articles.mqjms;<br /> <br />/** <br /> * @author Ace Sun <br /> * @version 创建时间:2011-4-3 <br /> * 类说明 <br /> */ <br />import java.io.BufferedReader;<b
2011-04-18 09:57:00
2210
原创 使用XAMPP遇到问题
<br />1.安装完成XAMPP之后,apache运行不了,后来到xampp 目录下运行了setup_xampp.bat 之后,解决。<br />2.开启MySql的时候提示<br />ERROR: MySql service not started[-1]<br />后来到mysql 目录下先后运行了 mysql_installservice.bat 和 mysql_uninstallservice.bat 之后问题得到解决。
2011-01-12 09:46:00
785
原创 就这样快乐的活着
之前看到报道说有人因受到打击而自杀,非常不屑,认为即使自杀也要带上那些打击过自己的人一起上路。后来有一天我自己也活够了,才发现生活本身是一种痛苦,那么为什么不让我痛恨的人活着去继续饱受这种痛苦呢?而且如果我能够活着亲眼看着他们受苦那是多么痛快的一件事呀!于是我又快乐的活了下来。
2010-11-23 14:56:00
605
转载 MySQL忘记root密码解决办法
<br />以下的文章主要向大家介绍的是MySQL忘记root密码的正确解决办法,我们大家都知道在实际操作中忘记密码是令人十分头疼的事情,以下就是针对这一问题给出的正确解决方案,望你在浏览之后会收获不小。<br /> MySQL忘记root密码解决办法:<br /> 在windows下:<br /> 打开命令行窗口,停止MySQL服务: Net stop MySQL<br /> 启动MySQL,一般到MySQL的安装路径,找到 MySQLd-nt.exe<br /> 来到该目录下:<br />
2010-11-04 16:23:00
441
原创 分割字符串成数组并返回数组的长度(Oracle)
<br />create or replace function splitArrayLength (v_source IN VARCHAR2, v_delimiter IN VARCHAR2)RETURN INT IS<br />j INT := 0; <br /> i INT := 1; <br /> len INT := 0; <br /> delim_len INT := 0; <br /> cnt INT := 0; <br />BEGIN <br />
2010-09-16 15:31:00
1903
原创 eclipse 临时目录
<br />临时目录一般是<br />workspace/.metadata/.plugins/org.eclipse.wst.server.core/tmp0/wtpwebapps/下 <br /> <br />jsp临时文件在<br />workspace/.metadata/.plugins/org.eclipse.wst.server.core/tmp0/work/Catalina/localhost/<br />
2010-09-14 17:27:00
1626
原创 JfreeChart字体设置
/** * 配置字体 * @param chart JFreeChart 对象 */ private void configFont(JFreeChart chart){ // 配置字体 Font xfont = new Font("宋体",
2010-03-31 12:11:00
3021
原创 JfreeChart根据柱子实际高度显示值在柱子里面,或是在柱子外面
//设置柱子上比例数值的显示,如果按照默认方式显示,数值为方向正常显示 //设置柱子上显示的数据旋转90度,最后一个参数为旋转的角度值/3.14 ItemLabelPosition itemLabelPosition= new ItemLabelPosition( ItemLabelAnchor.INSIDE1
2010-03-31 12:09:00
1697
1
原创 解决PLSQL developer 乱码问题
使用PLsql developer 时遇到中文存储,尤其是对表字段的注释是中文的时候经常会显示乱码。查到如下的解决方法:1.检查服务器编码:执行SQL语法: select * from v$nls_parameters;如果不是中文则执行2 2.设置本地客户端编码:进入 我的电脑,属性,高级,环境变量,添加2项:LANG=zh_CN.GBK 和 NLS_LANG="
2010-03-25 21:39:00
33723
1
原创 iReport
iReport 属于Jaspersoft下属一个产品。 先介绍Jasperreport,Jasperreport是一个报表制作程序,用户需要按照它制定的规则编写 一个XML文件,然后得到用户需要输出的格式文件。它支持输出的文件格式包括PDF,HTML,XML,XLS,CVS等等。而iReport就是一个制 作Jasperreport的XML文件的可视化开发工具。通过iReport可视
2010-03-09 10:19:00
1277
1
转载 开源
优秀网站源码、编程源码下载网站大集中 1.51源码:http://www.51aspx.com/ 2.源码之家:http://www.codejia.com/ 3.源码网:http://www.codepub.com/ 4.虾客源码:http://www.xkxz.com/ 5.多多源码:http://www.morecode.net/ 6.洪越源代码:http://www.softhy.net/
2010-03-08 15:00:00
533
原创 Oracle BUG -- bug 9265671
最近发现Oracle 11G 行转列存在BUG,与之沟通最后Oracle 自定义为BUG -- bug 9265671,正在解决该BUG。建议正在使用11G 想用行转列功能的哥们们放弃吧。
2010-01-08 17:06:00
569
原创 贼手夺脏
上周六大连新玛特8周年店庆,据说满88送108抵值券,于是兴致勃勃的跑去,结果发现打折的商品便宜,但是不参加本次活动,而参加活动的商品都TMD贵得离谱,又是羊毛出在羊身上的老故事。 不管怎么样男人逛一趟不容易,不能落空,买点东西吧。想想快到十一和中秋节了,于是买了两个礼盒,不重,但是挺大的,得两手抱着拿。 开始抱着礼品回家,到清泥洼桥15车站(大商电器那个楼
2009-09-23 10:23:00
593
原创 JMS 学习记录
. JMS基本概念 JMS(Java Message Service)是访问企业消息系统的标准API,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发。2. JMS基本功能JMS是用于和面向消息的中间件相互通信的应用程序接口。它既支持点对点(point-to-point)的域,又支持发布/订阅(publish/subscribe)类
2009-09-01 10:56:00
509
winutils-sources.7z
2020-03-30
一款免费获得“动态域名”支持,省点钱的软件。
2010-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人