使用hibernate读取txt文件导入数据库

读取txt,jdbc导入百万级数据 最近开发一个txt导入百万数据的例子,最初不想改框架,直接使用hibernate导入,搞了老半天都是因为数据量太大了,导致内存溢出,而且200万数据导20分钟都没导完,稳定性差,所以改成用了JDBC,因为我以前也是用spring JDBCtemplete的,对于我来说改用JDBC框架难度不高,不过技术经理说不需要把JDBC工具做完整,所以我就随便搞了个返回connection来了事了!最后倒入2百 阅读详情
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.Date;

import org.hibernate.Session;

import com.pcw.longdistance.po.V2SiteMotto;

/**
 * @author JavaAlpha 2012-6-8下午03:48:25 使用hibernate读取txt文件导入数据库
 */
public class ReadTxt {

	private static void readTxt() {
		try {
			File f1 = new File("e:/word.txt");// 打开文件
			FileReader fr = new FileReader(f1);
			BufferedReader br = new BufferedReader(fr);// 读取文件
			String str;
			int id = 1;
			while ((str = br.readLine()) != null) {
				
				Session session = HibernateSessionFactory.getSession();
				if (str.trim().length() > 5) {
					V2SiteMotto sm = new V2SiteMotto();
					sm.setId(id + "");
					sm.setContent(str);
					sm.setCreateTime(new Date());
					sm.setUserId("001");
					session.beginTransaction();
					session.save(sm);
					session.getTransaction().commit();
					System.out.println("内容:" + str);
					id++;
				}
				HibernateSessionFactory.closeSession();
			}

			fr.close();// 关闭读取
		} catch (Exception e1) {// 如果有错误,这里进行处理
			e1.printStackTrace();// 打印错误信息
		}
	}

	public static void main(String[] args) {
		readTxt();
	}
}


java按行读取txt文件内容,终于搞明白了 前言 今天中午收到我司安全部发了一封邮件:Jackson存在安全漏洞。查了一下,这件事并不算很新鲜了(已经过了5天的样子),本文来聊聊吧。 说起来还蛮戏剧化:阿里云向Jackson官方提交了一个Jackson序列化安全漏洞。众所周知,在国内关于JSON库使用有两大主要阵营:国际著名的Jackson库和国内阿里巴巴出品的Fastjson。 同样的功能定位,不存在竞争想想也觉得不可能嘛。所以当我看到这个漏洞竟是阿里云上报的,就觉得这关系还蛮微妙呢,默默的腹黑了3秒钟,哈哈。 附:FasterXML/jackso 阅读详情

相关推荐

Java 8 项目编码实战:3种场景(文件、HTTP、数据库)的UTF-8统一方案

本文详细介绍了Java 8项目中文件读写、HTTP通信和数据库连接三大场景下的UTF-8统一编码方案,帮助开发者有效解决中文乱码问题。通过JVM配置、文件操作、HTTP请求/响应处理和数据库连接设置等实战示例,确保项目在多语言环境下稳定运行。特别强调了UTF-8编码的优势及其在前后端数据传输中的重要性。

weixin_33857679的博客 445

【示例】Hibernate中读取txt的文件内容并插入到数据库

项目需要加一万条测试数据,如果用手来加的话不得累死呀,所以就得用代码来执行SQL语句,这一万条数据其中就包含了人名、手机号等内容,手机号可以通过138+Math.random()来解决但是人名就得用真实的人名了,本想用百家姓+任意汉字组合来实现的但是组合出来的人名不像是真的人名真巧我这里有份名单,前后加起来有5千多人,执行两次有点重复不要紧,但是五千个人名怎么放到sql语句中去呢?我们就需要把人名按

Slience 1万+

数据库国产化探究及升级改造过程指导

当前官网最新版本为DM8,相较于目前主流产品架构:不同特性依靠不同内核去实现,DM8独特采用了双存储引擎架构,行存储引擎和列存储引擎可相互配合、协同工作。同时实现了计算层和存储层的分离,同一内核既支持共享存储式集群,也支持分布式事务集群。

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com 5370

hibernate保存十万级数据量的批量保存操作,

图一是我导入的第一张表,最大数据量也就2万多条,hibernate关闭二级缓存勉强能够导入,导入图二的7万多条数据时,就会在执行hibernate的save()停在2万多条.具体配置:1.修改spring的管理hibernate的配置<bean id="webDataSource" class="com.alibaba.druid.pool.DruidDataSource" init-me...

你那么害怕明天,怎么能过好今天! 1万+

hibernate.txt

hibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txthibernate.txt

OCEAN 电路仿真

介绍利用 Cadence OCEAN 进行电路脚本仿真的方法

weixin_43249158的博客 4401

解决Hibernate +jxl将大批量excel导入数据库,内存溢出

在将excel中的10w行数据导入数据库中时,总发生内存溢出,一开始使用的Spring+Hibernate;不知如何使用批处理,后来只是用Hibernate,10W行数据几分钟完成, 代码如下:   public static void main(String[] args) { // TODO Auto-generated method stub String filePa...

Mars Suburbs People 284

【第三只眼:Oracle通过归档日志查看系统的业务高峰sql】

根据oracle归档的业务高峰量,查找业务sql,进行优化

霍然的专栏 577

java读取txt文件中的数据

java读取txt文件的内容 类 1.package txt; 2. 3.import java.io.BufferedReader; 4.import java.io.File; 5.import java.io.FileInputStream; 6.import java.io.InputStreamReader; 7. 8./** ...

weixin_34292287的博客 180

从原理到落地:Mamba-YOLOv8 全面实战指南(源码 + 训练 + 部署一次学会)

在目标检测领域,CNN与Transformer的较量从未停歇。本文提出一种革命性的架构——,将状态空间模型(SSM)首次引入YOLO框架。实验表明,该模型在COCO数据集上达到54.3% mAP@0.5,推理速度达89 FPS(RTX 4090),相比原版YOLOv8提升12.7%精度与23%速度。本文将完整揭示其技术原理与工程实现,助您掌握这一前沿技术。

FJN110的博客 119

STM32 IIC温湿度传感器(STH45)实验

精度 ΔRH = ±1.0 %RH, ΔT = ±0.1 °C• 平均电流:0.4 μA,空闲电流:80 nA• I2C FM、CRC 校验和、乘法。I2C 地址。• 专利保护选项 [1]、PTFE 膜和可拆卸保护盖• 工作范围:0 …100 %相对湿度,−40…125 摄氏度• 在冷凝环境中功能齐全• 动力加热器,真正的NIST可追溯性• JEDEC JESD47 认证 • 符合 ISO 17025 : 2017 的传感器专用校准证书,3 点温度校准。

baidu_34971492的博客 3072

Java实战:构建健壮的CSV/TXT文件批量导入服务

CSV(逗号分隔值)作为一种通用的结构化文本数据交换格式,是系统间数据传输的基石。其原理是通过特定分隔符(如逗号、制表符)组织数据,实现机器可读与跨平台兼容。在数据处理与系统集成中,高效、准确地导入外部CSV/TXT文件至业务系统,对于实现数据自动化流转、提升运营效率具有重要技术价值。无论是后台管理系统的数据录入,还是物联网设备采集的日志处理,一个健壮的导入方案都需要解决编码乱码、数据校验、批量性能等核心挑战。本文聚焦于使用Java技术栈,结合OpenCSV等工具库,从文件编码自动检测、数据映射、分层校验到

weixin_34302561的博客 402

无人机:DJI Matrice 200 Series_(13).行业应用案例分析

在前一节中,我们介绍了DJI Matrice 200系列无人机的基本硬件配置和性能参数。本节将通过具体的行业应用案例,分析如何利用DJI Matrice 200系列无人机进行二次开发,以满足不同行业的需求。

zhubeibei168的博客 1448

hibernate 处理百万级 数据

好些天了吧,没有写了!今天闲了,正好这两天也有收获特此一记! 先说需求吧,现在有这样一个文件,是txt 里面全部是纯数据。。。 数据格式如下: 01,02,03,04,05,06 02,03,04,05,06,07 03,04,05,06,07,08 ....... 只有这一列。。。。也许第一行有可能重复 N 次 ,现在客户需要 找到这些数据里面每一组 数据只出现一次的...

一日三餐 654

OsgEarth —— 笔记6 - 开发阶段加入漫游飞行(附源码)

效果      视频地址   源码 源码下载请私信   代码      代码相关内容:           OSG —— 笔记1 - 指令调用模型           OsgEarth —— 笔记1 - 创建地球的earth文件           OsgEarth —— 笔记2 - Qt窗口加载earth地球(附源码)           OsgEarth —— 笔记3 - 为地

1896

MATLAB - ROS 2 工具箱入门教程

ROS 工具箱提供了一个连接 MATLAB® 和 Simulink® 与机器人操作系统(ROS 和 ROS 2)的接口。利用该工具箱,您可以设计 ROS 节点网络,并将 MATLAB 或 Simulink 生成的 ROS 节点与现有的 ROS 网络相结合。工具箱包括 MATLAB 函数和 Simulink 块,可通过记录、导入和回放 rosbag 文件来可视化和分析 ROS 数据。您还可以连接到实时 ROS 网络,访问 ROS 消息。

机器人控制与仿真应用 3067

分享哈我测试MongoDB数据库的简单代码

分享哈我测试MongoDB数据库的简单代码 源代码下载地址:http://www.zuidaima.com/share/1550463424236544.htm

springmvc_springdata的专栏 1506

北斗导航 | SPP、RTK、RTD、PPP-RTK、PPP算法原理,公式及完整matlab代码

开发参考:SPP适合入门学习GNSS定位原理和最小二乘。RTK是工程高精度定位主流方案,但依赖基站。PPP适合无基站区域的广域高精度应用。PPP-RTK是融合两者优点的新一代技术,但系统复杂度最高。· 代码资源:raPPPid(VieVS PPP)是功能完整的MATLAB开源PPP工具箱,支持多系统PPP-AR。MATLAB GPS Toolbox 提供从SPP到PPP的完整功能实现。· 实际应用:农业自动驾驶、无人机航测通常使用网络RTK;大地测量、地壳形变监测常采用PPP事后处理;

尘世冰封的专栏 822

Hibernate开发步骤.txt

Hibernate开发步骤 1.导入jar包到 WebRoot/WEB-INF/lib文件夹下面 2.编写配置文件hibernate.cfg.xml【参考302页示例14.1】                   org.hibernate.dialect.MySQLDialect         jdbc:mysql://127.0.0.1:3306/s      

良_123的专栏 391

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

excel 批量数据导入数据库与数据库导出数据到excel

批量导入数据------spring Data JPA  整合 Hibernate // 文件上传 ---- 批量导入----------------------------------- private File file; public void setFile(File file) { this.file = file; } // 文件上传 @Action(value

kaisens的博客 405

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

关于hibernate的框架运用

无意中发现了123.06的一个txt格式的数据文件...,又联想到这几天正在学习javaEE中的hibernate框架,于是就应用了一下,准备练练手 仔细分析后这个文件是类似这种格式****@qq.com----683***----郑**----3**221987***0011----z6***605----1506**4----*****266@qq.com****@qq.com----683

GET知识不迷路,点赞评论加关注! 633

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

java 反射 使用小技巧

经常要读取txt或者excel到数据库 以前都是读取后然后转成list,然后set到表对象(hibernate映射的表对象), 然后再session.save(entity), 如果文件中的title很多的话,就太麻烦了。     现在用java 反射,可以轻松解决   ClubWinterActivity是表对象,new String[]{}中是txt中的title,就是说取这些

哈哈__哈哈的专栏 172

jxl的使用,从excel插入数据以及读取数据

最近写的一个小项目需要把txt文件里面的内容转化成excel,经过查寻资料发现现阶段Java操作Excel的JAR主要有apache 的POI及jxl.Jxl方便快捷,POI用于对复杂Excel的操作。 以下为写数据进入excel的代码 public static void addDataToExcel(String[] dataArr,String filepath) throw...

weixin_30412013的博客 281

Java批量导入XML文件实战:StAX解析、批处理与性能优化

XML作为一种结构化的标记语言,因其良好的可读性和跨平台特性,在数据交换、配置文件存储等领域广泛应用。其核心原理是通过标签定义数据结构,实现不同系统间的信息传递。在数据处理流水线中,高效解析XML并转换为业务模型是构建自动化能力的关键技术价值。这尤其适用于需要处理海量结构化数据的场景,如旧系统迁移、商品信息录入或订单记录整合。通过采用流式解析技术(如StAX)替代传统DOM模型,并结合数据库批处理(Batch Insert),可以显著提升处理性能并降低内存消耗。本文聚焦于批量导入XML文件的工程实践,详细探

weixin_34235457的博客 378
上一篇: 致所有IT同胞的一封信
下一篇: 背包客
JavaAlpha
博客等级 码龄18年 910粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值