<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[踢砖头]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lj0425</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lj0425]]></copyright><item><title><![CDATA[Scrapy 通过代理（Proxy）爬取外部网站]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/78852435</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/78852435</guid><author>lj0425</author><pubDate>Wed, 20 Dec 2017 13:58:56 +0800</pubDate><description><![CDATA[Scrapy 通过代理（Proxy）爬取外部网站通常我们不需要特殊处理就能直接的访问WWW。但当你处于内部网络通过代理访问外部的时候，或者一些特殊的情况下，你会需要这个技能。默认你已经会用Scrapy制作蜘蛛了。你可以参考我的另一个介绍页面，或者其他更详尽的教程。最简单直接的办法就是在蜘蛛的开头设置系统环境变量像这样：import os
# 设置相应的代理用户名密码，主机和端口号
os.enviro]]></description><category></category></item><item><title><![CDATA[用Scrapy爬取Domain认证的内网数据比如SharePoint]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/78834994</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/78834994</guid><author>lj0425</author><pubDate>Mon, 18 Dec 2017 17:08:50 +0800</pubDate><description><![CDATA[用Scrapy爬取Domain认证的内网数据只要是浏览器里面能够访问的东西，理论上都可以被爬虫爬取。有了这个信念，基本上所有问题就解决一半啦，笑~公司内部网络通常都是由域控制器统一做安全登录认证，这对于window系的公司尤为常见。通常爬取内网Domain服务器认证的内部网站，基本都会返回401错误，这就是告诉我们没有通过服务器的认证检验。 
那么怎么做呢？安装requests-ntlm认证组件你需]]></description><category></category></item><item><title><![CDATA[用Python 的 Scrapy 爬取  网站]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/78804705</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/78804705</guid><author>lj0425</author><pubDate>Thu, 14 Dec 2017 16:58:21 +0800</pubDate><description><![CDATA[用Python 的 Scrapy 爬取网站说到制作蜘蛛爬取网站听起来挺简单的，其实深究起来是个蛮综合的应用，有不少技能点需要点亮。比如：
基本的Request/Response
HTML，CSS，XPath，JavaScript等前端技能点 
即便你有这些技能点加成，不管你是Newbee还是老鸟，如果你坚持不懈的要制造自己的轮子，很多坑估计你死多少遍也填不平。这时候我适时的推荐你用Scrapy这个框]]></description><category></category></item><item><title><![CDATA[Oracle 数据库中的内容加密与解密 dbms_crypto]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/78783690</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/78783690</guid><author>lj0425</author><pubDate>Tue, 12 Dec 2017 16:57:25 +0800</pubDate><description><![CDATA[Oracle 数据库中的内容加密与解密说起来Oracle中有很多涉及加密解密的东西，今天说的这个是dbms_crypto。有没有遇到过这样的应用场景，需要将一些敏感数据字段脱敏之后发送给下游。之后下游处理完其他数据之后会携带这个脱敏字段再发回给你，你再用这些敏感信息还原出原始的值匹配更新原来的数据。最近我就遇到了。找了一下，Oracle还真有类似的包：dbms_crypto，使用这个包需要管理员登录]]></description><category></category></item><item><title><![CDATA[配置 Winows Domain LDAP 认证 和 Exchange 邮件服务]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/44304681</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/44304681</guid><author>lj0425</author><pubDate>Mon, 16 Mar 2015 14:11:57 +0800</pubDate><description><![CDATA[一般的我们都在windows domain下工作，很多时候你需要结合windows domain 的认证来配置一些第三方的应用。这样可以统一用户登录系统。比如 SVN以及其他的一些系统。这时候你需要知道些基本的domain的信息，问题是：HOW？


你可以问Domain管理员，当然。
这些信息其实你是有办法知道的：


Domain 相关信息， Windows Command下面输]]></description><category></category></item><item><title><![CDATA[grep TAB]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/44079737</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/44079737</guid><author>lj0425</author><pubDate>Thu, 05 Mar 2015 11:00:09 +0800</pubDate><description><![CDATA[1. 只grep TAB
grep -P [\t]
2. grep TAB 和 Space
grep [[:space:]]]]></description><category></category></item><item><title><![CDATA[用Java 处理 XML 数据]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/18044201</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/18044201</guid><author>lj0425</author><pubDate>Mon, 13 Jan 2014 10:34:03 +0800</pubDate><description><![CDATA[看起来这是个常规性的动作。不知道什么时候你就需要用JAVA处理一下XML。
虽说现在用XML作为媒体进行数据交换不是那么有效率（你可以试着Google “为啥不用XML” 之类的了解了解），不过鉴于很多古板的系统只能支持长胡子的技术实现，所以这方面也要照顾一下退休人士。
了解背景会让你聊天的时候显得牛一些。
Java原生内置的处理XML的技术基本有这么几种：DOM，SAX，Stax]]></description><category></category></item><item><title><![CDATA[Oracle 的数据批量读取]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/17954289</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/17954289</guid><author>lj0425</author><pubDate>Tue, 07 Jan 2014 10:53:10 +0800</pubDate><description><![CDATA[有这么一个大表假设数亿条记录，纯数据文本百Gb以上，批量读取的话咋整？
SQLLoader，算是一个选择吧。嗯，开并行，数据表本身也许已经partition过了。可是如果自己批量unload数据应该怎么做呢？多线程并行是个好主意，但是怎么并行呢？如果你在想什么数字主键均分的想法，那你也许不会有好的结果。原因，主键的值域范围不一定是均匀分布的，这会造成你某些工作线程很忙，有些却草草结束了。深层次的]]></description><category></category></item><item><title><![CDATA[Hive console log output 控制台输出日志]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/17922881</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/17922881</guid><author>lj0425</author><pubDate>Mon, 06 Jan 2014 17:28:19 +0800</pubDate><description><![CDATA[没啥说的记录一下：
hive -hiveconf hive.root.logger=DEBUG,console]]></description><category></category></item><item><title><![CDATA[Data compression on Hbase will make your mapreduce job fly]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/17922647</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/17922647</guid><author>lj0425</author><pubDate>Mon, 06 Jan 2014 17:25:38 +0800</pubDate><description><![CDATA[如果你需要在HBase的数据上做MapReduce任务，记得打开压缩选项。




IO speed is always performance bottleneck in any case. So focus on IO performance generally is best practice for performance tuning.

Data compression ]]></description><category></category></item><item><title><![CDATA[Expands disk volume on Linux 扩展虚拟的逻辑磁盘空间]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/17920417</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/17920417</guid><author>lj0425</author><pubDate>Mon, 06 Jan 2014 17:19:23 +0800</pubDate><description><![CDATA[1. 先看看有多少物理磁盘供你使用
sudo fdisk -l
一般会得到下面的信息：
Disk /dev/sdb: 107.4 GB, 107374182400 bytes
...
Disk /dev/sdc: 107.4 GB, 107374182400 bytes
...
Disk /dev/sdd: 107.4 GB, 107374182400 bytes
2. 初始化这些磁盘]]></description><category></category></item><item><title><![CDATA[Hadoop cannot find namenode pid file when shutdown]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/17920111</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/17920111</guid><author>lj0425</author><pubDate>Mon, 06 Jan 2014 16:24:25 +0800</pubDate><description><![CDATA[By default settings Hadoop use /tmp/ folder to track NameNode and JobTracker process id alive. But /tmp folder is cleanup once a week. So after some time, you will get error when you try to shutdown H]]></description><category></category></item><item><title><![CDATA[用Mybatis JDBC访问 Oracle的XMLType数据类型]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/7886613</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/7886613</guid><author>lj0425</author><pubDate>Mon, 20 Aug 2012 15:36:18 +0800</pubDate><description><![CDATA[你没看错，我也没有发神经。
这就是我要做的，用XML作为JAVA和数据库交流的载体。粗想一下是有些些反人类，不过如果能一次性取出多条多种数据集，也算是个不错的选择吧。本篇不深究是否值得这么去折腾，蛋，如果有一天你必须去面对这个无情的事实的时候，可以用下面的法子试试看。以下用Mybatis实现的，其实直接JDBC的访问也是一样的，本例只不过借用Mybatis搭好的架子而已。


先简单说说你]]></description><category></category></item><item><title><![CDATA[如何修改Java的Play框架默认的HTTP端口号]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/7847531</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/7847531</guid><author>lj0425</author><pubDate>Thu, 09 Aug 2012 15:14:40 +0800</pubDate><description><![CDATA[Play，有了这个或许Java也能在Web前端的开发挺起头了。
最近看了看，的确简洁方便。导入Eclipse也很方便，用自带的命令eclipsify就完成项目的生成，之后在Eclipse中导入即可。
但，不能Debug的WebProject咋说都是交待不了的。Play2.0之后不会生成eclipse的目录了，咋整？
先看基本手法：

1。导入项目
2。Eclipse中设置：Prefer]]></description><category></category></item><item><title><![CDATA[就不用Spring，Struts2挂载MyBatis]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/6529686</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/6529686</guid><author>lj0425</author><pubDate>Tue, 07 Jun 2011 15:15:00 +0800</pubDate><description><![CDATA[Hibernate，为了DAO的ORMapping，生生把SQL的优良特性给腰斩完蛋了。比起来更喜欢MyBatis，不失SQL的灵活。
但，MyBatis怎么挂载到Struts2中呢？搜遍大江南北都是利用Spring——你们还有没有点新鲜玩意儿？说白了，就是我这个小小的项目用Sping不是杀鸡用牛刀吗，而且Sping的复杂度让人望而却步。
研究了一下发现不过是利用Sping的DI加载MyBat]]></description><category></category></item><item><title><![CDATA[乍一看好像是项目撵走了大家伙：（]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/425697</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/425697</guid><author>lj0425</author><pubDate>Fri, 15 Jul 2005 16:26:00 +0800</pubDate><description><![CDATA[自从去年9月份以来，大家都处在一种十分紧张的工作状态当中。不得不说Canon这个项目的确是太累了。平均每天工作15、6个小时，连续几个月下来谁都会受不了的。忘不了最苦的时候有人居然近一周的时间没有回过家，天天住在公司，吃、喝、睡。元旦的五天假期只回家过一天。这样的强度恐怕大家走都是有理由的。还好大家都很有职业道德，项目完成以后才都纷纷离职。部门七零八落的，大家各自分飞。从LP、ZHY、到WF、HK]]></description><category></category></item><item><title><![CDATA[终于又回来了。]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/425642</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/425642</guid><author>lj0425</author><pubDate>Fri, 15 Jul 2005 15:54:00 +0800</pubDate><description><![CDATA[曾经几次连接不上csdn的blog，这次终于上来了。最近不忙了。打算写点东西，回顾一下自己了。]]></description><category></category></item><item><title><![CDATA[40种网页常用小技巧(javascript)]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/148131</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/148131</guid><author>lj0425</author><pubDate>Sat, 23 Oct 2004 10:59:00 +0800</pubDate><description><![CDATA[40种网页常用小技巧(javascript)http://www.pconline.com.cn/pcjob/other/design/others/0410/471599.html1. oncontextmenu="window.event.returnValue=false" 将彻底屏蔽鼠标右键no 可用于Table2.  取消选取、防止复制3. onpaste="retu]]></description><category></category></item><item><title><![CDATA[如何在Struts中进行分页处理]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/110479</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/110479</guid><author>lj0425</author><pubDate>Mon, 20 Sep 2004 14:15:00 +0800</pubDate><description><![CDATA[如何在Struts中进行分页处理最近做Struts项目涉及分页处理。下面就结合项目谈谈如何在Struts中进行分页处理。根据需要你可以选择一次读出所有数据然后再分页，以后每次分页不再读数据。另一种方法你可以每次只读出需要显示的数据，以后每次分页分别在读其他数据。两种方法本文都将简单介绍。先介绍第一种，数据一次读入。适合数据量小的场合，首次装载页面会比较慢。项目片断简介：项目中需要分]]></description><category></category></item><item><title><![CDATA[个人理解：Struts中的Jsp解释顺序]]></title><link>https://blog.youkuaiyun.com/lj0425/article/details/105188</link><guid>https://blog.youkuaiyun.com/lj0425/article/details/105188</guid><author>lj0425</author><pubDate>Wed, 15 Sep 2004 11:50:00 +0800</pubDate><description><![CDATA[正确理解Jsp页面中的解释顺序会帮助我们写出比较好的Struts页面代码。也能够更加灵活的运用Struts。Jsp中的几种代码：A.HTML代码如： B.Script代码如：      if(document.BBS0090.windowFLG0091.value == "NEWRECORD2"){    window.opener.document.BBS0090.s]]></description><category></category></item></channel></rss>