- 博客(12)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 【爬虫】python爬虫简单样例（requests+beautifulsoup4+lxml）
通过requests+beautifulsoup4+lxml实现python爬虫简单样例
2022-03-29 17:10:31
970
原创 Win10安装python第三方库lxml总是失败？
需要先安装lxml，然后再安装beautifulsoup4，一次性成功，很稳1、pip install lxml2、pip install beautifulsoup4
2022-03-29 16:30:43
976
原创 【hdfs】在win10上使用python访问hdfs操作文件
1、环境安装：使用cmd安装hdfs环境，pip installhdfs2、访问hdfs：from hdfs.client import ClientHDFSHOST = "http://192.168.56.101:9870"client = Client(HDFSHOST)# 返回目录下的文件#print(client.list('/wm/'))# 创建目录#client.makedirs('/tmp')#print(client.list('/'))# 删除hdfs文件.
2022-03-21 17:50:52
2740
原创 通过hive元数据库查询每个表权限信息，每个用户权限信息
1、以表为单位，查询每个表具有什么权限select s.*,(select tbl_name from tbls where tbl_id=s.tbl_id) tbl_name,(select name from dbs where db_id=(select db_id from tbls where tbl_id=s.tbl_id)) db_name from (select principal_name,principal_type,tbl_id,string_agg(tbl_priv,',')
2022-03-21 11:22:43
5309
原创 linux安装Python-2.7.9
安装前准备：1.安装Development Toolsyum groupinstall -y 'development tools'2安装SSL、bz2、zlib来为Python的安装做好准备工作yum install -y zlib-devel bzip2-devel openssl-devel xz-libs wget安装：1.查看当前系统的Python Version[root@jmilk ~]# python --versionPython 2.6.62.
2022-03-21 11:05:43
419
原创 Centos 配置eth0 提示Device does not seem to be present
方法一：rm -rf /etc/udev/rules.d/70-persistent-net.rules重启： reboot ………………方法二：mv /etc/sysconfig/network-scripts/ifcfg-eth0sysconfig/network-scripts/ifcfg-eth1vimsysconfig/network-scripts/ifcfg-eth1修改DEVICE="eth0"为DEVICE="eth1"可删掉uuid、物理地址然后重启启动...
2022-03-21 11:03:40
348
原创 hadoop3.0新建集群后访问hdfs报错拒绝连接
Call From master/192.168.56.101 to master:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefuse
2022-03-18 16:55:00
1600
原创 使用spark查询hudi表
查询数据 初始化环境 source /opt/poc_client/bigdata_env source /opt/poc_client/Hudi/component_env 启动客户端 spark-shell --master yarn --driver-memory 20g --driver-cores 4 --executor-memory 12g --executor-cores 4 --num-executors 50 --conf spark.executor....
2022-03-16 15:22:53
1582
原创 批量修改oracle表字段类型
select 'Alter table ' || table_name || ' modify COLUMN ' || column_name || ' float;' From all_tab_columnswhere table_name in (SELECT * FROM (SELECT OBJECT_NAME FROM DBA_OBJECTSWHERE OWNER IN('SACMSCMMRI','SACMSIDS','SACMSWPS','SACMSRDM','SACMSTAB
2022-03-14 16:56:38
1444
原创 根据时间删除hdfs文件
删除hdfs指定目录三天前的文件hadoop fs -rm -r /meteobasicbd/null/*$(date -d -3day +%Y%m%d%H)*
2022-03-14 16:38:21
2803
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人