- 博客(3)
- 收藏
- 关注
RSS订阅原创 cdp集群yum源搭建
4，登陆浏览器，访问http://11.11.11.11/cm7.11.3 http://11.11.11.11/cdp7.1.9.6 查看浏览器是否能访问到包。5，创建cm yum，cdp的不用创建，在搭建集群配置cm页面parcel配置时直接把url粘贴进去。3，把cm和cdp相关的安装包上传到以上目录，安装包可以去官网下载。6，cdp集群的cm节点配置yum源。1，查看服务器是否安装httpd。2，创建软件仓库目录。
2025-07-02 09:38:12
200
原创 cdp集群中impala小文件的产生和治理
hdfs中每个文件的元数据（包括文件名、路径、块位置等信息）存储在namenode内存中，每个小文件都会对应一条元数据条目，若集群中存在大量小文件，则会占用大量namenode的内存，可能导致namenode内存溢出或频繁gc，严重影响hdfs的稳定性，同时元数据查询速度将大幅下降，影响impala的查询规划。小文件越多，单个查询可能需要扫描大量文件，由此会导致io吞吐量降低，且hdfs以块为单位存储数据，小文件分散在多个块中，会影响块读取效率。1，预防措施：从源头控制，减少小文件。2，分区表设计不合理。
2025-07-01 20:04:52
402
原创 informatica增加oceanbase数据源
登录informatica本地客户端，R组件里导入oceanbase工作流，W组件里，新建odbc数据源，增加ob数据源关系，将工作流的数据源修改为ob数据源，启动执行即可。一种是利用Infa自带的工具，目录在$INFA_HOME/tools/debugtools/ssgodbc/linux64目录下，执行。unix-odbc/bin目录下，执行./odbcinst -j查看配置的odbc.ini等配置是否正确。服务器上重启infa server（必须重启，否则读取不到ob的驱动）5，测试ob数据源连接。
2024-12-04 18:03:46
731
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人