<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[benrciv的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/benrciv</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; benrciv]]></copyright><item><title><![CDATA[MAC终端跳过跳板机登录]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/144266814</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/144266814</guid><author>benrciv</author><pubDate>Thu, 05 Dec 2024 14:47:20 +0800</pubDate><description><![CDATA[则还要把 id_rsa_jp添加到ssh代理。everything 配置好后可能还报错。但IP_B本身需要跳板，so此命令对。mac本地配置 ProxyJump。无效，可直接复制粘贴。]]></description><category></category></item><item><title><![CDATA[Spark On YARN时指定Python版本]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/128974948</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/128974948</guid><author>benrciv</author><pubDate>Fri, 10 Feb 2023 17:54:08 +0800</pubDate><description><![CDATA[Spark On YARN时指定Python版本]]></description><category></category></item><item><title><![CDATA[Mac 终端/Iterm通过跳板机转发端口]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/123891591</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/123891591</guid><author>benrciv</author><pubDate>Fri, 01 Apr 2022 10:47:31 +0800</pubDate><description><![CDATA[MacBook P~r~o上，Iterm通过跳板访问其他服务
背景：
本机访问跳板机( 需要通过 跳板机端口)
# 在本地时
ssh -p 跳板端口 root@跳板IP

只有在跳板机上才能访问目的地的某服务,比如是 目的地IP:目的地端口的服务，而本地不能直接访问该访问该服务，而Mac没有Windows里那种软件可以直接配置跳转，所以需要一条命令。
假如通过本地10086端口，
Iterm上敲的命令如下
ssh -p 跳板机端口 root@跳板机IP -L 127.0.0.1:10086:目的IP:目的端]]></description><category></category></item><item><title><![CDATA[Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/121285428</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/121285428</guid><author>benrciv</author><pubDate>Fri, 12 Nov 2021 12:05:32 +0800</pubDate><description><![CDATA[–jars：

提供系统中没有的包
​ 运行时将包分发到worker指定目录例如/var/run/spark/work
不会加载到executor的classPath
多个包用逗号分隔

​
spark.{driver|executor}.extraClassPath

多版本的相同类被加载进ClassLoader，link的时候发生错误时，用了指定版本
只需要指明包名即可，不需要指明路径
该依赖包具有最高优先级，但只能指定一个包
yarn-client模式下，–jars不会把包拷贝到本地，所以需要使用绝对]]></description><category></category></item><item><title><![CDATA[org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolve]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/121168035</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/121168035</guid><author>benrciv</author><pubDate>Fri, 05 Nov 2021 18:04:45 +0800</pubDate><description><![CDATA[执行形如下列的spark sql：
select xxx from TABLENAME WHERE x=1 having CONDITION = 1

报错：
org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to toAttribute on unresolved object, tree: ArrayBuffer(a).*
	at org.apache.spark.sql.catalyst.analysis.]]></description><category></category></item><item><title><![CDATA[spark on k8s 打镜像 COPY failed: stat /var/lib/docker/tmp/docker-builde...xxx]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/120845903</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/120845903</guid><author>benrciv</author><pubDate>Tue, 19 Oct 2021 14:46:23 +0800</pubDate><description><![CDATA[spark2.4源码通过  ./build/mvn -Pkubernetes -DskipTests clean package
编译以后
有一个jar包需要打到镜像里，
进入 spark/resource-managers/kubernetes/docker/src/main/dockerfiles/spark/Dockerfile
在COPY 那几栏里
添加
CP /路径/xxx.jar /opt/spark/jars
报错：

COPY failed: stat /var/lib/docker/tmp]]></description><category></category></item><item><title><![CDATA[vue启动却无法访问]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/109001587</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/109001587</guid><author>benrciv</author><pubDate>Sat, 10 Oct 2020 17:45:34 +0800</pubDate><description><![CDATA[因为用的是阿里云，
所以不是localhost也不是127.0.0.1而是192.186.1.xxx

]]></description><category></category></item><item><title><![CDATA[win10 64用sift 报 No such file or directory: 'empire.sift']]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/79683376</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/79683376</guid><author>benrciv</author><pubDate>Sun, 25 Mar 2018 01:13:08 +0800</pubDate><description><![CDATA[Traceback (most recent call last): 
  File “XX.py”, line 49, in  
    l1,d1 = read_features_from_file(‘empire.sift’) 
  File “X.py”, line 21, in read_features_from_file 
    f = loadtxt(filename) 
  F...]]></description><category></category></item><item><title><![CDATA[阿里云centos7安装yii框架]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/73478892</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/73478892</guid><author>benrciv</author><pubDate>Tue, 20 Jun 2017 01:35:17 +0800</pubDate><description><![CDATA[1.主要安装过程没什么可说的，直接按照官网（http://www.yiiframework.com/download/ ，或者中文站 http://www.yiichina.com/download）进行，主要分为以下 several steps：step one : 安装composer： 
    参考：https://getcomposer.org/download/ 
    依次在终端执行]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典6.3.1 小球下落 python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53471887</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53471887</guid><author>benrciv</author><pubDate>Tue, 06 Dec 2016 00:02:55 +0800</pubDate><description><![CDATA[题目： 
分析： 
1.深度为D的开关二叉树共有2^D -1 个开关，从上到下，从做到右排序1,2,3,…,2^D-1 
2.最开始，这课开关二叉树上的所有开关都是关闭状态，假设为off状态，当有一个小球经过以后，开关由off状态变为on状态 
3.举个例子（不举），假设D=4，则共有15个开关，顺序如图上。 
    1）第一个小球下落的时候，首先经过开关1，因为开关1是off状态，所以小球往左走]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典6.1.2 铁轨python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53374228</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53374228</guid><author>benrciv</author><pubDate>Mon, 28 Nov 2016 09:56:21 +0800</pubDate><description><![CDATA[题目： 
分析：（看过代码以后才有思路） 
1.最简单的情况莫过于以A的顺序（直接）进入B或者以A的逆序进入B（需借助C） 
2.除了1 的情况，都是比较复杂的，需要借助时不时的借助C，看懂书中的那段循环代码很重要（如图）， 
主要的思想如下： 
    假设A和C都有火车： 
        先看A，如果此刻**A的第一辆与此刻**B的第一辆相同，则就从A直接开到B 
            否则]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典6.1.1卡片游戏 python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53365643</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53365643</guid><author>benrciv</author><pubDate>Sun, 27 Nov 2016 17:39:01 +0800</pubDate><description><![CDATA[题目： 
分析： 
1.算法很简单，但是也有个小陷阱，输入n，如果python字典开的跟n一样大的话，后面会有问题（也就是书中用的c语言访问非法内存的问题） 
2.假如n = 7,初始化字典为的key为1~7，value为1~7，队首front = 1，队尾rear = 8（比原始的往后一位） 
   1）输出 key为1的值：1，然后删了，队首后移一位变为2，把这队首赋值给队尾key=8 的值，然]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典5.4.4 多少块土地 python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53350105</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53350105</guid><author>benrciv</author><pubDate>Sat, 26 Nov 2016 12:24:22 +0800</pubDate><description><![CDATA[分析： 
1.题目不是太懂，看了一下网上的一些文章，其实跟题目讲的基本一样，所以还是不太懂。画个图比划比划就好多了 
2.简单多面体的欧拉公式，记住就ok， V-E+F =  2 (Vertex,Edge,Face) 
其中，这个Face是包含了椭圆面外的无限大平面，所以最后F = 2-V+E-1 = E-V+1，求出边数和定点数即可得出答案 
3.最优方案：不会让任何3条线交于一点，这个提示很重要]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典5.4.3果园里的树 Python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53314238</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53314238</guid><author>benrciv</author><pubDate>Thu, 24 Nov 2016 00:44:00 +0800</pubDate><description><![CDATA[分析： 
1.可借助三角形的有向面积计算，原理不懂，但是有公式，记住就可： 
 
如果 》0，则说明ABC三点呈现逆时针排列，<0反之，=0共线 
2.三个点为A、B、C，三个点的x最大值是maxX，最小值是minX，y最大值是maxY，最小值是minY，虽然x和y属于1到99，但是x只需要遍历minX-maxX，y只需要遍历minY-maxY的整数点就可以了 
3.假设任意一个点为P，则三角形内的]]></description><category></category></item><item><title><![CDATA[【py交易】算法竞赛入门经典5.4.2  因子和阶乘 Python]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/53296101</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/53296101</guid><author>benrciv</author><pubDate>Wed, 23 Nov 2016 00:07:18 +0800</pubDate><description><![CDATA[题目： 
 
 
分析：0.825除以2，除不尽（共0次）；除以3，能除尽，再除以3，除不尽（共1次）；除以5，能除尽，再除以5，能除尽，再除以5，除不尽（共2次）。。。所以为01201 
1.输入一个数，计算这个数的阶乘，需要一个计算阶乘的函数:factorial，用到了递归 
2.需要一个素数集，用isPrime函数 
3.要用到键值对的存储结构，py可以用字典类存储，声明方法是  dick =]]></description><category></category></item><item><title><![CDATA[Mac的mysql出现Table 'AAA' is marked as crashed and should be repaired]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/51295996</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/51295996</guid><author>benrciv</author><pubDate>Mon, 02 May 2016 13:22:44 +0800</pubDate><description><![CDATA[在用mac爬数据的时候电脑卡了，于是强制关闭计算机，重新再跑爬虫的时候，出现了 Table 'AAA' is marked as crashed and should be repaired   的提示，AAA是我操作的表，
此时这个表是可以进行一些简单的操作的，比如说 　select * from AAA limit 1,或者select count(*) from AAA,，但是多加一些条件]]></description><category></category></item><item><title><![CDATA[Java 爬虫 菜逼教程  00]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/51106076</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/51106076</guid><author>benrciv</author><pubDate>Sat, 09 Apr 2016 16:55:47 +0800</pubDate><description><![CDATA[欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：
Markdown和扩展Markdown简洁的语法
代码块高亮
图片链接和图片上传
LaTex数学公式
UML序列图和流程图
离线写博客
导入导出Markdown文件
丰富的快捷键
快捷键
加粗    Ctrl + B 
斜体    Ctrl + I 
引用    Ctrl]]></description><category></category></item><item><title><![CDATA[导入java项目]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/51104544</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/51104544</guid><author>benrciv</author><pubDate>Sat, 09 Apr 2016 13:02:08 +0800</pubDate><description><![CDATA[导入java项目

 

 
在
包资源管理器
处右键，选择“现有项目到工作空间中”，然后选择所动摇导入的文件夹，完毕！

 
项目上可能有红色感叹号，是因为eclipse版本不一致导致的，或者是里面所需要的
 jar包为导入

 
配置构建路径，删除所有错误的包，
如果系统库也错误而的话，删除后：添加库--jre系统库
其他的库，找到删除的jar文件所在的地方，然]]></description><category></category></item><item><title><![CDATA[mysql数据库导出的方法]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/51104540</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/51104540</guid><author>benrciv</author><pubDate>Sat, 09 Apr 2016 13:01:13 +0800</pubDate><description><![CDATA[数据库导出的方法：
dos下；进入mysql为bin文件夹下

 
 cd wamp/bin/mysql/mysqlXXX/bin
 
执行语句：
 mysqldump -u  
用户名 -p
数据库名>导出的名称.sql]]></description><category></category></item><item><title><![CDATA[java动态数组 2.0]]></title><link>https://blog.youkuaiyun.com/benrciv/article/details/51104531</link><guid>https://blog.youkuaiyun.com/benrciv/article/details/51104531</guid><author>benrciv</author><pubDate>Sat, 09 Apr 2016 12:58:19 +0800</pubDate><description><![CDATA[数组中，按键值对存储数据，用到了Map……缺点：不能按存入顺序存储（要用其他方法）
所需要的的：


java.util.HasnMap;

Java.util.Map;

Java.util.Set;

 
声明 
：
Map  map = new HashMap;//用的少

Map map = new Map;
     用的多，String可为其他对象，如I]]></description><category></category></item></channel></rss>