啊水水水的博客

如何确定hdfs上面的文件对应的地址应该怎样表示？

我是直接把修改之前能运行成功的target复制给它，然后重新启动，启动完了，不要慌，慢慢等等，多运行几次就行了。具体原因俺也不知道，可能是nginx的缓存的原因吧，生成的target里面都是残缺的，要慢慢更新吧。

自动义错误，抛出时报错，运行框显示一堆错误提示

mysql报错:InternalError: (pymysql.err.InternalError) (1366, "Incorrect string value:

原因：爬取下来的date的数据为空，所以才报错，此时需要在将爬取下来的数据赋值给某个变量的时候，先进行if判断，再赋值。错误：python爬虫报错Incorrect date value: ‘’ for column ‘date’ at row 1。

问题：FinalShell中root用户下载文件一直失败。

【代码】设置IDEA中的sqlMapConfig.xml模板以及xxMaper.xml模板。

（2）鼠标右击，点击add frameworks support，选中web application即可。

Error running 'Tomcat 8.0.23': Address localhost:1099 is already in use

构建hadoop集群初始化不报错，但jps后没有namenode等java进程

我的开启superset的顺序

superset连接hive整个过程（详细）以及过程中的各种报错解决方法比如错误User: tom is not allowed to impersonate tom等等

安装superset

1、点击新建一个项目，点击Maven，直接点击next2、设置项目名称等等细节，点击next结果：

将pymysql.connect方法中的charset属性值设置为utf8，而不是utf-8。

1、运行plot()方法时报错。Error：matplotlib is required for plotting when the default backend “matplotlib” is selected**解决方法：应该是pandas的相关组件没有安装的原因。**在cmd中python环境中输入下面下面命令。本人安装了anaconda，本机有多个版本的python，先进入anaconda，接着进入相关的python版本中，最后输入如下命令。conda install -c anacon

原因：虚拟内存不够Container [pid=4046,containerID=container_1650786103783_0002_01_000002] is running 287873536B beyond the 'VIRTUAL' memory limit. Current usage: 85.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.解决方法：向

（1）点击右侧maven，点击clean删除所有临时生成的文件，接着点击package，运行框中出现BUILDSUCCESS时代表打包成功。（2）在虚拟机的hadoop目录下，使用“hadoop jar jar包名 运行入口 输入路径 输出路径”运行jar包。（3）结果。...

在虚拟机hadoop集群上运行在idea中已打包好的jar包。出现如下错误，说明string转换int过程中出现了错误，经过检查，发现输入地址/bigdata1901目录下有其他的文件，因此才报错，将输入文件地址具体到某个txt文件中，正常运行。...

（1）报ERROR：Unable to write in /opt/…,原因是因为该文件的权限不够。更改文件的权限：（2）初始化时，报错：mkdir :无法创建目录“/opt/module/hadoop-3.1.3/logs”:权限不够。Unable to create /opt/module/…。原因是因为当前用户对该文件的权限不够，需要增加权限。解决方法：最后，初始化成功。（3）构建hadoop集群的时候，如果namenode初始化错了节点、初始化有错误等等其他原因，需要重新初始化的。

在windows上的浏览器上连接WMware虚拟机的hadoop集群如果发现使用“hadoop101:8980”的网址无法连接hadoop集群，（1）首先检查虚拟机的防火墙是否关闭：（2）若未关闭，则输入，下面两条命令：（3）若虚拟机的防火墙已关闭，则检查直接使用ip地址替换hadoop101是否能连通hadoop的web端：若成功连接，则说明，windows的C:\Windows\System32\drivers\etc目录下的hosts文件中没有该虚拟机名称和ip地址的映射，补充成功即可。

使用scp语句时出现错误，如下：解决方法：上图的scp语句含义是将hadoop101的/opt/software/a目录下的文件传送到虚拟机hadoop102的/opt/software/目录下，出现上述错误是因为最终地址（/opt/software）的权限不够，应该赋权chmod 777 /opt/software。结果：述...

（1）将namenode再重新格式化一下：hadoop namenode -format（2）接着启动hadoop：start-all.sh（3）最后用jps查看相关进程

安装多版本的python并在anaconda中进行使用

具体流程：（1）选择自定义（高级）（2）默认（3）选择“安装程序光盘映像文件”，选择iso文件（4）自己设置信息（随意）（5）虚拟机位置尽量不要选择C盘，应为虚拟机新建一个文件夹（6）按照自己的需求，进行设置（7）按需求设置（8）选择使用网络地址转换，点击下一步（9）选择如下图，下一步（10）选择如下图，点击下一步（11）选择如下图，点击下一步（12）点击完成（13）点Next（14）选No，点Next...

京东评论分析完成阶段（1）京东评论爬取数据库版import jsonimport requestsimport timeimport sqlite3def get_one(pid,pageno): #取一个商品的一页评论 base_url = 'https://club.jd.com/comment/productPageComments.action'#本次请求头只要伪造请求头User_Agent,但前端时间测试需要cookie字段 headers = {

京东评论爬虫数据库版（1） 京东评论爬虫数据库版import jsonimport sqlite3import requestsimport timedef get_one(pid,pageno): #取一个商品的一页评论 base_url = 'https://club.jd.com/comment/productPageComments.action'#本次请求头只要伪造请求头User_Agent,但前端时间测试需要cookie字段 headers = {'

京东评论爬虫（1）请求天气接口爬虫# 后端负责接受请求，响应纯数据，叫做API接口。前端js负责发请求。#接口也分为合法的和非法的（别人提供数据的后台程序）import requestsimport jsonfrom lxml import etreeurl = 'http://t.weather.itboy.net/api/weather/city/101030100'resp = requests.get(url)weather_json_str = resp.text#print(

浅层爬虫（1）煎蛋网爬虫import requestsfrom lxml import etreeurl = 'http://jandan.net/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}resp = requests.get(url,head

python基础知识pip包管理工具内置库包/库：别人写好的代码，直接引用，加快开发效率。内置包：python解释器内置常用功能库。解释器安装目录/Lib文件夹下， os time urllib等文件夹里有__init__.py 就成了一个包。…import urllibfrom urllib import requestresponse = request.urlopen(‘http://baidu.com’)…关于HTTP模拟和HTML源代码解析python时代 url

基础知识（1）读纯文本文件mode参数为r，读文件，encoding设置编码方式file = open("./chinese.txt",mode="r",encoding="utf-8")content = file.read()print(content)file.close()（2）写纯文本文件mode参数为w，写文件，如果不存在该文件就创建一个文件大致内容和写纯文本文件一样（3）文本编码首先，快捷键ctrl+/（正斜杠）快速进行注释‘中’.encode(encoding=‘g

输入一串字符，统计每个字符数，用字典输出。思路：向一个字典中插入数据可以直接 字典名[键]=”值”所以直接定义一个空字典：char_counts={}然后使用for 循环，用count函数来计算对应字符在字符串中的个数即char_counts[char]=s.count(char) 最后直接输字典名即可。（补充：千万别把问题想复杂了，没必要）s= input("输入一行字符串或句子: ")char_counts={}for char in s: char_counts[char]=

标题输入一个5位数，判断它是不是回文数思路：可以专门写一个函数来判断回文数字。（1）于是定义一个palindrome函数,参数为传入的回文数。（2）比较len(s)/2次。真"除"用”//”（3）判断条件：if s[i]!=s[-i-1] 则返回错误，否则（else:）return “True”num = str(int(input('输入数字：')))# 判断是否为回文def palindrome(s): for i in range(len(s) // 2): i

请用程序实现用键盘模拟用户输入，判断输入的用户名或密码是否正确，并输出登录信息。如果输入的用户名存在，且密码正确，则输出success如果输入的用户名存在，但密码不正确，则输出password error如果输入的用户名不存在，则输出not found输入格式分两行输入，第一行为用户名，第二行为密码。示例输入zhangsan123456输出success思路：第一步：先判断username是否在users字典中存在。if username not in users，如果成立，则

这里写自定义目录标欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右请分别比较两个字符串中的每一个字符，将大的字符拼接成一个新的字符串，并输出SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次

正则表达式语法:一个正则表达式就是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。字符 描述\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转义符。例如，‘n’ 匹配字符 “n”。’\n’ 匹配一个换行符。序列 ‘\’ 匹配 “” 而 ““则匹配”(”。匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性

正则表达式语法:一个正则表达式就是由普通字符（例如字符 a 到 z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。字符 描述\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个后向引用、或一个八进制转义符。例如，‘n’ 匹配字符 “n”。’\n’ 匹配一个换行符。序列 ‘\’ 匹配 “” 而 ““则匹配”(”。匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性