踩坑日记-记录那些年踩过的坑

最新推荐文章于 2025-09-23 22:56:23 发布

原创最新推荐文章于 2025-09-23 22:56:23 发布 · 置顶 · 369 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #大数据

本文深入解析了大数据开发、Python web开发、爬虫开发及数据分析中常见的技术难题，包括IDEA中Scala插件添加、Django框架运行时的编码问题、数据库操作错误、中文数据存储MySQL的报错以及Git的本地配置与上传步骤。提供了详尽的解决方案，覆盖组件搭建、开发过程中的各种挑战。

大数据开发篇：

一，组件搭建中

scala在IDEA里面不能添加插件的问题

解决方式：解决方式：删除C盘里面的IDEA的目录，重启IDEA，在IDEA里面选择scala插件下载
搭建zk环境时报错：拒绝连接

解决方式：1、检查其他机器，发现JDK版本不一样，版本统一后问题解决

二，开发中

python开发篇：

一， web开发中

django框架运行时报错：
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa6 in position 9737: illegal multibyte sequence
解决方法：
这个属于编码问题，点击错误提示上面的 t = DEBUG_ENGINE.from_string(fh.read())
将open（）内添加 encoding=‘utf-8’即可
django框架中，操作数据库时报错：Data too long for column ‘course_filename’ at row 1
解决方法：相对应的字段添加长度限制或者加大长度限制比如：max_length 加大一点

二，爬虫开发中

中文数据存储mysql中报错
这里存储的时候很容易报错：1366-Incorrect string value：’\xE6\x9D\x8E\xE5\xAD\xA6…'for column ‘name’ at row 1
解决方式：修改表、库和字段的编码方式为utf8

三，数据分析中

工具篇：

Git
本地配置git时
本地项目上传步骤：
首先要安装并配置Git；
a. 在本地待上传的文件夹，右键选择：Git Bash Here
b. 执行：git init
c. 执行：git add .（add空一格加点）
d. 执行：git commit -m “注释的内容” #提交到本地仓库
e. 执行：gitee： git remote add origin 远程项目的Https地址
f. 执行：git push -u origin master -f #-f强制上传
g.弹出帐号密码框时：输入账号密码。
h.上传成功，可在gitee仓库

当出现who are you的提示时，应添加自己的用户名和邮箱
git config --global user.name “username”
git config --global user.email “email”
当出现用户账号错误时
在控制面板> 用户账户> 凭据管理，修改账号密码即可
当出现 not found 时
在当前项目文件下，打开 .git 文件夹修改config中的url地址即可

待持续更新…