自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

ydq1206的博客

pends 优快云认证博客专家优快云认证企业博客

码龄10年

14: 原创

41万+: 周排名

142万+: 总排名

4万+: 访问

: 等级

550: 积分

15: 粉丝

7: 获赞

15: 评论

30: 收藏

私信

关注

热门文章

分类专栏

大数据学习 17篇
spark 3篇
DL 3篇
写博客的小技巧 1篇
python学习 2篇
numpy学习
hive 5篇
shell 1篇

最新评论

常见推荐系统—综述
_努力瘦到94斤: 博主参考的是哪篇论文
Spark+Python+Pycharm在Windows下的配置
贝尔狂虐伊莲娜: [code=python] from pyspark import SparkContext print(1) sc = SparkContext('local') doc = sc.parallelize([['a','b','c'],['b','d','d']]) words = doc.flatMap(lambda d:d).distinct().collect() word_dict = {w:i for w,i in zip(words,range(len(words)))} word_dict_b = sc.broadcast(word_dict) print(2) def wordCountPerDoc(d): dict={} wd = word_dict_b.value for w in d: if dict.__contains__(wd[w]): dict[wd[w]] +=1 else: dict[wd[w]] = 1 return dict print(doc.map(wordCountPerDoc).collect()) print("successful!") [/code] 这是对应的python3的代码，字典没有has_key方法了
Spark+Python+Pycharm在Windows下的配置
大小宝: 不管用，报错啊
Spark+Python+Pycharm在Windows下的配置
大小宝: 博主，求助[code=javascript] D:\Anaconda\envs\py27\python.exe E:/PersonData/PythonStudy/Pyspark/le1/demo.py Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/01/14 11:30:21 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Traceback (most recent call last): File "D:\Anaconda\lib\runpy.py", line 183, in _run_module_as_main mod_name, mod_spec, code = _get_module_details(mod_name, _Error) File "D:\Anaconda\lib\runpy.py", line 109, in _get_module_details __import__(pkg_name) File "<frozen>", line 983, in _find_and_load File "<frozen>", line 967, in _find_and_load_unlocked File "<frozen>", line 668, in _load_unlocked File "<frozen>", line 638, in _load_backward
Spark+Python+Pycharm在Windows下的配置
大小宝: 博主，我按你的操作了，代码可以写，包也能导入，也能自动补全，但是不能运行，报错。[code=plain] D:\Anaconda\envs\py27\python.exe E:/PersonData/PythonStudy/Pyspark/le1/demo.py Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/01/14 11:30:21 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Traceback (most recent call last): File "D:\Anaconda\lib\runpy.py", line 183, in _run_module_as_main mod_name, mod_spec, code = _get_module_details(mod_name, _Error) File "D:\Anaconda\lib\runpy.py", line 109, in _get_module_details __import__(pkg_name) File "<frozen>", line 983, in _find_and_load File "<frozen>", line 967, in _find_and_load_unlocked File "<frozen>", line 668, in _load_unlocked File "<frozen>

最新文章

python学习

关注

文章平均质量分 79

关注数：文章数：2 文章阅读量：22198 文章收藏量：19

作者: pends

喜欢大数据、深度学习、计算机视觉等先进的技术

展开