RonieWhite的博客

记录一些pyspark的简单程序......WordCount读取hdfs文件,wc：from pyspark import SparkContext, SparkConf"""Pyspark Word Count Demo"""def sorted_all_result(wc_rdd): """ WordCount取全量，collect()之后排序 :param wc_rdd: RDD :return: """ word_list

这里演示的是一个报数的场景，100个人的队列进行报数，如果一起报肯定得不到真实的人数。那么体现在多线程中就是，在“报数”这个过程中，应该上一把锁，去保证每次只能有一个人报数，报完数拿到最新的人数之后，下一个人才能继续报数。下面是具体演示代码：1、没上锁的：from threading import Threadfrom time import sleepfrom random imp...

在kaggle上看到一个感兴趣的数据集，学习了其中一个kernel，然后根据自己目前的实际情况改写了做云图的部分代码，分享到这里，希望能帮助到看到这篇博客的朋友，感谢大神的无私奉献。。kaggle链接有兴趣的朋友可以进去看看，不多说了，下面开始：这部分代码用到的python三方库包括：numpy pandas matplotlib wordcount jieba pillow如果你...

# 多进程--模拟三个窗口同时卖票from multiprocessing import Processfrom time import time, sleepfrom random import randintdef sell_tickets(window): print("窗口%d开始售票" % window) process_time = randint(...

没事写着玩。。。# 公鸡5元一只 母鸡3元一只 小鸡1元三只# 用100元买100只鸡 问公鸡/母鸡/小鸡各多少只def main(): # 公鸡不会超过100/5=20只 for x in range(20): # 母鸡不会超过100/3≈33只，向下取整 for y in range(33): z = 100 -...

1、先通过pip安装所需包 如果连接数据库为Oracle，本处使用cx_Oracle：pip install cx_Oracle 为PostgreSQL，本处使用psycopg2：pip install psycopg2 为MySQL，本处使用pymysql：pip install pymsql2、操作Oracle示例：import cx_Ora...