
机器学习
文章平均质量分 63
一只野猪佩奇
这个作者很懒,什么都没留下…
展开
-
jieba分词、多进程进度条显示
jieba安装pip install jieba 详情参考官网项目地址数据集提供一份来自搜狐网的数据集(移动端网页更好爬),这里使用bz2格式保存速度和大小较为均衡,通过pandas读入。df = pd.read_pickle(YOUR_PATH)使用jieba分词要使用不同模式参考官网文档这里给出个示例,对content列进行默认模式中文分词,并去掉标点符号import jieba.posseg as psegdef content100_to_word(line): tr原创 2021-05-07 15:49:40 · 793 阅读 · 0 评论 -
Tensorflow2/Pytorch GPU 安装过程
一、前置条件在正式安装前,需要以下条件:会使用conda创建和激活环境有一张nvidia的显卡,且CUDA compute capabilitiy 不低于3.5.(只要显卡不是很旧应该行)显卡驱动版本大于418.x(此处是2.3版本的需要,具体版本参考官网),不是的话需要去更新,提供一个官网地址。此外如何查看驱动版本两个方法:1.点击nvidia设置查看左下角的系统信息可见版本。2.在dos命令行中通过nvidia-smi可见(如果报错应该是环境变量需要设置)二、创建环境并安装依赖(示例是2.原创 2021-04-27 23:29:53 · 1685 阅读 · 2 评论 -
kaggle如何联网(pip/wget)-- 使用GoogleCloud
在Kaggle上安装第三方库/wget下载在默认情况下,kaggle的Kernel不能使用联网的bash命令,诸如wget、pip等,可能会出现如下错误WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘NewConnectionError(’<pip._vendor.urllib3.connection.Veri原创 2021-03-06 19:41:02 · 5558 阅读 · 3 评论 -
Tensorflow的初步学习和总结
学习tensorflow的经验和总结现在是个人均机器学习的时代,tensorflow更新到2.0更加容易上手,本文从搭建环境到模型构建给出一点示例以供学习关于搭建环境如果是初学TF建议使用cpu版本,这样省去诸多麻烦。例如gpu版本需要电脑gpu支持(nividia,需要驱动),并且安装cuDnn和cudatoolkit(需要和tensorflow版本对应),另外python高版本还未适配tensorflow所以不能安装过高版本,此时anaconda闪亮登场,它不仅能虚拟环境让py、包等与系统隔离原创 2021-02-24 22:07:22 · 252 阅读 · 0 评论