sinat_36115361的博客

原创 Python自然语言处理：文档相似度计算（gensim.models）

目录1. tf-idf 2. 仅频率 3. 仅出现与否 4. word2vec 5.doc2vec 6.N-gram 7.其他本文对Python的第三方库gensim中的文档相似度计算方法进行探索。官方文档见：https://github.com/RaRe-Technologies/gensim/tree/develop/gensim/models

原创 R语言实现多维尺度分析（Multidimensional Scaling，MDS）

【降维】R语言实现多维尺度分析（Multidimensional Scaling）MDS

原创 R语言实现行为特征分析（Behavioral Profile，BP）+层次聚类分析（hierarchical agglomerative cluster analysis，HAC)

R语言实现corpus-based lingustic中的Behavioral Profile（BP, 行为特征理论）

原创 为什么pip list里面的包版本和import的包版本不一致？

原因是：pip安装和卸载的位置如下，import的位置如上，是不同的解决方案：删掉版本错误的那个的文件夹，保留正确的那个即可

原创 AttributeError: module ‘tensorflow‘ has no attribute ‘get_default_graph‘

应用lstm模型，tensorflow=2.4解决方案：把 from keras.layers import ...改成 from tensorflow.keras.layers import …原因，如果直接from keras来import包的话，默认引用的是keras包内的内容，但是lstm是tensorflow下的keras里的内容。【如果不写清楚的话会出现各种奇怪的错误】...

原创 文献学习 Efficient detection of contagious outbreaks in massive metropolitan encounter networks

“friendship paradox’’： your friends have more friends than you do一个简单而有效的策略是从人群中寻找朋友传感器，以便在不绘制社交网络详细结构的情况下早期发现传染病暴发。该方法背后的内在原理是：当网络具有异质度分布时，随机选择的一个顶点（在控制组中）的“朋友”（邻居；在朋友组中）平均具有更高的度，这意味着朋友组比控制组（或总体）更为中心。这通常被称为“友谊悖论”；你的朋友比你有更多的朋友。本文验证这个定律是否在传播疾病的网络中存在。...

原创 文献学习 Big data in gastroenterology research

这篇文章发表于Nature（18 August 2014），引用了GFT原始论文（Ginsberg, J. et al. Detecting influenza epidemics using search engine query data. Nature 457, 1012–1014 (2009).），是一篇综述文章，由从大数据中挖掘事件趋势的文章思路出发，总结了医疗方面应用大数据预测/展现公共卫生情况、医疗（特别是消化系统疾病方面的医疗问题）现实状况的案例和算法。摘要内容：在流行病学研究中，大数据

原创 读论文31.A Variable Reduction Strategy for Evolutionary Algorithms Handling Equality Constraints

1请抄写抽到论文的题目,并用中文翻译论文题目和关键词。(10分)A variable reduction strategy for evolutionary algorithms handling equality constraints处理等式约束的进化算法的变量约简策略进化计算；约束优化；等式约束约简；变量约简2 请简述该篇文章摘要的大意。(20分)有效的约束处理技术对于进化算法在约束优化问题中的应用具有重要意义。通常，当使用EAs来处理COPs时，与不等式约束相比，等式约束更难满足。在本研究

原创 读论文30. A pure proactive scheduling algorithm for multiple earth observation satellites under uncerta

1请抄写抽到论文的题目,并用中文翻译论文题目和关键词。(10分)A pure proactive scheduling algorithm for multiple earth observation satellites under uncertainties of clouds云不确定条件下的多对地观测卫星主动调度算法对地观测卫星·云的不确定性·期望模型·机会约束规划·分支与价格·样本近似·列生成启发式2 请简述该篇文章摘要的大意。(20分)本文研究了云不确定条件下多颗对地观测卫星(EOSS)

原创 读论文29.Towards dynamic real-time scheduling for multiple earth observation satellites（卫星的，多目标的实时调度优化）

1请抄写抽到论文的题目,并用中文翻译论文题目和关键词。(10分)Towards dynamic real-time scheduling for multiple earth observation satellites多颗对地观测卫星动态实时调度的研究对地观测卫星；动态实时调度；动态合并；任务回撤；启发式算法2 请简述该篇文章摘要的大意。(20分)建立了对地观测卫星动态实时调度的多目标数学规划模型，为了提高用户收益和资源利用率，提出了一种任务动态合并策略。在动态合并的基础上，考虑了部分调度任务的

原创 读论文1.Preference-inspired co-evolutionary algorithms using weight vectors 使用权重向量的偏好启发式协同进化算法（多目标优化算法）

1请抄写抽到论文的题目,并用中文翻译论文题目和关键词。(10分)Preference-inspired co-evolutionary algorithms using weight vectors使用权重向量的偏好启发式协同进化算法进化算法，多目标优化，多目标，协同进化，权重2 请简述该篇文章摘要的大意。(20分)在解决多目标优化问题的基于分解的算法领域提出了使用向量的偏好激励协同进化算法（PICEA-w)，解决了缺乏问题几何先验知识难以设置较好权重的问题，权重与候选解在搜索过程中进行协同进化，

原创 word 图表目录 图表题注

1、如何将图目录与表目录分开显示https://wenku.baidu.com/view/dff610d6482fb4daa48d4ba4.html#引用→插入题注，主要是设置题注的标签（交叉引用好像也可以实现该功能）2、如何查看、修改文档中已有的题注已有题注列表：引用→插入表目录编辑每个题注：据我所知只能删除重建。根据标签（图、表）分别生成图题注和表题注，可以把章节号和图表号连接起来，但是需要章节标题和开始菜单的多级标题相连接，如果模板中的章节标题格式不在多级标题中就不能连接了。...

原创 word表格标题和表格如何不分开

选中表格标题→段落→换行和分页→与下段同页、段中不分页

原创 解决word模板目录域更新失败的问题

学校发的毕业论文模板有点问题，目录结构的问题，标题大纲结构有了，标题样式集也有，但是目录域、图表的目录域更新就会失败，找不到项。解决方法：把各级标题设置成对应的标题样式，之后再更新目录域即可。（快捷方式：选中一个标题→编辑→选择→选中所有格式相似的内容→选择应用该机标题的样式）...

原创 2019腾讯算法广告大赛冠军方案复现遇到的问题 python

2019腾讯算法广告大赛冠军方案复现遇到的问题把时间戳变成local时间，以及日期字符串，截取时间的某部分（月、年）df[‘date’] = df[‘request_timestamp’].apply(time.localtime)df[‘date_str’] = df[‘date’].apply(get_date_str)df[‘wday’] = df[‘date’].str[6]df[‘hour’] = df[‘date’].str[3]df[‘minute’] = df[‘date’].

原创 Jupyter Notebook 强制停止 发生改变（重载/取消/重写）

Jupyter Notebook无法强制停止一直在运行的框（框前方显示*的），强制停止就无法保留当前的变量笔记本发生改变，不要重载不要重载不要重载！！！（重载就会把当前结果覆盖掉，变量都没了）...

原创 R语言 network包 network类型变量含义

R语言 network包 network类型变量内含的变量分别代表什么：mel 每条边的起点和终点gel 网络简单的统计信息（节点总数，涉及到的节点数）val 每个节点的名称iel 每个节点被当做target的顺序oel 每个节点被当做source的顺序...

原创 对一组数据点进行幂律分布拟合

原创 mathtype 花体字

菜单→样式→其他→Euclid Math One→键盘输入想要的字母即可

原创 bibtex格式的文本转endnote可导入的文件

复制文献的bibtex格式的完整文本信息.打开Texworks→粘贴→保存成bib文件下载解压安装bib2endnote.jar 下载网址：http://ucla.jamesyxu.com/?p=81 （here处）点击file,Open BibTex(.bib) file选择要转换的bib文件等待几秒后，程序运行完毕，此时执行File/Save EndNote XML，将其存为.xml文件endnote导入该文件，import option要选endnote generated xm.

原创 pycharm中打开ipynb文件

在terminal中输入jupyter notebook实现从网页中打开。如果是2019版，确保使用PyCharm专业版，Community Edition不包括Jupyter笔记本集成。

原创 机器学习应用——Titanic数据挖掘二分类预测

数据预处理1.1 缺失值填补参考：https://blog.youkuaiyun.com/u014365862/article/details/51769308embarked 上船地点cabin 船舱号age 年龄数值型：随机森林（或者线性模型）预测填充字符串：出现最多的字符串填充1.2 观察各个变量与目标的关系参考：https://blog.youkuaiyun.com/guoxinian/art...

原创 python os+shutil实现原文件夹文件到目标文件夹的剪切

python os+shutil实现原文件夹文件到目标文件夹的剪切import osimport shutildef move(before, after):shutil.move(before,after)#原文件夹file_list = [‘E:\BaiduNetdiskDownload\’+i for i in os.listdir(r’E:\BaiduNetdiskDownload’) if (i[-4:] == ‘.csv’)]for i in range(len(file_list

原创 Vaex安装及使用记录

一 安装1 windows尝试失败（无论是pip 还是anaconda)2 Ubuntu conda 一次成功二 使用1 首先将csv文件转换成hdf5文件# 注意：csv转换成hdf5时column的名称不能含有中文pandas_df = pd.read_csv(file_path)vaex_df = vaex.from_pandas(pandas_df, copy_index=F...

原创 networkx.generators的各种网络图功能总结及示例

import networkx as nxatlas（i）这是一个编号好的网络图集，输入编号可以获得对应的图信息，编号从0到1252,节点从0个到8个。eg: graph = nx.graph_atlas(1252)classic2.1 balanced_tree（r,h）返回平衡二叉树的图，层数是h，除了叶子节点外每个节点的度是reg: graph = nx.balanced_...

原创 pip conda 包 版本问题

pip 升级包：pip install --upgrade pandasconda升级包：conda install pandas=0.24.2查看当前程序使用的python版本：import osimport sysprint (sys.version)查看当前程序引用的包的版本：没看到做法。有的能在help(package_name)处看到VERSION号...

原创 dataframe问题

定位df.loc[:,[‘date’]]df.iloc[1,2]注意：修改定位的值时，只能用loc删除df.drop(‘Unnamed: 0’,axis=1)修改索引df.index=list_index合并append： 上下 首先有个df 然后df = df.append(df1)join/merge/concat : 左右 pieces = [df1,df2...

原创 matplotlib绘图问题

dataframe参考： https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.plot.htmldataframe画图默认是每一列为一个整体（图例中的一条线），x值是索引值。df.plot(kind=‘hist’) 等价于 df.hist(); 但可以df.plot(kind=‘line’...

原创 pydot无法使用graphviz解决方法

conda install graphviz下载graphviz的zip或者msi，讲安装文件夹放到anaconda文件夹下，目录添加到环境变量即可。

原创 pdf中复制下来的文字，多余空格的去除方法

在python中调用replace函数进行处理：a = ‘h t t p s : / / g i t h u b . c o m / P y t h o n 3 W e b S p i d e r’#这个字符串中的文字包含多余的空格b =a.replace(’ ‘,’’)b#去除并不需要的空格的字符串‘https://github.com/Python3WebSpider’...

原创 阿里云服务器布置python程序运行环境

python+mongodb购买windows server 2016 数据中心版 中文版1 vCPU 2 GB (I/O优化) ecs.n4.small 1Mbps连接在线连接：记住远程连接密码（6位）本机电脑端远程连接：记住用户名（公网IP）和密码（大写小写数字都有）传本地文件本机电脑端远程连接的时候，打开选项→本地资源→详细信息，可以选中本机的磁盘在云服务器...

原创 'gbk' codec can't encode character '\u22ef' in position 17

https://www.jb51.net/article/143722.htmresult[‘nick_name’]=data[‘nickname’].encode(‘gbk’, ‘ignore’).decode(‘gbk’)

原创 dataframe对某一列数据sklearn标准化

出错的代码：import sklearn.preprocessing as preprocessingscaler = preprocessing.StandardScaler()age_scale_param = scaler.fit(df[‘Age’])df[‘Age_scaled’] = scaler.fit_transform(df[‘Age’], age_scale_param)...

原创 scikit-learn 升级到指定版本

在cmd下输入命令：一、先换源清华源 官方网址：https://mirror.tuna.tsinghua.edu.cn/help/anaconda/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mi...

原创 更新sckit-learn

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yesconda update scikit-learny

原创 tensorflow 安装

pip install --upgrade --ignore-installed tensorflow

转载 aprior hash桶

就以书上例6.3（数据挖掘概念与技术p165）来讲，（hash函数少打印了后半个小括号）当得到候选2项集的集合C2={{I1，I2}，{I1，I3}，{I1，I4}，{I1，I5}，{I2，I3}，{I2，I4}，{I2，I5}，{I3，I4}，{I3，I5}，{I4，I5}}时,想要压缩候选2项集个数：T100有子2项集：{I1，I2}，{I1，I5}，{I2，I5}T200有子2项集：{...

原创 cannot import name dataset；'sklearn' is not a package

Python pycharm引用报错：cannot import name dataset；‘sklearn’ is not a package出现的一个可能原因：py文件的名称起成了：sklearn。。。

原创 LTP语言技术平台引用外部字典

LTP语言技术平台分词引用外部字典文件的类型一定是纯text，也就是没有后缀.txt的那种，我只知道在pycharm中新建的file类型是纯text.注意引用外部字典之后，加载函数不再是load（cws_model_path）而是变成了load_with_lexicon(cws_model_path, ‘外部字典的位置和名称’)分词和词性都可以引用外部字典。...