- 博客(14)
- 收藏
- 关注
RSS订阅原创 大数据环境搭建
大数据环境搭建一、准备环境说明：为了简化和统一安装，这里对安装包的上传目录和安装目录进行统一，如果没有特殊说明，则默认上传和安装至以下目录：sudo mkdir /export/software/ #安装包上传目录sudo mkdir /export/servsers/ #安装包安装目录1. Java环境1.1 卸载系统默认安装的OpenJDK查询系统是否安装openjdksudo rpm -qa | grep java卸载openjdksudo rpm -e --n
2021-08-13 23:59:30
664
原创 机器学习系列|基于随机森林的生存分析模型-R实战
机器学习系列|基于随机森林的生存分析模型-R实战随机生存森林随机生存森林通过训练大量生存树，以表决的形式，从个体树之中加权选举出最终的预测结果。构建随机生存森林的一般流程为：Ⅰ. 模型通过“自助法”（Bootstrap）将原始数据以有放回的形式随机抽取样本，建立样本子集，并将每个样本中37%的数据作为袋外数据（Out-of-Bag Data）排除在外；Ⅱ. 对每一个样本随机选择特征构建其对应的生存树；Ⅲ. 利用Nelson-Aalen法估计随机生存森林模型的总累积风险；Ⅳ. 使用袋外数据计算
2021-08-13 23:56:44
8387
9
原创 揭秘 Vue.js 九个性能优化技巧
揭秘 Vue.js 九个性能优化技巧这篇文章主要参考了 Vue.js 核心成员 Guillaume Chau 在 19 年美国的 Vue conf 分享的主题：9 Performance secrets revealed，分享中提到了九个 Vue.js 性能优化的技巧。我看完他的分享 PPT后，也阅读了相关的项目源码，在深入了解它的优化原理后，把其中一些优化技巧也应用到了我平时的工作中，取得了相当不错的效果。这个分享可谓是非常实用了，但是知道和关注的人似乎并不多，到目前为止，该项目也只有可怜的几百个
2021-08-13 23:47:58
527
原创 Django性能优化大全!
Django性能优化大全!性能优化指标在对一个Web项目进行性能优化时，我们通常需要评价多个指标：响应时间最大并发连接数代码的行数函数调用次数内存占用情况CPU占比其中响应时间（服务器从接收用户请求，处理该请求并返回结果所需的总的时间）通常是最重要的指标，因为过长的响应时间会让用户厌倦等待，转投其它网站或APP。当你的用户数量变得非常庞大，如何提高最大并发连接数，减少内存消耗也将变得非常重要。在开发环境中，我们一般建议使用django-debug-toolbar和django-sil
2021-08-13 23:47:05
1370
1
原创 prefetch_related和select_related的区别
prefetch_related和select_related的区别prefetch_related和select_related的区别，以及更深入的应用这两个方法实在是太常见了，尤其是select_related已经在业务代码中使用过很多次，但是这次需要来对这两个在很多方面相似的函数在使用层面上做一个彻底的分析来明确它们的区别如果非要从返回的结果这个视角来看这两者的作用，那么其实一句话就可以概括了：select_related的功能是prefetch_related的子集，任何可以用select_
2021-08-13 23:46:29
558
原创 DJango性能优化
性能和优化¶本文档概述了一些技术和工具，这些技术和工具可以帮助您更有效地运行Django代码——更快，并且使用更少的系统资源。介绍¶通常，首先要考虑的是编写 能工作的 代码，它的逻辑功能与产生预期输出所需的逻辑功能相同。然而，有时，这并不足以使代码像人们所希望的那样 高效地 工作。在这种情况下，需要的是一些东西——在实践中，通常是一组东西——以提高代码的性能，而不影响或只影响其行为。一般方法¶你在为 什么 而优化？¶清楚地理解你所说的“绩效”是什么很重要，因为它不仅仅是一个指标。提高速度可能
2021-08-13 23:45:53
755
原创 Optimizing slow Django REST Framework performance
Optimizing slow Django REST Framework performanceNov 23, 2015 • Scott StaffordUPDATE: We are available for consulting work. Please reach out to Math and Pencil, our small consulting company, if you are looking for help with performance problems in your w
2021-08-13 23:44:50
172
原创 nginx +uwsgi + django
1.首先解决依赖问题：Nginx编译需要的主要的东西 zlib， pcre， openssl都可以源码安装， nginx编译过程 中会让你指定pcre和zlib的目录 指在解压过后的目录就可 期间会出找不到文件 需 将依赖包编译一下 ./configure make make install2.安装anaconda3（python） 和 virtualenv（可选）3.配置django （...
2019-06-12 09:16:50
195
原创 ubuntu编译c++版tensorflow
ubuntu 编译c++版tensorflow编译了一个星期的血泪史 ， 首先来看看我的各种版本首先Tensorflow版本无所谓 你想用哪个版本就用哪个版本我这里用的是除了2.0意外git上最新的版本：系统版本是win10的内置：Bazel用的是：最重要的protobuf！！！ 版本必须1对1， 我在别人的blog中也没找到对应的版本（只告诉要对应好， 我就各种尝试更换版本！！，我的天）这个找稍...
2019-04-02 18:23:59
958
2
转载 海量数据处理：十道面试题与十个海量数据处理方法总结
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率...
2018-10-28 15:21:28
215
原创 NLP之分词
分词规则分词前向最大匹配法找到词典中最长词的长度I，将当前需要分词的字符串截取前I个在字典中进行匹配，找到匹配成功。找不到匹配失败，将截取的前I个字符的最后一位过滤掉，继续匹配，直到全部匹配完成 字典为：[南京市长，长江大桥] 指定字符串： 南京市长江大桥 返回结果为： 南京市长， 江，大桥 很明显满足不了我们所需要的分词结果后项最大匹配法原理和正向的相同，只是从字符串尾部开...
2018-10-23 13:47:27
323
原创 [Python] 安装包的时候出错：VS14.0 link.exe failed with exit status 1158
本人anaconda5.3 对应的python3.7 已装好surprise但是python3.6的虚拟环境 安装surprise失败已经安装好buildTools 开始报这个错 （之前缺少VS14.0, python3.7的确没有）如下：1、将C:\Program Files (x86)\Windows Kits\10\bin\x64 加入环境变量2、从C:\Program File...
2018-10-22 17:28:17
9616
20
原创 解决安装好cuda和cudnn导入tensorflow 各种报错的问题
cuda的版本有着决定性的作用第一次我下载的9.2 各种找不到dll文件 改名也没用对应好 tensorflow版本还是不行，给我报一个Failed to load the native TensorFlow runtime第二次我下载的8.0（朋友在用），错还是各种报最后一次我用的之前的版本9.0 解决了这个问题（考虑到应该是显卡驱动和cuda应该是相关的）和我一样恶心这个问题的可以现在...
2018-10-22 10:52:39
1894
1
原创 七大七大经典排序算法总结
七大七大经典排序算法总结（C语言描述）一.交换排序1.冒泡排序2.快速排序二.插入排序1.直接插入排序2.希尔(shell)排序三.选择排序1.直接选择排序2.堆(Heap)排序四.归并排序总结如下：一.交换排序交换排序的基本思想都为通过比较两个数的大小，当满足某些条件时对它进行交换从而达到排序的目的。1.冒泡排序基本思想：比较相邻的两个数，如果前者比后者大，则进行交换。每一轮排序结束...
2018-10-18 13:58:51
599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人