doctorone的博客

原创 网站架构过程

1，根据业务需求，思考开发实现逻辑（面向对象思想）2，根据架构模式，进行架构3，性能，高可用，扩展性，伸缩性，安全性这几个方面进行优化架构模型：纵向分层，横向分割，集群，分布式，异步，缓存，冗余，自动化，安全分层模式：应用层，服务层，数据层横向分割：业务模块分割，分布式服务，统一登陆，soa,微服务，分布式：所有的层与模块 独立服务器部署异步：降低服务压力（celery,kafka,rabbitmq）缓存：多级缓存，数据库，浏览器，分布式冗余：数据备份，多服务冗余下次

原创 django 实现 多人聊天 实时通信方式总结

1，前端轮询（轮询 聊天室 和 每个聊天室的 消息）短轮训：不断轮训聊天室 和聊天室的 最新的消息获取聊天室 的时候 拿到最近 历史消息聊天室的 最新的消息mysql : 用户表：创建好友，陌生人，黑名单，群 聊天室表： 消息表：存储 每个聊天室的消息（不需要持久化，可以放到 redis）（各种 状态） 通过createtime 获取 最新的消息（前端传回来）长轮训：通过可以堵塞的队列 实现不断轮训聊天室 和聊天...

原创 读书 方法总结

读书 总的核心观点 是形成思维导图1，每天总结，每天形成思维导图 （学习）2，每章节 形成思维导图（复习）3，读完之后 形成思维导图（复习）

原创 读书笔记-产品经理-前言

任何类型的知识学习方法：理解 ----记忆方法轮----记忆方法论使用案例---使用-----每天的学习笔记总结----复习理解的目的：是更加容易去记忆和使用，其中会使用 是最终目的，所以需要去边理解边使用记忆：当然是 方法论，+ 使用案例使用：边理解 边使用总结：1，知识点梳理 ，2自己的话总结定期复习...

原创 http1.1,web，requests，大文件传输的总结

1，http 协议的理解a，http 协议 本身只是一个标准，规定了 客户端和服务端，按照怎样的规则去组织数据，解析数据b, http 协议 本身不会有任何代码的实现，都必须由客户端，服务器按照标准 去实现 请求和响应的组织和解析c, http传输，本质是socket 传输，本身就是一个流，对于数据的传输（大文件，大数据），都是客户端和服务器 代码通过http 协议规则去解析，大文件，大数据 按照http协议 中的相应规则去组织数据 文件（content-type mutipart,trans.

原创 知识图谱应用场景的设计与理解

图数据的导入：两个思路：1，结构话数据，提供统一字段结构（点label表，边label表），或者做字段映射。2，非结构话数据，小数据：通过人工标注平台，大数据 通过 nlp 抽取（难度很大，可以先抽点，在标关系）1，基于图的搜索：两个部分部分1:基于图的搜索，简单实现，不要kbqa点(点label-)------边(边label)----属性，三者之间的关联关系的搜索。一般...

原创 webpack path publicpath 的区别

一般情况的打包目录：path: index.html xx/app.js xx/main.css xx/logo.pngpath：是打包文件 本地输出目录publicpath：在服务器上的发布目录（建议绝对路径，相对路径也可以，但是注意的是相对index.html服务器发布目录）app.js 会渲染进入 index.html ...

原创 web 总结 前后端分离，跨域伪造请求CRSF,权限认证

前后端分离： 跨域伪造请求CRSF：1，通过get_token（）view函数 通过对称加密，前端http 请求 携带 加密token 2，后台存储token 到sesson（分布式的），前端请求应该携带这个请求，后台比对 用户权限认证，强制登陆：jwt 来实现，方便前后端分离大概流程前端——...

原创 架构设计

转载 greenplume 安装

Centos7下安装及配置GreenPlum 5.11.1数据库2018年10月12日 15:27:26未编辑阅读数：1969系统环境：版本：Centos7.2.5本教程是三台Linux虚拟机，一台做数据库主机master，两台节点segment的集群（无安装备用主机节点，末尾有安装教程）。1 21、系统配置 （root用户下，所有机器都需配置）。1）关闭防火墙...

原创 安装greenplum 报错

1，configure: error: GPOS header files are required for Pivotal Query Optimizer (orca)./configure --prefix=/usr/local/greenplum-5.6 --disable-orca2，安装postgreSQL出现configure:error:readline library...

转载 linux 用户权限，文件权限，sudo 讲解

useradd -d /data/duser -m duser：创建用户：/data/duser 为用户家目录，拥有者：duser,echo "duser:5VSDHai4" |chpasswd：修改密码echo "duser ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers：赋予权限sudo command ：暂时切换到root 用户执行...

转载 nfs

http://blog.51cto.com/mrxiong2017/2087001NFS是Network File System的缩写，即网络文件系统。客户端通过挂载的方式将NFS服务器端共享的数据目录挂载到本地目录下。一、NFS的工作流程 1 2 3 4 1、由程序在NFS客户端发起存取文件的请求，客户端本地的RPC(rpcb...

原创 yum 下载不安装 软件及其依赖 离线安装rpm

centos 7 以上：yum install xx --downloadonly --downloaddir=/temp然后上传离线环境，rpm -ivh --force --nodeps *rpm或者yum localinstall -y *.rpm创建用户：useradd -d /xx/xx -m dusereacho 'duser:123456' | chpassw...

原创 nas 的两种挂载方式

https://jingyan.baidu.com/article/5bbb5a1beaf44313eba179b5.htmlyum installnfs-utilsmount -t nfs 192.168.0.1:/data /data1开机自动挂载如果需要开机自动挂载，写入开机文件里面vi /etc/rc.d/rc.local...

原创 k8s configmap 样本

---kind: ConfigMapapiVersion: v1metadata: name: prod-configs namespace: jzyqdata: log_conf.py: "#!/usr/bin/env python\n# -*- coding: utf-8 -*-\nimport os\n\n# LOG_FILE\ \ = '../logs/root...

原创 k8s pv 与pvc样本

apiVersion: v1kind: PersistentVolumemetadata: name: jzyqprod-logs namespace: jzyq labels: type: pespec: capacity: storage: 1024Gi volumeMode: Filesystem accessModes: - ReadW...

原创 k8s svc （clusterip）+ingress (负载均衡) 样本

svc （clusterip）：---kind: ServiceapiVersion: v1metadata: name: prod-svc-data-receiver namespace: jzyqspec: clusterIP: 10.96.0.13 ports: - name: data-receiver protocol: TCP por...

原创 k8s pv pvc 模版

apiVersion: v1kind: PersistentVolumemetadata: name: jzyqprod-data namespace: jzyq labels: type: pespec: capacity: storage: 1024Gi volumeMode: Filesystem accessModes: - ReadW...

原创 k8s configmap 样本

---kind: ConfigMapapiVersion: v1metadata: name: prod-monitor namespace: jzyqdata: log.txt: |- #monitor_type, module_name, module_user, log_pos, time_fmt, monitor_str, monitor_num(monitor...

转载 kubernetes 入门讲解

原文：https://mp.weixin.qq.com/s/HEUIWK4skqMge8oziQg6Nwkubernetes简单介绍1kubernetes起源Kubernetes最初认为是谷歌开源的容器集群管理系统，是Google多年大规模容器管理技术Borg或Omega的开源版本。准确来说的话，kubernetes更是一个全新的平台，一个全新的平台管理工具，它是...

原创 k8s 私有库secret配置

#拉取私有库的镜像{ "kind": "Secret", "apiVersion": "v1", "metadata": { "name": "mysecret" }, "data": { ".dockerconfigjson": "ewoJImF1dGhzIjogewoJCSJkb2NrZXJodWIuZGF0YWdyYW5kLmNvbSI6IHsKC...

原创 k8s service nodeport

#nodeport---kind: ServiceapiVersion: v1metadata: name: ner-rpc namespace: zzyyspec: type: NodePort ports: - protocol: TCP port: 9400 targetPort: 9400 nodePort: 9400 selec...

原创 k8s deployment 样本

#注意以下样本没有health check ,监测到容器无法提供服务了就暴力重启 -> https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-probes/---kind: DeploymentapiVersion: apps/v1beta1metadata: ...

原创 k8s namespace 样本

apiVersion: v1kind: Namespacemetadata: name: zzyy

原创 离线安装python安装包 Windows，centos 平台

1.制作requirement.txt　　pip freeze > requirement.txt内网安装外部依赖包办法：例如:安装pytest包得时候会顺带安装pytest依赖包离线下载安装包下载单个离线包 - pip download -d your_offline_packages<package_name>批量下载离线包 - pip downloa...

原创 k8s deployment yaml 参数模版(注意黑体质)

#secrets与configmap 默认readonly{ "kind": "Deployment", "apiVersion": "extensions/v1beta1", "metadata": { "name": "search-online", "namespace": "zzyy", "selfLink": "/apis/extension...

原创 docker bind_mount 权限问题解析

运行 docker run,在linux上面首先是 root 用户来挂载：比如：docker run -v /data:/data1 nginx 宿主机root先创建没有的目录，由root挂载到/docker/xxx/overlay/data1，这两个文件/data,/data1都是 root用户的，如果容器不是root,不能向写入/data1，改变/data的权限才行，chmod 777 ...

原创 yum yum获取离线安装包

做企业应用，有些场景下面是需要离线安装的环境，linux系统需要的一些rpm包就需要做离线安装。#修改yum设置，让rpm包缓存到本地vi /etc/yum.conf#修改keepcache为1keepcache=1#清空yum缓存yum clean all#安装你要离线安装的rpm包yum install xxx.rpm -y#rpm包缓存到了/var/cache/yum下...

原创 离线安装pip,以及python 包

1，现在有网的环境，下载setuptools和pip 压缩包：setuptools 的下载网站：https://pypi.python.org/packages/45/29/8814bf414e7cd1031e1a3c8a4169218376e284ea2553cc0822a6ea1c2d78/setuptools-36.6.0.zip#md5=74663b15117d9a2cc5295d76...

转载 centos7 关闭防火墙

CentOS 7.0默认使用的是firewall作为防火墙查看防火墙状态firewall-cmd --state1停止firewallsystemctl stop firewalld.service1禁止firewall开机启动systemctl disable firewalld.service 1转自：CentOS 6和CentOS 7防火墙的关闭关...

转载 k8s 基础组件，流程原理，讲解基础

K8S基础概念一、核心概念1、NodeNode作为集群中的工作节点，运行真正的应用程序，在Node上Kubernetes管理的最小运行单元是Pod。Node上运行着Kubernetes的Kubelet、kube-proxy服务进程，这些服务进程负责Pod的创建、启动、监控、重启、销毁、以及实现软件模式的负载均衡。Node包含的信息：Node地址：主机的IP地址，或Node ID...

转载 docker network bridge与docker0

总结：默认的name为：bridge 网络，会创建docker0 网桥，用于连接容器，具体看下面自定义mybridge 网络，会创建相应的网桥，具体看下面首先我们使用下面命令查看网络信息：[vagrant@localhost ~]$ docker network lsNETWORK ID NAME DRIVER ...

原创 compose.yaml

version: '2.1'services: wordseg_rpc: image: dockerhub.datagrand.com/596/wordseg_rpc:v1 environment: PROCESS_NUM: 1 wordseg_rpc_port: 8000 ports: - "8000:8000" vol...

原创 dockerfile 样本

#注意 yum install -y ,,,yum-builddep -y pythonFROM dockerhub.datagrand.com/global/centos:7.2.1511#作者标签，有问题就找他LABEL maintainer "wangzihao@datagrand.com"#环境变量硬编码及时区ENV ENVIRONMENT productionRUN c...

原创 error: could not create '/usr/local/lib/python2.7/dist-packages/virtualenv_support': Permission deni

sudo chown -R $USER /usr/local

原创 环境变量 作用，配置方法，PATH的作用

前言：1. 环境变量是操作系统环境设置的变量，适用于整个系统的用户进程；2. 环境变量可以在命令中设置，但是用户注销的时候将会丢失这些设置值；3. 若要重复适用，则最好在.profile中定义；环境变量的使用与本地变量的使用方法相同，4. 但是在使用之前，必须用export命令导出。一、环境变量文件介绍Linux中环境变量包括系统级和用户级，系统级的环境变量是每个登...

原创 dock er yaml 模版

Compose和Docker兼容性： Compose 文件格式有3个版本,分别为1, 2.x 和 3.x 目前主流的为 3.x 其支持 docker 1.13.0 及其以上的版本 常用参数： version# 指定 compose 文件的版本 services...

转载 在CentOS上安装Python3的三种方法

一、Python源代码编译安装安装必要工具 yum-utils ，它的功能是管理repository及扩展包的工具 (主要是针对repository)$ sudo yum install yum-utils使用yum-builddep为Python3构建环境,安装缺失的软件依赖,使用下面的命令会自动处理.$ sudo yum-builddep python完成后下载Py...

原创 /etc/profile、/etc/bashrc、/etc/profile.d/、~/.bash_profile、~/.bashrc

/etc/profile|-System wide environment and startup programs, for login setup|-用于登录设置的全系统环境和启动程序/etc/bashrc|-System wide functions and aliases|-系统范围的函数和别名/etc/profile....