sinat_28655409的博客

背景python处理大数据性能上不足，所以想着用pyspark来处理，但是前提是要有一个hadoop的分布式环境，没有现成的，那就搭一个。环境mac: 10.15.6docker: 20.10.6hadoop: 3.2.3jdk: 1.8scala: 3.1.1spark: 3.0.3项目说明在docker中集成 hadoop，spark，scala， habse（暂未更新），目前已经完成可以启动1台master，3台slave的hadoop分布式环境，接下来会继续更新安装hbase等；

系统：macos10.15.6python: python3.7.1npm: 7.15.1Make 3.81cmake 3.19.3各种环境及包我都没有刻意去修改版本，只要找对安装方法即可使用pip3 install pyltp在本地macbook安装哈工大的pyltp时，编译时报了以下错误：command ‘clang++’ failed with exit status 1,ERROR: Failed building wheel for pyltp；网上的回答有说pyltp不支持pyt

环境系统：macos catalina 10.15.6phantomjs 版本： 2.5本机默认webp版本：webp 0.6.0 生成bwebp.7.dylib$ phantomjs --versiondyld: Library not loaded: /usr/local/opt/webp/lib/libwebp.6.dylib Referenced from: /usr/local/bin/phantomjs Reason: image not foundAbort tr

硬件系统：macos catalina 10.15.6系统包管理：Homebrew 3.1.9背景：python多个项目，每个项目用到的python版本不同，且项目间依赖库及版本也各不相同，在这种情况下，多项目开发就需要环境的隔离，虚拟环境很好的解决了这一问题。首先保证你的本地已经安装了python，注意区分是python2还是python3virtualenv# 在系统python中安装pip3 install virtualenv好了，安装了virtualenv就i可以使用mkvir

问题：改了dockerfile 想重新build镜像时，在mac os中怎么都不成功，错误如下图：折腾了一会，网上大神说是 docker dist 不够了，果不其然，狂删本地镜像腾出空间后，刷刷刷地就装成功了，怎么也没想到这个报错是与磁盘空间有关。大神相关回复：https://stackoverflow.com/questions/64439278/gpg-invalid-signature-error-while-running-apt-update-inside-arm32v7-ubuntu20-