亮点是百宝袋功能，现在只有9个，分为效率、生活、娱乐，我简单测试了效率类。通义千问是阿里巴巴推出的一个大型预训练模型，是达摩院自主研发的超大规模语言模型，能够回答问题、创作文字，还能表达观点、撰写代码。昨天中午，阿里云通过官方微信公众号对旗下的超大规模语言模型通义千问进行官宣，并面向企业开始了邀请测试。下午我收到了邀请码，首页推荐的写封邮件/撰写短文/电影脚本/职场助理试了一下，总体能看吧。我问它：就当前的空气污染的情况，写一份限塑的倡议书提纲，要有理有据。我问它：人工智能时代，自媒体创作者的机会在哪里？

让 ChatGPT 如虎添翼！ChatGPT 很好用，其核心是prompt的运用，其回答质量很大程度取决于你的提问质量。我算是 ChatGPT 的高频用户了，几乎日活。半个月前我在星球写道：冲了Plus之后，使用更加频繁，说几点ChatGPT近期感受：1、它发挥多大效能取决于你的知识储备，它只能锦上添花，无法雪中送炭2、提问是门技术，无论是向他人求助，还是之前用搜索引擎，大部分人连提问都搞不定3、未来ChatGPT必然更加强大，会更好用，但依然无法解决上面俩个问题。

封面图by：Disco Diffusionprompts：A beautiful painting of a long detour in forest回头看，自感走过的弯路多的离谱，同龄人中一帆风顺者已是我无法高攀的存在，不知道自己为什么就这么难。目前状态外人看来已经很舒适，但是我却还未找到平衡点自洽。最近在为视频找方向，这里就先简单回忆一下我的考研史吧，希望像曾经的我一样迷茫的人多个思路。我普通一本学计算机，后来阴差阳错或者脑子进水着迷炒股，那是08金融危机前一年，市场很疯狂。应该是迷迷糊糊也赚了点

前些天向大家介绍了我开发的从PDF抽取表格小工具的使用方法（⬅️点击直达），有同学反馈说有一些问题：针对以上情况，我在原功能基础上进行了优化，本文依旧不涉及代码，具体实现过程我考虑在B站直播讲解。这里就将优化部分的使用方法介绍一下https://huggingface.co/spaces/beihai/PDF-Table-Extractor这部分已经做了代码优化，前端也有一点点变化选择具体后，自动弹出，下载的Excel包含多个sheet页，对应多张表格。有些 PDF 中的表格线条是透明的,比如下图这种情况

大家好，我是北海很少登陆 Gmail，前天收验证码登了一下，发现居然收到一封某初创公司CTO的来信.本人暂时不想挪窝，也感觉挺有满足感的，没想到还有这样的收获。最开始用 Github 是为了找工作，因为当时听学长说，简历里放上自己做过项目的Github链接是个加分项，也确实有很多公司也会通过你的开源代码了解你的技术水平，编程风格还有对技术的热爱。现在我做的事情，目的性没有以前强烈了，更多是兴趣使然，为了好玩。这里就分享几个我最近提交的小项目，欢迎大家 Star 或 拍砖啊。开发了一个简易的 LightGB

前文我们了解了奇异值分解（SVD）的原理，今天就实战一下，用矩阵的奇异值分解对图片进行压缩.Learn by doing我做了一个在线的图像压缩应用，大家可以感受一下。https://huggingface.co/spaces/beihai/Image-Compression-with-SVD功能很简单，上传需要压缩的图片，选择压缩比，提交即可。下面咱们就一起看看实现过程用SVD压缩图像原理很简单：将图片分解为RGB三颜色矩阵，将每个颜色矩阵进行奇异值分解，然后

大家好，最近我原创了一系列文章LightGBM 可视化调参用Excel玩机器学习！用浏览器玩机器学习比 Tesorflow 还强的机器学习库AI黑科技！从此只看高清视频AI 黑科技，老照片修复，模糊变高清腾讯的这个算法，我搬到了网上，随便玩！不知道大家是否喜欢这种类型的文章，其实我最近又打算开始更新100天搞定机器学习了，就想用类似lightgbm可视化调参这篇文章的风格，让大家在学习一个模型的时候有参与感。其实我最喜欢的还是决策树挑西瓜那一篇：收手吧，华强！我用机器学习帮你挑西瓜，文

大家好，在100天搞定机器学习|Day63 彻底掌握 LightGBM一文中，我介绍了LightGBM 的模型原理和一个极简实例。最近我发现Huggingface与Streamlit好像更配，所以就开发了一个简易的 LightGBM 可视化调参的小工具，旨在让大家可以更深入地理解 LightGBM。网址：https://huggingface.co/spaces/beihai/LightGBM-parameter-tuning我只随便放了几个参数，调整这些参数可以实时看到模型评估指标的变化。代码

大家好，我是章北海`Python`是机器学习和深度学习的首选编程语言，但绝不是唯一。训练机器学习/深度学习模型并部署对外提供服务（尤其是通过浏览器）`JavaScript` 是一个不错的选择，市面上也出现了很多 `JavaScript` 机器学习库，比较著名的就是谷歌的 `TensorFlow.js`。我在《[用浏览器玩机器学习，赞！](ht

大家好，之前向大家介绍并跑通了腾讯开源的老照片修复算法（[AI 黑科技，老照片修复，模糊变高清](https://mp.weixin.qq.com/s?__biz=MzA4MjYwMTc5Nw==&mid=2648964782&idx=1&sn=b06d9ff0e6d676c098ea66f51a689b9c&chksm=87946c84b0e3e592150cd1f81310cf7b44d7412337568f6d1b8285a25e3271fa638f890f370c&a

大家好，我是章北海 我一直探索更好玩地介绍机器学习，降低学习门槛，用其开发有趣，有价值的应用。之前介绍过很多机器学习应用方面的玩法，比如：[gRPC部署训练好的机器学习模型](https://mp.weixin.qq.com/s?__biz=MzA4MjYwMTc5Nw==&mid=2648950326&idx=2&..

大家好 最近闲逛，发现腾讯开源的老照片修复算法新出了V1.3的预训练模型，手痒试了一下。 我拿“自己”的旧照片试了一下，先看效果![只看人脸部分](https://my-wechat.oss-cn-beijing.aliyuncs.com/1_00...

最近发现一个特别强的视频超分算法————BasicVSR，在真实世界数据集中，实现了前所未有的视觉重建效果，最近它还拿下了超分比赛NTIRE 2021三冠一亚的优异成绩，登上了CVPR 2022。> 视频超分，假设低分辨率视频是从高分辨率的视频经过一系列的退化操作而得到，超分算法就是将该退化操作进行求逆，从而可以将低分辨率视频恢复成高分辨率视频。![右侧为原片，左侧为AI高清化](https://my-wechat.oss-cn-beijing.aliyuncs.com/Screen%20.

最近发现了一个好玩的Python库，它可以将训练好的机器学习模型转换为Java、C、JavaScript、Go、Ruby，VBA 本地代码，可以让连Python和机器学习一无所知的同学也能感受预测的神奇。先看效果哈其实做这个小东西，感觉还能玩出别的花样，但不清楚到底有什么场景。写这篇文章的时候，我对Exc

同学们好 写文章两年多了，积累了许多文章，很多同学私聊技术问题，其实之前都推送过相关内容，但是公众号很难把历史文章系统化，看起来很不方便，也不容易搜索。最近我整理了所有文章，把他们分门别类写成了一个网站。实现起来简单到离谱，感兴趣的同学可以看看：[Bookdown+github.io](https://mp.weixin.qq.com/s?__biz=MzA4MjYwMTc5Nw==&mid=2648962237&idx=1&sn=01fa329459656d87d03c5..

同学们好，决策树的可视化,我以为之前介绍的方法已经够惊艳了（[决策树可视化，被惊艳到了！](https://mp.weixin.qq.com/s?__biz=MzA4MjYwMTc5Nw==&mid=2648960771&idx=1&sn=4018c10f946c354be3b6f742222f61d6&chksm=87947d29b0e3f43ff29d42282ec40dc0dd1b2e46100f66805a81034ffc966188.

JupyterLab 是广受欢迎的 Jupyter Notebook「新」界面。它是一个交互式的开发环境，可用于 notebook、代码或数据，因此它的扩展性非常强。用户可以使用它编写 notebook、操作终端、编辑 markdown 文本、打开交互模式、查看 csv 文件及图片等。手把手教你配置JupyterLab 环境现在Jupyter 家族又有新成员了————JupyterLab 桌面版JupyterLab 桌面版适用于Linux、macOS 和 Windows 操作系统，每个平

编程中免不了要写配置文件，今天我们继续Python网络编程，学习一个比 JSON 更简洁和强大的语言————YAML 。本文老胡简单介绍 YAML 的语法和用法，以及 YAML 在机器学习项目中的应用实例。欢迎大家一起学习，也欢迎点赞、在看、分享！前篇：我开始学Python网络编程了YAMLYAML 是 “YAML Ain’t a Markup Language”（YAML 不是一种标记语言）的递归缩写。YAML 的语法和其他高级语言类似，并且可以简单表达清单、散列表，标量等数据形态。它使用空白符号缩

大家好，我是老胡。许久没有更新100天搞定机器学习系列了，最近在看一个开源框架，其中有用到 gRPC ，它可以用于机器学习模型的部署，也可用于深度学习框架的开发，本文就当是《100天搞定机器学习》的番外篇吧。gRPC（Remote Procedure Call）gRPC 由 Google 开发，是一款语言中立、平台中立、开源的 RPC 框架。RPC（Remote Procedure Call）即：远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。使用的时候，

kaggle是很多数据分析和机器学习初学者非常喜爱的数据科学竞赛平台。这个平台上有很多接近现实业务场景的数据集，非常适合练手。今天向大家推荐一个下载kaggle数据集的小工具——kaggleAPI配置好之后，可以写个脚本，以后下载数据就方便多了。安装pip install kaggle安装完毕之后执行kaggle compeitions list然后就会报错，提示没有kaggle.json文件，不用理他。这一步主要是让其运行后生成配置文件夹，一般在C盘-用户-用户名下的.kaggle

XGBoost 是一种集大成的机器学习算法，可用于回归，分类和排序等各种问题，在机器学习大赛及工业领域被广泛应用。成功案例包括：网页文本分类、顾客行为预测、情感挖掘、广告点击率预测、恶意软件分类、物品分类、风险评估、大规模在线课程退学率预测。XGBoost是初学者最值得深度理解的模型之一，它将决策树、boosting、GBDT 等知识点串联起来，强烈建议大家都手撸一波。本文我将从XGBoost渊源及优点、模型原理及优化推导、XGBoost模型参数解析、调参实例，XGBoost可视化等方面介绍XGBoos

数学概念方差：用来衡量随机变量与其数学期望（均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。Var(X)=1n∑(xi−μ)2Var(X)=\frac{1}{n}\sum(x_i-μ)^2Var(X)=n1​∑(xi​−μ)2协方差：度量两个随机变量关系的统计量，协方差为0的两个随机变量是不相关的。cov(X,Y)=∑(Xi−X‾)(Yi−Y‾)(n−1)cov(X,Y)=\frac{\sum(Xi-\overline{X})(Y_i-\overline

无论是数据分析还是机器学习，数据的预处理必不可少。其中最常用、最基础的Python库非numpy和pandas莫属，很多初学者可能看了很多教程，但是很快就把用法忘光了。光看不练假把式，今天向大家推荐三套感觉不错的练习题，感兴趣的同学可以练练手。每套题都分四个Level的难度Difficulty Level: L1Q. Extract all odd numbers from arrInput:arr = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])D

数据开发，离不开数据库，一款优秀的数据库开发和管理工具可以达到事半功倍的效果。市面上比较流行的数据库管理工具主要有Navicat、DBeaver、SQLyog等等，Navicat是其中的无冕之王，其拳头产品Navicat Premium可满足现今数据库管理系统（支持单一程序同時连接多达7种数据库：MySQL、MariaDB、SQL Server、SQLite、Oracle、MongoDB和PostgreSQL数据库。）的常用功能，包括存储过程、事件、触发器、函数、视图等。但是Navicat是收费软件，虽然可

Bookdown是著名R包作者谢益辉开发的，支持采用Rmarkdown (R代码可以运行)或普通markdown编写文档，然后编译成HTML, WORD, PDF, Epub等格式。bookdown是个素颜版的 LaTeX ，满足了99%的需求，而使用难度大概只有 LaTeX 的1%，性价比极高。bookdown的优势完全开源，向收费说不完全自定义，想干啥就干啥有Rstudio背书，可以大胆的长期使用静态网站，很容易部署到Internet支持LaTeX，可以直接导出tex文档导出排版好的PD

大家在写代码时免不了出bug，就需要用搜索引擎找解决方法。某些技术网站非常垃圾（下面有点名），排版差，内容质量堪忧。但是这些网站却靠着SEO常常占据搜索结果页的首页，不小心点进去就纯浪费时间。今天向大家推荐一款我正在使用的浏览器扩展程序——search-engine-filter（搜索引擎页面内容过滤）它可以过滤掉百度或Google搜索结果页面我们不想看到的网站，大幅提升工作效率。安装方法可以直接再Chrome扩展程序搜索：search-engine-filter#网址chrome://ext

Python 代码编辑器怎么选？PyCharm、VS Code、Jupyter Notebook 都各有特色。对于大型代码库，最好还是用传统的 IDE 比较靠谱，但是数据分析等需要可视化操作的场景下，Jupyter Notebook就太适合了。老胡比较喜欢的是JupyterLab，这是Jupyter主打的最新数据科学生产工具，你可以使用它编写notebook、操作终端、编辑markdown文本、打开交互模式、查看csv文件及图片等功能。JupyterLab的安装配置还是有一些麻烦的，这里分享一下小经验

推荐一门课大家好，我是老胡。新年新气象，学起来~今天向大家推荐一个麻省理工学院计算机课程的中文版————《计算机教育缺失的一课》。我觉得这个课程还是名副其实的，主要讲授的是命令行工具、强大的文本编辑器的使用、使用版本控制系统提供的多种特性等等。这门课除了有详细的工具用法介绍，也有课后习题作为练习。本课程另一个亮点是代码示例很多都是Python脚本，对新手非常友好。课程还是比较实用的，不仅是学习和工作中，Shell、Vim、Git等工具的使用都是必备的，花时间打磨使用这些工具的能力并能够最终熟练地

线性代数是数学的分支学科，涉及矢量、矩阵和线性变换。它是机器学习的重要基础，从描述算法操作的符号到代码中算法的实现，都属于该学科的研究范围。虽然线性代数是机器学习领域不可或缺的一部分，但二者的紧密关系往往无法解释，或只能用抽象概念(如向量空间或特定矩阵运算)解释。这里我向大家推荐一个不错的线性代数学习教程，《Introduction to Linear Algebra for Applied Machine Learning with Python》。这个教程最大的亮点是不但用图形化方式介绍线代基础知

机器学习深度研究：特征选择过滤法中几个重要的统计学概念————卡方检验、方差分析、相关系数、p值问题引出当我们拿到数据并对其进行了数据预处理，但还不能直接拿去训练模型，还需要选择有意义的特征（即特征选择），这样做有四个好处：1、避免维度灾难2、降低学习难度3、减少过拟合4、增强对特征和特征值之间的理解常见的特征选择有三种方法：过滤法（Filter）：先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。包装法（Wrapper）：根据目标函数（通常是预测效果评分），每次选择

机器学习数学基础：学习线性代数，千万不要误入歧途！推荐一个正确学习路线序言写完《机器学习深度研究：机器学习中的高等数学/微积分及Python实现》，觉得十分对不起读者，写的自己都不满意。就像前篇所说，这种极度基础的知识是最难介绍的，我也在思考如何转变方式，把问题讲清楚。但是头条是不支持数学公式的，篇幅也受限。所以本篇文章，我想介绍一下自己的学习历程，看过不错的教材和视频推荐给大家。这样大家也能少走弯路，更全面的学到知识。同时建议：贪多嚼不烂，求精不求多，我有自信，看过我推荐的这本书和视频，线性代数

被 Pandas read_csv 坑了– 不怕前路坎坷，只怕从一开始就走错了方向Pandas 是python的一个数据分析包，纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas 就是为解决数据分析任务生的，无论是数据分析还是机器学习项目数据预处理中， Pandas 无处不在。最近掉进一坑，差点铸成大错。实在没想到居然栽在pandas.read_csv上了，这里分享一下，希望大家注意。另：业务数据不方便拿出来演示，为尽可能复现，这里我手造了一份，另存为 income

相信很多同学入门Python的第一行代码都是print(‘Hello World!’)print是初学者最先接触的Python函数，但是很多人可能到现在也不完全清楚它的用法。print(*objects, sep=’ ‘, end=’\n’, file=sys.stdout, flush=False)参数：objects – 复数，表示可以一次输出多个对象。输出多个对象时，需要用 , 分隔。sep – 用来间隔多个对象，默认值是一个空格。end – 用来设定以什么结尾。默认值是换行符 \n，我

pip 的高阶玩法pip 应该是大家最熟悉的 Python 包安装与管理工具了，但是除了pip install 这个最常用的命令，还有很多有用的玩法。这里就介绍几个我平时会用到的，希望对大家有所帮助。pip freeze这个命令可以查看已经安装的包及版本信息，当你要换电脑，或者朋友想复刻你已安装的包，又不想一个一个重新安装。这时就可以使用pip freeze > requirements.txt ，批量导出当前开发环境的包信息，然后安装requirements.txt依赖就行了。pip fre

遇事不决,量子力学;不懂配色,赛博朋克。推荐一个Python可视化库12月10日，历经多次跳票后，波兰公司CD Projekt Red制作的《赛博朋克2077》终于正式发售，在Steam上线不到3小时，便一举超越《Among Us》、《Dota 2》与《反恐精英：全球攻势》，达成100万玩家同时在线的成绩。遇事不决,量子力学;不懂配色,赛博朋克。霓虹灯管是赛博朋克一个重要的视觉元素，霓虹灯的色彩饱和度高，是活力的象征，与赛博朋克想要表达的“反抗”相互呼应，甚至可以说霓虹灯是赛博朋克世界的第二主角。

我给大家唱首歌：《坚持的意义》你看过了许多书籍你看过了许多视频你迷失在屏幕上每一道短暂的光阴你品尝了代码的糟心你踏过算法的荆棘你熟记书本里每一段你最爱的公式却说不出你爱Python的原因却说不出你欣赏哪种机器学习却说不出在什么算法它曾让你动心说不出坚持的意义Python训练营（【免费】阿里云Python训练营开营）虽然已经结束许久，但一直没有写总结。恰逢收到了阿里云天池龙珠计划优秀组织者的荣誉证书，就做个简单总结。天气转凉，顺便给大家打个鸡血，熬点鸡汤。总结行百里者半九十，一

立了一个Flag鸽鸽鸽鸽我喜立Flag,9月份说要做点视频，不知不觉已经鸽了俩月了。中间就零星时间学了一些剪辑方面的知识，工作太忙，视频一直没有实质进展。视频的灵魂其实是脚本，到现在还没写好。我还是稍微擅长点技术创作，但是纯技术的视频肯定没有市场，这个转变过程有点困难。这个Flag立的，感觉要吃点苦头，但我不后悔这个决定。隐约记得 N 多年的考研英语有一篇阅读理解，大致意思是：“有理想要喊出来” ，写这篇文章时，回头翻了翻已经落了一层灰的丁晓钟《考研英语历年真题超精解》，只在2000年的考研英语真题中找

前天推送了一篇学习路线图的文章《Awesome！超详细的人工智能专家路线图，GitHub数天获2.1k星》该路线图几乎涵盖了 AI 领域所有的知识点，并且每个知识点都有详细的文档。有了这个路线图的指导，或许能帮助你快速入门乃至成为 AI 领域的佼佼者。该项目上线短短几天，已经收获了 2.1k 星。就这份 AI 专家路线图而言，开发者列出了任何学习路径所必不可少的一些要素，如论文和代码、版本控制、语义化版本控制和更新日志。但就具体选择上，开发者认为在学习 AI 时不应直接过渡到当前热门的技术——深度学习

最近老胡不太忙了，项目告一段落，摸鱼时间多了一些。昨天我翻译了一个思维导图《超详细的人工智能专家路线图》强烈建议没有看的同学看一看，查漏补缺必备机器学习从 入 门 到 精 通 路 线 图https://mp.weixin.qq.com/s?__biz=MzA4MjYwMTc5Nw==&mid=2648943806&idx=2&sn=675e12a12cf51dea2f5751ed8209a7e8&chksm=87943e94b0e3b782d3cd10deb213d2