qq_30174147的博客

原创 某东电商地址数据及获取思路

地址数据获取思路代码 //京东地区js表 包含省市 string jsUrl = "https://misc.360buyimg.com/jdf/1.0.0/ui/??switchable/1.0.0/switchable.js,area/1.0.0/area.js"; //获取县区和街道的接口 string getChildUrl = "https://fts.jd.com/area/get?fid={0}&_={1}";

转载 SSMS 运行超大sql脚本文件

https://blog.youkuaiyun.com/gnail_oug/article/details/89920195?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel

原创 hangfire 作业的一些自定义处理

hangfire设置重试次数和重试时间间隔 //hangfire重试次数 GlobalJobFilters.Filters.Add(new AutomaticRetryAttribute {Attempts = int.MaxValue, DelaysInSeconds = new[] {1}});PerformContext输出的文本会占用内存，若成功的作业过多且PerformContext输出的文本大，会占用过多的内存解决：继承IApplyStateFilter类重写O

原创 .netcore mvc配置域名起始页

原创 C# 将数组值平均分配的方法

用处1：小组有N个耗时不等的任务，小组有M个能力不等的人，将任务进行合理的平均分配。用处2：数据库表的关系表需要分表，如漫画的图片链接表每个漫画的图片数量不同，按服务器的性能进行分配数据。计算推导分数值：33，47，22，6，38，56序号及权重：A:1 B:2 C:31.每人轮流按顺序拿A: 33,6B:47,38C:22,562.将任务耗时降序排序按ABC顺序轮询拿分数值：56,47,38,33,22,6序号及权重：A:1 B:2 C:3A: 56,33B: 47,

原创 Hangfire正在执行的耗时job重新入队时新的job无法立即执行

在hangfire管理面板将正在执行的job重新入队时，这个job的线程是还在执行的，面板只是修改的job的状态，若需要将耗时较长job重新入队，需要在代码加上判断来return跳出结束方法。 PerformContext.CancellationToken.ShutdownToken.IsCancellationRequested值就是job的取消状态，job重新入队时该值将变为true，可作为结束job的标记。...

原创 Liunx下部署hangfire无法打开面板

若没有hangfir面板的过滤器IDashboardAuthorizationFilter，在打开/hangfire路径时请求会返回401未授权。需要添加类继承IDashboardAuthorizationFilter过滤器类 public class CustomerHangfireDashboardFilter : IDashboardAuthorizationFilter { public bool Authorize([NotNull] DashboardConte

原创 PuppeteerSharp：网页数据爬取nuget包

一些页面的数据会通过js解密后才显示在html，若直接通过http请求是无法获取到需要解密的数据，使用该工具可在页面加载完后，该工具可获取页面加载完后的html。/// <summary> /// 单例 /// </summary> public static class ChromeFactory { internal static Browser browser { get; set; } = Puppeteer.LaunchA

原创 Liunx下解决超时导致无法释放的TCP连接

liunx服务器下部署了.netcore3.1版本的hangfire，使用http请求时，多次超时后tcp连接一直没有释放，导致下一个http请求一直等待，最终job一直不执行下一步。解决方案：https://www.cnblogs.com/chinaops/p/9469214.htmlhttps://www.cnblogs.com/bidad/p/11809305.html编辑文件，加入以下内容：net.ipv4.tcp_syncookies = 1net.ipv4.tcp_tw_reuse

转载 SublimeText3 ftp发布

SublimeText3 ftp发布https://www.cnblogs.com/cyymfm1314/p/7383955.html

原创 Liunx遍历目录下所有文件(含子目录)修改名称大小写

改为小写：for i in find .;do mv $i echo $i |tr [A-Z] [a-z];done改为大写：for i in find .;do mv $i echo $i |tr [a-z] [A-Z];done因为修改名称后会找不到子目录，需要按目录级别需要重复执行多次用处：使用nginx部署静态网站时url区分大小写，...