一个软件开发工程师的零散笔记总汇(三)

本文档记录了一名工程师在2008年至2009年间对P2P流直播技术的研究过程,包括对开源项目Peercast的分析、参与开发开源项目以及后续的相关技术实践,如HTTP协议和UPnP协议的应用。

 9:12 2008-4-22
 应该负责p2p模块,以后也会负责这一块可能。
 不过近期的案子中可能暂时不会加入p2p模块,不,应该说,p2p模块的加入的及时性小于浏览器,最终肯定是要加入的。
 p2p技术加入有两种方案:1.用他方已经成熟的技术直接合作,加入。
    2.自己找开源资源,修改后加入。
 目前,由于有较多时间准备,所以先实施第二套方案,如果暂时不行,则实施第一套方案,当然,第二套方案应该会一直持续下去,因为整机中都是自己的技术才能创造最大价值。

 那么,研究p2p流直播技术势在必行,计划如下:
 1.先看懂peercast的实现架构及算法,这是2002年出来的一个开源资源,很流行的版本。只是只能单节点下载限制了及发展。
 2.看懂opensource.kan8888.com上的开源包,这个是一个叫kevin的人组织开发的开源项目,目的都已经说明,是为了企业p2p项目开发。

 

 8:41 2008-5-21
 半个月很快过去,在12号四川地震了,一直关心着相关情况,比较担心家里和所有认识的人。
 接下来可能还有一段时间会继续研究p2p直播软件,也许某个时候就会被突然叫停,但是这些都是未知数,目前需要集中精力尽快熟悉p2cast软件,然后随心所欲的修改它,改进它,希望能早日完成。
 昨天开了一个总结会,公司集团主席给我们洗了一下脑,出乎我意料,我确实觉得他讲得不错,能让我觉得讲得不错的人是很少的,一切我似乎都看得很平淡,这里说似乎,是因为我自己远远做不到我自己所谓的不平淡。
 我突然觉得自己工作还不够努力,完成安排的任务就好了,现在觉得应该更加主动一点,虽然主动好像会变得徒劳无功很多,但还是比不主动更加充实很多,踏实的心,踏实的度过一段时间,感觉还是很好的,虽然表面上要辛苦很多,但是辛苦就是不辛苦,不辛苦其实也辛苦,这在我实实在在的生活中是这样的。冲动只能是冲动,坚持是最难的,只有三分钟热情而已啊。我试着,认真的去做它,坚持下来,想想平凡的世界中的人,我试着多认真对待一下……

 

 8:44 2008-6-6
 这个月暂停了对p2cast的研究,帮忙下载器那边做远程控制模块,做了server,client其中知道了简单使用ado调用和访问数据库sql server了,对http发送get请求理解更深,自己按照需要去做出程序,还是满有意思的,前一个月研究p2p的郁闷得到了一些缓解,还好。

 

11:27 2008-7-14
 近日,帮忙下载器做了一个下载文件的socket程序。在bnbt的基础上做了带线程池的服务处理端skytracker。下载编译通过并架设好miniupnpd,miniupnpc的环境。
 p2p的客户端和种子发布端给上海的一个软件公司在帮忙做,程序差不多跑通了,需要提供带规定信息头的切片播放源文件,需要定义播放器取数据的结果,数据存放与同步方式。
 分为两个阶段,第一阶段是集成,包括接口的统一定义,交叉编译等;第二阶段是部署,搭建演示环境。

 这一个月熟悉了http协议和upnp协议,并完成基本应用,在过程中了解到linux下iptables的配置方法,利用http的get请求实现了文件下载断点续传。在搭建tracker时了解了对mysql数据库基本的使用和程序编写方法。在处理下载器sn和mac用sqlserver2000完成了数据库的存储和访问,从而完成了对ado接口访问sqlserver数据库编程的基本方法的掌握。

 

 

2009-6-3 8:44:09
 来公司一年半了,经历了这么多时间,一切都显得很平淡,想着进步,一直需要努力,最近开始想象着目标,学习着,显得有点弱,没有很明显的效果,感到有点累,这可不好,不要紧绷,要想着理想,督促自己前进,总结方法,思考接下来怎么做,提高效率,增加兴奋,坚持下去,迎接阳光普照。

基于 NSFW Model 色情图片识别鉴黄 后面更新视频检测 项目背景: 随着互联网的快速发展,网络上的信息量呈现出爆炸式的增长。然而,互联网上的内容良莠不齐,其中不乏一些不良信息,如色情、暴力等。这些信息对青少年的健康成长和社会风气产生了不良影响。为了净化网络环境,保护青少年免受不良信息的侵害,我国政府加大了对网络内容的监管力度。在此背景下,本项目应运而生,旨在实现对网络图片和视频的自动识别与过滤,助力构建清朗的网络空间。 项目简介: 本项目基于 NSFW(Not Safe For Work)Model,利用深度学习技术对色情图片进行识别与鉴黄。NSFW Model 是一种基于卷积神经网络(CNN)的图像识别模型,通过学习大量的色情图片和非色情图片,能够准确地判断一张图片是否含有色情内容。本项目在 NSFW Model 的基础上,进一步优化了模型结构,提高了识别的准确率和效率。 项目功能: 色情图片识别:用户上传图片后,系统会自动调用 NSFW Model 对图片进行识别,判断图片是否含有色情内容。如果含有色情内容,系统会给出相应的提示,并阻止图片的传播。 视频检测:针对网络视频,本项目采用帧提取技术,将视频分解为一帧帧图片,然后使用 NSFW Model 对这些图片进行识别。如果检测到含有色情内容的图片,系统会给出相应的提示,并阻止视频的传播。 实时监控:本项目可应用于网络直播、短视频平台等场景,实时监控画面内容,一旦检测到含有色情内容的画面,立即进行屏蔽处理,确保网络环境的纯洁。
### 如何在本地部署 NSFW 模型或服务 要在本地环境中成功部署 NSFW(不适宜工作场合内容)检测模型或服务,以下是详细的说明: #### 准备环境 为了确保能够顺利运行模型和服务,需要安装必要的依赖项。这些工具和库包括但不限于以下几类: - **Python 环境**: 推荐使用 Python 3.7 或更高版本。 - **Transformers 库**: 提供加载预训练模型的功能[^1]。 - **PyTorch/TensorFlow**: 支持深度学习框架的计算需求。 - **Pillow (PIL)**: 处理图像文件并将其转换为适合输入模型的形式。 具体命令如下所示: ```bash pip install transformers torch Pillow ``` #### 加载模型与测试 通过 Hugging Face 的 `transformers` 工具包可以直接访问已有的 NSFW 图片分类模型。例如,可以采用名为 `"Falconsai/nsfw_image_detection"` 的公开模型来完成此任务[^1]。 下面是一个简单的代码片段展示如何加载该模型并对单张图片执行预测操作: ```python from PIL import Image from transformers import pipeline def classify_nsfw(image_path): # 打开指定路径下的图片文件 img = Image.open(image_path) # 初始化 image-classification 流水线对象,并指明使用的特定模型名称 classifier = pipeline("image-classification", model="Falconsai/nsfw_image_detection") # 对传入的图片调用流水线方法得到其类别标签及其置信度分数列表形式的结果 result = classifier(img) return result if __name__ == "__main__": test_img_path = "<your_test_image>" output_results = classify_nsfw(test_img_path) print(output_results) ``` 注意替换 `<your_test_image>` 成实际存在的图片绝对或者相对地址字符串值之前再尝试运行以上脚本。 #### 构建 RESTful API 服务 如果希望进一步扩展功能至 Web 应用程序层面,则可考虑利用 Flask/Django 这样的轻量级 web 开发框架构建起支持 HTTP 请求交互的服务端接口。这里给出基于 FastAPI 实现的一个简单例子作为示范用途: ```python import uvicorn from fastapi import FastAPI, File, UploadFile from PIL import Image from io import BytesIO from typing import List from pydantic import BaseModel app = FastAPI() class Prediction(BaseModel): label: str score: float @app.post("/predict/", response_model=List[Prediction]) async def predict(file: UploadFile = File(...)): try: contents = await file.read() pil_image = Image.open(BytesIO(contents)) clf_pipeline = pipeline('image-classification', model='Falconsai/nsfw_image_detection') predictions = clf_pipeline(pil_image) formatted_preds = [{"label": pred['label'], "score": round(pred['score'], 4)} for pred in predictions] return formatted_preds except Exception as e: raise ValueError(f"Error processing uploaded file {e}") if __name__ == '__main__': uvicorn.run(app, host='0.0.0.0', port=8000) ``` 启动服务器之后即可向 `/predict/` 路径发送 POST 请求附带上传待分析的目标图片获取返回结果了。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值