我在自动化所用到的sources.list

最新推荐文章于 2022-07-28 09:19:26 发布
原创 最新推荐文章于 2022-07-28 09:19:26 发布 · 866 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deb

博客给出了多个Debian源的配置信息，包括ftp和http协议的源地址，如ftp://ftp.nerim.net/debian - marillat/、http://ftp.jp.debian.org/debian/等，涉及sid、unstable等版本，包含main、non - free、contrib等组件。
deb ftp://ftp.nerim.net/debian-marillat/ sid main

deb http://ftp.jp.debian.org/debian/ unstable main non-free contrib

deb ftp://ftp.sjtu.edu.cn/debian/ unstable main non-free contrib

deb ftp://mirror.dlut.edu.cn/debian unstable main non-free contrib
deb-src ftp://mirror.dlut.edu.cn/debian unstable main non-free contrib

deb ftp://debian.ustc.edu.cn/rarewares.org unstable main





不用写一行代码！Python最强自动化神器Playwright！
小鸿的博客
11-02 1374
playwright是由微软开源的一款自动化神器，性能绝佳，现在发展的非常火热，环境部署简单，不像selenium那样需要下载浏览器对应版本的驱动程序chromedriver，最重要的是支持代码自动生成，还可用于模拟浏览器进行爬虫逆向！
Spring国际化详解，Spring国家化实例及源码详解
秃了也弱了
01-16 1708
Spring国际化相关的，似乎平时接触的也很少，也很少用到这部分的技术。但是做架构、框架封装的时候，又不得不考虑。
更新apt-get命令的sources.list
05-06
更新apt-get命令 sudo apt-get update 更新前替换/etc/apt/sources.list
Debian系统apt-get使用的sourcelist选择梳理
直到世界的尽头
05-15 5113
对Debian 源的理解 使用Debian系统apt-get在线安装软件，首先需要配置source.list文件。 source.list文件位于"/etc/apt"或者目录下，可以使用"vi"编辑去编辑此文件。 查看和编辑 使用命令 cat /etc/apt/sources.list vi /etc/apt/sources.list 格式说明 格式如下: deb http://ftp.cn.debian.org/debian stretch main deb http://ftp.jp.debian.
ubuntu配置：下载更新源文件source.list的相关说明,apt-get常用命令
birencs的博客
04-07 3888
source.list位置 /etc/apt/source.list 查询当前系统的版本： lsb_release -a lsb_release -c biren@ubuntu:~/filecmd/file-5.15$ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.6 LTS Release: 18.04 Codename: bionic biren@ubuntu:~
ubuntu解决apt-get更新问题
LSH1628340121的博客
07-28 6550
解决：”E: The repository 'http://cn.archive.ubuntu.com/ubuntu hirsute-security Release' no longer has a Release file.“问题
ubuntu更新apt-get源
太阳以西?的博客
05-14 2922
我们在ubuntu中使用apt-get命令安装软件时，下载速度比较慢，我们可以将ubuntu的apt-get源更新为国内的源，这样下载速度会快一点 更新apt-get源只需要修改/etc/apt/sources.list文件， 1、进入/etc/apt目录 root@ubuntu:~# cd /etc/apt 2、在修改之前先对/etc/apt/sources.list文件进行备份，习惯的备份方法是复制文件并添加.bak后缀 root@ubuntu:/etc/apt# cp sources.lis.
apache2无法安装，阿里云apache2配置sources.list文件
TYUT_LiXiaoYao的博客
07-27 602
首先需要linux系统（Mac自动忽略此段） 1.阿里云服务器（ECS轻量化服务器）: 官网即可获得：阿里云官网 附：阿里针对学生所提供的优惠，凡是不满24周岁的学生，可享9.5/月的ECS服务器优惠购买。 购买成功后，千万牢记ip和root密码，最好截图或者文字保存，虽然百度可找到各种忘记密码的解决方案，但最好还是避免不必要的问题。 2.通过虚拟机： 1.首先下载虚拟机：Vmware workstationpro 15(最好是新版本，不然会遇到第二次开机就死机的情况) 2....
任务描述 本关任务：使用自定义拦截器按照文件名分类采集文件。 相关知识 Flume 提供的自带拦截器有时候并不能满足我们的业务所需，因此，我们需要会自定义拦截器； 自定义拦截器基本步骤 自定义类实现Interceptor接口；重写 intercept(Event event)方法，主要拦截逻辑，拦截单个event intercept(List<Event> events)方法，返回event集合，循环拦截单个event initialize()方法，初始化 close()方法 新建一个内部类，实现Interceptor.Builder接口，重写 build()方法,返回一个自定义拦截器对象 configure(Context context)方法，读取配置文件 打成jar包，放到flume的lib目录下，也可以在flume安装目录创建 plugins.d/插件名/lib plugins.d/插件名/libext plugins.d/插件名/native 目录,并将jar包至于plugins.d/插件名/lib目录下； 在配置文件中指定拦截器type为我们自定义的拦截器； 采集示例 接下来让我们通过一个简单的示例来了解本实训 Flume 自定义拦截器案例的编写。 案例分析 案例流程图如下： 案例流程如下： 通过 nc 网络端口发送经过 Flume 自定义拦截器实时发送消息到监控文件中，根据过滤规则 Sink 到不同的文件中，之后再 Sink 到控制台上。 配置文件 1.创建自定义拦截器 代码如下所示： import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.util.List; import java.util.Map; public class Typeinterceptor implements Interceptor { @Override public void initialize() { } // 单个event 事件的处理方法 // 1. event 的头信息header 是以k-v形式存储信息 // 2. 所以我们对数据进行过滤清洗, 就是根据body内容的不同往header中写入一些标记信息(k-v), 然后再让多路复用channel选择器读取,缓存到不同的channel中. @Override public Event intercept(Event event) { //1. 得到event 的头信息 Map<String, String> headers = event.getHeaders(); //2. 得到event 的body内容 byte[] bytebody = event.getBody(); //String bodys = new String(bytebody); //把字节数组转为string字符串, 方便我们处理 //3. 根据body的内容, 写入不同发头信息标记 if(bytebody[0] >= '0' && bytebody[0] <= '9'){ //往头信息中做标记 headers.put("type","number"); }else if(bytebody[0] > 'a' && bytebody[0] < 'z'){ headers.put("type","letter"); } return event; } // 多个event的迭代处理 @Override public List<Event> intercept(List<Event> list) { //1.清空集合 addHeaderEvents.clear(); //2.遍历 events for (Event event : events) { //3.给每一个事件添加头信息 addHeaderEvents.add(intercept(event)); } //4.返回结果 return addHeaderEvents; } @Override public void close() { } public static class Builder implements Interceptor.Builder{ @Override public Interceptor build() { return new Typeinterceptor(); } @Override public void configure(Context context) { } } } 2.打包 Maven 项目，把生成的 JAR 包放到Hadoop101的 Flume 安装目录下的lib下。 3.配置 Flume 文件 vim Netcat-Memory-Avro.conf 添加如下内容： AGENT1 # 命名各组件 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 # 配置sources (netcat sources) a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 1000 ######### 引入自定义并已经打包好的拦截器类, 并把channel选择器设为为多路复用 (注意拦截器的类型是自定义类的全类名$Builder) a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = com.yy.Typeinterceptor$Builder a1.sources.r1.selector.type = multiplexing a1.sources.r1.selector.header = type a1.sources.r1.selector.mapping.letter = c1 a1.sources.r1.selector.mapping.number = c2 #配置channels (memory channel) a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapcity = 100 a1.channels.c2.type = memory a1.channels.c2.capacity = 1000 a1.channels.c2.transactionCapcity = 100 #配置sinks (avro sink) a1.sinks.k1.type = avro a1.sinks.k1.hostname = Hadoop102 a1.sinks.k1.port = 1011 a1.sinks.k2.type = avro a1.sinks.k2.hostname = Hadoop103 a1.sinks.k2.port = 1033 # 绑定各个组件 a1.sources.r1.channels = c1 c2 a1.sinks.k1.channel = c1 a1.sinks.k2.channel = c2 vim Avro-Memory-Logger1.conf 添加如下内容： AGENT2 # 命名各组件 a2.sources = r1 a2.channels = c1 a2.sinks = k1 # 配置sources (avro sources) a2.sources.r1.type = avro a2.sources.r1.bind= Hadoop102 a2.sources.r1.port = 1011 #配置channels (memory channel) a2.channels.c1.type = memory a2.channels.c1.capacity = 1000 a2.channels.c1.transactionCapcity = 100 #配置sinks (logger sink) a2.sinks.k1.type = logger # 绑定各个组件 a2.sources.r1.channels = c1 a2.sinks.k1.channel = c1 vim Avro-Memory-Logger2.conf 添加如下内容: AGENT3 # 命名各组件 a3.sources = r1 a3.channels = c1 a3.sinks = k1 # 配置sources (avro sources) a3.sources.r1.type = avro a3.sources.r1.bind= Hadoop103 a3.sources.r1.port = 1033 #配置channels (memory channel) a3.channels.c1.type = memory a3.channels.c1.capacity = 1000 a3.channels.c1.transactionCapcity = 100 #配置sinks (logger sink) a3.sinks.k1.type = logger # 绑定各个组件 a3.sources.r1.channels = c1 a3.sinks.k1.channel = c1 启动命令 先启动 AGENT2 和 AGENT3 （avro source 是服务端，应该先执行。） [educoder@Hadoop102 flume]$ bin/flume-ng agent -n a1 -c conf/ -f jod/Avro-Memory-Logger1.conf [educoder@Hadoop103 flume]$ bin/flume-ng agent -n a1 -c conf/ -f jod/Avro-Memory-Logger2.conf [educoder@Hadoop101 flume]$ bin/flume-ng agent -n a1 -c conf/ -f jod/Netcat-Memory-Avro.conf 测试： 启动后 在 Hadoop101 上使用 netcat 向 1000 端口发送数字和字母，查看服务端的 logger 控制台日志被打印出来。 编程要求 根据提示，在右侧代码文件补充配置文件,你只需在Begin-End区域内配置配置文件即可，其余步骤后台会自动完成。（目录下有一些命名格式不同的的文件，现要将其按照名称分类采集在hdfs的不同目录，经过自定义拦截器后采集到hdfs后的目录为：） 配置文件要求 : Agent命名为 a1 ； 选择spooldir的 source 采集所有文件； 采集/opt/flume/data目录下所有文件； Channel选用 memory； 文件保存到 hdfs有如下要求 : hdfs路径名称： hdfs://localhost:9000/flume/文件名的前缀/文件名上的日期； 文件格式使用DataStream； 设置roundValue为 2。 测试说明 以上举例的现有拦截器（Regex Ext\fractor Interceptor）实现功能 跟我们的需求非常相似，不过该拦截提取的是event中body的内容，现基于此现成拦截器修改，实现拦截提取event中header内容，完成需求； 根据提示在右侧根据提示修改代码： 根据提示在右侧填写配置文件： 预期输出（后台自动截取采集完后hdfs的某个目录）： /flume/ios/2018 /flume/ios/2019
最新发布
10-25
嗯，用户让我帮忙写一个Flume自定义拦截器的配置文件，按照文件名分类采集文件。看了一下用户提供的引用内容，特别是引用[1]和引用[3]，里面有一些配置示例和自定义拦截器的使用说明。用户的需求很明确：Agent命名为...
qt库文件 cmakelist.txt
02-27
### 如何在 CMakeLists.txt 中配置 QT 库文件 ...这组 shell 命令会在当前目录下新建一个叫做 'build' 的子文件夹用来放置生成物，并在里面初始化一个新的构建环境，之后再启动 Make 工具开始正式组装应用程序[^3]。
Ubuntu 更新 apt-get 源
博客简介
11-23 1277
需要注意的地方 /etc/apt/sources.list 文件 /etc/apt/sources.list.d 目录 sources.list 文件 # 里面保存的是官方的软件源，你可以任一选择阿里、网易等国内的源复制粘贴进去，保存。 然后更新源 > sudo apt-get update sources.list.d 目录 # 该文件夹下的文件是第三方软件的源，可以分别存放不同的第三源地址，只需“扩展名”为list即可 # 修改之后，同样需要更新一下源 > sudo apt
apt-get的更新源
weixin_30323631的博客
10-13 189
1、先备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup （备份下当前的源列表，有备无患嘛.） 2、修改更新源 sudo gedit /etc/apt/sources.list （打开源列表文件） 3、修改 deb http://mirrors.sohu.com/ubuntu/ karmic main restric...
oracle deb源,kali 更新源 sources.list以及apt-get 相关命令说明
weixin_35958783的博客
04-05 212
一、设置更新源网上给出的更新源，只有新加坡的更新源是可以更新到源文件的。其他国内源可以作为补充，不过新加坡的源速度也不是很快。#官方源deb http://http.kali.org/kali kali main non-free contribdeb-src http://http.kali.org/kali kali main non-free contribdeb http://securi...
老版本ubuntu使用apt-get命令更新错误
qq_41561171的博客
03-14 3846
使用的ubuntu环境：12.04 LTS 执行sudo apt-get update的时候报错： W: Failed to fetch http://mirrors.163.com/ubuntu/dists/precise/main/source/Sources 404 Not Found [IP: 219.148.147.103 80] 看起来是源的问题，于是修改源，改成阿里源。 sudo gedit /etc/apt/sources.list 阿里源 deb http://mirrors.aliy
linux下更新apt-get源
chang995196962的博客
06-12 3656
使用阿里云的开源镜像https://opsx.alibaba.com/mirror 找到ubuntu 在ubuntu下执行命令sudo mv /etc/apt/sources.list /etc/apt/sources.list_backup 将sources.list 文件备份 执行sudo vim /etc/apt/sources.list编辑sources.list 文件，将文件内容清空，并粘贴刚才复制的内容，保存退出 ubuntu 18.04(bionic) 配置如下: ...
关于apt配置文件sources.list
怪囧小窝
03-15 5436
apt-get update是同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引，这样才能获取到最新的软件包。 apt-get update只是更新了apt的资源列表，没有真正的对系统执行更新。如果需要，要使用apt-get upgrade来更新。 关于sourdces.list.d在Ubuntu下软件源的文件是/etc/apt/s
kali 更新源 sources.list以及apt-get 相关命令说明
weixin_33743661的博客
12-22 457
2019独角兽企业重金招聘Python工程师标准>>> ...
关于ubuntu的sources.list总结
大自然的小女孩
11-06 1784
一、作用    文件/etc/apt/sources.list是一个普通可编辑的文本文件，保存了ubuntu软件更新的源服务器的地址。和sources.list功能一样的是/etc/apt/sources.list.d/*.list(*代表一个文件名，只能由字母、数字、下划线、英文句号组成)。sources.list.d目录下的*.list文件为在单独文件中写入源的地址提供了一种方式，通常用
更新sources.list
oouxx的博客
04-20 5172
如何更新/etc/apt/source.list $ cd /etc/apt $ sudo cp source.list source.list_backup $ sudo su # vim source.list 下面是清华大学的镜像源 # deb cdrom:[Ubuntu 16.04 LTS Xenial Xerus - Release amd64 (20160420.1)...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值