TFS大文件分析

TFS与其他分布式存储系统的对比分析 TFS与其他分布式存储系统的对比分析   1 概述 TFS(Taobao File System),作为目前淘宝内部使用并开源的分布式文件系统,为淘宝提供海量小文件存储以及其他一些功能,被广泛地应用在淘宝各项应用中。其他分布式存储系统,这里主要指的是最近我通过读论文以及网络上的技术文档和分享所了解到的一些大公司所采用的存储系统,其中包括Google的GFS,BigTable(BT),Amaz 阅读详情

使用TFS过程中,经常有人不注意把大的文件上传到TFS服务器,导致项目集合占用的存储越来越大,浪费了存储控件同时影响了备份效率。

可以通过下面的语句分析那个文件占用空间比较大,后续可以清除该文件。


SELECT TOP 1000 [FileId]
      ,[ItemId]
      ,[VersionFrom]
      ,[HashValue]
      ,[FileLength]
      ,[ContentType]
      ,[CreationDate]
      ,[CompressedLength]
      ,[CompressionType]
  FROM [Tfs_Interface].[dbo].[tbl_File]
  order by compressedLength desc


VersionFrom 字段是该文件引入的变更集版本。

找到FileId后在tbl_content表中就可以查到具体存储的数据了,TFS将文件存储成每行1M的记录。

/****** Script for SelectTopNRows command from SSMS  ******/
SELECT TOP 1000 [CreationDate]
      ,[Content]
      ,[FileId]
      ,[OffsetFrom]
      ,[OffsetTo]
  FROM [Tfs_Interface].[dbo].[tbl_Content]
  where [FileId]='11818'


找到文件位置后可以使用tf destroy 命令在 Team Foundation 版本控制中销毁或永久删除受版本控制的文件。

淘宝TFS架构演进 淘宝TFS架构演进 淘宝TFS架构演进 淘宝TFS架构演进 立即下载

相关推荐

TFS使用文档说明

TFS(Team Foundation Server)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构,可将文件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TFS提供了良好的读写性能。

TFS 2008的源码管理器-数据库相关

   这里来说下关于TFS 2008中源码管理器所对应的数据库表。在个别情况下,或许会对某个历史文件做修改(当然,除非非常情况,理论上是不允许这样做的,这里也是为了了解其结构来写的)。     在TFS的源码管理中,每一个文件,无论是*.docx还是*.cs这类的文件,都以二进制形式被存放在TFS的数据库中,每一个 文件(这里的文件包括这个文件的历史记录)被称为一个"版本"。实际上在数据库中,每一个"版本"都会有一个ChangeSetID以其对应。记录他的迁 入时间、签入人、注释等信息。另外会有一个表

elvis0123的专栏 1224

手把手教你用NE555+LM324搭建红外倒车雷达(附Multisim仿真文件)

本文详细介绍了如何使用NE555定时器和LM324运算放大器搭建一个红外倒车雷达系统。内容涵盖从核心原理拆解、模块电路设计(包括红外发射、接收放大、检波与电压比较)到实战焊接调试的全过程,并提供了Multisim仿真验证思路,帮助电子爱好者与初学者将模拟电路理论转化为可工作的实用项目。

echo99的专栏 676

tfs源码分析(1)

TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。同...

boisterous 249

【CUT&TAG分析-加了spike in的样品】

使用 Bowtie2 或 Subread (subjunc) 来构建大肠杆菌的索引。bowtie2比对时设置参数–local, 局部比对。

weixin_57975238的博客 1397

SIwave仿真手册——信号完整性仿真之S参数的提取(二)

上一篇简单了讲述了软件的各个操作界面,本次博客更新关于的仿真,因为第二章完整的内容比较多,所以分成好几篇博客进行分享。

luohuo9844的博客 1万+

TFS(Taobao File System)配置dataServer、分区、挂载数据盘

目前的情况,tfs安装在/usr/local/tfs/ 在 /usr/local/tfs/conf/目录,共有三个文件需要配置:ns.conf、ads.conf和ds.conf 各个文件功能 ns.conf用于配置nameserver, ds.conf用于配置dataserver, ads.conf为可选配置文件,用于配置nameserver和dataserver地...

SiC B2B2C Shop大型B2B2C商城软件产品,使用Java语言开发,高性能高扩展性高安全性分布式。可帮助你快速的建立大型B2B2C电商系统 370

Ubuntu20.04下Docker无缝升级实战指南

本文提供了一份在Ubuntu20.04系统上安全、无缝升级Docker的实战指南。文章详细阐述了升级前的版本检查、数据备份等准备工作,逐步演示了通过APT包管理器进行升级或指定版本安装的操作步骤,并强调了升级后的验证与常见问题回滚方案,确保业务容器平稳过渡。

postgres8guard的博客 478

淘宝文件系统大文件结构

1.设计思路 以block文件的形式存放数据文件(一般64M一个block),以下简称为“块”,每个块都有唯一的一个整数编号,块在使用之前所用到的存储空间都会预先分配和初始化。 每一个块由一个索引文件、一个主块文件和若干个扩展块组成,“小文件”主要存放在主块中,扩展块主要用来存放溢出的数据。 每个索引文件存放对应的块信息和“小文件”索引信息,索引文件会在服务启动是映射(mmap)到内存,以便极大的提高文件检索速度。“小文件”索引信息采用在索引文件中的数据结构哈希链表来实现。 每个文件有对应的文件编号,文件编

m0_46332166的博客 408

从零开始:使用Mask2Former训练你的专属数据集

本文详细介绍了如何从零开始使用Mask2Former训练自定义数据集。内容涵盖环境搭建、数据准备(将LabelMe格式转换为COCO格式)、数据集注册与模型配置、训练启动与调试,以及最终的模型推理与应用。通过实战步骤和常见问题解决方案,帮助读者掌握使用Mask2Former进行实例分割的核心流程,实现专属模型的训练与部署。

weixin_28678151的博客 447

巡检类机器人电池容量计算方法论(原理+算法+真实案例)

摘要:本文系统阐述了巡检机器人电池容量的计算方法,重点解析了;能量平衡;核心原理和三种主流算法。通过光伏电站履带式巡检机器人的真实案例,详细演示了从工况拆解、功耗采集到容量计算的完整流程。文章指出:室内轻载场景可采用静态平均功耗法,户外常规工况推荐动态负载积分法,而复杂环境需采用融合估算算法。特别强调需考虑温度修正(冬季容量衰减20%)、冗余系数(1.2-1.5)和放电深度(磷酸铁锂DoD取80%)等关键参数。

start_up_go的博客 241

centOS下安装tfs基本步骤备份

rpm -i libstdc++-devel-4.4.7-11.el6.x86_64.rpm rpm -i libstdc++-4.4.7-11.el6.x86_64.rpm rpm -i gcc-c++-4.4.7-11.el6.x86_64.rpm rpm -i gcc-4.4.7-11.el6.x86_64.rpm rpm -i autoconf-2.63-5.1.el6.noarc

guotao521的专栏 2242

搭建一个简单的 Django + Vue 项目

在本文中,我将为您详细介绍如何搭建一个简单的 Django + Vue 项目。Django 是一个使用 Python 编写的高级 Web 框架,而 Vue 是一个流行的 JavaScript 框架,用于构建用户界面。通过结合 Django 和 Vue,我们可以创建强大的全栈 Web 应用程序。创建 Django 项目设置 Django 后端创建 Vue 前端连接 Django 和 Vue让我们开始吧!

JfpBlockchain的博客 351

云盘处理大文件

查看了下问题的日志,这是一个13年9月4号的问题。再看下今天的日期,快3年过去了。但考察各大网盘的现状,我们会发现,它们的文件大小限制,似乎并没有多大的改善(比如百度和360网盘文件大小限制为10GB,会员可以到20GB),如果再联想到前段时间,各大网盘(华为网盘、金山快盘、新浪微盘等)的关闭事件,那么这个问题,似乎就显得很有意思。 从技术实现的角度来看,网盘对用户上传的文件大小,会有限

sp1r1t_v的博客 899

Mac下Neo4j的安装、配置及Error汇总

Mac 配置 jdk环境(图文) 卸载jdk

Yale-曼陀罗 1642

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

项目背景介绍及文件系统基本概念简介

文章目录1 项目背景介绍2 文件系统基本概念简介2.1 文件系统接口2.2 存储的基本单位 1 项目背景介绍 根据淘宝2016年的数据分析,淘宝卖家已经达到900多万,有上十亿的商品。每一个商品有包括大量的图片和文字(平均:15k),粗略估计下,数据所占的存储空间在1PB 以上,如果使用单块容量为1T容量的磁盘来保存数据,那么也需要1024 x 1024 块磁盘来保存。 思考? 这么大的数据量,应该怎么保存呢?就保存在普通的单个文件中或单台服务器中吗?显然是不可行的。 淘宝针对海量非结构化数据存储设计出了

木子皿--啥都不会的菜鸟 1391

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

TFS(淘宝分布式文件系统)核心存储引擎

根据淘宝2016年的数据分析,淘宝卖家已经达到900多万,有上十亿的商品。每一个商品有包括大量的图片和文字平均:15k),粗略估计下,数据所占的存储空间在1PB以上,如果使用单块容量为1T容量的磁盘来保存数据,那么也需要块磁盘来保存这么大的数据量,应该怎么保存呢?就保存在普通的单个文件中或单台服务器中吗?显然是不可行的。淘宝针对海量非结构化数据存储设计出了的一款分布式系统,叫TFS,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。1.文件系统接口。

m0_65635427的博客 2172

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

分布式文件系统引擎

TFS 分布式文件系统引擎

学习记录 1354

BAT解密:互联网技术发展之路(4)- 存储层技术剖析

剖析互联网技术存储层典型的做法和方案,包括SQL数据、NoSQL数据、小文件、大文件

华仔-技术博客 8089

大数据处理——Hadoop解析(一)

概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于大数据分析可以做交通流量预测控制;基于大数据分析可以做大型系统故障诊断预测;基于大数据分析可以做客户消费推荐。可以说,大...

weixin_33851604的博客 119

TFS(淘宝分布式存储引擎

淘宝针对海量非结构化数据存储设计出了的一款分布式系统,叫TFS,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。文件系统:​ 一种把数据组织成文件和目录的存储方式,提供了基于文件的存取接口,并通过文件权限控制访问。## 存储的基本单位块​ ==文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个 sector组成一个 blockExt*格式化分区 - 操作系统自动将硬盘分成三个区域。inode - “索引节点”,储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大

hesphoros的个人博客 2599

TFS文件系统策略分析

TFS文件系统策略分析   首先我们来看一下TFS分布式文件系统的特点介绍:   1.完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构。2.在块设备基础上建立自有的文件系统,减少EXT3等文件系统数据碎片带来的性能损耗3.单进程管理单块磁盘的方式,摒除RAID5机制4.带有HA机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡。5.尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度。6.跨机架和IDC的负载均衡和冗余安全策略。7.完全平滑扩容“源码之前,了无秘密”,了解TFS的最好方法是阅读

bingfox的专栏 4396

TFS文件系统格式化分析

<br />TFS文件系统格式化分析<br />   TFS文件系统数据服务器 DataServer在使用之前,需要先对文件系统进行格式化,可以对相关的代码进行一下分析.<br />   (1).格式化文件系统<br />//格式化文件系统<br />int BlockFileManager::format_block_file_system(const SysParam::FileSystemParam& fs_param)<br />        {<br />            int ret

bingfox的专栏 3424

谷歌技术"三宝"之谷歌文件系统

题记:初学分布式文件系统,写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。 虽然"The Google File System "是03年发表的老文章了,但现在仍被广泛讨论,其对后来的分布式文件系统设计具有指导意义。然而,作者在设计GFS时,是基于过去很多实验观察的,并提出了很多假设作为前提,这等于给出了一个GFS的应用场景。所以我们自己在设计分布式系统时,一定要...

weixin_34342992的博客 387

TFS和Project同步结果分析

<br />VSTS(TFS)可以和Project之间同步工作项,但有些情况下会存在一些意外,下面列举了各个同步场景下的结果。<br />环境:VSTS2008;Project 2007;<br />前提:Project的任务项类型为固定工时(Fixed Work)。<br /> <br />一、把Project更改结果发布到VSTS(TFS)<br />1、更改完成比例(或实际完成工时),则TFS的剩余工作和已完成工作会被修改,而且剩余工作与已完成工作的和等于总工时;<br />2、更改工时,则TFS的剩

newmoon2004的专栏 3117

TFS 性能

1. tfs admin tool: http://your-server:8080/tfs/_oi/reference: http://blogs.msdn.com/b/granth/archive/2013/02/13/tfs2012-new-tools-for-tfs-administrators.aspx2. other tools:reference: http://msmvps.com

个人沉淀 2071
上一篇: URL特殊字符问题1例
下一篇: TFS域账户手动同步
FlySpace
博客等级 码龄27年 17粉丝 121原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值