算法之去重

方法一:new Set()

思路:es6新的数据类型 里面的值是惟一的

function unique(arr) {
    var newArr=[];
    newArr=new Set(arr);
    return newArr;
}
var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',unique(arr))

 

方法二:先排序,再去重

思路:给传入的数组排序,排序后相同的值会相邻,然后遍历排序后数组时,新数组只加入不与前一值重复的值。

function unique(arr) {
    // 原数组排序
    arr.sort();
    // 构造新数组
    var newArr=[arr[0]];
    // 用原数组的每个值和新数组的最后一个值比较
    for(var i=1;i<arr.length;i++){
        if(arr[i]!==newArr[newArr.length-1]){
            newArr.push(arr[i]);
        }
    }
    return newArr;
}
var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',unique(arr)) // [1,2,3,4,5]

 

 

方法三:遍历数组法

思路:新建一个数组,遍历去要重的数组,当值不在新数组的时候(indexOf为-1)就加入该新数组中; 利用数组的indexOf下标属性来查询。

注意:indexOf() 方法可返回某个指定的字符串值在字符串中首次出现的位置。如果要检索的字符串值没有出现,则该方法返回 -1。

语法:

stringObject.indexOf(searchvalue,fromindex)

function unique(arr) {
    newArr=[];
    for(var i=0;i<arr.length;i++){
        if(newArr.indexOf(arr[i])===-1){
            newArr.push(arr[i]);
        }
    }
    return newArr;
}
var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',unique(arr))  // [1,2,3,4,5]

 

方法四:利用数组原型对象上的includes方法

注意:和方法三思路类似,只是判断是否存在的方法不一样而已。
 function unique(arr) {
     var newArr = [];
     for(var i=0; i<arr.length; i++){
         if(!newArr.includes(arr[i])){  // 如果res新数组不包含当前循环item
             newArr.push(arr[i])
         }
     }
     return newArr;
}

var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',unique(arr))  // [1,2,3,4,5]

 

 

方法五:双层遍历+一个标志   -------原生方法

思路:定义一个新数组,并存放原数组的第一个元素,然后将元素组一一和新数组的元素对比,若不同则存放在新数组中。

 function unique(arr) {
     var newArr = [arr[0]];
     for(var i=1; i<arr.length; i++){
         var repeat = false;
         for(var j=0; j<newArr.length; j++){
             if(arr[i] === newArr[j]){
                 repeat = true;
                 break;
             }
         }
         if(!repeat){
             newArr.push(arr[i]);
         }
     }
     return newArr;
}
var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',unique(arr))

 

方法六利用hash表来检测数组中是否有重复项

 function hash(arr) {
     var newArr = [];
     for(var i=0; i<arr.length; i++){
         if(!hash[arr[i]]){
             newArr.push(arr[i])
             hash[arr[i]]=true;
         }
     }
     return newArr;
}

var arr=[1,2,2,3,2,3,4,5,4];
console.log('==================',hash(arr)) // [1,2,3,4,5]

 

### 感知哈希算法实现图片 #### 计算感知哈希值 为了有效复图像,可以利用感知哈希(Perceptual Hash, pHash)技术来计算每张图片的独特指纹。pHash 的核心在于即使面对经过轻微变换处理过的同一幅图也能保持较高的匹配率[^1]。 ```python import imagehash from PIL import Image def calculate_phash(image_path): img = Image.open(image_path) hash_value = str(imagehash.phash(img)) return hash_value ``` 此函数接收一张图片路径作为输入参数并返回其对应的十六进制字符串形式的感知哈希码。 #### 存储与检索哈希值 对于大规模数据集而言,在初次加载时即为所有待查证对象建立索引至关要。这一步骤通常涉及遍历整个文件夹结构并将各文件转换成相应的哈希表示存入数据库中以便后续查询操作。 ```sql CREATE TABLE IF NOT EXISTS images ( id INTEGER PRIMARY KEY AUTOINCREMENT, filepath TEXT UNIQUE NOT NULL, phash VARCHAR(64) NOT NULL ); INSERT INTO images (filepath, phash) VALUES (?, ?); SELECT * FROM images WHERE phash = ? ``` 上述 SQL 语句展示了创建用于存储图像及其对应哈希值得表格以及插入新记录和查找特定哈希值的方式。 #### 执行相似度检测 当接收到新的上传请求时,先对该目标执行同样的哈希运算流程;之后再依据所得结果同现有库内条目逐一比对差异大小——一般情况下汉明距离越小则说明两张照片间存在更高概率属于同一个源实体。 ```python def hamming_distance(hash1, hash2): diff = int(hash1, 16) ^ int(hash2, 16) return bin(diff).count('1') threshold = 5 # 可根据实际情况调整阈值 if hamming_distance(new_image_hash, existing_image_hash) <= threshold: print("Duplicate found!") else: print("Unique image.") ``` 这里定义了一个简单的辅助方法 `hamming_distance` 来衡量两个二进制串之间不同的位数,并以此判断两者的接近程度。如果两者间的差距小于设定好的界限,则认为它们可能是相同的原始素材的不同版本。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值