最近一直没动静的Pika Labs原来在筹集融资,加快构建视频基础模型

Pika融资8000万美元加速视频创作

Pika 筹集了 8000 万美元,因此任何人都可以根据命令制作视频。

今天对我们来说是一个重要的日子。自从我们从斯坦福大学退学去构建 Pika 以来已经一年了,在这段时间里,我们在 Discord 上进行了秘密发布,发布了我们的 1.0 模型和 Web 应用程序,发布了多个首次上市的功能,并壮大了我们的团队从三到十三。

但最重要的是,我们见证了当更多人能够通过视频讲述故事时,它的力量有多大。

喜好儿网

正因如此,我们兴奋而又谦虚地宣布,我们已经筹集了 8000 万美元的 B 轮融资,使我们的总资金达到 1.35 亿美元。在 Spark Capital 令人难以置信的团队的领导下,本轮融资将使我们能够加快构建最佳视频基础模型以及为视频创作者提供最佳产品的进度。

而且,这还将帮助我们继续聘用最优秀的人才(提示:如果你就是这样,请在这里申请!)

我们要感谢所有相信我们消除视频创作障碍的愿景的新投资者——科技和娱乐领域的领先投资公司和个人,包括 Greycroft、Lightspeed、Neo、Makers Fund、Jared Leto 和 Craig Kallman。除此之外,我们之前几轮的投资者还包括 Nat Friedman、Daniel Gross、Elad Gil、Adam D'Angelo、Mike Vernal、Karim Atiyeh、Aaron Levie、Andrej Karpathy、Aravind Srinivas、Clem Delangue、Alex Chung、Mateusz Staniszewski、Conviction ,还有SV天使。

如果我们没有以对我们各种创作者社区的爱和赞赏来结束这篇文章,那就是我们的失职。您的想法是 Pika 的动力,也是我们让它变得更好的动力。

- Demi & Chenlin - 黛米和陈琳

### Pika 视频模型技术解析 #### 模型目标与特性 Pika视频模型旨在保留视频结构的同时编辑其内容。具体来说,该模型专注于保持视频中的几何和动力学特征不变,例如对象的形状、位置及其随时间的变化;与此同时,允许对外观属性如颜色、样式及光照条件进行修改[^1]。 #### 输入表示方法 为了更好地理解和处理复杂的时空信息,在输入阶段采用了一种特殊的方法——将视频分解成多个时空图像块作为输入给定至神经网络中。这种策略有助于更细致入微地捕捉并利用存在于连续帧之间的关联模式,进而提升整体性能表现,特别是在涉及长时间跨度或大范围运动的情况下尤为显著[^2]。 #### 架构设计原则 架构上,Pika采用了先进的深度学习框架来构建整个系统。通过多层卷积神经网络(CNNs)提取局部特征,并结合循环神经单元(RNNS)建模序列依赖关系,实现了对动态场景的有效表征。此外,还引入了注意力机制以增强关键区域的重要性权重分配,使得模型能够在不同尺度下聚焦于最相关的部分。 ```python import torch.nn as nn class Pikamodel(nn.Module): def __init__(self, input_channels=3, num_classes=1000): super(Pikamodel, self).__init__() # 定义CNN层用于空间特征抽取 self.cnn_layers = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=(7, 7), stride=(2, 2)), ... ) # RNN层负责时间维度上的上下文理解 self.rnn_layer = nn.LSTM(...) def forward(self, x): batch_size, timesteps, C, H, W = x.size() c_in = x.view(batch_size * timesteps, C, H, W) cnn_out = self.cnn_layers(c_in) r_in = cnn_out.view(batch_size, timesteps, -1) output, (hn, cn) = self.rnn_layer(r_in) return output[-1] ``` #### 应用领域拓展 得益于上述特点和技术优势,Pika不仅适用于传统的计算机视觉任务如物体检测、跟踪等,而且在新兴的应用方向也展现出巨大潜力,比如虚拟现实(VR)/增强现实(AR)环境下的交互体验优化、影视后期制作过程里的特效合成等方面均能发挥重要作用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值