weixin_44345862的博客

震动之后如果松手了，不会立即停止震动，会延迟两三秒钟，为了更好的效果，当然需要精益求精了。每个if后面加一个else震动强度设置成0，处理松开手的代码就好了。我自己的例子，新建cube上挂载oculus交互的代码，如下。然后加载自己写的代码到cube上就可以了。（经测试无法用到手抓上边）以下是以前的参考而已.

它就是SadTalker，重点是可以模仿reference video中人物的动作呀，可不仅仅是音频驱动口型。但只有头部五官的动作，没有身体的模仿哈。

最强文生图的Flux，要求显示在图片上的文字都能正确生成，还少见到。我也对比了Flux和Midjourney生成的结果，这款文字生成图片的免费开源模型，在很多方面完胜了Midjourney！如果你不会填写文字提示词也没关系，我分享几个技巧，让你学会描写运动生成有电影质感的图片。图生视频的目前看起来最好的是hailuo,给一张图片，告诉他一个故事，基于图片中的事物(人或动物)生成的故事视频很Nice.要求显示在图片上的文字和爱心符号都能正确生成，还难得。要求显示在图片上的文字都能正确生成，还少见到。

这样我以前的那个VR教学动画动作就不用佩戴设备，直接从原来的视频里抽取就好了，一连串的动作赋给我的人物，多好。就是不知道物理尺寸多少呢。blender中有骨骼动画与人物的自动缩放对齐功能，以前的视频里有见到过。用的Wonder Studio，不免费哈，也不能试了，都要钱。最厉害的是可以抽取多人视频的，然后每个人的都会单独的保存一个动作动画的fbx，抽取的运动动画输出为fbx格式哈，通用的。登录后（google登录）界面如下。先别激动，参考别人的评论。

Wink App是高清画质修复必备神器，打造自然服帖精致人像，照片&视频都能修，360度还原美貌无死角，Get氛围感影像，美图秀秀荣誉出品。WinkStudio是桌面端AI视频编辑工具，打造“AI+视频剪辑=修一帧，用全局”的全新创作体验，服务于视频内容创作者，AI视频前沿效果尽在Wink Studio。我自己的，送了100点，视频时常调成4s，消耗48点，耗时较长，实际1小时都不止。视频转卡通还得用美图，美图wink效果最好，不闪不丢有过程有细节。

现在AI可以免费生成不带水印、不限时长的视频了，并且视频里的角色可以进行唇形同步配音。最重要的是，我还会分享给大家，怎么生成角色一致的动画场景，怎么使用场景图片生成完整的视频，并且我还会介绍一款，我用过最好的中文AI配音工具，里面的中文配音演员发音非常标准，语调自然还会有停顿和起伏，只要认真看完本期视频，你就能免费创建出角色一致、唇形同步的视频。1.首先用ChatGPT生成场景话白为了保持人物的一致性，需要输入人物的衣着描述。

另外blender可以生成一个3D人物(扫描生成的或AI生成的3D模型)的骨骼从而使它能够赋予动画进行各种运动。手把手教你用AI把草图做成3D骨骼动画！包含详细wonder3d云端建模+renderelf云端渲染全套流程！最后mixamo也可以上传自己的3D模型的时候创建或者说是绑定骨骼。也可以参考上面的那个连接里面也有这个内容。

在iclone中做的语音嘴型动画，因是用下图自带的方式语音生成的动画，而不是用plugin(面捕live会连同语音一起导出)，所以导出来到Unity中，之后口型、动作、表情等没有声音。我需要把原有的语音也重新在unity中加载上，原来是通过人物上直接挂在语音，同步性看起来还行，1.写C#脚本函数，新建EventaddFrame.cs脚本，其中创建了一个speak函数。3.动画片段中添加event事件，并写上C#脚本中的函数，apply之后，就完成了。但理论上还是跟随动画一起的比较好，因此改用了本文的方式。

9后来发现人走了中心没走，就是这里导致了后来的root对齐莫名奇妙的事件，我通过移动的腰部控制点和脚不控制点编排的shift动作，当时没看是全局移动还是局部移动，难道我搞了一个局部移动？应该不会吧，我从来不切换移动按钮的。7后来中心的位置这是正常的，后来这段是mixamo下载的动画裁剪的，前面的那个站立的是一直用的呀，奇怪，肯定是我不小心过程中动了中心位置。5奇怪医生的中心似乎是途中的花坐标轴偏离人体好多呀不知何时跑这里的难道前面是应为这个？8后来发现shift动画刚开始这个时候人和中心还是好的。

记得copy pose并paste pose到逆运动的第一帧，因手臂有朝后的动作啊，位置是比当初改了一点点的，这也是为何需要在这里做逆运动动画而不是直接在Unity中片段倒播的原因。根据前面的经验总结，粘贴clip应该是auto exntend关自动对齐开的嚒这次当然也这样啦，结果新片段怎么都对不起前面的clip，位置有偏差很明显。无奈关掉了自动对齐开关，粘贴的clip竟然神奇的可以跟前面的clip方位一致了，记录一下下次估计也得这样操作。

3.删除reach(注意画选时如果reach延长不能直接删否则以前的动画也会删掉，要缩短reach后再删另外这两个灰原点也要删掉否则影响后边新加clip的对齐会出现乱七八糟的事情)6.勾选上新建层后才是我们费尽心思设计的效果，它跟base layer一样的操作方法，就是编辑的时候看有没有切换的此层而已。7.好了，最后再来个clip的反相或者pose的粘贴就完美了返回了2。7.好了，最后再来个clip的反相或者pose的粘贴就完美了返回了。2.拷贝reach最后一帧的动作。1.reach添加后2。

4在新建层中分别选择头帧粘贴pose和尾帧粘贴pose因是上半身，因此mask中把下半身去掉即变灰。3选择并复制pose（注意在哪个层中选中的情况下复制的是那个层中的pose）1选择要施加的clip并调出层控制窗口。2点选motion层控制。

4但在87帧已经合并了双脚经过拖动发现87帧到100帧人物以站立的姿势往前又平移了一段距离这应该是pose粘贴时其位置并没有随前面的clip其实角度也是这样的，只能滑漂到随机的位置而不是我们想要的clip末端人物的位置，这里你还没法选择对齐因已经归集到一起了哈。这方面我吃了不少苦苦了我一天呢。1假设走到这里了我想给他一个停止站立的姿势即把最开始的站立姿势给他让他自动过渡（想的美，其实此路不通，因归集的pose方位不会随前一个clip末帧因此过程只会滑动或滑转过去，不适合脚步行走的生物，详见下面的实例）

10对于这种转身且下肢要一个指定pose的用直接粘贴pose的方法不能合成经测试会使前面正常的动作产生变异因使下肢改下肢产生怪胎很自然，这时候只能用两个clip合成，即把指定的终了姿态做成clip与转身的clip拼接交叉从而产生过渡合成。11那么问题就来了，本来的姿态（左侧）要在右侧位置生成一个clip然后跟右侧的转身clip合成，怎么实现这个乾坤大挪移呢？12诀窍就是在转身动画结束的下一帧粘贴想要的pose就行了，自动中心对其前面（跟clip一样哈）8用speed按钮拉长前面的转身clip，相当于放大。

老是访问官网搭建unity环境太麻烦了，自己记录一下，在国内看。官网教程连接。

哎，直接导致我千辛万苦编写的动画要重新安装最新版本的插件，一直用的V40的，直到手动交互的时候，才发现这个问题，也是够惊险的。用新的版本插件，手和物体交互的已经验证过了，接下去就是菜单远程点触的交互要解决。V40最奇葩，inputOVR组件中几乎什么都没有，V39还好，只是OVRcameraRG无法拖动倒inputOVR组件上，因类型差一点点（这个我记得以前自己遇到过，有解决的记录，别人也有视频解说），但是他们官方的奇葩，我懒得做无用功了。按照老习惯，下载了最新的V57版本，安装后，用起来刚刚的。

一开始的状态就是抓住病人的腿了（这个实际还需要改成一开始医生是独立的，然后再去抓住病人的退并推动腿使之弯曲，根据我观察的经验，这需要用到final IK的另一套办法Interaction System），不管怎么说，随动这个功能先实现了，准没错。原来只用unity自带的IK，发现背部不能动，且手和手指的移动和旋转试了好像没法通过animation实现（加入关键帧并修改最终状态的数值后播放没有变化，确定最终关键帧的数值已经改了的）。然后手动调整手和手指的位置到物体上（调整的时候要在运行状态，然后去。

另外说明一下，每一个部位有很多个tga文件，如胳膊的，暂时没搞清楚都是干嘛的，因这里只能用其中的一个文件做材质球的贴图，因此统一选取了basecolor后缀的tga文件。（当然一切的前提是有texture），翻了一下淘宝给的源文件，里面有一个叫Assets文件夹，内容如下图所示，最后把此材质，拖动到fbx模型的相应位置，记得点击Inspector属性中最下边的apply按钮，胳膊上的材质颜色立马出来了，效果如下，今天淘宝上买了一个美女的模型，是blender的源文件，上面说有fbx格式的。

Exercise - Create intelligent object placements with solvers - Training | Microsoft LearnSolvers are one of the components of the Mixed Reality Toolkit (MRTK). Let's take a look at two types of solvers and their respective functionalities.The MRTK's solver

Inverse KinematicsUnity - Manual: Inverse KinematicsHow To Create Animations From Models And Sprites Within Unity - GameDev Academy

建一个空物体Faceobjects，添加上红色材质，为了两面都能看到面片，shader选中Particles/Standard surface,原来默认的标准shader只能显示外侧的面，内侧的面看不到为透明态。我这里为了在AR眼镜上用，所以先配置了MRTK环境，然后直接拷贝的以前的测试官网例子的里面的脚本文件。其实很简单，只几个脚本文件（8个）就够了。声明：只能读标准的三角面片的即点是三个数即x,y,z的OBJ文件，那种四方面片的OBJ记录文件读不了，可能带材质的三角面片的单一OBJ文件也读不了。

获得控件中的属性即可。

不同scene之间要求比较高，假设scene1下面类A的变量ab需要设置成public static才行，另一个scene2中的B类引用A中的变量值的时候不需要把A类实例化，直接A.ab就是A中获得abc的值。scene1中的类： scene2中使用： 同一scene下的不同类之间传数据比较简单，类C的变量cd设置成public就行了，另外一个类D引用的时候，需要实例化类C：C cinstance; 用的时候cinstance.cd才行（如直接使用类C引用，C.cd会报错）。

点云配准的最终目的是通过一定的旋转和平移变换将不同坐标系下的两组或者多组点云数据统一到同一参考坐标系下。这个过程，可以通过一组映射来完成。假设映射变换为H，这H可以用以下的公式来表示。其中α、β、γ分别表示点沿x、y、z轴的旋转角度，tx、ty、tz分别表示点沿。Unity 中的旋转顺序为：Z-X-Y.x、y、z轴的平移量。

过程图片汇总记录

得到的WorldPosition为相对于本物体(父物体)在三个方向上距离分别为(xdistance, ydistance, zdistance)的点（localPosition为(xdistance, ydistance, zdistance)的子物体）的世界坐标。意义：将距离本物体一定距离（或子物体很少用到此处，因子物体可以直接用transform.position得到其世界坐标的，此函数用到其它任意点才有意义）的任意点的相对坐标转换为世界坐标。测试实例4父物体cube有旋转和缩放时。

给一个fbx或obj格式的导入物体，另外保存其mesh资源，或者保存其内部的点的STL坐标以供研究。代码挂载到fbx或obj物体上即可，另外此代码可以随机不停地更改物体的顶点坐标形成动画效果（见代码中的update中屏蔽的部分）。物体的镜像需要进行两个操作：顶点Vertices取反和三角面片Triangles的渲染顺序颠倒。

里面的人物的动作可以复刻，比较有意思。下载免费，fbx格式的下载后导入unity，刚开始的时候没有颜色。如下图，选中prefab人物后，点击material属性，选择。

这个解剖学坐标体系是一个连续的三维空间，在这个空间中，图像被采样。在神经成像中，3D基本上通过解剖轴Anterior-Posterior，Inferior-Superior，Left-Right来定义。从根本上来说，这两种坐标轴（LPS和RAS）是等价使用的，有着相同的逻辑，但是有必要知道图像到底引用了哪种坐标轴。由上图知，RAS是右手坐标系，LAS是左手坐标系, LPS什么也不是只是Dicom中专用罢了。Unity是左手坐标系，但医学图像软件没有一个是LAS的，因此都需要经转换之苦。

一堆的设置，必须的locomotion，也不知道干啥用的，反正一阵添加设置后就可以用了，哎，真无聊，什么也学不到，还得添加OVRPlayerController这个整体，要知道我一般只用OVRCameraRig则会个必要元素的，所以此篇只是为了证明官网的凑合能用，没啥实际的意义。这个是按官网的来的，官网的版本比较老（包括下面参考的那个也很老了）的关系，部分函数有出入，以我的这个为准，毕竟自己测试成功了比什么都可靠。

oculus quest2 交互开发

选择其中的UniversalRenderPipelineAsset拖进projectsetting（在Edit主菜单中）中的graph菜单里的pipeline render setting就可以用了。材质中的Color和x属性就是我们在shader graph的菜单中自己添加的，改变此x的值，球的发冠边缘会实时变化，如改成1。新建材质并选择自己新建的shader graph得到的球体（新建材质拖到上面才行哈）的效果如下。简单有深度的东西可以用Shader，但酷炫的效果离不开这个好用东西。

/经过实际测试前三个都是0，从第四个开始才跟transform中的数据一样，跟openIGTLink官方的协议说明不同，按实际的来，所以从m[3]开始。//此句虽然是用的向量加旋转，但依然是眼镜获得的两个全局值再运算，跟上面一个效果，多一层误差。//四元素初始化只能这样。但rotation不行，要用Quaternion.Euler赋值的办法才能赋值或更改角度。...

/经过实际测试前三个都是0，从第四个开始才跟transform中的数据一样，跟openIGTLink官方的协议说明不同，按实际的来，所以从m[3]开始。在Unity中使用Matrix4x4.Inverse(matrix)求得一个矩阵得逆矩阵。

UNITY 类之间的变量调用

克隆物体的子物体的控制属于动态显隐控制，无法提前拖动到代码的变量之上，正好项目中遇到了，因此专门写了一个小程序测试了一下 克隆物体的子物体名字的不变性，克隆的物体这里我单独命名了。主界面如下（包括了hide按钮的挂载代码情况）： 主代码CloneObject.cs如下克隆按钮的挂在如下，四个prefab物体变量都是空着的，运行过程中赋值。 运行，点击clone按钮之后如下（左侧生成了新的克隆物体，右侧的prefab因动态赋值，多了两个物体）： 点击hide按钮之后如下（其实此时物体有两个部分隐藏了）：

先写dll Test.h代码Test.cpp代码 编译生成dll 拖到unity的Asset下面 写unity端调用的代码TestDllOne.cs如下： 代码挂载到button上面即可。运行后 unity的控制台输出log中的计算结果。全部文件如下：

搜了好多，都没有看到关于下拉组件带图标的生成方法，最后在老外的帮助下总算弄成功了。记录一下，造福大家啊。作为对比，原始的dropdown是这样的： 直接把图片（包括sprite格式的）往上图中的Caption image和item image中托是拖不了的，他们只接受hierarchy中的物体，所以你必须先在hierarchy中新建image UI然后把图片拖动到这个UI上，然后才能给Caption image和item image赋image即把这个带图片的image UI拖过去...

参考了我之前的MRTK发布到android设备之2参考了官网unity2020+window XR plugin的设置：参考了小黑妞的gradle依赖设置 （很重要，否则无法用azure）今天准备把微软官网的azure例子发布到安卓手机上看看效果。结果先照上面小黑妞的从头到尾弄了一遍，没有编译成，最后好像是gradle的问题，放弃了，后来发现是没有加小黑妞用的那两个requirment，但是在unity2020也失败的时候发现的，所以就没有回头把untiy2019的修理好。重要的两句如下i

上一篇研究了unity2019的发布方法，我们看到了自己下载JDK，填写路径等，且MRTK用的2.5.4比较老旧，ARcore和ARfoundation也是比较旧。今天用unity2020和比较新的MRTK来试一下，后来成功了。总结一句：山穷水覆疑无路，柳暗花明又一村， 踏破铁鞋无觅处，得来全不费工夫！这次用unity2020.3.18f1c1，新建工程切换到android平台然后导入MRTK2.7.2,ARcore和ARfoundation保持默认，如下。接着就是MRTK菜单中场景的添加以及t