VR Forum

自从去年实验室举办VR论坛以来听了好多次,但只是当时记录在了笔记本上。以后我打算记录到我的Blog里面,归个档也好没事儿来看看。

AI in design and manufacture

2019年3月25日星期一
Ariel Shamir教授
演讲分为四个方面:

  • Sketch
  • Imaging
  • 3D modeling
  • Fabrication
    Talk Framework

    Intro

    关于人工智能,大家一般不会认为工具是智能的,比如一把斧子,但教授认为数字的工具也可以是智能的。
    在智能的定义上一直在进步:
    AI Redefination
    开始人们可能认为一个计算器就足够智能了,后来的专家系统,到现在的深度学习。虽然Alpha Go可以战胜李世石,但是目前的AI还没有创造的能力,比如你告诉Siri,让她帮你拍一张浪漫的照片,它可能不懂浪漫为何物。

有些任务,目前完全自动化比较困难,虽然人们可以完成但是需要花费很多时间,比如3D建模师等等都需要很专业的技术的。所以可以提供一些智能化的工具来提高人们的效率,把人们从无聊的体力劳动解放出来,发挥自己的创意。但刚开始教授就说他讲的内容和目前的深度学习无关。

困难

Language understanding,
Image understanding,
Image segmentation,
Image composition,
Object recognition,
Object reconstruction,
3D modeling,
Physics understanding, Fabrication.

主要工作

  1. Image 2 Sketch
    如何从一张人脸图片画出素描图(还要有风格)?
    扩展:Video 2 Sketch (需要考虑时间连续性)
  2. Sketch 2 Image
    Sketch + 文字说明 + 相对位置等 -> Google Search –> Filter -> 合适的图片 –> 组合在一起
    其中一个思想是简化问题:找到合适简单的图片,而不是复杂的图片,他们提出了一种衡量图片复杂度的方法。
    目前相似的方法有GANNvidia GauGAN
  3. 3D modeling (简化:Modeling by parts)

    • Sketch 2 3D model: 根据Sketch来半自动构建3D模型。
    • Image 2 3D model (3-sweep):从一张图片半自动建立一个3D模型,可编辑。
  4. Fabrication (虚拟->现实)
    问题:实际物体有大量的细节,物理属性,连接组件等等。(教授以书架为例,3Dmodel可能只有10几个零件,但真实的书架可能需要几百上千个零件,书架还需要结实,承重等等)

    • 其中还有一个Connector的制作问题 (很有趣):可以放水杯,球拍等等。

AR Development

2019年8月
Christian Sandor

  • 他是2020 VR会议的Chair,目前在香港城市大学 XRL 实验室,致力于AR和艺术的结合,做了很多有趣的项目。
    演讲主要介绍了他的几个方向的工作
  1. 戴上头盔之后手上着火 (AR),是ISMAR best Demo。他利用DepthMap + Optical Flow进行手的重建。
  2. 戴上头盔之后有透视效果,需要前景和后景之间叠加,某些地方变透明等。
  3. 前后景的模糊效果:当人眼的焦点发生改变时,对焦的位置变得清晰,其他的位置为变得模糊
  4. 力反馈方面增强现实:戴上头盔之后,拿一个牛奶盒,可以进行增强之后CG里显示的是更长的盒子,可以用力反馈设备去触碰这些不存在的地方也能够感受到力
  5. 娱乐方面:日本的小鬼AR项目,HoloLens适合小范围重建,他们团队解决了大范围的场景重建问题。还有一个项目是开放场景中(室外)的对战AR游戏。

观点

他认为AR > VR,是最终的趋势。

文章目录
  1. 1. AI in design and manufacture
    1. 1.1. Intro
    2. 1.2. 困难
    3. 1.3. 主要工作
  2. 2. AR Development
    1. 2.1. 观点
,