AI技術助力森林生長
目錄
- 背景介紹
- 尋求靈感:什麼讓你對3D建模感興趣
- 三種3D建模方法的優缺點
- 2D圖像轉3D物體:傳統方法的限制
- 过程建模:生成複雜拓撲的挑戰
- 点云技術:基于真實數據的模型創建
- 使用人工智能優化模型生成
- 數據缺乏的挑戰與解決方案
- 數字森林:數據採集與多樣性問題
- 遊戲引擎應用:加速數字模型轉化
- 未來前景與展望
在3D世界中生成真實樹木的新方法 🌳
隨著技術的發展,3D建模正在成為創意設計和遊戲開發的重要領域。就像建築師可以用電腦創造逼真的樓房一樣,我們現在能夠使用3D建模工具來創建繁複的樹木和植被。而下一代流程工具的開發,將讓這一領域發展得更上一層樓。
在本期播客中,我們歡迎到 Purdue 大學的博士候選人和研究員夏赫辰。他的研究專注於樹木的生成和建模,將與我們分享他對3D建模的研究成果和發現。
這裡是這期播客的提綱。
背景介紹
- Mytha 的創業和發展方向
- 本期播客的目的和主旨
尋求靈感:什麼讓你對3D建模感興趣
- 個人研究興趣的起源
- 2D圖像轉3D模型的限制與挑戰
三種3D建模方法的優缺點
-
2D圖像轉3D模型的傳統方法
- 優點:可以將2D圖像轉換為3D模型
- 缺點:對於複雜拓撲的樹木來說表現不佳
-
过程建模方法
- 優點:可以生成逼真的樹木模型
- 缺點:使用複雜,不易理解的參數
-
点云技術
- 優點:基於真實數據創建模型
- 缺點:數據不足的挑戰和解決方案
使用人工智能優化模型生成
- 應用深度學習技術優化樹木生成
- 從合成數據中模擬真實樹木
數據缺乏的挑戰與解決方案
- 為森林數據生成數字孿生體的挑戰
- 運用合成數據解决數據缺陷問題
數字森林:數據採集與多樣性問題
- 如何實現全球每棵樹的測量
- 全球數據搜集掃描森林的挑戰及解決方案
遊戲引擎應用:加速數字模型轉化
- 利用遊戲引擎將數字模型轉化為遊戲內容
- 將樹木模型應用於遊戲設計中的潛力
未來前景與展望
- 利用更多信息進一步提高模型生成的精確度
- 擴展數據庫以涵蓋更多樹木物種
我們非常期待和夏赫辰進一步討論他的研究成果和未來的探索。下周見!
在3D世界中生成真實樹木的新方法 🌳
欢迎大家来到《探索Mytha世界》的播客节目,Mytha是一个初创公司,致力于打造下一代3D世界中树木、植被和整个生态系统的创造方式,这个节目将会和大家分享我们在这个过程中学到的东西,也会与世界级的游戏制作专家一同探讨创造3D世界的技术。今天我们有幸邀请到了帕度大学的博士候选人和研究员孝晨·夏赫辰,他在树木生成和建模方面有着丰富的研究经验,欢迎孝晨·夏赫辰的加入。孝晨,你好,谢谢你的加入,感谢你的邀请,我很高兴能参与这次对话。那么,孝晨,首先来说说你对这项工作感兴趣的原因,是什么让你对3D建模和树木生成特别感兴趣?
孝晨:首先,感谢您的邀请。从最初开始,我对研究的兴趣是将2D图像转换为3D对象,这方面已经有很多相关工作了,例如可以使用AI来将2D图像转化为3D模型,但我们试图进行一些探索,尝试将含有复杂拓扑和几何结构的对象转换为三维世界,然而这里有一些问题,现有的方法可能无法生成非常详细的几何模型或者无法清晰地表示几何结构的连接关系。所以我认为还存在其他方法,用以探索生成具有不同拓扑和几何的复杂模型。我们非常想借此机会进一步研究树木建模,而树木建模本身也是非常令人兴奋的事情。作为帕度大学的学生,我们与林业和自然资源部门有密切合作,我们正在领导一个名为“数字双胞胎”的项目。我们很高兴成为其中的一员,并基于此项目的基础,尝试首先生成树木模型。在探索这个方向时,我们发现有一些可以解决这个问题的先进方法,称为过程建模,过程建模可以帮助用户创建逼真的树木模型,可在游戏或工业中使用。然而,过程建模本身过于复杂,可能不易使用,所以我们希望能够提供一个更便于用户使用的框架或流程,用户仅需提供几个易于理解的参数,例如树种、年龄、生长位置等,我们将基于这些参数生成树木模型,这就是我们所谓的"Deep Tree"方法。我们以转化真实树木的植物学信息为目标,并将其转化为计算机科学系统易于理解的范例,从而在数字空间中根据生物数据生成树木。
Mytha创始人兼首席执行官斯莱特:这真是太棒了,我觉得之后的讨论会非常有意思。孝晨,我想先问一个问题,当你谈论传统方法无法处理复杂拓扑结构时,你指的是哪些方法,从哪里开始出现问题,你认为哪些问题是不可避免的呢?
孝晨:我们实际上使用的方法并不算传统的方法,因为根据我们的实验,我们希望使用2D到3D转换。我们尝试使用扩散模型或"Wonder 3D"等方法,它们试图从图像中生成树木对象,但是结果并不理想,因为它们总是会生成一个树木的“斑点”,因为树木本身看起来就像一个斑点。它们无法详细地建模特定的分支,甚至可能会因为主干的性能不佳而无法生成真实的树干,更不用说在顶部的小枝或树枝了。还有其他一些策略,例如基于神经渲染框架的Deep SDF这些新技术可以帮助我们生成3D模型,但它们可能需要更多的图像作为输入,或者无法直接生成一个真正的3D物体。比如,神经渲染本身就是一种内隐表示方法,如果我们想要生成一个可以在游戏引擎中使用的3D模型,我们需要进行进一步的处理,例如Margin-Central CRA。因此,从我的理解来看,如果我是一个游戏设计师,并且希望能够创建树木,我希望树木的形状应该非常明确,我们可以看到树木的生长模式,而且应该更容易向树木模型添加纹理。基于这种假设,我认为我们的方法对工业界来说是有用的,我们希望能够生成一个能够以过程方式生成树木的项目,同时对用户使用更容易。
斯莱特:是的,我能理解。在这里,我们希望能够具体理解一下,当你谈到传统方法无法处理复杂拓扑结构时,从算法的角度来看,你说的是什么方法?你是否关于这个过程还有什么可补充的吗?
孝晨:我的同事就在旁边,他是在CRA上发表论文的博士生,他的论文是关于基于单个图像的预建模生成或重建。方法是,我们有一个树木的图像,我们将该图像分割为树木对象,并使用一些类似于边界框的东西,称之为cbv,因为它是一个球或圆柱,在每层使用数个圆柱体来表示树木的整体形状。它将生成一个整体的树木形状或者说是一个块状物体。之后,如果你了解这段树木的整体形状,你可以使用其他真实的传统方法,例如空间团队化,来从树的根部到顶部生成骨架。生成的骨架后,你可以调整这些参数,如圆柱体的厚度和叶片的位置,然后根据这些参数生成树木模型。这就是一种树木建模的方法,但不能保证此方法能够真正地重建出与输入图像完全相同的树木。
斯莱特:我现在听到的是,你可能会使用这种方法来获取了主干,但从那之后的树木部分,你仍然需要进行一些手动的处理,以使其看起来更准确。你有关于这个过程的其他思考吗?例如,从树干的主茎追溯下来的分支、例如空气根的部分,它可能会生长在一条分支上,但它也有可能延伸到地面。想请确认一下这种方式的意义在于提供了确保完成拓扑结构的过程工具,然后由人工智能来处理这其中的技术,以便更好地利用所有资源?
孝晨:树木和树叶、果实等并不能完全代表我的主要研究重点,尽管在过程模型项目中,我们可以在最后添加树叶。我们可以自动生成树枝,这些树枝会在流程模型引擎认为是分支的末端生成,如果有了树枝,我们就可以生成树叶和果实,所有这些生成都是基于过程建模,如果要基于过程建模生成这些并将其实现在游戏引擎中,我们需要更多参数和信息。如果我们拥有大量的合成数据和树叶和果实,我们就可以知道每个树枝应该有树叶和果实的位置及分布,接下来我们可以进一步研究如何生成树叶和果实,以及树木与土壤、地面的对接,所以这些都是可行的。我不确定是否有必要深入研究这些方法,但如果我们能拥有足够的合成数据,并且了解其中的树叶和果实等信息,我们可以推进更多的研究。
斯莱特:我明白了,我觉得这非常有意思,你知道,数字孪生技术在这方面的应用,也可以理解为在树木的骨架中添加一些元数据,从而形成下游网络生成的拓扑结构,例如,也许根据年龄,你希望给这些分支一个不同的颜色等,你对此有什么看法?
孝晨:是的,数字双胞胎这一项目的目标是测量世界上的每棵树,所以从我们一开始,我们就要确保我们能够尽可能多地创建树木,并为他们提供数据。然而,我们不会确定这些数据中哪种树木最常见,我们只需要确保我们能够基于已见模型来生成目标是什么样的模型,我们只需要确认我们的模型能够生成目标它就可以了。
斯莱特:所以,我可以这样理解,你在印第安纳州生成的树木模型非常好,但是,当与那些更远离这里的区域相比时,你的模型可能会遇到困难,对吗?
孝晨:是的,如果我们有图像,我们可以调整流程中的参数,以使具体树木的模型看起来与给定图像相似。然后,如果我们有流程模型的参数,我们就可以生成合成数据,这些合成数据可以帮助我们优化树木的生成过程,并与您提到过的特定树种一起工作。
斯莱特:好的,那就是说,你的目标是生成印地安那州的实况模型,而离那里越远,输出就可能不那么准确,对吧?
孝晨:没错,我的目标是生成树木模型,只要树木的整体形状不改变,我们就可以更容易地添加这些参数。
斯莱特:太好了,孝晨,我很高兴我们可以在播客节目中与你分享你的研究成果和见解,感谢你的参与,感谢你对Mytha的支持。我相信我们还会有很多关于你的研究成果的讨论,在和你一起度过这个过程中,我们已经结下了深厚的友谊。再次感谢你的到来。听众朋友们,感谢你们的收听,我们下周再见!