机器人艺术家Leonardo:RoboDK遇见生成式AI

生成式AI机器人

近年来,机器人和艺术家正在结合。但生成式人工智能的最新热潮打开了更多的大门……例如Leonardo项目。

多年来,RoboDK参与了各种激动人心的机器人艺术项目。从流媒体平台Spotify的巨型音乐家雕塑到用于视频广告的电影制作机器人,甚至是黑灯机器人绘画或机器人创作的3D打印食品艺术,艺术家们都喜欢我们的平台。

目前艺术技术领域最大的争论之一是生成式人工智能。一些艺术家对人工智能艺术工具的兴起持怀疑态度,而另一些艺术家则将这项新技术视为他们艺术工具包中的另一把画笔。

Leonardo是一个旨在将生成式人工智能的力量与机器人技术的物理灵活性相结合的项目。

以下是该项目如何使用RoboDK将他们的愿景变为现实……

创意与自动化的融合

RoboDK社区充满了极具创造力的机器人专家。一位RoboDK用户最近在我们的用户论坛上发布了他们一直在研究的新方向。

他说:

最近,我一直在尝试将生成式人工智能和机器人技术相结合的想法。我想分享这个通过RoboDK使用自然语言提示输入制作图纸的项目。

他们通过创建Leonardo项目来探索这个问题。

机器人艺术目前备受关注。各大新闻媒体经常报道机器人艺术项目,包括机器人雕塑家艺术绘画机器人

艺术表达是一种看起来非常人性化的品质。情感和主观诠释在艺术创作中起着举足轻重的作用。然而,Leonardo项目旨在通过创建一个可以根据自然语言输入生成和执行绘图的绘图机器人来探索人类创造力和机器精度之间的界限。

了解Leonardo的核心组件

Leonardo项目的功能都是从自然语言处理开始的。通过OpenAI和DALL-E,系统解析艺术家的输入以生成图像,然后由RoboDK驱动的机器人系统可以将其转换为物理图像。

以下是系统的一些核心组件的组合方式:

  • 音频接口——该系统有一个语音模块,允许艺术家对着系统说话。然后使用语音到文本转录模块将其转换为文本。
  • ChatGPT——Leonardo过程起始于ChatGPT,它可能是目前世界上最著名的生成式AI系统。通过这种对话式人工智能,系统捕捉艺术家输入的本质,并将其处理成可以生成可用图像的格式。
  • DALL-E——DALL-E根据处理后的文本输入创建可视图像。这个AI模型创建了一个原创的、高质量的图像,作为机器人艺术的蓝图。
  • 打印——如果用户选择3D打印系统,输出图像可以发送到Octoprint界面。
  • RoboDK——对于完整的机器人集成,图像通过RoboDK强大的API发送。这将创建一个机器人程序,该程序将与特定机器人模型一起使用。

总之,这些组件允许艺术家使用自然语言将他们想要的图像的描述输入到系统中。然后,Leonardo系统将其转换为可用的机器人程序。

您可以在项目的Github存储库中找到更多信息。

AI生成机器人艺术的7个步骤

如何使用Leonardo系统创建 AI 生成的机器人艺术?系统的功能由脚本执行。

以下是生成机器人制作的艺术作品的7个步骤:

  • 启发——系统播放音频提示,询问用户他们希望机器人画什么。
  • 转录——艺术家描述他们提出的图像,并自动转录以创建文本输入。
  • 生成图像——然后,使用上述软件组件,系统处理此文本输入并使用它来生成视觉图像。
  • 边缘跟踪——生成的数字艺术会经历一个过程,其中边缘被追踪到基本形状和图形的轮廓中。这些线将变成机器人可以绘制的路径。
  • 缩放——对跟踪的图像进行缩放,以确保它完全适合画布尺寸(和机器人的工作空间),且不会失去原始设计的完整性。
  • G代码生成——使用RoboDK,然后将图像的轮廓转换为G代码,该代码将在整个绘图任务中引导机器人的路径。
  • 机器人绘图——最后,机器人使用其绘图工具创建生成艺术品的物理绘图。

这个过程都是由Leonardo脚本组件自动执行的。各个阶段的处理步骤旨在使制作的艺术作品尽可能接近艺术家的口语提示,同时也可以通过机器人的物理限制来实现。

生成式人工智能对艺术家的影响

像Leonardo这样的项目将对艺术家的作品产生什么影响?

该项目的目的不是取代艺术家,而是研究人类对艺术的口语描述与生成式人工智能之间的可能性关系。

艺术家在过程一开始就说的话将对最终的艺术作品产生巨大影响。通过这种方式,艺术家就像他们使用任何其他艺术媒介一样,都是艺术的创造者。

有这么多艺术家已经在使用RoboDK,我们似乎很快就会看到更多这种类型的项目出现!

Leave a Reply

Your email address will not be published. Required fields are marked *