选自arXiv机器之心编译参与：JaneW、蒋思源哥本哈根的一家初创公司UIzardTechnologies训练了一个神经网络，能够把图形用户界面的截图转译成代码行，成功为开发者们分担了部分网站设计流程。令人惊叹的是，同一个模型能跨平台工作，包括iOS、Android和Web界面，从目前的研发水平来看，该算法的准确率达到了77%。该公司发表的一篇研究论文，解释了这个叫做Pix2Code的模型是如何工作的。要点如下：跟所有机器学习一样，研究者们需要用手头的任务实例去训练模型。但与其他任务不同的是，它需要做的不是从图片中生成图片，也不是把文本转换成文本，这个算法要做到输入图片后生成对应的文本（在这里就是代码）输出。为了实现这一点，研究者们需要分三个步骤来训练，首先，通过计算机视觉来理解GUI图像和里面的元素（按钮、条框等）。接下来模型需要理解计算机代码，并且能生成在句法上和语义上都正确的样本。最后的挑战是把之前的两步联系起来，需要它用推测场景来生成描述文本。那些只有基本代码知识的UI或平面设计师，有了它的帮助就能自己构建起整个网站了。在另一方面，它也能让复制其他网站的代码变得更容易，这是一个已经让困扰了很多开发者的问题。虽然像在Github这样的网站上，程序员之间已经流行起了协作共享的精神，但有些开发者—尤其是那些为需要原始网站的客户开发网站的—他们并不想让其他人剽窃自己的代码。在实际工作中，Pix2Cod肯定能为开发者节省时间，他们就能把设计好界面的JPEG图像输入Pix2Code，生成可运行的代码，并且还能进一步调整和优化。而那些只有基本代码知识的UI或平面设计师，有了它的帮助就能自己构建起整个网站了。UIzardTechnologies还在继续优化改模型，用更多的数据训练它以提升准确度。公司创始人兼CEOTonyBeltramelli最近完成了他在哥本哈根信息技术大学（ITUniversityofCopenhagen）和苏黎世联邦理工学院（ETHZurich）的机器学习毕业项目，也有将Pix2Code贡献給学校的考虑。「考虑到线上可访问网站的数量已经非常多，而且每天都有新的网站被开发出来，互联网理论上能支持无限数量的训练数据」他在研究论文里写到。「我们推断，以这种方式使用的深度学习最终会终结对手动编程GUI（图形用户界面）的需求」。Pix2Code是UIzard开发的第一个app，而且还处于测试阶段。这家公司的愿景是帮助开发者、设计者和初创公司省去在开发初期阶段写代码的流程，为原型设计、迭代和最终生成更好的产品留出更多的时间，最终开发出更好的app和网站。论文
转载请注明：http://www.aierlanlan.com/rzgz/9798.html
