| @@ -1,9 +1,9 @@ | |||
| # kotti_ai | |||
| 结合Pyramid Kotti web框架和飞桨AI serving框架,通过构建kotti_ai软件项目,打通AI部署最后一公里! | |||
| 结合Pyramid Kotti web框架和AI serving框架,通过构建kotti_ai软件项目,打通AI部署最后一公里! | |||
| kotti_ai是AI+互联网企业级应用软件包,通过web技术,将基于飞桨Paddle Serving框架和 MindSpore Serving的AI应用更好的呈现出来,解决AI实际部署落地难、AI技术提供商与最终用户互通难的问题,实现AI训练、部署以及上线一条龙服务! | |||
| kotti_ai是AI+互联网企业级应用软件包,通过web技术,将基于飞桨Paddle Serving框架和 MindSpore Serving的AI应用更好的呈现出来,解决AI实际部署落地难、AI技术提供商与最终用户互通难的问题,实现AI部署、落地、上线以及推广一条龙解决方案! | |||
| 当前飞桨Paddle Serving框架部分已经调通, MindSpore Serving部分还在调试中。 | |||
| 当前飞桨Paddle Serving框架部分已经调通, MindSpore Hub 部分已调通,MindSpore Serving 还没测试。 | |||
| ## kotti_ai的特点: | |||
| 易部署 | |||
| @@ -18,7 +18,10 @@ kotti_ai是AI+互联网企业级应用软件包,通过web技术,将基于飞 | |||
| ### 1、飞桨Paddle Serving企业级部署 | |||
| Paddle Serving 依托深度学习框架 PaddlePaddle 旨在帮助深度学习开发者和企业提供高性能、灵活易用的工业级在线推理服务。Paddle Serving 支持 RESTful、gRPC、bRPC 等多种协议,提供多种异构硬件和多种操作系统环境下推理解决方案,和多种经典预训练模型示例。 https://github.com/PaddlePaddle/Serving/ | |||
| ### 2、企业级WEB服务 | |||
| ### 2 MindSpore Serving企业级部署 | |||
| MindSpore Serving是一个轻量级、高性能的服务模块,旨在帮助MindSpore开发者在生产环境中高效部署在线推理服务。支持gRPC和RESTful接口。https://gitee.com/mindspore/serving | |||
| ### 3、企业级WEB服务 | |||
| 采用Pyramid和Kotti提供企业级web服务。 | |||
| Pyramid 是基于Python的企业级web框架,Kotti是基于Pyramid的企业级CMS web框架。 | |||
| @@ -27,7 +30,7 @@ Pyramid:The Start Small, Finish Big Stay Finished Framework https://www.trypyr | |||
| Kotti is a high-level, Pythonic web application framework based on Pyramid and SQLAlchemy. It includes an extensible Content Management System called the Kotti CMS (see below). https://github.com/Kotti/Kotti | |||
| ### 3、kotti_ai 企业级AI+互联网应用组件 | |||
| ### 4、kotti_ai 企业级AI+互联网应用组件 | |||
| kotti_ai是本项目的主角,刚刚面市不久,还在功能完善中...https://git.openi.org.cn/skywalk163/kotti_ai | |||
| kotti_ai基于Kotti框架,将飞桨Paddle Serving提供的推理服务,使用web技术呈现给最终用户。 | |||
| @@ -38,11 +41,18 @@ kotti_ai基于Kotti框架,将飞桨Paddle Serving提供的推理服务,使 | |||
| PaddleHub提供推理服务,提供终端用户界面,但只适合个人用户使用,无法提供企业级服务。 | |||
| kotti_ai既有终端用户界面,又通过飞桨Paddle Serving提供企业级推理服务。 | |||
| MindSpore Serving提供企业级推理服务,但不提供终端用户界面。不支持CPU | |||
| MindHub提供推理服务,无法提供企业级服务。支持CPU | |||
| MindSpore Lite 支持的硬件种类多,支持安卓和CPU,但CPU下示例较少。需要一定的C语言基础。 | |||
| kotti_ai目标是通过Serving提供企业级推理服务,有良好的终端用户界面。目前看需要昇腾芯片硬件的支持。 | |||
| # 项目展示 | |||
| 本项目以pp-shitu模型为例,已经在移动云测试主机:http://ww3.airoot.org:6543/ 进行部署展示,预计展示时间到2022.11月停止。 在此感谢移动云苏州区的大力支持! | |||
| 大家可以点击上面的网址,使用账户admin密码qwerty登录。登录之后可以选择菜单:add-AImage上传图片,图片上传后就会进行分类识别,打印出类似这样的识别结果:[{'bbox': [345, 95, 524, 585], 'rec_docs': '红牛-强化型', 'rec_scores': 0.8073724}] | |||
| MindSpoe的展示在http://ww3.airoot.org:8765/ ,同样使用账户admin密码qwerty登录。 | |||
| 可以看到每个图片都识别出一个分类号码。 | |||
| # AI+互联网应用项目实践 | |||
| 以下步骤仅为参考展示,因为Paddle Serving本身安装就会碰到很多坑,尤其是在AIStudio下一般不会太顺利,更要命的是c++ serving更加困难(我都忘记自己是否安装成功过了)。 索性Paddle Serving是服务器版,不需要安装很多遍,另外其负载能力强大,值得我们花费的时间。 | |||
| @@ -90,3 +100,12 @@ ps:大家也可以学习下Kotti和Pyramid框架,他们都相当优秀。 | |||
| 项目安装流程在AIStudio有展示,见链接:https://aistudio.baidu.com/aistudio/projectdetail/252773 | |||
| # AI+互联网应用项目实践 MindSpore框架 | |||
| ## 部署,安装MindSpore Serving | |||
| 需要昇腾平台。 | |||
| 如果是cpu,可以使用MindSpore Lite或者MindSpore Hub部署 | |||
| ## kotti_ai代码等待合入中 | |||
| 现在的问题是:如何加入一个变量标志,让kotti_ai软件包能自动识别飞桨还是MindSpore环境,这样就不需要用户再手工修改代码了。 | |||