神经网络模型服务化部署方法、装置及存储介质

本申请提供一种神经网络模型服务化部署方法、装置及存储介质，涉及人工智能技术领域，能够提高神经网络模型服务过程中扩容或缩容的效率。该方法包括：获取神经网络模型的当前的每秒请求数QPS、当前运行神经网络模型的实例的数量、QPS的变化率、以及运行神经网络模型的实例的最大的QPS；实例为运行神经网络模型的独立计算单元；基于QPS的变化率、实例的最大的QPS、当前的QPS、以及当前运行神经网络模型的实例的数量，调整当前运行神经网络模型的实例的数量。