轻量级组件协同MLOps栈
音轨比较
日志模型元查看并比较结果web应用
裁时调试监控直播快速开发为制作准备模型
- 任意框架
- 元数据类型
- 高级比较
- 现场培训监控
- 可复制性
任意框架
import neptune # Connect to Neptune and create a run run = neptune.init_run() # Log hyperparameters run["parameters"] = { "batch_size": 64, "dropout":0.5, "optimizer": {"type":"SGD", "learning_rate": 0.001}, } # Log dataset versions run["data/train_version"].track_files("train/images") # Log the training process for iter in range(100): run["train/accuracy"].append(accuracy) # Log test metrics and charts run["test/f1_score"] = test_score run["test/confusion_matrix"].upload(fig) # Log model weights and versions run["model/weights"].upload("my_model.pkl") # Stop logging to your run run.stop()Neptune.Inger导入NeptuceLogger运行=Neptune.init_rununtune_cbk =neptuneCallk模型ytark_lighting.loggers导入NeptuneLopune_logger=NeptuneLoggerneptune.sklearns运行gbc.fit/xtrain,y_train运行from neptune.integrations.lightgbm import NeptuneCallback, create_booster_summary run = neptune.init_run() neptune_callback = NeptuneCallback(run=run) params = { "boosting_type": "gbdt", "objective": "multiclass", "num_class": 10, "metric": ["multi_logloss", "multi_error"], "num_leaves": 21, "learning_rate": 0.05, "max_depth": 12, } # Train the model gbm = lgb.train( params, lgb_train, num_boost_round=200, valid_sets=[lgb_train, lgb_eval], valid_names=["training", "validation"], callbacks=[neptune_callback], ) run["lgbm_summary"] = create_booster_summary( booster=gbm, log_trees=True, list_trees=[0, 1, 2, 3, 4], log_confusion_matrix=True, y_pred=y_pred, y_true=y_test, )Neptune.combune.xgbost导入NeptuneCallrederorsnepuneCallCrune研究=opunakedronetune initdef报表-aclice-napune.run.Handler-uneneptune_run['ndes/report/aclicity''s]sdef创建水管线(**kwargss):返回管道线node( report_accuracy, ["example_predictions", "example_test_y","neptune_run"], None, name="report", ), ] )
元数据类型
运行[score]=0.97范围(100):运行[srain/accriecy]
运算[模型/参数]={lr:0.2,优化器:{dam/momentum/0.9}
run["train/images"].track_files("./datasets/images")
运行[Mitplotlib-fig].Upload(fg)误分类images_names:运行[smission_images].
run["visuals/altair-fig"].upload(File.as_html(fig))
run["video"].upload("/path/to/video-file.mp4")
run = neptune.init_run(capture_hardware_metrics=True)
run = neptune.init_run(source_files=["**/*.py", "config.yaml"])
高级比较
现场培训监控
可复制性
共享协作
协作团队跨组织
内置协作特征令你团队合作轻功集中化数据表示所有团队成员 都可访问您的实验模型 并分享结果
- 创建仪表板并保存视图
- 共享持久UI链接
- 管理用户和项目
- 添加整件ORG
创建仪表板并保存视图
共享持久UI链接
管理用户和项目
添加整件ORG
版本存储
版本制作准备模型零头缓模式交接
时间发模型试探即时访问ML工程师模型,以便测试、打包和部署模型更快制作
- 版本模型
- 版本外部人工制品
- 存取分享模型
版本模型
版本外部人工制品
存取分享模型
model_version = neptune.init_model_version(with_id="FACE-DET-42") model_version["model/signature"].download()
0
ML工程师和数据科学家
0
商业研究队
0
项目跟踪
NeptuneUI高度可配置性SDK非同凡响,它提供我们观察并监控相当复杂训练任务的能力,任何其他系统都无法实现这一点。仪表板让我们深入了解分布式培训框架解决海王星使用问题 因为其他工具无法满足需求
雅纳尔卡苏
联合创建者兼首席数据科学家Elevatus
消失时间写东西到谷歌文档 并努力记住运行执行内普图内拥有一切使我们能够专注于结果和更好的算法
Andreas Malekos
康斯坦丁工业人工智能主管
代码示例、视频、项目画廊AG凯时手机版和其他资源
对可操作性Neptu等解答
-
对,你只需参考数据集 坐在您的基础设施或云中
举例说,S3上可以存取数据集并引用桶子
run["train_dataset"].track_files("s3://datasets/train.csv")
海王星将保存以下元数据集
- 版本hash
- 位置选择
- 体积大小
- 文件夹结构与内容
海王星从不上传数据集,只记录元数据
稍后您可以在UI中用数据集版本比较数据集或分组实验
-
-
短版本人民选择海王星时
- kb88凯时开户平台他们想支付合理的代价 实验跟踪解决方案
- 需要超弹性工具(可定制日志结构、仪表板、用时序ML工作优异)
- kb88凯时开户平台需要实验跟踪和模型编译组件,非端对端平台(WandB有HPO、管弦化和模型部署等)整合空间最优类工具
长版阅读全特征逐特性比较
-
取决于你指什么模型监控
和团队交谈时, 模型监控似乎对三位不同者有六大意义:
- 监控模型制作性能看模型性能是否随时间变弱,你应重新培训
- 监听模型输入输出分布看见输入数据、特征和预测分布随时间变化
- 监控模型再培训学习曲线、训练模型预测分布或训练再训练期间混淆矩阵
- 监控模型评价测试日志度量图、图表、预测和其他元数据用于自动化评价或测试管道
- 5监控硬件度量查看CPU/GPU或内存模型培训推理使用
- (6) ML监控CI/CD管道查看Ci/CD管道作业评价并视像比较
取工具风景和海王星
- 海王星3和4都非常好可我们看到团队使用它(5)和(6)
- Prometheus+Grafana真正擅长(5),但人们使用它(1)和(2)
- whyLabs或Arize真正擅长(1)和(2)