kb88凯时开户平台实验跟踪数据科学家
组织化自动化规范化kb88凯时开户平台灵活工具中你成长团队使用
版本数据实验更容易复制
搜索、可视化、调试和比较实验和数据集
分享并协作全组织实验结果
免用信用卡
neptune运行 = neptune.int_runs运行
记录ML管道中任何地方的模型元数据5分钟内启动
向ML管道中任何一步添加片段一次判定什么和如何登录运行百万次
- 任意框架
- 元数据类型
- 从你ML管道中任何地方
任意框架
import neptune # Connect to Neptune and create a run run = neptune.init_run() # Log hyperparameters run["parameters"] = { "batch_size": 64, "dropout":0.5, "optimizer": {"type":"SGD", "learning_rate": 0.001}, } # Log dataset versions run["data/train_version"].track_files("train/images") # Log the training process for iter in range(100): run["train/accuracy"].append(accuracy) # Log test metrics and charts run["test/f1_score"] = test_score run["test/confusion_matrix"].upload(fig) # Log model weights and versions run["model/weights"].upload("my_model.pkl") # Stop logging to your run run.stop()
shell.pytoch.loggers导入NeptuneLeptune_logger=NeptuneLogger教程
untune_cbk
Neptune.Inger导入NeptuceLogger运行=Neptune.init_run
neptune.sklearns运行gbc.fit/xtrain,y_train运行
from neptune.integrations.lightgbm import NeptuneCallback, create_booster_summary run = neptune.init_run() neptune_callback = NeptuneCallback(run=run) params = { "boosting_type": "gbdt", "objective": "multiclass", "num_class": 10, "metric": ["multi_logloss", "multi_error"], "num_leaves": 21, "learning_rate": 0.05, "max_depth": 12, } # Train the model gbm = lgb.train( params, lgb_train, num_boost_round=200, valid_sets=[lgb_train, lgb_eval], valid_names=["training", "validation"], callbacks=[neptune_callback], ) run["lgbm_summary"] = create_booster_summary( booster=gbm, log_trees=True, list_trees=[0, 1, 2, 3, 4], log_confusion_matrix=True, y_pred=y_pred, y_true=y_test, )
Neptune.combune.xgbost导入NeptuneCallrederors
neptuneCallback研究
Neptune_Airflow导入NeptuneLoggerd获取海王星运行当前任务#并人工日志元数据运行.get_run_comtextrun["checkpoint"].upload_files("my_model.h5")
元数据类型
运行[score]=0.97范围(100):运行[srain/accriecy]
运行[模型/参数]={lr:0.2,优化器:{
run["train/images"].track_files("./datasets/images")
运行[Mitplotlib-fig].Upload(fg)误分类images_names:运行[smission_images].
run["visuals/altair-fig"].upload(File.as_html(fig))
run["video"].upload("/path/to/video-file.mp4")
run = neptune.init_run(capture_hardware_metrics=True)
run = neptune.init_run(source_files=["**/*.py", "config.yaml"])
从你ML管道中任何地方
多管道节点日志
导出NEPTUNE_CUSTOMRUN_ID=SOMEID
多机日志并发
导出NEPTUNE_CUSTOMRUN_ID=SOMEID
开放完成运行SUN-123运行 neptune.int_run (with_id=SUN-123)#下载模型运行
脚本脚本
run=neptune.init_run
控制台
奈普奈同步
组织并显示实验和模型元数据随心所欲
组织完全可定制嵌套结构日志显示模型元数据用户定义仪表板模板
- 嵌套元数据结构
- 自定义仪表板
- 表视图
嵌套元数据结构
运行[“精确度”]=0.62运行[“ROC_curve'].Upload(fig)运行[“模型/参数']s
自定义仪表板
表视图
搜索、调试和比较实验、数据集和模型
可视化训练直播海王星网络应用查看不同参数和配置对结果的影响优化模型快速
- 比较
- 搜索排序过滤器
- 可视化显示
- 监控直播
- 分组方式
比较
搜索排序过滤器
可视化显示
#支持建立altair、Plotly、Bokeh、视频、音频或完全封装的HTML
监控直播
分组方式
版本数据集和实验易复制性
保存数据集版本、环境配置参数、代码、度量度和模型二进制
- 版本数据集
- 保存超参数
- 轨迹环境代码
- 保存度量和结果
- 日志和版本模型二进制
版本数据集
本地文件运行量. train_datast's. track_filess/train.csv'#本地目录运行量.train/images
保存超参数
运行[参数/批量大小] = 5运行[参数/批量大小] = 32 PARMS= {“优化器”:sgd,smid
轨迹环境代码
uneune.init_run(项目="common/showroom",依存eses='requirements.txt',sour_filessssssssss
保存度量和结果
#日志评分运算 0.97评分运算 0.97评分运算 0.97#日志学习曲线unit/train/clicitysservation_recurvesservation_fig_prcs
日志和版本模型二进制
run["model/binary"].upload("my_model.pkl") run["model/version"].track_files("my_model.pkl")
归并MLOps栈
获取启动
一号
创建免费账户
2
安装海王星客户库
Pip安装neptune
3
轨迹实验
neptune运行 = neptune.init_run
AG凯时手机版
AG凯时手机版代码示例、视频、项目画廊和其他资源
对可操作性Neptu等解答
-
对,你只需参考数据集 坐在您的基础设施或云中
举例说,S3上可以存取数据集并引用桶子
run["train_dataset"].track_files("s3://datasets/train.csv")
海王星将保存以下元数据集
- 版本hash
- 位置选择
- 体积大小
- 文件夹结构与内容
海王星从不上传数据集,只记录元数据
稍后您可以在UI中用数据集版本比较数据集或分组实验
-
-
短版本人民选择海王星时
- kb88凯时开户平台他们想支付合理的代价 实验跟踪解决方案
- 需要超弹性工具(可定制日志结构、仪表板、用时序ML工作优异)
- kb88凯时开户平台需要实验跟踪和模型编译组件,非端对端平台(WandB有HPO、管弦化和模型部署等)整合空间最优类工具
长版阅读全特征逐特性比较
-
取决于你指什么模型监控
和团队交谈时, 模型监控似乎对三位不同者有六大意义:
- 监控模型制作性能看模型性能是否随时间变弱,你应重新培训
- 监听模型输入输出分布看见输入数据、特征和预测分布随时间变化
- 监控模型再培训学习曲线、训练模型预测分布或训练再训练期间混淆矩阵
- 监控模型评价测试日志度量图、图表、预测和其他元数据用于自动化评价或测试管道
- 5监控硬件度量查看CPU/GPU或内存模型培训推理使用
- (6) ML监控CI/CD管道查看Ci/CD管道作业评价并视像比较
取工具风景和海王星
- 海王星3和4都非常好可我们看到团队使用它(5)和(6)
- Prometheus+Grafana真正擅长(5),但人们使用它(1)和(2)
- whyLabs或Arize真正擅长(1)和(2)