容我分享一个故事 我听太多次
.到目前为止,我们一直在做一切人工排序随机
一些人使用它,一些人使用它,它遍及所有地方
没有什么标准化
但我们管理许多项目,团队正在壮大, 我们正在快速缩放
遇上很多问题模型如何训练关于什么数据不同版本使用什么参数如何复制
我们只是觉得需要控制实验 不幸数据科学家
事实是,当开发ML模型时,你将运行许多实验
实验可能
- 使用不同的模型和多参数模型
- 使用不同的培训或评价数据
- 运行不同的代码(包括前天想测试的小修改)
- 在不同环境运行同一种代码(不知道PyTorrch或Tensorform版本安装
结果,每个实验都可产生完全不同的评价度量
快速跟踪所有信息变得非常困难特别是想组织并比较多项实验并确信选择最佳模型制作
这是哪里kb88凯时开户平台进来
kb88凯时开户平台ML实验跟踪是什么
kb88凯时开户平台实验跟踪过程保存所有实验相关信息 即你关心的每一个实验
kb88凯时开户平台实验跟踪过程 保存所有实验信息信息你所关心的 将在很大程度上取决于您的项目
一般来说,这种所谓的实验元数据可包括:
实验完成后,你当然想获取这些信息最理想的是,你已经在实验运行时 看到了其中一些
为什么
因为在实验中,你可以看到(近似)没有办法得到更好的结果而不是任由他们跑步(这可能需要数日或数周),
kb88凯时开户平台要收集、存储和分析所有数据,需要实验跟踪系统到位系统通常分三大构件:
- 实验数据库存储实验元数据并查询之地
- 客户端库集合方法帮助您从培训脚本中登录元数据并查询实验数据库
- 实验仪表板视觉接口实验数据库 在那里你可以看到实验元数据
当然,你可以用多种不同方式实现每个构件,但总体图象将非常相似。
kb88凯时开户平台慢着 实验跟踪像MLOPS或别的东西
kb88凯时开户平台ML实验跟踪mLops
MLops处理ML项目生命周期的每一部分通过调度分布式培训作业开发模型、管理模型服务和监测模型制作质量在需要时再培训模型
kb88凯时开户平台实验跟踪(也称实验日志)是MLOPs的一部分,侧重于支持迭代模型开发,ML项目生命周期的一部分,你尝试多事实现模型性能需要的水平kb88凯时开户平台实验跟踪与MLOps其他方面密切相联,例如数据和模型编译
kb88凯时开户平台实验跟踪是有用的 即使模型无法实现尚存在许多以研究为重点的项目中,你甚至可能永远到不了那里。特别在这些项目中 拥有所有元数据 关于每一次实验 并分析能力是很重要的
kb88凯时开户平台实验跟踪机器学习模型管理
好,如果你有点像我, 你可能会想:
kb88凯时开户平台酷,所以我知道实验跟踪........ 何必关心?
容我解释
kb88凯时开户平台LLMs:从实验跟踪快速跟踪
以下是CEO要说:
取实验跟踪器的'作业完成' 远超出实验范围问题不单在于研究建模型时,想理解正在发生的事情,想理解建过程,想调试它,想与其他实验比较以这种方式,你可以理解你所建模型是否向正确方向发展想要版本它,你就会有一定程度的可复制性,或分享特定反馈模型的方法-并想把模型交给Ops团队
思考即时工程时, 这是一种相当不同的构建模型方式我什至不确定我们应该称它为工程学 即构建过程 因为模型是无国籍最新模型如GPT4微调无效余下即刻编译提示可配置代理程序并用不同模型相继构建提示程序工程学
kb88凯时开户平台当我们谈论实验跟踪时, 我们谈论建材阶段 并理解模型工作方式本着这一精神,我明确看到支持快速可视化和链可视化 行进图,以及与兰链集成可这只是开始真正支持团队建设大语言模型并用之制作时, 我们必须支持并发明新方法验证提示
kb88凯时开户平台为何ML实验跟踪物
构建ML实践者工具大有裨益你可以和他们中很多人聊天
与数以百计跟踪海王星实验者聊天后,kb88凯时开户平台四方式实验跟踪可提高工作流
ML所有实验模型都组织成单片
多方法运行ML实验或模范训练作业
- 个人笔记本电脑
- PC工作
- 云中专用实例
- 大学集群
- kgle内核或Googlecola
- 多远
有时你只是想快速测试 并运行实验笔记本有时你需要旋转分布式超参数调优作业
或方式上, 通过项目过程(特别是当数人正在研究时)可归结实验结果分散跨多机
带kb88凯时开户平台实验跟踪系统全部实验结果通过设计登录到实验库将所有实验元数据保存在一个单位上, 不论运行地点如何, 使实验过程更容易管理
kb88凯时开户平台允许我们保留所有实验 组织在一个空间随时能看到团队工作结果 使团队不费力跟踪进度并更容易协调 迈克尔乌林VP机器学习
集中实验库很容易实现:
- 搜索过滤实验快速查找信息
- 比较无额外工作实验的度量和参数
- 下沉并查看你究竟尝试了什么(代码、数据版本、架构)
- 需要时重试或重试
- 存取实验元数据 即使你没有访问服务器
况且,你可以安详地入睡,知道所有你尝试的想法都安全存储,你以后总能回溯到这些想法上。
kb88凯时开户平台系统自驱动飞行器实验跟踪
比较ML实验,分析结果,调试模型培训
易比较实验、分析结果和调试模型培训
无论是调试训练运行,寻找改进思想或审核当前最佳模型,比较实验都很重要
kb88凯时开户平台但如果你没有任何实验跟踪系统
- 记录事物改变之道
- 可能忘记登录重要文件
- 并有可能意外丢失信息
在那些情形中 简单到比较分析实验 难或甚至不可能
kb88凯时开户平台带实验跟踪系统,你的实验存储在一个单位上, 并持续遵循相同的协议记录实验分析比较可以随心所欲深入, 你可以专注于改善模型, 而不是担心数据存储
跟踪比较不同方法显著提高生产率,使我们能更多关注实验开发团队内新的良好做法 TomaszGrygielident
kb88凯时开户平台适当的实验跟踪很容易实现:
- 比较参数和尺度实验
- 重叠学习曲线
- 分组比较基于数据版本或参数值的实验
- 比较混淆矩阵、ROC曲线和其他性能图表
- 比较测试或验证集中最佳/弱预测
- View代码diffs
- 查看各种模型培训运行期间硬件消耗
- 看预测解释像特征重要性SHAP或Lime
- 比较高格式文物像视频或音频
- 并比较任何其他你登录
kb88凯时开户平台现代实验跟踪工具会提供多甚至全部比较特征免费某些工具甚至可以自动找到合适的实验来比较并识别哪些参数对模型性能影响最大
将所有片段放入一地后,只要查看你登录的所有元数据即可获取新洞察力和新思想。特别是当你不单干时
说到这个
改善协作:看每个人在做什么,很容易分享ML实验结果,编程访问实验数据
加入团队后 许多人正在做实验 拥有全团队真实源头真的很重要
kb88凯时开户平台很容易与队友分享结果发送链路并指示看什么, 或我搭建视图实验仪表板我不需要自己生成 团队里每个人都能访问 Maciej Bartczak巴那查街Resarch铅
最佳软件协作机器学习项目
kb88凯时开户平台实验跟踪不仅能组织并比较你过去的实验,还能看到其他人正在尝试什么和如何实现
分享结果也更容易实现
kb88凯时开户平台现代实验跟踪工具允许分享工作发送链接面向特定实验或仪表板视图不必发送截图或快速相遇来解释实验中发生的事情省下一吨时间和能量
举个例子,这里连接实验比较仪表板数月前我做了很容易吧
除分享WebUI中看到的东西外,大多数kb88凯时开户平台实验跟踪搭建程序访问实验元数据实验模型从实验转向制作时使用kb88凯时开户平台举例说,您可以连接实验跟踪工具到像GitHub Actives这样的CI/CD框架并整合ML实验到团队工作流中直观比较分支和开发模型
如何用 GitHub动作构建 mLops管道
ML运行直播:管理ML实验
训练本地计算机模型时,随时都能看到正在发生的事情。但如果你的实验远程服务器运行工作大学或云中似非易见学习曲线长成或发现训练作业崩溃
kb88凯时开户平台实验跟踪系统解决了这个问题大安全免故障 允许远程访问所有数据服务器让人们只看到他们的实验元数据通常都很好
很容易比较当前运行实验与前运行实验时,可判断继续是否合情合理。为何那些贵重GPU时间浪费在非聚合物上快速通知云训练作业崩溃后可关闭它(或修复ug并重运行)。
说到GPUs和失败作业kb88凯时开户平台实验跟踪工具监控培训并日志硬件消耗AG凯时手机版帮助你检查资源使用效率
举例说,看GPU随时间流用可以帮助识别数据加载器工作不正确或多GPU搭建实际只使用一个核心(我经历的次数比我想承认的次数多)。
缺少信息我在监听段不知道 我的实验速度比他们慢十倍 MichaQQ卡达斯MLTensorCell研究员
kb88凯时开户平台ML实验跟踪最佳做法
kb88凯时开户平台至今为止,我们已经覆盖机器学习实验跟踪 和它为何重要
时间深入细节
ML实验中应记录的内容
正如我一开始提到的那样,你可能想追踪的信息最终取决于项目特征
但有些事你应该跟踪 不论你正在研究什么项目它们是:
- 代码解析预处理、培训和评价脚本、特征工程笔记本以及其他公共事业和,当然,所有代码运行(并重运行)实验
- 环境最容易跟踪环境的方法是保存环境配置文件,如Dockerfile-Docker-txt-pi/pject.toml/也可以保存dockerhub或自己的容器存储器上已建Docker图像,但我发现保存配置文件更容易
- 数据类AG凯时手机版保存数据版本(散列或不可变数据资源位置)很容易看到模型培训内容kb88凯时开户平台也可以使用dVC等现代数据编译工具(并保存.dvc文件到实验跟踪工具中)。
- 参数解析:保存实验运行配置至关重要特别小心通过命令行传递参数时(例如通过命令行时)argparse系统,点击或海德拉),因为这是一个很容易忘记跟踪重要信息的地方(我有一些恐怖故事分享)。或想看一下这篇文章 关于各种方法跟踪超参数.
- 度量法记录列车评价尺度 验证测试集不同的框架则不同,所以你可能想查看这份深入文章跟踪ML模型度量.
跟踪那些事物会允许你复制实验 基本调试 并理解高层次发生的事情
说到做到,你总可以日志更多东西获取更多洞察力只要你把数据保留在一个良好的结构中, 收集信息并无害, 即使你不知道它以后是否有关联性归根结底,大多数元数据只是数字和字符串不占用大片空间
还有什么可以跟踪
let's look except things你可能想跟踪 特定项目类型工作
以下是我为ML各种项目类型提出的一些建议
机器学习
- 模型权值
- 评价图(ROC曲线混淆矩阵)
- 预测分布
深学习
- 模范检查站(训练期间和训练后)
- 渐变规范渐变渐变问题消失或爆破)
- 训练后验证测试集最佳/最低预测
- AG凯时手机版硬件资源:方便调试数据加载器和多GPU搭建
计算机视觉
- 模型预测
自然语言处理大语言模型
- 推理时间
- 提示器(grodualLMs实例)
- 具体评价尺度(例如,鲁治文本汇总或BLEU系统翻译语言间)
- 嵌入式尺寸和维度、表示器类型和注意力头数(培训变压器模型从零开始)
- 特征重要性、注意力或实例解释本概述具体算法和更多思想)
结构化数据
强化学习
- Episode返回插件长度
- 全环境阶梯 墙时间 阶梯每秒
- 值和警功能损失
- 多重环境和/或运行汇总统计
如何感知强化学习代理
超参数优化
- 运行评分:你每次迭代后最优化的度量
- 运行参数:参数配置每次迭代试
- 最佳参数:迄今最佳参数和总最佳参数
- 参数比较图:在训练期间或训练后,你可能想记录各种可视化信息,如并行坐标图或切片图(所有图都可用)Optuna软件顺便说一下)
kb88凯时开户平台如何搭建机学习实验跟踪
kb88凯时开户平台好,那些是不错的指导方针, 但你如何实际实施实验跟踪 机器学习项目
有一些选项(至少)最受欢迎的是
- 电子表格命名规范
- 仿真Git仓库
- kb88凯时开户平台使用现代实验跟踪工具
现在就谈吧
可使用电子表格命名规范
A级kb88凯时开户平台常用实验跟踪法创建巨型电子表格位置放所有信息(量子参数等)和目录结构,以某种方式命名事物名字通常最终会长而复杂,像‘model_v1_lr01_ batchsize64_ no_preprocessing_ result_accuracy082.h5'.
运行实验时都看结果并复制到电子表格中
出什么问题
kb88凯时开户平台诚实地说,在某些情况下,它可能足以解决你的实验跟踪需求可能不是最佳解决办法,但快速直截了当
事物会快速分解
可事情会快速分解追踪电子表格实验对大多数人无效有几个主要原因:
- 你必须记住跟踪.....事变乱不自动发生 特别是更多人参与
- 你必须保证你或你的团队将不意外覆盖事物电子表格中电子表格不容易编译,所以万一发生,你麻烦大了
- 你必须记住使用命名规范.跟踪实验人工品(模型权值、性能图表)实验是痛苦的
- 你必须独立备份您的文物目录并保持与电子表格同步即便你搭建自动工作流并定期触发, 也难免会出现断裂时间
- 何时电子表格增长,使用量越来越少.查找事物并比较数以百计电子表格实验(尤其是如果多人同时使用它)不是什么大经验
切换表实验跟踪器
ML实验元文件
另一种选择是在Github仓库中版本所有实验元数据
运行实验时,可投入量度、参数、图表,并随心所欲跟踪存储库你可以搭建启动后钩子自动创建或更新文件(配置图等)
程序集成使用,但:
- Git不是为比较机器学习文物和实验元数据而建建为文本文件编译存储图像文件等二进制手工艺品或结构化关系数据处理均不妥
- 无法一次比两次以上实验.和大多数版本代码控制系统一样 Git设计用于比较2承载如果要比较多项实验的度量和学习曲线,你走运
- 组织多项实验难度很大(如果不是完全不可能)分支可测试新思想或为每次实验单树枝越多实验运行 越少使用(你必须保证每个人都遵守你所想出的任何分支协议)
- 无法监听实验现场.实验完成后才能保存信息
也许你可以搭建自己的ML实验跟踪器
电子表格过分依赖纪律并快速发展为不可控制大小,Git存储器不正确,转数据库写微薄Python客户端如何?
菲律宾凯时国际官网开户肯定不是最坏的想法, 多实验跟踪和机学习管理解决方案包括我们自己启动方式
至少你需要下列组件:
- 数据库保留元数据自然选择无模式数据库像MongoDB或CouchDB允许存储并查询任意JSON文档
- 地方存储文物像模型快照或绘图浮桶存储器 网络驱动器 或高端FTP服务器
- 客户输入实验代码几行Python推中元数据文件
问题开始相当快地复杂如何检索分析元数据团队满意把数据输入笔记本 并自创编程吗或你需要搭建仪表板开发Web前端直播跟踪呢
并创建ML实验跟踪工具 — — 归根结底,这是我最近的工作 — — 但我怀疑这项努力对大多数团队都值不值下一段会看到 大量极佳工具可用
kb88凯时开户平台如何构建实验跟踪工具
kb88凯时开户平台可使用现代实验跟踪工具
菲律宾凯时国际官网开户与其试图调整通用工具为机器学习实验工作或开发自己的平台,不如使用专为跟踪、整理和比较实验而搭建的解决方案之一
前数数十次运行中,我意识到跟踪的完全性-不仅仅是一二个数字,还有代码的确切状态、存储云中最优模型快照、快速添加特定实验注解的能力老方法相形见绌 Edward狄克逊数据科学家英特尔
介面稍异,但工作方式相似
步骤1
连接工具,在培训代码中添加片段
例举 :
导入neptune运行=neptune.init_run# 初始化新运行
步骤2
指定您想日志(或使用ML框架集成,为您服务):
发自neptune类型导入文件运行[精度=评价精确度(模型测试数据)Forprediction_image内最差前缀:运行[最差预测.Capend (文件.as-image(预测-image))
步骤3
照常运行实验
ython列车.py
就是这样
实验登录到中央实验数据库并显示在仪表板上,在那里你可搜索、比较并钻探需要的信息
kb88凯时开户平台今天,有数个工具机学习实验优化适应不同环境,我强烈建议使用工具它们是设计处理机器学习实验做头等公民 并会永远
- 贝更容易使用机器学习大于通用工具
- 有更好的集成ML生态,
- 有内置特征分析比较实验
一个重要的决策是,你是否想使用软件即服务提供或主机开源工具
- kb88凯时开户平台开源实验工具多提供接口创建插件集成这可能是基本选择标准 if you're working 偏重数据存储系统或计算基础
- 与商家或云提供商无关需要时,可带机学习实验跟踪器转换云提供程序无需尝试互不兼容平台间迁移数据开源项目不再维护时,你可以继续开发它-或至少保持灯光-只要你需要按自己的进度准备迁移
- 资料和人工制品都不用离开对绝大多数企业甚至是政府机构来说,合同和法律协议提供的保护足以允许它们将其数据储存第三方云上。但如果数据在任何情况下都不能离开你的大楼 自我托管是你唯一的选择
面对现实吧:所有自托管工具者知道让事物正常运行需要多长时间,并体验过简单日常系统维护如何成为无底时间槽并不要忘记紧跟 破解修改和安全修补
kb88凯时开户平台不足为奇的是,许多数据科学团队 正在寻找完全管理实验跟踪平台关键值支付他人代表你运行实验跟踪器的好处包括:
- 不需要担心基础建设 缩放更新其他人处理累累维护工作, 你永远不会丢失有价值的数据,因为您的服务器存储空间中试耗尽
- kb88凯时开户平台销售商在机器学习实验跟踪方面的经验比任何一个单机学习团队都多得多内普图尔特 我们共事数以百计客户kb88凯时开户平台持续学习新边缘案例并持续发现优化实验跟踪新方法
- 数据科学家可专注于创建和优化机器学习模型kb88凯时开户平台使用受控实验跟踪平台时, 不仅将软件工程维护留给专家, 并获取专用支持权限
如何整合neptune.a
下一步步骤
kb88凯时开户平台机器学习实验跟踪首先是实践,而不仅仅是工具或日志法需要一些时间才能真正理解并实现:
- 记录什么面向您的项目
- 如何使用信息改善未来实验
- 如何实现提高团队独有工作流随之而来
- 并时间偶数使用kb88凯时开户平台实验跟踪
读完这篇文章后,希望你对启动跟踪以及如何提高机器学习工作流有很好理解。
编辑注释
FAQ
-
仿佛机器学习模型种类繁多, 并有多种方法工具跟踪机器学习实验
数据科学团队往往先使用电子表格记录实验参数和结果一些人可能使用Git存储器代之以保存数据并使用ci/CD系统自动添加新实验结果
菲律宾凯时国际官网开户然而,所有这些手工制造的解决方案往往易易故障并易因实验数增长而失效内置专用kb88凯时开户平台机器学习实验跟踪工具阳光提供方便集成模型培训代码并提供各种特征可视化和比较实验
-
机器学习实验分三个阶段
- 定义输入参数,例如数据样本使用、模型配置以及培训迭代数和学习速率
- 训练模型可随处从数秒笔记本电脑到数日专用GPU集群
- 评估模型使用测试数据模型培训期间未见,性能可以通过精度等量度评估
实验值之至关紧要的是记录输入参数和性能度量只有到那时你才能比较不同的模型 确定提高性能的途径 最终确定最优参数
-
系统一致日志机学习实验 所有数据记录应直接从代码控制实验
kb88凯时开户平台多数实验跟踪工具a/客户库输入您的训练评价脚本.并提交参数值或图像文件并调用模型检查站函数kb88凯时开户平台客户代表你向实验跟踪工具API发送数据
-
机器学习元数据囊括一切非模型本身但与其生成和生命周期相关没有明确定义术语,但松散地说,它指你或别人可能想知道机器学习模型的任何信息
机器学习元数据包括培训模型使用的任何脚本、培训信息、评价、测试数据以及具体培训参数配置元数据还可以包括数据集统计和评价尺度、可视化(像混淆矩阵或ROC曲线)和环境配置文件
-
A级模型寄存器商店组织训练模型内含元数据并附模型(例如模型上传时间、版本或名称),但这些数据仅用于编目模型并提供给下游用户使用
kb88凯时开户平台实验跟踪工具侧重于记录和分析机器学习模型培训过程的信息可能还允许存储模型人工品,但其主要目的是跟踪培训期间收集的广泛信息。kb88凯时开户平台通常实验跟踪工具提供特征可视化信息并比较实验的不同运行过程
深入探讨这个题目kb88凯时开户平台实验跟踪机器学习模型管理文章大全
产品资源
相关文章