手机怎么制作网站教程视频,网站首页html代码在哪,wordpress 曹鹏,深圳做网站企业我用AI做数据分析之数据清洗
AI与数据分析的融合效果怎样#xff1f; 这里描述自己在使用AI进行数据分析#xff08;数据清洗#xff09;过程中的几个小故事#xff1a;
1. 变量名的翻译
有一个项目是某医生自己收集的数据#xff0c;变量名使用的是中文#xff0c;分…我用AI做数据分析之数据清洗
AI与数据分析的融合效果怎样 这里描述自己在使用AI进行数据分析数据清洗过程中的几个小故事
1. 变量名的翻译
有一个项目是某医生自己收集的数据变量名使用的是中文分析的时候一般会变化成英文更方便一些传统的手段需要查找变量名的中文然后使用代码替换原来的列名不复杂无奈变量名较多处理起来还是会花费不少的时间。
这种情况下我尝试着将数据表格提交给AI使用自然语言让它把“列名翻译成英文全称并符合python的命名方式”效果可以说是非常不错返回的新数据表中正确地给出了符合要求的列名也很效率。
2. 英文缩写改全称
另外一个项目列名是缩写有一些我自己都不知道什么含义在我没有详细提供上下文的情况下让AI把缩写改成英文全称。 AI也很好地完成了这个工作并在对话框中解释了变量名的含义。
3. 纠正录入错误
在另外的一个项目中部分的变量里面误录入了制表符-“\tyes”等平时不太处理这种情况一个一个检查也很繁琐所以尝试使用AI来处理这个问题。与AI交流过程中我并没有具体指出是什么样的录入错误只说检查可能的录入错误AI就能够将这些错误检查出来并进行纠正。
令人意外的是AI还检测出一个数值型数据的录入错误这是没有专业知识不容易发现的。
类似的情况还有在自己收集的一些数据中录入不统一的情况比如有的中文“是”有的是英文“yes” 自然语言描述起来很容易代码写起来就很复杂我觉得AI也可以处理。 以上体验是基于豆包AI数据分析模块的体验总体来说都属于语言相关的范畴感觉是AI可以表现很好的环节因为AI本身是LLM大语言模型。这一部分严格说没有涉及LLM生成代码的部分因为代码是在AI发现了问题之后用来修改数据表使用的。 结论是在这一部分上AI的表现是相当合格的。AI的能力在逐步增强如何改变即有的数据分析流程让我们拭目以待我也会通过一些具体的小例子来向大家描述AI在数据分析过程中的表现。
