“人工智能训练师”培训学习-课堂笔记(四级/中级---三级/高级)

方式一：数据.plot(kind='bar', stacked=True)案例中用于绘制柱状图

方式二：数据.plot.pie()案例中用于绘制饼图

19.plt.scatter(data['年龄'], data['疾病严重程度']) 绘制散点图, 传横坐标与纵坐标参数 (知道列名plt直接绘制)

制定数据清洗规范 (答到1个点得1分，最高得2分)

1.数据加载和初步检查

使用pandas库加载数据集并显示前五行数据，以了解数据的基本结构和内容。

2.缺失值或重复值处理

检查缺失值并删除缺失值所在行，检查并移除数据集中的重复值，以确保数据的唯一性和完整性。记录删除的重复行数。

3.异常值处理

将不符合数据规范的数据结构转换成指定的数据类型如数值型或日期型，并对转换过程中异常值进行处理。

4.检查处理后的数据

对清洗后的数据进行数据检查,查看每一列的数据类型和是否存在缺失值或重复值。

制定特征工程规范（答到1个点得1分，最高得3分）

1.数据归一化或标准化处理

使用MinMaxScaler(工具看题)对数值变量进行标准化或归一化处理，将数据缩放到0和1之间，以确保所有特征在相似的范围内。

2特征工程

创建新的特征，设定特征数据集，主要是加快数据计算，减小内存存储。

3.目标变量设定

将XX(看题目)设为目标变量，(并进行后续的标注和划分。

4.数据标注和划分

使用train_test_split将数据集划分为训练集和测试集，常用的划分比例为80-20，以验证模型的性能。

5.数据整合

将特征和目标变量合并到一个数据框中，以便数据浏览。

6.数据保存

将清洗和预处理后的数据保存为CSV文件，文件命名为xxx.csv,以供进一步分析或模型开发使用。

0（没有严重逾期）： 

模型在0类表现较好，准确度很高，达到95%，召回率也很高，达99%。

可能的错误主要来自于少数漏报或误报情况，即极少数实际没有严重逾期的样本被错误预测为有严重逾期。

1（有严重逾期）： 

模型在1类性能较差，准确度较低只有57%，召回率也很低，F1-Score仅为0.21。主要问题在于存在大量漏报（真正有严重逾期的样本被预测为没有）和一定的误报情况（将没有严重逾期的样本预测为有逾期）。

改进建议

1. 特征工程：

(1)探索数据集，增加更多潜在特征。

(2)特征选择：使用特征选择技术来确定哪些特征对于预测最有帮助，减少冗余特征。

(3)特征变换：对现有特征进行变换，如对数变换、多项式特征等。

(4)特征构造：创建新的特征组合，比如将多个特征结合起来形成更有意义的衍生特征。

(1)尝试其他模型，可以考虑使用其他回归模型，如支持向量机(SVM)，神经网络或集成方法（如随机森林、梯度提升机）。

(2)调整模型参数：对选定模型进行超参数调优，以找到最佳参数组合。

使用交叉验证来评估模型性能，避免过拟合。

重采样技术：由于数据集存在明显的不平衡，可以考虑使用重采样技术或欠采样技术来平衡两个类别的数量。