机器学习的数据格式和数据获取

概述

机器学习是通过分析历史数据,预测未来,那么这些数据的格式是怎样的?

数据库

存储的数据库中,会有以下问题:

  1. 性能瓶颈。当数据量过大时,读取数据较慢
  2. 格式不符合机器学习的要求,不适合数据分析

csv文件

  1. 独立文件,没有性能瓶颈
  2. 通过pandas读写,易于分析

获取数据

kaggle

官方网址:https://www.kaggle.com/

  1. 大数据竞赛平台
  2. 80万科学家
  3. 真实数据
  4. 数据量巨大

sklearn

sklearn自带的数据集

  1. 数据量较小
  2. 方便学习

UCI

收录的数据比较专业

  1. 收录了较多的数据集
  2. 覆盖科学、生活、经济等
  3. 数据量几十万

常用数据集的结构组成

结构:特征值+目标值
比如:通过分析男生的特征,得出受女生的好感度

目标值:要做什么,或者是目的是什么。对于此案例来说就是女生的好感度
特征值:根据目标值,要收集相关的特征,比如身高、体重、颜值、穿搭等,至于是否会做饭、学习成绩等与目标值不相关

身高 体重 颜值 穿搭 目标值
180 120 80 80 70
170 160 70 90 60
182 130 85 95 90

注意: 有的数据集可以没有目标值


原文出处:/show_1EF3PlnYIrhF.html