登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

东海的博客

学习嵌入式

 
 
 

日志

 
 

Libsvm使用心得  

2009-05-14 08:40:35|  分类: 毕业课题相关 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

 

原文:http://freehello.blogspot.com/2009/04/libsvm.html

Libsvm使用心得
最近在做基于SVM的短信分类的项目,对libsvm的使用进行了小小研究,结合网上泛滥成灾的libsvm使用方法介绍,自己做一简短总结。
libsvm是实现svm的便捷开源工具,应用广泛(除此之外还有lightsvm,没用过)由国立台湾大学Chih-Chung Chang和 Chih-Jen Lin编写,可以实现基于SVM的分类和回归。
由于个人对SVM的理论只是“略懂”,下面只介绍libsvm在win32平台的基本使用方法 。对SVM一窍不通的强烈建议看一下入门文章http://ntu.csie.org/~piaip/svm/svm_tutorial.html

先介绍一下大概的流程。
准备数据集(短信语料),处理成libsvm接受的格式,之后进行训练(svm-train)得到模型
,然后进行测试,完成。其中训练的过程需要不断选取参数寻求最佳分类结果,为此libsvm提供了grid.py(python文件)专门用来帮助自动选取最佳参数。


1、资源准备
下载Libsvm、Python和Gnuplot:
libsvm——那必须有啊,最新版本2.89,主页http://www.csie.ntu.edu.tw/~cjlin/libsvm/上下载得到,建议同时下载一个libsvm的初学者guide
Python——主要是为了运行grid.py,最新版是2.5,可以在python的主页http://www.python.org/上下载
Gnuplot——同样为了选取最佳参数和绘图,自己搜一下,win32版的为gp423win32.zip

2、具体流程

LIBSVM 使用的一般步骤是:
1)准备数据集,转化为 LIBSVM支持的数据格式 :
[label] [index1]:[value1] [index2]:[value2] ...
即 [l类别标号] [特征1]:[特征值] [特征2]:[特征值] ...
2)对数据进行简单的缩放操作(scale);(为什么要scale,这里不解释了)
3)考虑选用核函数(通常选取径函数,程序默认);
4)采用交叉验证(一般采用5折交叉验证),选择最佳参数C与g ;
5)用得到的最佳参数C与g 对整个训练集进行训练得到SVM模型;
6)用得到的SVM模型进行测试


3、操作实现:

先进行各种安装和配置。
在C盘建立一个文件夹libsvm
解压libsvm-2.89.rar,将解压后得到的文件夹下的整个windows目录全部考到C:\libsvm下
python装在C盘,文件夹是Python25,将里面的python.exe复制到C:\libsvm\windows下
gnuplot也装在C盘,
修改grid.py文件,找到其中关于gnuplot路径的那项(其默认路径为gnuplot_exe=r"c:\tmp\gnuplot\bin\pgnuplot.exe"),根据实际路径进行修改,并保存。

1)如果只是进行简单练习,可以在http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/下载合适的数据集,如果是自己的实际项目,要自己编程转换一下。假定我们选取的数据集叫做trainset。


2)对数据进行简单的缩放操作。 svm-scale [options] data_filename
开始->cmd->进入C:\libsvm\windows
然后输入:svm-scale -l 0 -u 1 trainset
得到scale后的文件trainset.scale


使用svm-scale 对数据进行缩放是必要的。因为适当的scale有助于参数的选取和建svm模型的速度。svm-scale 会对value 做scale。 范围用 -l, -u 指定,通常是[0,1],或是[-1,1]。(文本分类一般选[0,1])。輸出在 stdout。另外要注意的是 testing data 和 training data要一起scale。而svm-scale 最难用的地方就是沒办法指定testing data/training data为同一文档,然后一起scale。
因此为了后面测试,还要对测试集进行scale。
输入:svm-scale -l 0 -u 1 testset
得到scale后的文件testset.scale




3) 考虑选用RBF 核函数
Svm-train的用法: svm-train [options] training_set_file [model_file]
training_set_file为之前训练数据,而 model_file 如果不给就会自动生成
[training_set_file].model 。 options 可以先不要给。Options:常用可用的选项即表示的涵义
如下
-s svm类型:SVM设置类型(默认0)
0 -- C-SVC 1 -- v-SVC 2 -- 一类SVM 3 -- e -SVR 4 -- v-SVR-t 核函数类型:核函数设置类型(默认2)
0 – 线性:u'v
1 – 多项式:(r*u'v + coef0)^degree
2 – RBF函数:exp(-ru-v^2)
-g r(gama):核函数中的函数设置(默认1/ k)
-c cost:设置C-SVC和-SVR的参数(默认1),
-v n: n-fold交互检验模式

4)采用交叉验证选择最佳参数C与g
注意:(3)中列出的,不同的参数(最常用的就是g和c)条件下会训练出不同的SVM,那怎么选取使SVM最好的参数呢——试,一个一个试!而grid.py就是干这个的。
因此,这里要先用grid选取合适的C和g值。
Usage: grid.py [-log2c begin,end,step] [-log2g begin,end,step] [-v fold][-svmtrain pathname] [-gnuplot pathname] [-out pathname] [-png pathname][additional parameters for svm-train] dataset
一般log2c -10,10,1 ;log2g 10,-10,-1, -v 5即可
输入:
python grid.py -log2c -10,10,1 -log2g 10,-10,-1 trainset.scale
返回结果告诉你best-c和best-g,以后我们就用这个进行正式训练了!另外,还同时还返回准确率。

5)训练
输入:svm-train -c 得到的best-c -g 得到的best-g trainset.scale
得到:trainset.scale.model

6)测试
Svmpredict的用法:$ svmpredict test_file model_file output_file
model_file是由svmtrain产生的模型文件;test_file是要进行预测的数据文件,其格式
和 svmtrain的输入,也就是 training_set_file 是一样的!不过每行最前面的 label 可以
省略 ( 因为 predict 就是要 predict 那个 label) 。 但如果 test_file 有 label 的值的
话, predict 完会顺便拿 predict 出来的值跟 test_file 里面写的值去做比对,这代表:
test_file 写的 label 是真正的分类结果,拿来跟我们 predict 的结果比对就可以 知道
predict 有没有猜对了;Output_file是svmpredict的输出文件。svm-predict没有其它的选
项。
输入:svm-predict testset.scale trainset.scale.model result
ok,返回测试结果,enjoy it!

  评论这张
 
阅读(15053)| 评论(0)

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018