在安装GO(需要go1.4以上版本)语言和设置了GOPATH环境变量之后,安装datahub-client:
go get github.com/asiainfoLDP/datahub
启动datahub服务:
sudo $GOPATH/bin/datahub --daemon
Datahub CLI是datahub-client的命令行客户端,用来执行datahub相关命令。
- dp
- Datapool管理
- repo
- Repository管理
- subs
- Subscrption管理
- login
- 登录到dataos.io
- pull
- 下载数据
- 如果没有额外说明,所有的命令在没有错误发生时,不在终端输出任何信息,只记录到日志中。错误信息会打印到终端。
- 所有的命令执行都会记录到日志中,日志级别分[TRACE] [INFO] [WARNNING] [ERROR] [FATAL]。
- 参数支持全名和简称两种形式,例如--type等同于-t。详情见命令帮助。
- 参数赋值支持空格和等号两种形式,例如--type=file等同于--type file。
datahub dp
输出
{%DPNAME %DPTYPE}
例子
$ datahub dp
dp1 regular file
dp2 db2
dphere hdfs
dpthere api
$
datahub dp $DPNAME
输出
%DPNAME %DPTYPE %DPCONN
{%REPO/%ITEM:%TAG %LOCAL_TIME %T}
例子
$ datahub dp dp1
dp1 regular file /var/lib/datahub/dp1
repo1/item1:tag1 12:34 Oct 11 2015 pub
repo1/item1:tag2 15:00 Nov 2 2015 pub
repo1/item2:latest 10:00 Nov 1 2015 pull
cmcc/beijing:latest 10:00 Nov 1 2015 pull
$
- 目前只支持本地目录形式的数据池创建。daemon会有自己的可配置工作目录(默认/var/lib/datahub),使用参数dpconn指定绝对路径,当没有设定dpconn选项时,会默认创建到daemon的工作目录。
datahub dp create $DPNAME [--type=$dptype]
[--conn=$dpconn]
输出
%msg
例子
$ datahub dp create dp1 --type=file
--conn=/home/daemon/dp1
dp1 created as /home/daemon/dp1
$
- 删除数据池不会删除目标数据池已保存的数据。该dp有发布的数据项时,不能被删除。删除是在sqlit中标记状态,不真实删除。
datahub dp rm $DPNAME [-f]
输出
例子
$ datahub dp rm dp1
ok
$
datahub subs
输出
{%REPO/%ITEM %TYPE}
例子
$ datahub subs
cmcc/beijing regular file
repo1/testing api
$
datahub subs $REPO/$ITEM
输出
%REPO/%ITEM %TYPE
DESCRIPTION:
%DESCRIPTION
METADATA:
%METADATA
{%ITEM:%TAGNAME %UPDATE_TIME %INFO}
例子
$ datahub subs cmcc/beijing
cmcc/beijing regular file
DESCRIPTION:
移动数据北京地区
METADATA:
BLABLABLA
beijing:chaoyang 15:34 Oct 12 2015 600M
beijing:daxing 16:40 Oct 13 2015 435M
beijing:shunyi 16:40 Oct 14 2015 324M
beijing:haidian 16:40 Oct 15 2015 988M
$
datahub pull $REPO/$ITEM[:$TAG] $DATAPOOL
输出
%msg
例子
$ datahub pull cmcc/beijing:chaoyang dp1
OK.
$
- login命令支持被动调用,用于datahub client与datahub server交互时作认证。并将认证信息保存到环境变量,免去后续指令重复输入认证信息。
datahub login [--user=user]
输出
%msg
例子
$ datahub login
login: datahub
password: *******
[INFO]Authorization failed.
$
- help提供datahub所有命令的帮助信息。
datahub help [$CMD] [$SUBCMD]
输出
Usage of %CMD %SUBCMD
{ %OPTION=%DEFAULT_VALUE %OPTION_DESCRIPTION}
例子
$ datahub help dp create
Usage of dp create:
--conn= datapool connection info
--name= datapool name
--type, -T=file datapool type
$ datahub help dp
Usage of dp:
dp [create | rm] <dpname>