侯上校
- 浏览: 217094 次
- 性别:
- 来自: 上海
-
最新评论
-
chowqh：
#修改指向我的hadoop安装目录 org.apache.s ...
Sqoop 1.99.3 安装 -
chowqh：
#修改指向我的hadoop安装目录 org.apache.s ...
Sqoop 1.99.3 安装 -
wuzhongfei：
sqoop1.99.3以后是不是全部取消了sqoop命令,例如 ...
Sqoop 1.99.3 安装 -
cyj0421129：
sqoop:000> show version -all ...
Sqoop 1.99.3 安装 -
mypeterhero：
请问，我的服务端也起来了如下：sqoop.sh server ...
Sqoop 1.99.3 安装
文章列表
Flume每30秒加载配置文件
- 博客分类：
- flume
Flume默认30重新加载配置文件的，如果配置了不加载的话就使用properties.load进来的，定期执行文件检查
ScheduledExecutorService executorService = Executors.newSingleThreadScheduledExecutor(
new ThreadFactoryBuilder().setNameFormat("conf-file-poller-%d")
.build());
FileWatcherRunnable fileWatch ...
PropertiesFileConfigurationProvider.java
@Override
public FlumeConfiguration getFlumeConfiguration() {
BufferedReader reader = null;
try {
reader = new BufferedReader(new FileReader(file));
Properties properties = new Properties();
properties.load(reader);
r ...
log4j加载配置bug
- 博客分类：
- log4j
异常信息：
log4j:ERROR setFile(null,true) call failed.
java.io.FileNotFoundException:
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:221)
at java.io.FileOutputStream.<init>(FileOutputStream.java:142)
at org.apache.log4j.File ...
【转】BCWS、BCWP、ACWP的理解
- 博客分类：
- 研发管理
BCWS、BCWP、ACWP的理解
举例：某土方工程总挖方量为 4000立方米，计划用10天完成，每天400立方米，预算单价为45元/立方米，该挖方工程预算总费用为180000元。 开工后第
sudo apt-get install bind9 dnsutils bind9-doc
sudo vim /etc/bind/naemd.conf.options
options {
directory "/var/cache/bind";
// If there is a firewall between you and nameservers you want
// to talk to, you may need to fix the firewall to allow multiple
...
1.（BIOS）先启动BIOS基本的输入输出系统，一般保存在主板上的BIOS芯片中。作用：A.负责检查硬件并且；B.查找可启动设备（USB/CDROM/HD）
2.（MBR）BIOS找到可启动设备后执行其引导代码——》引导的代码为MBR的前446字节（作用是加载一个比较复杂的引导程序GRUB）；
3.(Grub)是现在linux使用的主流引导程序；可以用来引导现在几乎所有OS;/boot/grub目录保存Grub引导程序文件;grub引导程序配置文件grub.conf
4.（KERNEL）MBR的引导代码将负责找到并加载Linux内核；Linux内核保存在/boot/vmlinuz-2 ...
tomcat各组件生命周期控制
- 博客分类：
- tomcat
了解tomcat的同学们都知道，apache搞的模块化开发，如tomcat就定义了一大堆的组件， 各个组件负责的责任不同，但是我们的这些组件的生命周期是怎么进行控制的呢，接下来就分析一下如果实现此功能（GOF的观察者模式）的，好了，不费话了，
第一：tomcat定义了一个生命周期的接口
Lifecycle.java接口中定义了几个方法
public void start() throws LifecycleException;
public void stop() throws LifecycleException;
//以上二个方法主要是在组件启动或者停止的时候被调用，
...
tomcat在运行的过程中，不同的国家输出的信息（log信息）是不同的语言，通过以下方法做到的：
根据本地化对象来实现，它封装了适用于本地环境的资源。
tomcat将一些资源配置信息写入properties文件中，这样便于读取与编辑，如果将所有类的错误信息都写在一个properties文件，优惠导致文件太大，不便于读写。为避免这种情况，tomcat将properties文件按照不同的包进行划分，每个包下都有自己的properties文件。org.apache.catalina.connector包下的properties文件包含了该包下所有的类中可能抛出的错误与配置信息。每个properties ...
tomcat日志系统设计
- 博客分类：
- tomcat
开门见山吧，这次也拿StandardServer.java类中来说吧！
其实tomcat使用了JDK的Logger类来实现的
第一：为每一个类健一个日志类的对象如下：
private static Log log = LogFactory.getLog(StandardServer.class);
LogFactory.java类里的实现过程如下：
private static LogFactory singleton=new LogFactory();
public static Log getLog(Class clazz)
throws LogConfigur ...
配套hadoop2.2.0
运用 dev-support/generate-hadoopX-poms.sh 为相应的版本生成pom文件
bash -x ./dev-support/generate-hadoopX-poms.sh 0.96.2 0.96.2-hadoop2
hadoop@hadoop:/opt/.../hbase-0.96.2$ vim dev-support/generate-hadoopX-poms.sh
hbase_home="/opt/.../hbase-0.96.2"
hadoop@hadoop:/opt/.../hbase-0.96. ...
pig将查询翻译为MapReduce作业
- 博客分类：
- pig
wget http://mirrors.cnnic.cn/apache/pig/pig-0.13.0/pig-0.13.0-src.tar.gz
tar -xvf pig-0.13.0-src.tar.gz
hadoop@hadoop:~$ vim .bashrc
export ANT_OPTS="-Dhttp.proxyHost=proxy.com -Dhttp.proxyPort=8080"
hadoop@hadoop:~$ sudo vim /etc/profile
#pig
export PIG_HOME=/usr/local/pig
e ...
create'hivehbaseStu', 'stu'
put'hivehbaseStu', 'row1', 'stu:stuName', 'tom'
put'hivehbaseStu', 'row1', 'stu:course', 'english'
put'hivehbaseStu', 'row1', 'stu:val', '90'
put'hivehbaseStu', 'row2', 'course:stuName', 'jim'
put'hivehbaseStu', 'row2', 'course:course', 'chinese'
p ...
【转】pig中各种sql语句的实现
- 博客分类：
- pig
Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。使用pig可以在处理海量数据时达到事半功倍的效果，比使用Java，C++等语言编写大规模数据处理程序的难度要小N倍，实现同样的效果的代码量也小N倍。我们可以在不熟悉map/reduce的情况下使用类似与sql语句的pig latin语句来实现复杂的数据处理。
我这里以Mysql 5.1.x为例,Pig的版本是0.8
同时我将数据放在了两个文件,存放在/tmp/data_file_1和 ...
登录
hadoop@hadoopMaster:~$ zkCli.sh -server hadoopMaster:2181
[zk: hadoopMaster:2181(CONNECTED) 0] help
[zk: hadoopMaster:2181(CONNECTED) 3] create /zk mydatatest
Created /zk
[zk: hadoopMaster:2181(CONNECTED) 4] ls /
[zk, hbase, zookeeper]
[zk: hadoopMaster:2181(CONNECTED) 5] get /zk
myda ...