1.Apache Stormのインストール # wget http://www-eu.apache.org/dist/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gz # tar xvzf apache-storm-1.0.2.tar.gz # mv apache-storm-1.0.2.tar.gz /usr/local/lib/strom # データディレクトリの作成 # cd…
Apache Flinkを触りたくなったのでインストール1. パッケージインストール # wget http://ftp.meisei-u.ac.jp/mirror/apache/dist/flink/flink-0.8.1/flink-0.8.1-bin-hadoop1.tgz # tar xvzf flink-0.8.1-bin-hadoop1.tgz # mv flink-1.3.1 /usr/local/lib/…
Twitter APIを利用してデータを取得してみる。1.pip/oauthをインストール # curl -kL https://bootstrap.pypa.io/get-pip.py | python # pip install requests requests_oauthlib 2. コードを書く # mkdir twitter # cd twitter 設定ファイルを作成。 # vim …
DockerでHadoopを動かしてみる。 基本は以下のサイトどおり。https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html 1.Hadoopインストール wget http://apache.claz.org/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.…
今回は前回構築した1コンテナでのKafkaを複数コンテナにしてみる。 複数コンテナを構成するには、docker-composeを利用すると便利らしい。 ということでdocker-composeを使ってみる。1.Docker-composeのインストール # curl -L https://github.com/docker…
前回Sparkを入れてみたが、前段のデータのキューの部分を実現したくなった。 事情により今回からCentOS7の仮想マシン上に構築している。 1.まずはDockerを入れる。 # yum -y install docker-io 2.Docker上でCentos7のイメージを起動する。 コンテナが起…
CentOS 6.8に入れてみる。 1.インストール ・scala # rpm -ivh http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.rpm ・spark # wget http://ftp.riken.jp/net/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz # tar xvzf spark-1.6.2-…