Twitter APIを利用してデータを取得してみる。1.pip/oauthをインストール # curl -kL https://bootstrap.pypa.io/get-pip.py | python # pip install requests requests_oauthlib 2. コードを書く # mkdir twitter # cd twitter 設定ファイルを作成。 # vim …

DockerでHadoopを動かしてみる。 基本は以下のサイトどおり。https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html １．Hadoopインストール wget http://apache.claz.org/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.…

今回は前回構築した１コンテナでのKafkaを複数コンテナにしてみる。 複数コンテナを構成するには、docker-composeを利用すると便利らしい。 ということでdocker-composeを使ってみる。１．Docker-composeのインストール # curl -L https://github.com/docker…

前回Sparkを入れてみたが、前段のデータのキューの部分を実現したくなった。 事情により今回からCentOS7の仮想マシン上に構築している。 １．まずはDockerを入れる。 # yum -y install docker-io ２．Docker上でCentos7のイメージを起動する。 コンテナが起…

CentOS 6.8に入れてみる。 １．インストール ・scala # rpm -ivh http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.rpm ・spark # wget http://ftp.riken.jp/net/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz # tar xvzf spark-1.6.2-…