DIY

とりあえずやってみるのメモ。技術的なメモもありますが、独り言もあります。

技術ネタ

Docker上でKafkaを動かす(2)

今回は前回構築した1コンテナでのKafkaを複数コンテナにしてみる。 複数コンテナを構成するには、docker-composeを利用すると便利らしい。 ということでdocker-composeを使ってみる。1.Docker-composeのインストール # curl -L https://github.com/docker…

Docker上でKafkaを動かす(1)

前回Sparkを入れてみたが、前段のデータのキューの部分を実現したくなった。 事情により今回からCentOS7の仮想マシン上に構築している。 1.まずはDockerを入れる。 # yum -y install docker-io 2.Docker上でCentos7のイメージを起動する。 コンテナが起…

Sparkいれてみた

CentOS 6.8に入れてみる。 1.インストール ・scala # rpm -ivh http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.rpm ・spark # wget http://ftp.riken.jp/net/apache/spark/spark-1.6.2/spark-1.6.2-bin-hadoop2.6.tgz # tar xvzf spark-1.6.2-…