Google Analytic

2015年10月2日 星期五

Mongomdb與Hadoop的連接套件 mongo-hadoop connector


最近推出一個mongomdb與hadoop間的溝通利器:mongo-hadoop connector [Github]
提供Mongodb與hadoop ecosystem之間的溝通,根據資料可以與以下做傳輸






  • Pig
  • Spark
  • MapReduce
  • Hadoop Streaming
  • Hive
  • Flume


進入後按照步驟執行應該會順利得到相關的jar檔,但因為某些原因我在一開始就卡住了,所以提供其他方法

在最開始的步驟./gradlew jar


Downloading https://services.gradle.org/distributions/gradle-2.2.1-all.zip 這步驟時有時會連線逾時,導致無法順利進行下一步 ( 當時我是該網站掛了 ),反正目的是得到jar檔,所以可以到這裡 https://oss.sonatype.org/content/repositories/releases/org/mongodb/ 來另外下載舊版的jar檔,放到相關服務的lib路徑中,譬如要與pig連接就到pig的lib中把相關的jar都放入。
  • $HADOOP_HOME/lib/
  • $HADOOP_HOME/share/hadoop/mapreduce/
  • $HADOOP_HOME/share/hadoop/lib/

例如pig中就能 raw = LOAD 'mongodb://localhost:27017/demo.yield_historical.in'<---monbodb資料來源 USING com.mongodb.hadoop.pig.MongoLoader();  讀到mongodb中的資料摟



沒有留言:

張貼留言

Related Posts Plugin for WordPress, Blogger...