Mongomdb與Hadoop的連接套件 mongo-hadoop connector
- Pig
- Spark
- MapReduce
- Hadoop Streaming
- Hive
- Flume
進入後按照步驟執行應該會順利得到相關的jar檔,但因為某些原因我在一開始就卡住了,所以提供其他方法
在最開始的步驟./gradlew jar
Downloading https://services.gradle.org/distributions/gradle-2.2.1-all.zip 這步驟時有時會連線逾時,導致無法順利進行下一步 ( 當時我是該網站掛了 ),反正目的是得到jar檔,所以可以到這裡 https://oss.sonatype.org/content/repositories/releases/org/mongodb/ 來另外下載舊版的jar檔,放到相關服務的lib路徑中,譬如要與pig連接就到pig的lib中把相關的jar都放入。
- $HADOOP_HOME/lib/
- $HADOOP_HOME/share/hadoop/mapreduce/
- $HADOOP_HOME/share/hadoop/lib/
例如pig中就能 raw = LOAD 'mongodb://localhost:27017/demo.yield_historical.in'<---monbodb資料來源 USING com.mongodb.hadoop.pig.MongoLoader(); 讀到mongodb中的資料摟
沒有留言:
張貼留言