Bigdata/hadoop (2) 썸네일형 리스트형 [Hadoop] HDFS에 파일 쓰기 이번 글에서는 하둡 hdfs에 파일을 저장하는 방법을 알아보겠다.기본적인 형태는 일반 파일 입출력과 크게 차이가 있지 않다.첫번째로는 하둡에 저장하기 위해 DFSOutputStream을 추상화한 FSDataOutputStream을 이용하는점.두번째로는 FileSystem과 Path 객체를 이용해 hdfs의 경로 및 기타 설정을 해야하는 차이가 있을 뿐이다. 아래는 예제 코드이다. public static void main(String[] args) throws Exception { FSDataOutputStream fout = null; try { Path path = new Path("hdfs://NaeNode:port/path/file"); String data = "data"; FileSystem .. [hive] LzoTextInputFormat 일 때 TextFile을 읽지 못하는 경우 hive table의 InputFormat이 LzoTextInputFormat인 경우에 hive에서는 lzo로 압축된 파일과 일반 텍스트파일을 모두 읽는 것이 가능하다. 하지만 spark에서 해당 테이블을 조회시 lzo로 압축된 데이터는 읽어지지만 텍스트 형식의 파일은 읽지 못하는 경우가 있었다. 확인 결과 spark에서 참조하는 hive-site.xml에 아래의 옵션이 누락되어 발생하는 문제였다. lzo.text.input.format.ignore.nonlzo false lzo.text.input.format.ignore.nonlzo는 자동으로 LZO가 아닌 입력을 무시해야하는지 여부를 나타내는 속성이다. 속성이 true(기본값)인 경우 LZO가 아닌 파일은 무시된다. 속성이 false이면 LZO가 아.. 이전 1 다음