전체 글 (49) 썸네일형 리스트형 [Eclipse] 이클립스에서 javaw.exe를 읽을 못하는 오류가 생길 경우 해결법 # 네이버블로그에서 이사 (http://blog.naver.com/rkdmfql1540) 이클립스 실행시 아래와 같은 에러가 나타날 경우가 있다.A Java Runtime Environment(JRE) or Java Development Kit(JDK)must be available in order to run Eclipse. No Java virtual machinewas found after searching the follwing locations:C:\eclipse\jre\bin\javaw.exe 해결법으로는 이클립스 바로가기 아이콘의 속성에 들어가 오른쪽 버튼을 클릭후 실행 경로창에 C:\eclipse\eclipse.exe -vm "C:\Program Files\Java\jdk1.7.0_05\b.. 자바 Map을 Json으로 변환시 키로 정렬하기 json object는 정렬되지 않는 key,value의 집합이다. 일반적으로 자바에서 json library를 이용하여 map을 json형태의 string으로 변환시 정렬이 이루어지지 않는다. jackson library를 이용하는 경우 키를 이용하여 정렬된 형태로 구성하고 싶다면 아래와 같이 ObjectMapper 클래스의 configure 메소드를 이용하여 다음과 같이 설정하면 된다. configure(SerializationFeature.ORDER_MAP_ENTRIES_BY_KEYS, true); 다음은 샘플 코드이다. Map map = new HashMap(); map.put("park", "17"); map.put("kim", "15"); map.put("lee", "23"); map.put(.. mysql에서 batch insert가 작동하지 않는 경우 해결 방법 mysql에서의 batch insert jdbc의 addBatch 메소드나 mybatis에서 batch 설정을 하고 insert를 하는 경우 oracle에 적재할 때는 batch 형태로 높은 퍼포먼스로 적재되었던 반면 mysql로 db를 변경하고 나서 batch insert가 먹히지 않았다. 처음에는 mysql의 insert 퍼포먼스가 낮은 것인줄 착각했으나 확인해보니 mysql을 사용할 때는 jdbc url에 다음의 파라미터를 넣어야 정상적으로 batch insert가 작동한다. rewriteBatchedStatements=true ex) jdbc url jdbc:mysql://localhost:3306/TestDB?rewriteBatchedStatements=true Spring boot 에서 ehcache 사용하기 자바 Spring boot에서 ehcache 사용하기. 캐시란? 데이터를 쌓아두고 원하는 데이터를 바로 찾을 수 있도록 key를 부여하여 해당 키를 캐시에 넘기면 그에 해당하는 데이터가 반환되게 하는 것이다. spring에서 읽기가 자주 발생하고 작업의 부하가 클 경우 캐시를 사용하면 서버의 오버헤드를 줄일 수 있다. 1. EhCache를 사용하기 위한 설정 Gradle 의존성 추가 dependencies { compile('org.springframework.boot:spring-boot-starter-cache') compile 'net.sf.ehcache:ehcache-core:2.10.3' } src/main/resources/ehcache.xml 추가 어플리케이션 설정 @SpringBootApp.. [hive] LzoTextInputFormat 일 때 TextFile을 읽지 못하는 경우 hive table의 InputFormat이 LzoTextInputFormat인 경우에 hive에서는 lzo로 압축된 파일과 일반 텍스트파일을 모두 읽는 것이 가능하다. 하지만 spark에서 해당 테이블을 조회시 lzo로 압축된 데이터는 읽어지지만 텍스트 형식의 파일은 읽지 못하는 경우가 있었다. 확인 결과 spark에서 참조하는 hive-site.xml에 아래의 옵션이 누락되어 발생하는 문제였다. lzo.text.input.format.ignore.nonlzo false lzo.text.input.format.ignore.nonlzo는 자동으로 LZO가 아닌 입력을 무시해야하는지 여부를 나타내는 속성이다. 속성이 true(기본값)인 경우 LZO가 아닌 파일은 무시된다. 속성이 false이면 LZO가 아.. [linux] yum 저장소 업데이트 해제 최근 logstash, elasticsearch, kibana등을 yum repo를 이용하여 설치하고 테스트하다가 버전 업데이트가 되어 재설치를 진행한 적이 있습니다. yum repo을 이용하여 애플리케이션을 설치하고 저장소 활성화 설정을 해제하지 않을 경우 운영중에 원치 않는 자동 업데이트가 될 수 있습니다. /etc/yum/repos.d/{저장소이름}.repo 파일을 열어보면 enabled 값이 1으로 설정된 것을 확인할 수 있습니다. 이 값이 1이면 저장소가 활성화되어 자동 업데이트가 진행되게 됩니다. 저장소를 비활성화 하려면 0으로 설정하면 됩니다. spark cluster 환경 정리 스파크 애플리케이션은 마스터 역할을 담당하는 드라이버(driver) 프로그램과 노드의 자원을 관리하는 클러스터 매니저 그리고 실제 데이터를 처리하는 익스큐터(executor)로 구성됩니다. Driver : Driver는 애플리케이션의 main()함수가 실행되는 프로세스이며 Spark Context를 생성하고 관리하며 transformation과 action 연산을 수행하게 됩니다. Executor : Executor는 CPU와 메모리 등의 자원을 할당받은 프로세스로서 Spark Job의 Task들을 수행하게 되며 처리된 데이터를 나중에 빠르게 재사용할 수 있또록 메모리에 저장해 두는 역할을 하게 됩니다. Cluster Manager : 클러스터 매니저는 스파크의 클러스터 모드를 구성하는 컴포넌트 중 하나.. [spark] json 형태의 문자열을 dataframe으로 변환하는 방법 spark에서 json 파일을 읽어 dataframe 형태로 만들면 별도의 파싱 과정을 직접할 필요 없이 구조화된 데이터로 만들어 주기 때문에 굉장히 편리하게 개발을 할 수 있다. val df = sqlContext.read.json("file.json") 때로는 json이 파일 형태로 존재하지 않고 데이터 처리과정에서 json 형태의 문자열을 dataframe으로 변환해야 할 경우가 있는데 sc.read.json 메소드는 문자열을 인자로 받지 않는다. 그래서 특정 string 변수에 json 형태의 문자열이 존재할 경우 dataframe으로 변환하는 방법을 알아보겠다. 방법은 단순하다. 문자열을 Seq 형태로 만들고 parallelize 메소드를 이용해서 rdd 형태로 변환하면 dataframe으로 변.. 이전 1 2 3 4 5 6 7 다음
