반응형 통계, 개발, 데이타6 파이썬(python) 로깅하기 - import logging #1 파이썬에는 기본적인 logging 모듈을 제공합니다. 아래는 logging 모듈의 기본 개념과 사용법을 정리하였습니다. 기본적인 파일 내 로그 출력 방법 import logging import submodule # 'myrootlogger' 이름의 로거 생성 logger = logging.getLogger('myrootlogger') logger.setLevel(logging.DEBUG) # 로깅 파일 핸들러 file_handler = logging.FileHandler('loghere.log') logger.addHandler(file_handler) logger.info('logging - info') logger.debug('logging - debug') logging 모듈을 import 하고 g.. 2021. 7. 10. 파이썬(python) cProfile 사용법 프로파일링은 함수의 호출, 반환, 예외를 추적하고, 각 함수 호출과 이벤트를 추적합니다. 프로파일링으로 상대적으로 리소스를 많이 소비되는 부분을 찾아서 성능 개선에 집중할 수 있습니다. 파이썬은 인터프리터 언어로 프로파일링에 상대적으로 적은 자원이 소비됩니다. 파이썬(python)에서는 표준 라이브러리로 cProfile, profile을 제공하는데, 이번 포스트에서는 cProfile의 사용법을 확인해 보겠습니다. 파이썬 버전은 비교적 최신 버전은 3.8을 다룹니다. import cProfile def mysum(num): return sum( [i for i in range(num)]) def sum_of_mysum(num): return [ mysum(i) for i in range(1,num) ] #.. 2021. 7. 6. 파이썬(python) multiprocessing 전문 개발자가 아닌 상황에서 데이타 가공, 분석 또는 자동화된 테스트를 목적으로 파이썬을 주로 사용해왔습니다. 자연히 다수의 멀티프로세스를 사용할 일이 없었습니다. 하지만 이번에 랜덤 상황을 시뮬레이션 해볼 문제가 있어서 멀티 프로세싱 모듈을 사용해 보았습니다. 프로세스 간의 공유할 자원이 없어서 Lock이나 Pipe 등은 사용하지 않고 기본 기능만 사용했습니다. 이번 포스트는 공부한 내용을 기록하는 차원에서 만들었습니다. 전역 인터프리터 락, 그리고 멀티 프로세싱 파이썬은 전역 인터프리터 락(Global Interpreter Lock, GIL) 특성 때문에, 쓰레드 단위에서는 진정한 병렬성을 구현하기 어렵습니다. GIL 환경에서는 하나의 쓰레드가 자원을 독점하고, 다수의 쓰레드는 순차적으로 처리됩니다... 2021. 7. 3. 구글 ML 유니버설 가이드 - 머신러닝의 규칙 developers.google.com/machine-learning/guides/rules-of-ml/?hl=ko 머신러닝의 규칙: | ML 유니버설 가이드 | Google Developers 머신러닝 엔지니어링 실무지침서 Martin Zinkevich 본 문서의 목적은 머신러닝에 관한 기초 지식을 갖춘 독자들이 Google의 머신러닝 관련 권장사항을 참고할 수 있도록 돕는 것으로, Google C++ 스타일 developers.google.com 구글에서 제시한 머신러닝 개발의 가이드라인 입니다. 개발자를 위한 글이지만 머신러닝 기능이 포함된 서비스를 기획하는 입장에서도 귀감이 되는 글이다. 긴 내용이라 인상 깊었던 파트를 몇 개 인용해 보고자 합니다. 규칙 #1: 머신러닝 없이 제품을 출시하는 것을.. 2021. 2. 9. 티스토리 블로그의 구글 검색 등록 방법. 블로그를 개설한 후 구글 검색에 등록하기 위해서는, 구글 서치 콘솔에 본인의 티스토리 URL을 등록하면 좋습니다. 구글봇이 자체적으로 크롤링을 하기도 하지만, 서치콘설에 직접 등록하는 것보다 검색 노출까지 시간이 더오래걸립니다. 구글 서치 콘솔 경로는 아래와 같습니다. search.google.com/search-console Google Search Console Search Console 도구와 보고서를 사용하면 사이트의 검색 트래픽 및 실적을 측정하고, 문제를 해결하며, Google 검색결과에서 사이트가 돋보이게 할 수 있습니다. search.google.com 서치 콘솔에 접속하면 도메인 등록과 URL 접두어 선택이 나옵니다. 티스토리 같은 블로그는 xxxx.tistory.com 형태이므로, UR.. 2021. 2. 7. 명령어로 간단히 CSV 합치기 외부에서 데이타를 받으면 CSV 형식으로 되어 있는 경우가 있습니다. 한 두개 정도의 파일은 엑셀이나 메모장에서 CSV를 열어서 합칠 수 있습니다. 하지만 다수의 CSV 파일이 있다면, 매번 엑셀로 열어서 합치는 일이 매우 번거롭습니다. python 으로 프로그램을 짜서 만드는 방식이 제일 깔끔하지만, 이 부분이 어렵다면 CMD 명령어를 이용해 간단히 합칠 수 있습니다. 1) MS 윈도우를 사용한다면 CMD 창을 여십시요 - 좌측 하단에 있는 윈도우 키와 R 을 동시에 누르시거나, 검색 창에 CMD를 검색하여 명령어 프롬프트를 클릭합니다. 2) CSV를 하나에 폴더로 모으고, CMD 창에서 그 위치로 이동합니다. 이동은 CD 경로명으로 하면 됩니다. > cd {경로명} 3) type 명령어로 csv를 합.. 2021. 2. 4. 이전 1 다음 반응형
