목록대용량 데이터 (2)
회계 밖 세상
회계 및 재무 분석 업무를 하다 보면 엑셀의 한계(약 1,048,576행)를 넘는 대용량 데이터를 마주치게 됩니다. 특히 대기업의 원장 데이터나 ERP 시스템에서 추출한 거래 내역은 수백만 행에 달하는 경우가 많아 엑셀에서 직접 처리하기 어렵습니다. 이 글에서는 Python을 활용해 대용량 회계 데이터를 효율적으로 요약하는 방법을 소개합니다.문제 상황: 엑셀의 한계A 기업의 재무팀은 연간 비용 분석을 위해 원장 데이터를 추출했습니다. 그런데 이 데이터는 무려 400만 행 이상에 달했고, 30개 이상의 컬럼으로 구성되어 있었습니다. 또한 자산 관리팀에서 추출한 유무형자산 데이터 역시 엑셀로 처리하기 어려운 크기였습니다. 이런 상황에서 데이터를 효과적으로 요약하고 의미 있는 분석을 수행하기 위한 방법이 필요..
데이터 분석 작업을 하다 보면 여러 개의 CSV 파일을 하나로 합쳐야 하는 경우가 종종 있습니다. 특히 기업의 ERP 시스템에서 대용량 데이터를 여러 파일로 나누어 다운로드받은 경우, 이를 다시 하나로 합쳐야 분석 작업을 수월하게 진행할 수 있습니다. 이번 글에서는 파이썬의 pandas 라이브러리를 활용해 여러 CSV 파일을 효율적으로 병합하는 방법을 소개합니다.목차CSV 파일 합치는 방법 비교개별 변수 저장 방식으로 CSV 파일 합치기반복문을 활용한 CSV 파일 합치기통합 결과 검증 방법한국어 환경의 인코딩 문제 해결최종 코드 및 실행 결과1. CSV 파일 합치는 방법 비교여러 CSV 파일을 합치는 방법에는 크게 다음과 같은 방법들이 있습니다:pandas.concat() - 행 방향으로 여러 DataF..