async.mapLimit 함수는 JavaScript에서 비동기 작업을 처리할 때 매우 유용한 도구입니다. 이 함수는 async 라이브러리에 포함되어 있으며, 여러 작업을 동시에 처리할 수 있도록 하면서도 동시에 실행할 수 있는 작업의 수를 제한함으로써 시스템의 과부하를 방지합니다. 반면, Array.map은 배열의 각 요소에 대해 동기적으로 함수를 실행하여 결과를 새 배열로 반환하는 JavaScript의 내장 메서드입니다. 이 두 메서드의 주요 차이점과 async.mapLimit의 이점을 구체적인 예시와 함께 살펴보겠습니다.
async.mapLimit의 이점
- 동시성 제어:
async.mapLimit을 사용하면 동시에 실행될 비동기 작업의 수를 제한할 수 있습니다. 이는 네트워크 요청, 파일 시스템 작업 등 리소스를 많이 사용하는 작업에서 특히 유용합니다. - 자원 효율성: 동시 실행 작업 수를 제한함으로써, 시스템 리소스를 보다 효율적으로 사용할 수 있으며, 과부하로 인한 에러 발생 가능성을 줄일 수 있습니다.
- 유연성과 확장성: 비동기 작업의 결과를 쉽게 관리하고, 에러 처리를 유연하게 할 수 있습니다. 또한, 작업의 우선순위를 변경하거나 동적으로 작업 수를 조절하는 것도 가능합니다.
Array.map과의 비교
- 동기 vs 비동기:
Array.map은 동기적으로 작동하여, 비동기 작업을 직접적으로 처리할 수 없습니다. 비동기 작업을Array.map과 함께 사용하려면, 각 작업이 완료될 때까지 기다린 후 결과를 수집하는 추가적인 로직이 필요합니다. - 리소스 관리:
Array.map을 사용하여 대량의 비동기 작업을 발생시킬 경우, 모든 작업이 동시에 시작됩니다. 이는 시스템에 큰 부하를 줄 수 있으며, 특히 네트워크 요청의 경우 API 제한을 초과하거나 서버에 과부하를 주는 원인이 될 수 있습니다.
예시
async.mapLimit 사용 예시
Node.js 환경에서 여러 이미지 파일을 동시에 다운로드하되, 동시 다운로드 수를 3개로 제한하는 경우:
const async = require('async');
const downloadImage = function(url, callback) {
// 이미지 다운로드 로직 (가정)
console.log(`Downloading ${url}`);
setTimeout(() => {
console.log(`Downloaded ${url}`);
callback(null, url); // 에러가 없다고 가정
}, 1000); // 1초 소요된다고 가정
};
const urls = [
'image1.jpg',
'image2.jpg',
'image3.jpg',
'image4.jpg',
'image5.jpg'
];
async.mapLimit(urls, 3, downloadImage, (err, results) => {
if (err) {
console.error('Error:', err);
} else {
console.log('All images downloaded:', results);
}
});
이 예시에서는 한 번에 최대 3개의 이미지만 다운로드되며, 이는 시스템 리소스를 효율적으로 사용하면서도 작업을 병렬로 처리할 수 있게 해줍니다.
Array.map 사용 예시
동기적 작업, 예를 들어 배열의 각 요소를 변환하는 경우:
const numbers = [1, 2, 3, 4, 5];
const squared = numbers.map(number => number * number);
console.log(squared); // [1, 4, 9, 16, 25]이 예시에서 Array.map은 각 숫자를 제곱하여 새 배열을 반환합니다. 이는 동기적 작업에 적합합니다.
결론적으로, async.mapLimit은 비동기 작업을 처리하고 시스템 리소스를 효율적으로 관리해야 하는 상황에 매우 적합합니다. 반면, Array.map은 배열의 각 요소에 대해 동기적으로 함수를 실행해야 할 때 사용됩니다.
비동기 작업을 처리하는 예시로, 여러 웹사이트의 HTML을 가져오는 작업을 생각해볼 수 있습니다. 이 작업을 async.mapLimit과 Array.map을 이용해 동일한 로직으로 구현하는 방법을 살펴보겠습니다.
async.mapLimit 예시
async.mapLimit을 사용하여, 동시에 2개의 웹사이트만 처리하도록 제한하면서 여러 웹사이트의 HTML을 가져오는 예시입니다.
const async = require('async');
const fetch = require('node-fetch'); // node-fetch 라이브러리를 사용하여 HTTP 요청을 보냄
const fetchHtml = async function(url, callback) {
try {
const response = await fetch(url);
const html = await response.text();
callback(null, html); // 성공적으로 HTML을 가져온 경우
} catch (error) {
callback(error, null); // 에러 발생 시
}
};
const urls = [
'http://example.com',
'http://example.org',
'http://example.net'
];
async.mapLimit(urls, 2, fetchHtml, (err, results) => {
if (err) {
console.error('Error:', err);
} else {
console.log('HTMLs fetched:', results.length);
}
});
이 예시에서 async.mapLimit은 동시에 최대 2개의 웹사이트에서 HTML을 가져옵니다. 이 방법은 네트워크 요청과 같은 비동기 작업을 효율적으로 관리하고자 할 때 매우 유용합니다.
Array.map 예시
Array.map과 Promise.all을 조합하여 비동기 작업을 처리하는 방법입니다. 이 경우, 모든 웹사이트에 대한 요청이 동시에 발생합니다.
const fetch = require('node-fetch'); // node-fetch 라이브러리 사용
const urls = [
'http://example.com',
'http://example.org',
'http://example.net'
];
Promise.all(urls.map(async url => {
const response = await fetch(url);
return response.text(); // HTML 반환
})).then(results => {
console.log('HTMLs fetched:', results.length);
}).catch(error => {
console.error('Error:', error);
});
이 방법은 모든 요청을 동시에 처리하기 때문에, async.mapLimit에 비해 더 빠를 수 있습니다. 하지만 동시 요청의 수가 많은 경우 시스템 리소스에 부담을 줄 수 있고, 일부 웹서비스에서는 동시 요청 수를 제한하기도 합니다.
비교
두 예시 모두 웹사이트에서 HTML을 가져오는 비동기 작업을 수행하지만, 처리 방식에 있어서 큰 차이가 있습니다. async.mapLimit은 동시에 처리할 작업의 수를 제한할 수 있어 네트워크 요청과 같은 리소스를 많이 사용하는 작업에 적합합니다. 반면, Array.map과 Promise.all을 이용한 방식은 모든 작업을 동시에 시작하므로, 작업의 수가 적고 리소스 사용에 큰 제한이 없는 경우에 유용할 수 있습니다. 작업의 특성과 요구 사항에 따라 적절한 방법을 선택하는 것이 중요합니다.
또다른 예시 – 디비 검색의 경우
MongoDB 쿼리를 실행하는 작업에 async.mapLimit과 Array.map을 사용하는 예시를 들어보겠습니다. MongoDB에서 여러 문서를 조회하는 작업을 비동기적으로 처리하며, 동시에 실행할 쿼리의 수를 제한해 시스템 리소스를 효율적으로 관리하는 방법입니다.
MongoDB 환경 설정
먼저 MongoDB와 연결하기 위해 mongodb 패키지를 사용하고, 간단한 데이터베이스 및 컬렉션을 설정해야 합니다. 이 예시에서는 users 컬렉션에서 문서를 조회하는 상황을 가정합니다.
async.mapLimit 예시
async.mapLimit을 사용하여 여러 사용자의 정보를 동시에 3명씩만 조회하는 예시입니다.
const async = require('async');
const { MongoClient } = require('mongodb');
const uri = "your_mongodb_connection_string";
const client = new MongoClient(uri);
const fetchUserData = async function(userId, callback) {
try {
await client.connect();
const database = client.db('your_database_name');
const users = database.collection('users');
const user = await users.findOne({ id: userId });
callback(null, user); // 사용자 데이터 반환
} catch (error) {
callback(error, null);
} finally {
await client.close();
}
};
const userIds = [1, 2, 3, 4, 5]; // 예시 사용자 ID 배열
async.mapLimit(userIds, 3, fetchUserData, (err, results) => {
if (err) {
console.error('Error fetching user data:', err);
} else {
console.log('User data fetched:', results);
}
});
이 예시에서는 한 번에 최대 3개의 MongoDB 쿼리만 실행하여 사용자 데이터를 조회합니다. 이는 동시에 너무 많은 데이터베이스 연결이 생성되는 것을 방지하고, 네트워크 리소스 및 데이터베이스 서버 부하를 관리하는 데 도움이 됩니다.
Array.map 예시
Array.map과 Promise.all을 사용하여 모든 사용자 데이터를 동시에 조회하는 예시입니다.
const { MongoClient } = require('mongodb');
const uri = "your_mongodb_connection_string";
const client = new MongoClient(uri);
async function fetchAllUserData(userIds) {
try {
await client.connect();
const database = client.db('your_database_name');
const users = database.collection('users');
const userFetchPromises = userIds.map(async userId => {
return users.findOne({ id: userId });
});
const usersData = await Promise.all(userFetchPromises);
console.log('User data fetched:', usersData);
} catch (error) {
console.error('Error fetching user data:', error);
} finally {
await client.close();
}
}
const userIds = [1, 2, 3, 4, 5]; // 예시 사용자 ID 배열
fetchAllUserData(userIds);
이 방식은 모든 사용자 데이터를 가능한 빠르게 조회하지만, 동시에 많은 데이터베이스 연결을 생성하고, 이로 인해 리소스 사용량이 증가하거나 데이터베이스 서버에 부하를 줄 수 있습니다.
비교
async.mapLimit을 사용하는 방법은 동시 실행 쿼리의 수를 제어하여 리소스 사용과 데이터베이스 부하를 관리할 수 있게 해주는 반면, Array.map과 Promise.all을 사용하는 방법은 모든 작업을 가능한 빠르게 처리하려고 할 때 유용합니다. 어떤 방법을 선택할지는 애플리케이션의 요구 사항, 데이터베이스 서버의 성능, 네트워크 상황 등을 고려하여 결정해야 합니다. 대량의 데이터를 처리하는 경우, 즉 array의 아이템이 수백 개가 넘는 경우에는 무조건 동시에 처리할 수 있는 쿼리의 수를 async.mapLimit으로 제한하여 디비의 성능을 떨어트리지 않게 관리하는 것이 중요합니다.
그렇기에 async 라이브러리의 mapLimit 등 limit으로 끝나는 (eachLimit, everyLimit, someLimit 등) 라이브러리에 대해 이해하고 적절할 때 사용할 줄 아는 것이 매우 중요합니다.