Дорвеи Парсинг текста под Пандору

[Amiramus]

И снова привет всем.
Как лучше парсить тексты под дорген Пандора: в один файл или раскидать по разным файлам (каждый тхт с текстами релевантными каждому конкретному ключу?
Или в принципе пофиг?

 

[AlisaK]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

 

[Amiramus]

Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС

X-parser
Спасибо за ответ.
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

 

[os]

Принимайте участие в конкурсе от PirateHUB и 1WIN и заберите новый iPhone 16 PRO MAX!

Информация о конкурсе​

 

[rippptop]

Или чем больше тем лучше

текстовки очень много нужно! но тематической!

 

[AlisaK]

А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше

вообще ваш первоначальный вопрос был в том что один текстовик на один какой то ключ, а теперь почему то вы решили по одному ключу парсить нн-ое количество статей. это вот и не то к чему надо стремиться, я делаю парсинг скрапбоксом там по умолчанию каждый ключ - свой текстовый файл и всё, пусть там нет логической последовательности, но это же вы делаете под доры и при генерации пандорой вновь будет задействован рандом, так что в итоге лишние манипуляции и не более

 

[AlisaK]

текстовки очень много нужно! но тематической!

сейчас в основном в кулуарах обсуждают не парсинг контента, а его генерацию при помощи тех же нейронных сетей