форум vBSupport.ru > vBSupport.ru > Гурушник > Кодер
Register Меню vBsupport Изображения Files Manager О рекламе Today's Posts Search
  • Родная гавань
  • Блок РКН снят
  • Premoderation
  • For English speaking users
  • Каталог Фрилансеров
  • If you want to buy some product or script
  • Администраторам
VBsupport перешел с домена .ORG на родной .RU Ура! Пожалуйста, обновите свои закладки - VBsupport.ru
Блок РКН снят, форум доступен на всей территории России, включая новые терртории, без VPN
На форуме введена премодерация ВСЕХ новых пользователей

Почта с временных сервисов, типа mailinator.com, gawab.com и/или прочих, которые предоставляют временный почтовый ящик без регистрации и/или почтовый ящик для рассылки спама, отслеживается и блокируется, а так же заносится в спам-блок форума, аккаунты удаляются
for English speaking users:
You may be surprised with restriction of access to the attachments of the forum. The reason is the recent change in vbsupport.org strategy:

- users with reputation < 10 belong to "simple_users" users' group
- if your reputation > 10 then administrator (kerk, Luvilla) can decide to move you into an "improved" group, but only manually

Main idea is to increase motivation of community members to share their ideas and willingness to support to each other. You may write an article for the subject where you are good enough, you may answer questions, you may share vbulletin.com/org content with vbsupport.org users, receiving "thanks" equal your reputation points. We should not only consume, we should produce something.

- you may:
* increase your reputation (doing something useful for another members of community) and being improved
* purchase temporary access to the improved category:
10 $ for 3 months. - this group can download attachments, reputation/posts do not matter.
20 $ for 3 months. - this group can download attachments, reputation/posts do not matter + adds eliminated + Inbox capacity increased + files manager increased permissions.

Please contact kerk or Luvilla regarding payments.

Important!:
- if your reputation will become less then 0, you will be moved into "simple_users" users' group automatically.*
*for temporary groups (pre-paid for 3 months) reputation/posts do not matter.
Уважаемые пользователи!

На форуме открыт новый раздел "Каталог фрилансеров"

и отдельный раздел для платных заказов "Куплю/Закажу"

Если вы хотите приобрести какой то скрипт/продукт/хак из каталогов перечисленных ниже:
Каталог модулей/хаков
Ещё раз обращаем Ваше внимание: всё, что Вы скачиваете и устанавливаете на свой форум, Вы устанавливаете исключительно на свой страх и риск.
Сообщество vBSupport'а физически не в состоянии проверять все стили, хаки и нули, выкладываемые пользователями.
Помните: безопасность Вашего проекта - Ваша забота.
Убедительная просьба: при обнаружении уязвимостей или сомнительных кодов обязательно отписывайтесь в теме хака/стиля
Спасибо за понимание
 
 
 
 
Yoskaldyr
Специалист
Default Расширение стандартной системы кеширования vb
2

Не знаю как кто, но лично мне довольно часто нужно использовать какой либо кеш при написании хаков, чтобы лишний раз не дергать базу. Стандартная система кеширования vb (класс vbDatastore) не совсем подходит, т.к. она оптимизирована под один большой запрос всех данных при инициализации vb (еще до Init хука) и даже если используется любой внешний (xcache, ea, apc, memcached) все равно пишет дубликат в базу (datastore), как следствие этот класс не совсем подходит для частого изменения кеша, например для хаков типа чата (для информации - нет ни одного нормального чата для булки выдерживающего нормальные нагрузки).
Написать что-то жестко заточенное под конкретный кеш для меня не составляет проблем, но это совсем не подходит для публичных хаков, т.к. очень жесткая заточка под конкретную конфигурацию сервера, да и не красиво это.
Может есть у кого или универсальный класс не конфликтующий со стандартным классом булки для однотипной работы с xcache, ea, apc, memcached. И конечно желательно проверенный в работе, т.к. классов существует много, и проверить совместимость и не конфликтность со стандартным классом я могу только для xcache (под хорошей нагрузкой) и ea (без нагрузки).

P.S. Вообще-то уже и сам написал такой класс на базе класса булки и по идее он не должен конфликтовать со стандартным (для xcache точно работает без проблем под нагрузкой), но протестировать для всех кешей не было возможности (особенно критична совместимость со стандартным классом vb memcached-а, т.к. там коннекты к серверу, флаг подсоединенности и т.д. и т.п.).

Добавил файл с функциями расширяющим функционал обращения к варкешу (датастору). Расширение в плане прямого добавления/ прямого извлечения / прямого удаления записей из кеша + работа с TTL.

Работает с eAccelerator, XCache, APC
Не работает с Filecache и Memcached. Первый (Filecache) даже не рассматривал ввиду его скорости, второй не было где нормально протестировать (да и скорость у мемкеша тоже не очень)

Функции:
isenabled_datastore() - проверка что включен поддерживаемый датастор
get_datastore($title, $unserialize_detect = 2) - прямое извлечение записи из датастора (unserialize_detect аналогичен стандартному функционалу vb) возвращает null если запись извлечь не удалось
set_datastore($title, &$data, $ttl=null) - запись данных в датастор
delete_datastore($title) - удалить запись из датастора.

Все производимые операции с датастором никак не трогают датастор в базе, т.е. это не столько использование датастора, а сколько небольшая навеска для прямого использования установленного варкеша.
Attached Files
File Type: zip functions_datastore.zip (821 Bytes, 16 views)

Last edited by Yoskaldyr : 04-03-2010 at 01:54 AM. Reason: Добавил файл с функциями.
Bot
Yandex Bot Yandex Bot is online now
 
Join Date: 05.05.2005
Реклама на форуме А что у нас тут интересного? =)
 
 
netwind
Гуру
 
netwind's Avatar
Default
0

что ты собрался кешировать на форуме, в котором права доступа для каждого юзера уникальны и кеш чего угодно сразу устаревает после появления нового сообщения ?
Глобальные данные прекрасно помещаются в datastore, а чат кешированием не исправишь.
 
 
Yoskaldyr
Специалист
Default
0

Quote:
Originally Posted by netwind View Post
что ты собрался кешировать на форуме, в котором права доступа для каждого юзера уникальны и кеш чего угодно сразу устаревает после появления нового сообщения ?
Но форум все-таки один и у всех пользователь может быть одна и та же инфа котрую нужно кешировать (не зря булка кеширует настройки, список форумов, ббкоды и много другого в варкешах, если подключен нужный класс)
К тому же это раздел для кодеров, и для обсуждения проблем кодеров (насколько я понял) и мало ли что кодер захочет закешировать. К тому же я говорил не о кеше скомпилированных сообщений булки, я о datastore-кеше, который в зависимости от конфига может использовать различные php кеши.
Quote:
Originally Posted by netwind View Post
а чат кешированием не исправишь
Как раз какой либо варкеш для чата то что нужно. Например при 200 пользователях онлайн может быть более 100 обращений в сек к списку последних сообщений в чате (который конечно подгружается ajax-ом). И выдернуть из кеша (из памяти) намного быстрее даже чем прочитать файл. Можно конечно каждый раз перегенерировать чистый html при написании сообщения (как сделано в некоторых чатах), но лучше все же использовать любой варкеш. Как следствие в скрипте, который должен выполняться очень часто можно вообще отказаться от запросов в БД. Но это уже уход от темы вопроса.
Я хотел узнать есть ли о кого проверенные наработки для работы с кешировщиками PHP, а если более точно для работы с варкешами PHP (обычно их используют как альтернативное и очень быстрое хранилище для часто изменяемых данных).

Использовать стандартный датастор очень удобно для своих скриптов с отдельными файлами, но если используются только хуки, то стандартные классы vb не совсем подходят (Обычно это добавит минимум 1 допзапрос к БД), и совсем не подходит если нужно будет частое обновление кеша.
 
 
netwind
Гуру
 
netwind's Avatar
Default
0

Quote:
Originally Posted by Yoskaldyr View Post
Как раз какой либо варкеш для чата то что нужно. Например при 200 пользователях онлайн может быть более 100 обращений в сек к списку последних сообщений в чате (который конечно подгружается ajax-ом)
В том и беда, что накладные расходы на "раскрутку" php и apache будут несоизмеримо больше, чем одно обращение к mysql. Нормальный не грузящий чат на vb.org стоит - там irc-клиент на java.
Если это такая проблема - посмотри что там Котеров наваял http://habrahabr.ru/blogs/hi/69457/
Как вариант - формировать страницу сообщений чата в html и отдавать этот файл из nginx без привлечения php (приватики отдыхают)

Что касается кеширования вообще, кешируй прямо в таблицах mysql максимально обработанные блоки html. Это 100% в каждой инсталляции vb будет работать. Если таблицы маленькие и проиндексированные, то там не с чего тормозить.

Quote:
Originally Posted by Yoskaldyr View Post
и совсем не подходит если нужно будет частое обновление кеша
самому то не смешно? зачем тогда нужен кеш, если он часто обновляется, то есть фактически не используется ?
 
 
Yoskaldyr
Специалист
Default
0

Quote:
Originally Posted by netwind View Post
Как вариант - формировать страницу сообщений чата в html и отдавать этот файл из nginx без привлечения php (приватики отдыхают)
Именно об этом решении я и писал выше (Вы видать не заметили). Чат я привел в качестве примера. Это только одно из применений для php-кешей.
Quote:
Originally Posted by netwind View Post
Если это такая проблема - посмотри что там Котеров наваял http://habrahabr.ru/blogs/hi/69457/
Спасибо за ссылку, посмотрю иногда надо держать постоянные соединения, хотя к кешированию не имеет отношения.
Quote:
Originally Posted by netwind View Post
Что касается кеширования вообще, кешируй прямо в таблицах mysql максимально обработанные блоки html. Это 100% в каждой инсталляции vb будет работать. Если таблицы маленькие и проиндексированные, то там не с чего тормозить.
Варкеши в PHP - это те же БД, но с доступом "key" - "value" и со скоростью работы намного быстрее чем Mysql. Например 10К рандомных запросов на чтение из кеша xcache происходит 0.025 сек, а чтение 10К из простой таблицы по индексу происходит за 2сек - разница в 100 раз как мне кажется более чем ощутимая.
Вы должны быть в курсе что mysql и myisam таблицы очень быстрые, но только когда там нет постоянных одновременных апдейтов и селектов. И если одну даже небольшую таблицу насилуют даже 20 соединений на одновременный селект/апдейт будет сильное падение в производительности.
Quote:
Originally Posted by netwind View Post
самому то не смешно? зачем тогда нужен кеш, если он часто обновляется, то есть фактически не используется ?
То что php varcache называют кешами, это не повод их использовать именно в классическом понимании кеша.

Все-таки мне кажется что Вы не поняли о чем именно я спрашиваю.

И просьба, если у Вас нет ответа по существу вопроса, не надо превращать топик в свалку. А то не хочется что-бы данный раздел превратился во флудильню и как следствие был удален.

P.S. Похоже придется брать классы из vbOptimize, там они точно проверены на совместимость с классами булки и проверены на работу под нагрузкой для всех вариантов кешированя (xcache, apc, memcached, ea), да и есть своя реализация filecache
 
 
netwind
Гуру
 
netwind's Avatar
Default
0

Я хочу объяснить, что может ты и решишь конкретную узкую проблему, но для проектов в целом не выиграешь ничего существенного. Применительно к vb, уже после вызова global.php расходуется столько времени и памяти , что все попытки ускорять что-то на миллисекунды - мертвому припарки. Операция должна быть реально тормозной и тут уже не важно где хранить, в mysql или в кеше акселераторов.
Если так важно обновлять кеши постоянно - сделай несколько myisam-табличек.
 
 
Yoskaldyr
Специалист
Default
0

Quote:
Originally Posted by netwind View Post
. Применительно к vb, уже после вызова global.php расходуется столько времени и памяти , что все попытки ускорять что-то на миллисекунды - мертвому припарки. Операция должна быть реально тормозной и тут уже не важно где хранить, в mysql или в кеше акселераторов.
Вот эта и есть основная проблема хакописателей для булки - ну что там лишний запрос, это же учитывая тормознутость булки ничего не замедлит.
Но вот при 400 запросах в сек имеет значение каждое обращение к БД.

P.S. И все-таки я не спрашивал о том нужно или не нужно использовать кеш, я спрашивал о классах или библиотеках для использования кеша.
 
 
netwind
Гуру
 
netwind's Avatar
Default
0

Yoskaldyr, другая, не менее частая проблема - преждевременная эяк оптимизация
 
 
Yoskaldyr
Специалист
Default
0

netwind, Следуя Вашей логике даже самый простой счетчик посещений лучше всего делать используя mysql и продолжая следовать Вашей логике необходимо сделать отдельную небольшую таблицу для счетчика.
Да при небольших нагрузках мускуль справится без проблем, но вот при нагрузках немного больших средних - все будет очень "быстро" и "прооптимизированно"....
Quote:
Originally Posted by netwind View Post
другая, не менее частая проблема - преждевременная оптимизация
Хак изначально должен быть правильно написан, чтобы его потом не надо было оптимизировать.
Правильно написанный хак не должен сильно замедлять работу булки и по возможности не должен добавлять дополнительных запросов в БД. Все-таки таких хаков может быть установлено не один десяток. А на практике из всех текущих хаков для булки меньше 1% написаны более менее вменяемо с правильным использованием vb-api.

А так вообще разговор ни о чем... :(
Оффтоп
 
 
netwind
Гуру
 
netwind's Avatar
Default
0

Quote:
Originally Posted by Yoskaldyr View Post
А на практике из всех текущих хаков для булки меньше 1% написаны более менее вменяемо с правильным использованием vb-api.
Тем не менее, если почитать обсуждения, 99% хаков устраивают их пользователей по скорости работы. Основные претензии только к функционалу. Я понимаю - у тебя специфические задачи и они сформировали специфическое мнение. HTTP-трекер на php вообще изначально неправильный и неудобный протокол для файлообмена. Нагрузки, сходные с автоматическими запросами постоянно дрюкающего торрент-клиента очень непросто достичь обычному форуму.

Хаков я написал не так много и они были обычные народные не связанные с варезом или кешированием всего и вся на ограниченных ресурсах. Datastore использовал один раз в баннерной системе - там где действительно нужно.
 


Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off




All times are GMT +4. The time now is 09:42 AM.


Powered by vBulletin® Version Alan Edition
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.