В прошлом году, в разгар особенно острой кампании по выборам президента США, стартап под названием Sentropy вышел из скрытности с платформой на основе ИИ, нацеленной на социальные сети и другие компании, которые собирали людей вместе для онлайн-разговоров.

Sentropy разработал набор алгоритмов, использующих обработку естественного языка и машинное обучение, чтобы помочь этим платформам обнаруживать, когда оскорбительная лексика, оскорбительные тенденции и другой вредоносный контент выходит из-под контроля, и действовать в этих ситуациях до того, как они станут проблемой. [19659002] Сегодня стартап представляет новый продукт, теперь нацеленный на потребителей.

Используя ту же технологию, которую он изначально создал для своей корпоративной платформы, Sentropy Protect представляет собой бесплатный потребительский продукт, который обнаруживает вредоносный контент в ленте социальных сетей человека и посредством панели инструментов, позволяет человеку лучше контролировать, как обрабатывается этот контент и люди, которые его создают.

Первоначально начиная с Twitter, план состоит в том, чтобы со временем добавить больше социальных каналов, исходя из того, какие сервисы предоставляют API-интерфейсы, чтобы позволить Sentropy интегрироваться с ними (не все делают).

Генеральный директор Sentropy Джон Редгрейв сказал, что запуск потребительского продукта – это не поворот, а расширение то, что строит компания.

Идея состоит в том, что Sentropy продолжит работу с корпоративными клиентами – два ее продукта в этом отделе называются Sentropy Detect, что обеспечивает доступ на основе API к своим технологиям обнаружения злоупотреблений ; и Sentropy Defend, интерфейс на основе браузера, который позволяет модераторам выполнять рабочие процессы сквозной модерации.

Но в то же время потребительский продукт Protect предоставит людям дополнительную возможность – независимо от того, Sentropy используется определенной платформой – чтобы взять бразды правления в свои руки и, так сказать, иметь больший практический контроль над своим графом преследований.

«Мы всегда были глубоко убеждены в том, что с самого начала нужно идти за предприятием, но Sentropy – это о большем », – сказал он. «Кибербезопасность должна включать в себя как корпоративные, так и потребительские компоненты»

Приятно слышать о стартапах, создающих услуги, которые потенциально влияют на миллионы людей, а также осознают, как сами люди хотят сохранить в уравнении элемент самоопределения.

Это не просто: «Ну, это ваш выбор, будете вы использовать службу X или нет», но понимание концепции, согласно которой, когда кто-то решает использовать службу, особенно популярную, должно быть и может быть больше, чем просто надежда на то, что платформа всегда будет заботиться об интересах этого пользователя, предоставляя инструменты, которые помогут ему в этом.

И это не проблема, которая исчезнет, ​​и это касается не только самых горячих платформы сегодня, которые продолжают искать способы обработки сложного контента – но также и на новых платформах.

Недавняя популярность Clubhouse, например, подчеркивает не только новые границы социальных платформ, но и то, как, например, эти новые модели – с клубным домом, основанным на «комнатах» для разговоров и использованием звука, а не письменного текста для взаимодействия, – решают проблемы преследований и злоупотреблений. Некоторые поразительные примеры указывают на то, что проблема определенно требует решения, прежде чем она станет еще больше.

Protect сегодня можно использовать бесплатно, и Редгрейв сказал, что Sentropy все еще работает над решением, как и будет ли она взимать плату за нее. Один из вероятных сценариев состоит в том, что Protect может иметь уровни freemium: бесплатный и ограниченный продукт для частных лиц с «профессиональными» услугами с расширенными инструментами и, возможно, уровень для компаний, которые управляют учетными записями от имени одного или нескольких высокопоставленных лиц.

Конечно, такие сервисы, как Twitter, Reddit, Facebook, YouTube и многие другие, за прошедшие годы – и особенно в последнее время – добились большого успеха, добавив больше правил, модераторов и автоматизированных алгоритмов, чтобы помочь выявить и остановить оскорбительный контент в своих отслеживает, а также помогает пользователям сообщать и останавливать контент до того, как он попадет к ним.

Но если вы один из тех, кого преследуют регулярно или даже время от времени, вы знаете, что этого часто бывает недостаточно. Sentropy Protect, похоже, строится с учетом этого мышления.

Действительно, Редгрейв сказал, что, несмотря на то, что у компании всегда были потребители, ее стратегия была ускорена после запуска корпоративного продукта в прошлом году. в июне.

«Мы начали получать сообщения от людей, говорящих:« Меня оскорбляют в Интернете. Как я могу получить доступ к вашей технологии? »Он напомнил, что компания осознала, что проблема была одновременно более крупной и более детальной, чем Sentropy могла бы решить, просто прокладывая себе путь через список компаний, надеясь привлечь их в качестве клиентов, а затем успешно интегрировали свой продукт.

«Тогда нам пришлось принять трудное решение, – вспоминал он. «Тратим ли мы 100% своего времени на предприятия или берем часть нашей команды и начинаем создавать что-то и для потребителей?» Компания решила пойти по второму пути.

Что касается предприятия, Sentropy продолжает работать с социальными сетями и другими видами компаний, которые обеспечивают взаимодействие между людьми – например, доски объявлений, связанные с игровыми процессами или приложениями для знакомств. В настоящее время компания не раскрывает имена клиентов, но Редгрейв описывает их в первую очередь как более мелкие и быстрорастущие компании, а не как более крупные и устаревшие платформы.

Вице-президент Sentropy по продукту, Дев Бала, который ранее был академиком , а также работал в Facebook, Google и Microsoft – объяснил, что более крупные устаревшие платформы не выходят за рамки компетенции Sentropy. Но чаще всего они работают над более крупными стратегиями доверия и безопасности и имеют небольшие армии собственных инженеров, работающих над созданием продуктов.

Хотя более крупные социальные сети действительно приносят сторонние технологии для определенных аспектов своих услуг, на заключение таких сделок обычно требуется больше времени, даже в экстренных случаях, например, при работе с онлайн-злоупотреблениями.

«Я думаю, что злоупотребления и преследования быстро превращаются в серьезную проблему для таких компаний, как Facebook, Reddit, YouTube и других. , – сказал Бала. «В этих компаниях будет 10 000 человек, которые будут думать только о доверии и безопасности, и мир видит проблемы, когда этого не происходит. Что не так очевидно для внешних людей, так это то, что они также используют портфельный подход с армией модераторов и портфелем технологий. Не все создается собственными силами.

«Мы считаем, что Sentropy приносит пользу этим более крупным ребятам, но также знаем, что у компаний, использующих такие продукты, как наша, есть много оптики. Таким образом, мы видим возможности действовать раньше, когда речь идет не о Facebook, и использовать менее изощренный подход ».

Как признак меняющихся тенденций и настроений на рынке. Кажется, что борьба со злоупотреблениями и контентом начинает серьезно восприниматься как бизнес-концепция. И поэтому Sentropy – не единственная компания, использующая эту возможность.

Два других стартапа – один под названием Spectrum Labs, а другой под названием L1ght – также создали набор инструментов на основе ИИ, нацеленных на различные платформы, на которых ведутся разговоры, чтобы помочь тем платформы выявляют и лучше сдерживают случаи токсичности, преследования и злоупотреблений.

Другая, Block Party, также стремится работать с различными социальными платформами, чтобы дать пользователям больше контроля над тем, как их затрагивает токсичность, и он, как и Sentropy, в первую очередь сосредоточился на Twitter.

С помощью Protect после обнаружения и отметки контента пользователи могут устанавливать более широкие и постоянные блокировки для определенных пользователей (которые также могут быть отключены с помощью Protect) или темами, управляйте отфильтрованными словами и отслеживайте контент, который автоматически помечается как потенциально оскорбительный, на случай, если вы захотите переопределить флаги и создать «доверенных» пользователей. Твиты помечаются, когда Sentropy перехватывает их, по типу злоупотреблений (например, угроза физического насилия, сексуальной агрессии или атак на личность).

Поскольку он основан на платформе машинного обучения, Sentropy затем принимает все эти сигналы , включая помеченные твиты, и использует их, чтобы научить Protect определять будущий контент в соответствии с теми же принципами. Платформа также постоянно отслеживает болтовню на других платформах, и это тоже влияет на то, что она ищет и модерирует.

Если вы знакомы с собственной защитой Twitter от злоупотреблений, вы знаете, что все это несколько усложняет ситуацию. шаги дальше, чем предоставляет сам Twitter